推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
Python 爬虫如何爬取网页： http://****/?WebShieldSessiOnVerify=NLGt8zSnEqQvrVLli716
ddfiberglass 2016-02-26 16:04:55 +08:00 5224 次点击这是一个创建于 3540 天前的主题，其中的信息可能已经有所发展或是发生改变。
这种带有 WebShieldSessionVerify 的网站如何利用 Python 爬虫爬取？另外， Selenium 这个在没装 Firefox 及 Chrome 的 VPS 上是不可以使用的吧？我是新学习 Python 爬虫的，想学习用 Scrapy 等现成的东西来搜集信息。这个网站暂时不贴出来了。需要的，我私信发送出来。
 | 1 Septembers 2016-02-26 16:07:01 +08:00 via Android  1 1. V2EX 并没有私信 2. Web 的东西本质都可以模拟 3. 分析 分析 分析 |
 | 2 imn1 2016-02-26 16:11:43 +08:00 1 看到 session 就想需要 cookies |
 | 3 ddfiberglass OP 谢谢，那就直接贴出来大家帮忙看看： 网站如： cnfrp 点 net 的。 |
 | 4 knightdf 2016-02-26 16:16:48 +08:00 1 Selenium 在 vps 上是可以使用的 |
| 5 ddfiberglass OP @knightdf ，一般不是有个： from selenium import webdriver 。这个 webdriver 是浏览器之类的吗？不需要安装浏览器也可以使用哦？ |
| 6 knightdf 2016-02-26 17:05:31 +08:00 1 @ddfiberglass 浏览器只是提供底层驱动的，也可以不用浏览器的驱动，用 PhantomJS 的驱动就可以了 |
 | 7 abelyao 2016-02-26 17:37:38 +08:00 1 好脑残的防护… 手动打开它家网站自动刷新了七八次才进到主页… |
 | 8 chenxiaohong 2016-02-26 20:47:30 +08:00 1 PhantomJS 不需要浏览器，自带 Webkit |
| 9 ddfiberglass OP 谢谢 @knightdf @chenxiaohong 谢谢各位。我到时候再看看 Python 与 PhantomJS 的用法。据说 Pyspider 里面集成了 PhantomJS 。 如果各位有好点的 PhantomJS 与 Python 结合使用方面的方法还请推荐下。 @abelyao 是的，首次去看的时候要刷新很多次，不过再次进入某些页面就没那么多刷新次数了。呵呵。 |
 | 10 wizardforcel 2016-02-27 20:01:22 +08:00 1 应该是安全狗的 CC 防护。启用 Session 的话一般会把 Session ID 放到 cookie 里面，看看响应里有没有 Set-Cookie 消息头，找到"safedog-flow-item"下次带上就行了。 |
| 11 ddfiberglass OP @wizardforcel OK ，谢谢，我到时候再仔细看看。有问题再来找各位。谢谢。 |
Select Language