推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 4614 天前的主题，其中的信息可能已经有所发展或是发生改变。
在抓取京东的评论的时候，会经常出现截断
比如http://club.jd.com/review/851542-0-2-0.html
用scrapy shell "http://club.jd.com/review/851542-0-2-0.html"
查看response.body时发现被奇怪地截断了，而用wget网页下来是没问题的，应该不会是被反爬虫了
在此，求解。。。。
比如http://club.jd.com/review/851542-0-2-0.html
用scrapy shell "http://club.jd.com/review/851542-0-2-0.html"
查看response.body时发现被奇怪地截断了，而用wget网页下来是没问题的，应该不会是被反爬虫了
在此，求解。。。。
 | 1 best1a OP 。。。。找了一个多小时找不到解决方案，各种蛋疼 |
 | 2 gamexg 2013-05-06 08:18:09 +08:00  1 抓包 |
| 3 gamexg 2013-05-06 08:20:17 +08:00 1 对了，设http头伪装成浏览器试一下。 |
Select Language