推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
对于 Python 爬虫遇到一个问题，对于这样一个网站： www.icgoo.net，它好像是异步加载的，需要的型号数据在 XHR 里的 html 语句里，设置了 csrftoken。请问要什么方案爬取比较好呢？先谢谢打大家了
sr0miao 2018-03-13 17:14:24 +08:00 4122 次点击这是一个创建于 2776 天前的主题，其中的信息可能已经有所发展或是发生改变。
 | 1 cdwyd 2018-03-13 17:23:24 +08:00 via Android 获取 csrftoken 然后抓就是了 |
 | 3 Mojy 2018-03-13 17:48:19 +08:00  1 最简单的方式是通过模拟浏览器的方式进行爬虫，缺点就是稍微有点慢，需要等到页面加载完成才好 |
 | 4 cokky 2018-03-13 18:07:07 +08:00 1 用 phantomjs 模拟浏览器方式来试试 |
 | 5 Nick2VIPUser 2018-03-13 18:11:25 +08:00 3 点进 chrome 里面的 Source，到?partno=ADIS16251ACCZ&qty=1 这个 page 里面搜索 token 字段，把 token 出现的地方打断点调试，边调试边读 js 代码的实现，token 初始值多少经过什么代码变成了什么样子，最后算出来是多少。然后使用 python 代码实现～ |
 | 6 welkinzh 2018-03-13 18:14:23 +08:00 1 五楼的方法是对的，不过如果处理 token 的 js 比较恶心的话就很麻烦，想简单就用 PhantomJS |
 | 7 locoz 2018-03-13 21:36:56 +08:00 via Android 逆向自己实现加密 /抠 js 加密部分出来运行 /模拟浏览器 |
 | 8 fsdman1216 2018-03-14 10:18:56 +08:00 selenium + webdriver |
 | 9 noqwerty 2018-03-15 03:11:42 +08:00 via iPhone requests-html 了解一下 |
 | 10 wc110302 2019-03-14 18:12:21 +08:00 1 https://blog.csdn.net/qq_39802740/article/details/88557981 我最近写了个爬虫~ 好像就是这个 icgoo 的 哈哈 不过是 366 天前的了 |
Select Language