推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3163 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近公司要求爬下 http://www.kuajingjishi.com/Purchase/SearchPurchase#pageIndex=10 页面的采购信息，本以为会是比较简单的事情，结果每次爬下来都是第一页的内容
from selenium import webdriver driver = webdriver.PhantomJS() driver.get('http://www.kuajingjishi.com/Purchase/SearchPurchase#pageIndex=2') result = driver.find_element_by_tag_name('table') print(result.get_attribute('innerHTML')) 求助求助~
 | 1 aploium 2017-02-26 22:02:57 +08:00 ```python import requests data = { 'X-Requested-With': 'XMLHttpRequest' } for i in range(1,10): url='http://www.kuajingjishi.com/Purchase/SearchPurchase?pageIndex={page}'.format(page=i) r=requests.post(url, data=data) print(r.text) ``` |
| 2 aploium 2017-02-26 22:17:25 +08:00 它是用 ajax 加载的, 浏览器里用 F12, 选 network 那个 tab, 手动点一下那几个页面, 能看到它发出去的请求, 然后自己一模一样发好了 这个站还没对请求进行验证......orz 至于为什么 selenium 弄不到......天知道:) tips: 在请求上右键->copy->copy as cURL 然后在这个网站能直接转换为 requests 格式 https://curl.trillworks.com/ |
 | 5 MyFaith 2017-02-27 08:38:03 +08:00 pageIndex:9 POST 的时候把这个参数加上就好了，只是一个 AJAX 加载 |
 | 6 cranelee13 2017-02-27 10:32:01 +08:00 python 爬虫只有到完全没办法，反爬实在厉害才用 selenium + phantomjs ，绝大多数情况用 requests 应付就行。 |
Select Language