[求教]如何让爬虫支持自动 js 翻页?

JS 翻页一般也是发送 post 请求的，看看包的内容，然后模拟。

@ferrum 关键在于有无通用的方法,不然面对太多 url,一个一个去研究效率太低,很好奇百度是如何解决这个问题的

@ysjdx 模拟点击？

无非就是用了无刷新翻页而已 ，抓包就能看到 GET 的参数 。

@moosoome 百度会尝试点击页面所有元素?发现新 url 就加入到爬去列表么?还是自动探测看起来象翻页按钮的元素,拟或是有一个非常大的配置库?

@eoo 主要是能否有通用的方法,不需要每个去抓包

百度对于 ajax 翻页的当然是抓不到了 ()

@ysjdx 你想太多了

通用的？ CasperJS 行么

用 phantomjs 咯， casperjs 也是基于 phantomjs 开发的
后台的 webkit ，满足你的要求

有些网站的数据都是 ajax 生成出来，那样的怎么处理？找到请求入口，模拟提交？

@bengol 额 难道我想多了?

既然是 ajax 的 就有路径 你可以直接通过这个路径获取到数据吧 不过不行 只能用 phantomjs 、 caperjs 了 也很简单

ajax 会有提交然后返回参数 你可以看看那个能抓到不