这是一个创建于 4211 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个简单的爬虫，想抓下一家淘宝店正在出售的宝贝（/search.htm?spm=a1z10.1.0.0.N8xbI3&search=y&orderType=hotsell_desc）。请求频率7秒抓一次，但发现抓了几次之后就要求登陆，跳转到登陆页面。请问有类似经验的同学吗
 | 1 manhere 2014-04-12 15:53:44 +08:00 via Android 淘宝api |
 | 2 leofml 2014-04-12 15:54:30 +08:00 检查 Referer, UA 和 Cookies |
 | 3 jsonline 2014-04-12 16:33:14 +08:00 via Android 用phantom吧 |
 | 5 andrewrong 2014-04-12 20:40:58 +08:00 公司之前是使用淘宝API的，但是后来淘宝封了，现在的话是自己写爬虫爬，但是为了防止淘宝识别就通过代理（VPN）进行爬，这样就可以防止淘宝探测到...你的现象比较像被淘宝检测出然后进行限制了..当然是我的猜测...不是很懂 | |
 | 6 alexapollo 2014-04-12 20:42:30 +08:00  1 |
 | 7 bladecamper 2014-04-12 21:36:51 +08:00 API现在基本等于封闭状态。 用火车头采集器吧。 |
 | 8 ryan10107 2014-04-12 22:37:06 +08:00 可以AD拨号吧，搞多点cookie和header的模拟，现在淘宝封店铺商品列表封得很厉害，做爬虫还是看IP的 |
 | 9 jerryge OP @andrewrong 是指通过VPN轮训IP吗 |
Select Language