各位在爬搜狗微信数据的童鞋,你们的爬虫还正常吗?
1 simapple 2016-07-13 11:24:53 +08:00 从来就没正常过,直接调取浏览器 频率稍快一点 就出验证码,交流一下 你是用什么方式 |
2 defia 2016-07-13 11:25:55 +08:00 ![]() hint:referer |
![]() | 3 hansnow OP @simapple 我之前就用最普通的方式, requests 的 session 加上 ua ,然后直接请求就可以。。因为我量比较小,所以之前完全没遇到障碍。。 |
4 imnoname 2016-07-13 11:33:29 +08:00 有偿提供封装微信 app 公众号搜索数据的接口,有需要的吗? |
![]() | 7 |
![]() | 8 pyufftj 2016-07-13 12:17:19 +08:00 |
![]() | 9 stcasshern 2016-07-13 12:20:46 +08:00 求解释~ |
![]() | 10 gonewithsin 2016-07-15 12:21:20 +08:00 @defia 爬虫获取的网址是正确的,但是因为 referer 的关系,没法从第三方的网站中直接打开这个网址(会报错),请教下这种情况有什么办法?无法通过修改浏览器来伪造 referer ,因为是要在微信内嵌浏览器中打开这个网址。 |
11 defia 2016-07-15 15:26:14 +08:00 @gonewithsin 自己把里面文章爬出来重新生成列表,不过现在好像是拿不到永久连接,会过期了 |
![]() | 12 hansnow OP @defia 在页面里的 msg_link 这个变量里保存的链接貌似不会过期,比如这种: http://mp.weixin.qq.com/s?__biz=MzA3NjI3MjgwNQ==&mid=2650452902&idx=2&sn=ea8d1fc3b7aba257d4ad3250197bebfd#rd |
13 defia 2016-07-16 00:20:34 +08:00 @hansnow 因为我是帮朋友抓的,自己不太关注这方面除非出问题了.我看了下,我代码里也是抓这个的,但是我朋友反映好像会过期,具体就不清楚了,回头有空找他问问 |
14 sicklife 2016-07-29 15:26:05 +08:00 我可能是少数在做微信全站爬虫的人之一。。。。 |
15 neomaidasi 2016-09-02 19:19:11 +08:00 @imnoname 请联系我 [email protected] |