这两天突然发现很多都爬取不了,把失败的 url 丢进去一看,发现都需要登录才能浏览了.
平时是自己弄了个代理池,每次爬都从代理池里面随机取代理爬的.
这样都被反爬了还有什么好的方法吗?
![]() | 1 petelin 2016-08-26 21:17:05 +08:00 via Android 登录进去拿到 session 就行了,又没说 session 和 IP 必须一匹配,不知道你什么意思。 |
![]() | 2 qianlifeng 2016-08-27 00:56:14 +08:00 我也发现了,还在想怎么弄 |
![]() | 3 ljcarsenal 2016-08-27 10:24:16 +08:00 求教你们整天爬来爬去的有什么经济价值? |
![]() | 4 bf68 2016-08-27 11:54:01 +08:00 @ljcarsenal 同问 |