爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
respect11
V2EX    问与答

爬虫遇到 IP 的问题,住宅 IP 可以爬取到想要的结果,但是代理或服务器 IP 就会被 302 如何解决?

  •  
  •   respect11 2020-12-05 20:35:42 +08:00 1302 次点击
    这是一个创建于 1851 天前的主题,其中的信息可能已经有所发展或是发生改变。

    代码确定没问题

    在自己电脑上可以爬取到指定内容,但是在服务器上运行就会被 302.

    找了多家的代理 IP 都会被拦截,有什么好的解决办法吗?

    有想过让自己的电脑当代理服务器...但是没有一个好的实现思路

    6 条回复    2020-12-05 23:15:12 +08:00
    s609926202
        1
    s609926202  
       2020-12-05 20:59:22 +08:00 via iPhone
    直接服务器 curl 试试,可能是 cookie 或者其他参数
    respect11
        2
    respect11  
    OP
       2020-12-05 22:31:27 +08:00
    @s609926202 #1 服务器直接 curl 会被 302,然后在本地电脑 curl 没问题。。
    JCZ2MkKb5S8ZX9pq
        3
    JCZ2MkKb5S8ZX9pq  
       2020-12-05 22:53:00 +08:00   1
    猜猜
    对方有云防护,ip 池全中。
    代理服务器转发加了东西。

    另外自家电脑当代理,为啥不直接用自家电脑爬算了。
    JCZ2MkKb5S8ZX9pq
        4
    JCZ2MkKb5S8ZX9pq  
       2020-12-05 22:54:41 +08:00   1
    另外如果对方防护等级高的话,你直接看看用家里电脑高频请求试试,没准自家 ip 也很快废了。也就不用折腾这条路了。
    opengps
        5
    opengps  
       2020-12-05 23:09:08 +08:00   2
    回复这个帖子先确定你只是为了自己研究使用为前提,免得造成教人面向监狱编程的事实。

    对方服务器既然做了各大机房、甚至各种代理 ip 的封禁,那么说明对于反爬虫的目的极其强烈,建议慎重,甚至放弃。

    如果个人确实有需要,那么可以用笔记本下的 4G 网络热点,不断重启热点网络连接方式来变更下当前出口 ip
    respect11
        6
    respect11  
    OP
       2020-12-05 23:15:12 +08:00
    @opengps #5
    @JCZ2MkKb5S8ZX9pq #4 感谢回复。研究所用,如果开放。会导致自己的付费账户被封禁,所以不会开放使用,均为自用。(新手爬虫,练手)

    目前有其他开放的类似平台是可以获取到的
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3762 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 22ms UTC 05:29 PVG 13:29 LAX 21:29 JFK 00:29
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86