使用 selenium 爬取数据时,如何在当前已经创建的浏览器实例上,动态切换代理 ip? - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
1995bugme

使用 selenium 爬取数据时,如何在当前已经创建的浏览器实例上,动态切换代理 ip?

  •  
  •   1995bugme Apr 7, 2024 2720 views
    This topic created in 766 days ago, the information mentioned may be changed or developed.
    请教一个问题,使用 java 、selenium 、chromedriver 爬取数据的时候,如何在当前已经打开的浏览器实例上,动态切换代理 ip ?之前采取的措施是,如果要切换代理 ip ,那就关闭浏览器实例再重新创建一个,但是这种反复关闭浏览器实例再创建的操作,开销比较大。有什么办法能够在不关闭浏览器实例的情况下,动态切换代理 ip 么?
    13 replies    2024-04-08 17:31:04 +08:00
    binsys
        1
    binsys  
       Apr 7, 2024
    再套一层代理,然后去控制代理切换代理。
    binsys
        2
    binsys  
       Apr 7, 2024
    浏览器-代理 A-代理 B-互联网
    代理 A 提供给浏览器的地址不变,比如 127.0.0.1:8008
    代理 B 自己切换 upstream
    hanssx
        3
    hanssx  
       Apr 7, 2024
    插件
    macaodoll
        4
    macaodoll  
       Apr 7, 2024 via Android
    自建隧道?
    ik
        5
    ik  
       Apr 7, 2024 via iPhone
    轮训的话随便一个四层代理都可以, 需要制定切换可以用 clash ,调 api 切
    defaw
        6
    defaw  
       Apr 7, 2024
    http 代理,在 http 代理里面换
    LeegoYih
        7
    LeegoYih  
       Apr 7, 2024
    我用 chrome 没解决,最后买了个贵的池。
    我看有解决方案说是 firefox 可以调 api 切换,没试过。
    0o0O0o0O0o
        8
    0o0O0o0O0o  
       Apr 7, 2024 via iPhone
    同 #1
    jettzhang
        9
    jettzhang  
       Apr 7, 2024
    SwitchyOmega 插件
    pagxir
        10
    pagxir  
       Apr 7, 2024 via Android
    代理类型都一样的话,用 iptables 也可以。把旧 nat 规则删掉,然后换新的,这样旧的不会马上断,新建的会用新的代理。
    ClericPy
        11
    ClericPy  
       Apr 7, 2024
    隧道代理. 不过你得主动断开旧连接, 在同一次连接时候隧道代理不切换 IP. 我是自己写的隧道代理所以随时想切换就切换

    至于关闭浏览器实例的问题, 可以考虑一下隐私模式, Chrome cdp 通过新建一个个 Browser Context 的时候指定特定的 proxyServer, 这个开销比较小, 而且开一大堆浏览器上下文关闭时候会清理垃圾文件, 不会 CDP 的话就没办法了
    1995bugme
        13
    1995bugme  
    OP
       Apr 8, 2024
    多谢各位的回复,临时被指派爬取数据,在这方面自己并不擅长,各位提到的这些技术点,我还需要消化一下。
    About     Help     Advertise     Blog     API     FAQ     Solana     1071 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 73ms UTC 22:46 PVG 06:46 LAX 15:46 JFK 18:46
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86