最近遇到一个站的页面无法通过 curl 获取内容 - V2EX
whereFly
V2EX    PHP

最近遇到一个站的页面无法通过 curl 获取内容

  •  
  •   whereFly Mar 21, 2024 3156 views
    This topic created in 783 days ago, the information mentioned may be changed or developed.

    好像是有同源策略限制,不怎么懂。 直接打开目标页面正常显示,通过 curl 获取的却是例外的内容,无解了吗?

    19 replies    2024-03-22 09:14:22 +08:00
    tool2d
        1
    tool2d  
       Mar 21, 2024
    同源策略是针对浏览器的,而 curl 是纯客户端,并不存在这个限制,应该是别的什么原因。

    把地址贴出来看看呗。
    Routeros
        2
    Routeros  
       Mar 21, 2024
    盲猜 User-Agent
    tubinorg
        3
    tubinorg  
       Mar 21, 2024
    还有可能是重定向
    NessajCN
        4
    NessajCN  
       Mar 21, 2024
    你看浏览器请求头是啥,复制一份一样的进 curl -H 里再试试
    doublespout
        5
    doublespout  
       Mar 21, 2024
    有一次性的 token 这种令牌的限制? ajax 接口还是页面?
    tool2d
        6
    tool2d  
       Mar 21, 2024
    @tubinorg 还有可能是 nonce ,防止重返攻击的。

    浏览器访问过一次,参数失效,curl 客户端就不能访问了。除非把浏览器这个请求给拦截下来不发送。
    1018ji
        7
    1018ji  
       Mar 21, 2024
    你为啥不贴出来,又不犯法
    abccccabc
        8
    abccccabc  
       Mar 21, 2024
    会不会是套了一层 cf 的网站呢?
    yuzo555
        9
    yuzo555  
       Mar 21, 2024
    curl 的默认 User-Agent 是 curl/版本号,特别容易识别并屏蔽。
    zhenwang
        10
    zhenwang  
       Mar 21, 2024
    在浏览器上,网络请求中,针对请求,右键 复制 “以 cURL 格式复制”,再在 curl 中试下。
    j869716
        11
    j869716  
       Mar 21, 2024
    学会使用 `-vvv`
    err1y
        12
    err1y  
       Mar 21, 2024 via iPhone
    ua 或者 ja3
    keepfun
        13
    keepfun  
       Mar 21, 2024 via iPhone
    现在好多都是渲染出来的 curl 抓取早都过时了
    yolee599
        14
    yolee599  
       Mar 21, 2024
    Firefox:
    浏览器打开 -> 按 F12 -> 选择“网络” -> 刷新 -> 选中一个请求 -> 右键 -> 复制值 -> 复制为 cURL 命令 -> 终端粘贴测试
    yanw
        15
    yanw  
       Mar 21, 2024
    1. 针对 agent ip 被 block 了
    2. 页面是 js 渲染的
    AJ1if4
        16
    AJ1if4  
       Mar 21, 2024
    gamexg
        17
    gamexg  
       Mar 21, 2024
    @yolee599 #14 楼主, chrome 也支持这个功能
    iminto
        18
    iminto  
       Mar 21, 2024 via Android
    这不很正常吗。

    UA 不一样,curl 也无法渲染页面。。

    还有终极杀器,指纹不一样
    ColoThor
        19
    ColoThor  
       Mar 22, 2024
    需要 js 渲染,没浏览器环境就不行了
    About     Help     Advertise     Blog     API     FAQ     Solana     1191 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 78ms UTC 23:33 PVG 07:33 LAX 16:33 JFK 19:33
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86