吐槽爬虫(来自火山引擎 IP)伪装 UserAgent - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
请用平和的语言准确描述你所遇到的问题
厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
netnr
V2EX    全球工单系统

吐槽爬虫(来自火山引擎 IP)伪装 UserAgent

  •  
  •   netnr 84 天前 2528 次点击
    这是一个创建于 84 天前的主题,其中的信息可能已经有所发展或是发生改变。
    IP Count
    180.184.145.7 11353
    180.184.147.195 5781
    106.92.145.252 234

    China Beijing
    Beijing Volcano Engine Technology Co. Ltd.

    前三名的 IP 请求统计,前面两个都是火山引擎的 IP ,不清楚这个是火山引擎自己的爬虫还是卖给用户的云服务器,UserAgent 不带 Bot 而是伪装正常的用户访问,非常鄙视这种行为,网站本身对爬虫无限制,但是将爬虫进行了分类,方便统计有效的用户数据,而这种行为有被恶心到。

    图片说明

    12 条回复    2025-07-19 14:14:54 +08:00
    nomagick
        1
    nomagick  
       84 天前
    什么叫伪装

    用 LLM 操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用程序操纵浏览器访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用浏览器插件访问你的网站,UA 是浏览器,算 bot 还是算正常用户
    用户用 Curl 访问你的网站,UA 是 Curl ,算 bot 还是算正常用户

    世界是在不断发展的,现实和你的假设不一致,你吐槽现实说真恶心,有意义么
    netnr
        2
    netnr  
    OP
       84 天前
    附一张同一时段的爬虫统计 @nomagick

    abcopp
        3
    abcopp  
       84 天前
    这个是什么统计
    netnr
        4
    netnr  
    OP
       84 天前
    UserAgent 识别使用的是 https://github.com/matomo-org/device-detector 数据

    从日志记录看 还特意改了版本号

    H97794
        5
    H97794  
       84 天前
    @nomagick 的确应该与时俱进...







    netnr
        6
    netnr  
    OP
       84 天前
    @abcopp ,这是自己站点开发的,UserAgent 识别 + 纯真 IP 解析 + DuckDB + ECharts
    Seanfuck
        7
    Seanfuck  
       84 天前
    火山有搜索 api 业务的
    ClericPy
        8
    ClericPy  
       84 天前
    借路问一句

    现在大模型调用浏览器访问网页,遵循 robots 吗
    nomagick
        9
    nomagick  
       84 天前   1
    @netnr 现在无头浏览器,SSL 指纹伪装都是基操,还有大量基于 Chrome 或者 Electron 的各类应用和浏览器, 早就没办法只通过 UA 就精准分类用户了。
    jimages123
        10
    jimages123  
       84 天前
    现在的基操,都是访问直接先做一段计算工作,要求使用 js 进行计算出结果才能继续访问了
    netnr
        11
    netnr  
    OP
       84 天前
    @nomagick @jimages123 正规军还是遵循的,至少不会像现在这样故意伪装随机版本号
    abcopp
        12
    abcopp  
       84 天前
    直接限流吧,根据 ip 。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5487 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 08:31 PVG 16:31 LAX 01:31 JFK 04:31
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86