什么值得买的 rss 订阅在抓取的时候遇到安全验证了怎么办 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
freefreesea
V2EX    问与答

什么值得买的 rss 订阅在抓取的时候遇到安全验证了怎么办

  •   freefreesea 3 天前 4529 次点击
    最近想把什么值得买的几个榜单加到热榜站里去,然后看到官方提供了 rss 源
    https://www.smzdm.com/dingyue/
    但是请求过去会遇到验证码验证,这种情况下怎么做。

    如果通过个人账号的 cookie 去做的话,这个 cookie 的有效期是多久,会不会对账号有影响。
    我看好多热榜站都有什么值得买的榜单,所以就来咨询下朋友们
    15 条回复    2025-12-16 14:45:22 +08:00
    queue
        1
    queue  
       3 天前
    你猜什么值得买的技术会不会也在这个站里
    freefreesea
        2
    freefreesea  
    OP
       3 天前
    @queue 所以呢,我看全网很多地方都有什么值得买的榜单,说明他是可取的,只是我的方案不对,我来咨询下正确方案有什么问题呢,这位朋友
    queue
        3
    queue  
       3 天前
    @freefreesea #2 没问题,我的意思是,什么值得买的技术可能也在群里,然后他们可能发现这件事,然后有可能封禁掉。没有不允许你提问的意思
    freefreesea
        4
    freefreesea  
    OP
       3 天前
    @queue 全网几乎 80%的热榜站都有什么值得买的榜单,而且已经很多年。那么这种情况下,你觉得是 [什么值得买] 的技术团队一直发现不了这件事,还是说本身这件事就是允许的
    lavvrence
        5
    lavvrence  
       3 天前
    更换包括 User-Agent 和 JA3/JA4 指纹这类客户端特征。
    NewYear
        6
    NewYear  
       3 天前
    Linuxdo 也这样,开放 RSS ,但服务器通过代码访问不了,然后站长还会很贴心给一个测试截图和你说,RSS 访问没问题啊。

    甚至有人发帖问《为什么 RSS 是给非浏览器访问的,却要验证浏览器?》,终于在半年前,彻底锁死非浏览器访问,然后不了了之。

    而 smzdm ,我试了下,即便是正常浏览器,也访问不了,无解。

    当然啦,你也可以通过他们的联系方式联系一下,能解决的话其实都不是什么大问题。
        7
    RangerWolf  
       3 天前
    http://feed.smzdm.com/ 我简单用 curl 尝试了一次 没有触发验证码
    是不是你请求频率太高了?
    RangerWolf
    maocat
        8
    maocat  
       3 天前 via Android
    别人都在犯法,为什么我一犯法就被抓,别人是如何避免被抓的
    ronyin
        9
    ronyin  
       3 天前
    那你可以反向看看那些热榜的网站,他们用了什么代码
    freefreesea
        10
    freefreesea  
    OP
       3 天前 via Android
    @NewYear 是的,咱俩心路历程一样啊,我也是弄 L 站的,过不了验证,然后 smzdm 也是,偶尔可以访问成功,再就是要么出 403 ,要么出腾讯验证码,还会出别的!难啊兄弟
    freefreesea
        11
    freefreesea  
    OP
       3 天前 via Android
    @ronyin 他们都是闭源的,收费项目一大堆,咱这做公益站的,人家肯定不会和咱交流
    freefreesea
        12
    freefreesea  
    OP
       3 天前 via Android
    @RangerWolf 你再试下其他两个看看
    queue
        13
    queue  
       3 天前
    @freefreesea #4 说明别人没有被发现
    RangerWolf
        14
    RangerWolf  
       2 天前
    @freefreesea #12 确实 第二个就需要验证了
    zhengfan2016
        15
    zhengfan2016  
       2 天前
    可以参考下 rsshub 的实现,基本上大部分热门的网站这里都有


    op 这个帖让我想起以前我的帖子
    [大神们,爬虫如何绕过不讲武德的阿里云的云盾] - https://v2ex.com/t/736334
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     975 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 22:43 PVG 06:43 LAX 14:43 JFK 17:43
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86