有没有办法第一时间获得国内各大新闻网站发布的文章?(5 秒内) - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sdjl
V2EX    问与答

有没有办法第一时间获得国内各大新闻网站发布的文章?(5 秒内)

  •  
      sdjl 2024-09-27 13:23:26 +08:00 2954 次点击
    这是一个创建于 378 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,需要监控各大新闻网站,如腾讯新闻、网易新闻等等,可能上百个。

    有没有办法在这些网站发布文章的几秒内就能获得文章推送?(对方发布的所有文章)

    主要是有个客户向我提出这个需求~~我也不知道可不可以,问问大家。
    24 条回复    2024-09-30 20:51:42 +08:00
    Baymaxbowen
        1
    Baymaxbowen  
       2024-09-27 13:27:06 +08:00
    舆情系统?
    kzfile
        2
    kzfile  
       2024-09-27 13:29:56 +08:00
    不就是 rss 吗,当然,某些网站没有也可以自己配置
    https://docs.rsshub.app/zh/guide/
    sdjl
        3
    sdjl  
    OP
       2024-09-27 13:32:31 +08:00
    @kzfile 这个是主动推送吗? 需要 3 秒内及时推送。
    kzfile
        4
    kzfile  
       2024-09-27 13:36:16 +08:00
    @sdjl 是用户主动拉数据.如果你自建服务,缓存过期时间可以自己调,缓存已过就从对应服务获取最新的
    sdjl
        5
    sdjl  
    OP
       2024-09-27 13:37:22 +08:00
    @kzfile 如果我一秒钟拉取一次,不会被对方封 IP 么?
    sdjl
        6
    sdjl  
    OP
       2024-09-27 13:39:55 +08:00
    也可以购买第三方的服务哈,如果有的话。
    renmu
        7
    renmu  
    nbsp;  2024-09-27 13:40:17 +08:00 via Android
    @sdjl 肯定会啊
    GG668v26Fd55CP5W
        8
    GG668v26Fd55CP5W  
       2024-09-27 13:41:26 +08:00 via iPhone
    这不就是爬虫吗?怕封就搞 ip 池
    sdjl
        9
    sdjl  
    OP
       2024-09-27 13:49:07 +08:00
    @falcon05 爬的成本太高,就是看看有没有其他方案
    QUC062IzY3M1Y6dg
        10
    QUC062IzY3M1Y6dg  
       2024-09-27 14:02:12 +08:00
    @kzfile #2 rss 有延迟,秒级响应不可能做到的
    shadowyue
        11
    shadowyue  
       2024-09-27 14:03:35 +08:00
    你把新闻 APP 的推送通知打开,大新闻会给你推
    gechang
        12
    gechang  
       2024-09-27 14:26:38 +08:00   1
    秒级获取需要投入 ip 池,否则肯定被封,人家也不可能让你白嫖
    sdjl
        13
    sdjl  
    OP
       2024-09-27 14:54:56 +08:00
    @shuxhan
    @gechang

    是的,我也是这样认为的。但是客户让我问问有没有解决方案,我来找大家帮帮忙。
    googlefans
        14
    googlefans  
       2024-09-27 15:21:19 +08:00
    不怕报警吗?打击这种未经同意恶意爬取的
    wzbrbj
        15
    wzbrbj  
       2024-09-27 15:56:05 +08:00
    TG 的新闻频道还不够你用么?
    geekyouth
        16
    geekyouth  
       2024-09-27 16:13:40 +08:00
    今日热榜官网,满足你的需求
    https://tophub.today/
    crysislinux
        17
    crysislinux  
       2024-09-27 16:22:47 +08:00 via Android
    这种肯定只能一直爬。别人有更新又不会告诉你
    a1b2c3T
        18
    a1b2c3T  
       2024-09-27 16:23:44 +08:00
    @wzbrbj #15 一开始我订阅了好多新闻频道,还有 rss 也弄了好多,后来发现没啥用,少看点新闻 哪怕几个月半年不看对自己的生活没有一点影响==,后来就想起来去翻一翻
    luodeyitian
        19
    luodeyitian  
       2024-09-27 16:31:58 +08:00
    正常的新闻发布没那么高的频率,哪怕财联社的电报平均也得 20 秒一个。而且你去爬别人的新闻肯定要加 ip 池的。
    YJi
        20
    YJi  
       2024-09-27 16:46:33 +08:00
    上百个平台全量数据么? (全量肯定做不到)
    还是针对特定频道,特定用户的定向监测?比如某些官媒,某些大 V 这种。
    apple
        21
    apple  
       2024-09-27 22:10:18 +08:00
    这种级别的爬虫,属于违法范围了
    people0000future
        22
    people0000future  
       2024-09-28 05:59:57 +08:00
    可以参考一下隐订阅 https://yinrss.com/?media=&keyword=
    sdjl
        23
    sdjl  
    OP
       2024-09-28 11:11:43 +08:00
    @apple 法律有规定怎么爬算违法? 怎么爬不算违法?
    apple
        24
    apple  
       2024-09-30 20:51:42 +08:00
    这种级别的爬虫,属于违法范围了
    @sdjl 你检索一下类似关键词:破坏计算机信息系统罪
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2861 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 22ms UTC 14:19 PVG 22:19 LAX 07:19 JFK 10:19
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86