监测类似微博或者 twitter 这种平台到底是如何实现的? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
ethbtc
V2EX    程序员

监测类似微博或者 twitter 这种平台到底是如何实现的?

  •  
  •   ethbtc 290 天前 2436 次点击
    这是一个创建于 290 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我看到有一些第三方服务商是可以监测到微博或者 twitter 的用户的点赞,评论或者是转发等社交行为。理论上,社交平台那么多用户,每一个用户都可能实时发送一些数据或者做一些互动。这些服务商是如何精准的监测到的呢?

    目前来看,肯定是可以实现的,从技术上来说,咨询 v 友几个问题

    1. 有哪些实现方案,有没有一些开源的 code 可以参考
    2. 实现这个方案的过程中有没有要注意的坑
    3. 发散一下,类似的其他社交平台例如 tg ,discord ,脸书等呢?

    头脑发热想到这个问题了,对这个问题的思考和研究都停留在比较浅的层次,欢迎批评,讨论。

    欢迎大家把这个话题当做一个开放话题讨论下。

    15 条回复    2025-02-02 11:54:27 +08:00
    SunsetShimmer
        1
    SunsetShimmer  
       289 天前
    公开的就轮询。
    R4rvZ6agNVWr56V0
        2
    R4rvZ6agNVWr56V0  
       289 天前
    你这问题用人民币能解决
    mytsing520
        3
    mytsing520  
    PRO
       289 天前
    微博、X 都有开发者平台
    busier
        4
    busier  
       289 天前 via iPhone
    国外网站技术太差了 爬虫一下就给爬走数据了

    你看咱们的 分分钟触发风控
    MYDB
        5
    MYDB  
       289 天前
    很多平台都有开发者 api
    比如 discord 可以参考 https://discord.com/developers/docs/intro
    然后回归问题:
    1. 基本上都有知名的对应开源代码,可以让 ai 告诉你
    2. 好多开发者 api 没人维护,或者文档太老

    如果平台就不开放 api 硬要玩封闭,只能爬的话,难度很大,一般都是访问特殊的接口(还得是容易绕过鉴权的),运气好的话服务器会返回一些基本的信息,比如返回的 json 里可能包含了点赞数、播放数;运气差只能买其他人的付费接口了,信息差就是钱啊!
    longlonglanguage
        6
    longlonglanguage  
       289 天前
    其实 twitter 也有风控系统,所以想要无所欲为的爬取是不现实的。更稳定的就是买他们的接口,twitter 的叫开发者平台,微博的是开发者平台-微服务。
    shakaraka
        7
    shakaraka  
    PRO
       289 天前
    wogogoing
        8
    wogogoing  
    PRO
       289 天前   2
    我司之前有 twitter 的一键三连的引流数据统计需求,有过一段时间的研究,分享给你:
    1.twitter 有现成的开放 API ,但是限流低的离谱,而且不同接口限流阈值不同,有些接口还只对会员开放,几乎没法用。开通高级会员可以提高阈值,会员等级越要阈值也随着提升,但是要扫描十几万一键三连这种级别的数据,几乎也是做不到的。
    2.业内有个 discord 机器人很牛,几乎所有的项目都用了它来打通 discord 与 twitter 的数据,这个机器人叫 engage ,官方文档在这里: https://docs.engages.io
    3.还有些其他的服务提供商提供聚合好的接口服务,但是当初我们测了一遍稳定性达不到我们需要的生产级别,不过它们的阈值相对官方的高级会员都高。我自己猜测是接口后端聚合的大量爬虫轮询,前端接口通过一定算法调度,不知道对不对,知道的大佬可以分享下。
    halobugTurbo
        9
    halobugTurbo  
       289 天前
    1 、服务商的数据应该是有延迟的。
    2 、实现:拿到匹配的数据后,T-1 做数据对比。
    3 、使用钞能力 API 就能拿到数据。
    ethbtc
        10
    ethbtc  
    OP
       289 天前
    @wogogoing 感谢~很有启发
    milukun
        11
    milukun  
       289 天前
    人家都有开放平台可以买 API 的
    而且有意思的是,微博可以买到的商业接口有一个是“获取某人发表过的历史评论”
    就是说你给到一个用户的 uid ,就能拉取到他在任何微博下面发表的评论,完全社死的一个接口
    你去拉你对象的可能就能找到 ta 出轨的证据 但是 ta 完全还不知情
    unco020511
        12
    unco020511  
       289 天前
    基本都有开放平台 api,但是都有一些限制,可能要结合爬虫
    bugKiller
        13
    bugKiller  
       251 天前
    @wogogoing 就是哪怕很高级的逆向工程师也搞不懂推特 api 吗 ,能展开讲讲聚合爬虫轮询方案吗,没怎么明白
    wogogoing
        14
    wogogoing  
    PRO
       250 天前 via iPhone
    @bugKiller 我也是纯属猜测
    bugKiller
        15
    bugKiller  
       250 天前
    @SunsetShimmer 轮询官方 api 吗 低成本的方式有么
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3112 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 30ms UTC 10:59 PVG 18:59 LAX 03:59 JFK 06:59
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86