视频网站的播放历史记录是怎么设计与存储的?(b 站、爱奇艺、腾讯视频什么的) - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
shhch
V2EX    程序员

视频网站的播放历史记录是怎么设计与存储的?(b 站、爱奇艺、腾讯视频什么的)

  •  
  •   shhch 2020 年 12 月 1 日 3863 次点击
    这是一个创建于 1880 天前的主题,其中的信息可能已经有所发展或是发生改变。

    今天在 b 站看视频,感觉不太爽,就准备在电脑上看,手机刚关,然后在 pc 端播放历史里面点开了;

    突然想到,这个历史记录的实时性还可以啊,应该是实时上报到服务器的;历史记录加载速度也挺快的;然后又看了下,历史记录大概存了 3 个月,以 b 站这个用户量,数据量也不少了;

    比较好奇这部分是怎么设计的,有没有大佬一起讨论下?

    第 1 条附言    2020 年 12 月 1 日
    在页面上看了下,上报是通过 heartbeat 接口进行上报的,在视频开始和暂时时都会触发心跳,视频播放中是每 15 秒进行一次心跳;
    心跳包含:播放时长、视频 id ( bvid )、时间戳和一些 id 等字段;

    那么在视频开始时,历史记录已经上报了,用户在拉取的时候就可以拿到,最多上次观看时间点会有些偏差;
    8 条回复    2020-12-03 14:30:28 +08:00
    cincout
        1
    cincout  
       2020 年 12 月 1 日
    这个并不是实时的,至少手机上不是,app 端是关闭当前播放页面,才会记录到历史记录里面
    Anarchy
        2
    Anarchy  
       2020 年 12 月 1 日 via Android
    就在退出页面,或熄屏的时候上报一次就够用了吧
    chloelam101
        3
    chloelam101  
       2020 年 12 月 1 日
    OTT 来说,我是做电视的,基本上在播放器所有行为都要上报 timeline,因为多端,会做本地一份,上报一份。如果再次进入有校正 timeline 的,总体来说要保证多端同步。本地的话,如果是电视的话,多数做一个暂存器,先进后出那样子。
    shhch
        4
    shhch  
    OP
       2020 年 12 月 1 日
    数据存储方面,b 站给出的日活是 5000w,假设平均每个用户每日观看 60 个视频,那么数据量 60*30*3*0.5 = 2700 亿;

    历史记录如果是传统数据库的话,这个数据量需要分库,用 user_id 和 timestamp 做一个联合索引应该就可以查到了;

    不过历史记录存在修改的情况,同一个视频可能会被再看一遍,时间戳会修改;
    shhch
        5
    shhch  
    OP
       2020 年 12 月 1 日
    还有上报到存储,这中间应该一些架构流程支撑上报的并发量
    u2r1Hqo6HExmNsrt
        6
    u2r1Hqo6HExmNsrt  
       2020 年 12 月 2 日
    这东西用 nosql 搞根本不是问题吧,又不需要事务。nosql 可以线性扩展机器,用户量都不是什么问题。
    shhch
        7
    shhch  
    OP
       2020 年 12 月 2 日
    @Nillouise nosql 选型是啥
    eric96
        8
    eric96  
       2020 年 12 月 3 日
    aws 的 dynamodb,支持 ttl,写入读取可扩展
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2255 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 01:06 PVG 09:06 LAX 17:06 JFK 20:06
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86