视频网站的播放历史记录是怎么设计与存储的?(b 站、爱奇艺、腾讯视频什么的) - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
shhch

视频网站的播放历史记录是怎么设计与存储的?(b 站、爱奇艺、腾讯视频什么的)

  •  
  •   shhch Dec 1, 2020 4141 views
    This topic created in 1989 days ago, the information mentioned may be changed or developed.

    今天在 b 站看视频,感觉不太爽,就准备在电脑上看,手机刚关,然后在 pc 端播放历史里面点开了;

    突然想到,这个历史记录的实时性还可以啊,应该是实时上报到服务器的;历史记录加载速度也挺快的;然后又看了下,历史记录大概存了 3 个月,以 b 站这个用户量,数据量也不少了;

    比较好奇这部分是怎么设计的,有没有大佬一起讨论下?

    Supplement 1    Dec 1, 2020
    在页面上看了下,上报是通过 heartbeat 接口进行上报的,在视频开始和暂时时都会触发心跳,视频播放中是每 15 秒进行一次心跳;
    心跳包含:播放时长、视频 id ( bvid )、时间戳和一些 id 等字段;

    那么在视频开始时,历史记录已经上报了,用户在拉取的时候就可以拿到,最多上次观看时间点会有些偏差;
    8 replies    2020-12-03 14:30:28 +08:00
    cincout
        1
    cincout  
       Dec 1, 2020
    这个并不是实时的,至少手机上不是,app 端是关闭当前播放页面,才会记录到历史记录里面
    Anarchy
        2
    Anarchy  
       Dec 1, 2020 via Android
    就在退出页面,或熄屏的时候上报一次就够用了吧
    chloelam101
        3
    chloelam101  
       Dec 1, 2020
    OTT 来说,我是做电视的,基本上在播放器所有行为都要上报 timeline,因为多端,会做本地一份,上报一份。如果再次进入有校正 timeline 的,总体来说要保证多端同步。本地的话,如果是电视的话,多数做一个暂存器,先进后出那样子。
    shhch
        4
    shhch  
    OP
       Dec 1, 2020
    数据存储方面,b 站给出的日活是 5000w,假设平均每个用户每日观看 60 个视频,那么数据量 60*30*3*0.5 = 2700 亿;

    历史记录如果是传统数据库的话,这个数据量需要分库,用 user_id 和 timestamp 做一个联合索引应该就可以查到了;

    不过历史记录存在修改的情况,同一个视频可能会被再看一遍,时间戳会修改;
    shhch
        5
    shhch  
    OP
       Dec 1, 2020
    还有上报到存储,这中间应该一些架构流程支撑上报的并发量
    u2r1Hqo6HExmNsrt
        6
    u2r1Hqo6HExmNsrt  
       Dec 2, 2020
    这东西用 nosql 搞根本不是问题吧,又不需要事务。nosql 可以线性扩展机器,用户量都不是什么问题。
    shhch
        7
    shhch  
    OP
       Dec 2, 2020
    @Nillouise nosql 选型是啥
    eric96
        8
    eric96  
       Dec 3, 2020
    aws 的 dynamodb,支持 ttl,写入读取可扩展
    About     Help     Advertise     Blog     API     FAQ     Solana     3842 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 79ms UTC 05:01 PVG 13:01 LAX 22:01 JFK 01:01
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86