推荐系统的曝光去重怎么快速实现 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复粘贴 AI 生成的内容
awanganddong
V2EX    程序员

推荐系统的曝光去重怎么快速实现

  •  
  •   awanganddong 2022-11-30 17:54:40 +08:00 1677 次点击
    这是一个创建于 1045 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求大概是这样的,对用户看过的视频不在展示, 现在通过 mysql wherenotin 处理的,但是这种是存在上限的。 想知道一个比较务实的技术实现。

    7 条回复    2025-03-10 13:16:11 +08:00
    awanganddong
        1
    awanganddong  
    OP
       2022-11-30 17:57:49 +08:00
    t/450968

    这是一个相关的链接地址
    awanganddong
        2
    awanganddong  
    OP
       2022-11-30 18:02:40 +08:00
    https://blog.51cto.com/u_14291117/5176554

    vivo 短视频推荐去重服务的设计实践 原创
    dqzcwxb
        3
    dqzcwxb  
       2022-11-30 19:34:25 +08:00
    redis zset 就够了,5000 万日活的方案不会让你来做的
    sujin190
        4
    sujin190  
       2022-12-01 13:52:36 +08:00
    bitmap 应该是数据量计算量都比较少的了吧,如果视频量比较多用户看的少,那么把 bitmap 分区就是了呗,整区都没看过就不需要保存,redis 就有 bitmap 支持,或者保存在数据库也行啊,分区后用视频 ID 直接就可以计算分区号,然后用区块号读取整个区块很快就判断完了,如果是信息流这种用户看过的和即将看的都是最近的,那么读取数据量还是很小的
    awanganddong
        5
    awanganddong  
    OP
       2022-12-01 14:58:09 +08:00
    推荐系统(2):详解曝光去重实践
    https://zhuanlan.zhihu.com/p/438660053


    又找到一篇文章
    awanganddong
        6
    awanganddong  
    OP
       2022-12-01 15:55:06 +08:00
    t/783253
    相关资料
    sunshinev
        7
    sunshinev  
       214 天前
    每个用户维护一个 bloom 过滤器,100000 条去重,误判率 0.01%,每个用户的过滤器 bitmap 差不多 10k ,每天推荐 1000 条,过滤器就是能用 100 天,其实每次推荐的时候,从 db 里取最新 3 天的数据推荐就行,过滤器每隔一个月重置一次;

    问题就是重置的时候,可能会有重复推荐 3 天内的数据的情况出现;

    反正不建议使用 db 进行推荐,每个用户频繁刷新接口,对 db 的压力还是很大,搞 redis 就挺好;
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2982 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 13:33 PVG 21:33 LAX 06:33 JFK 09:33
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86