各位大佬对预测数据存储有什么好的方案吗 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
y0bcn
V2EX    数据库

各位大佬对预测数据存储有什么好的方案吗

  •  
  •   y0bcn 2022-03-16 13:55:00 +08:00 1760 次点击
    这是一个创建于 1374 天前的主题,其中的信息可能已经有所发展或是发生改变。

    发布时间:t

    预测时间范围:t-->Δi

    现有方案 1:

    v
    发布时间 预测时间 预测项 1 预测项 2 预测项 3 预测项...
    t1 t1+Δ v v v
    t2 t2+Δ v v v v
    t… t...+Δ v v v v

    有点:心智成本低,读写方便

    缺点:记录数多且查询性能较差,建索引后查询性能有所提升但插入速度较慢

    现有方案 2:

    发布时间 Δ1 Δ2 Δ3 Δ… Δi
    t1 V1 V2 V3 V… Vi
    t2 V1 V2 V3 V… Vi
    t… V1 V2 V3 V… Vi

    优点:可有效降低记录数量,提高查询效率

    缺点:进行各种计算时心智成本过高,代码质量难以保证

    现在用 MySQL 硬存,有以上两种方案,发现要么性能差,要么心智成本高,想跟各位大佬取取经 可以尝试 newSQL ,了解了时序数据库感觉好像也不是特别合适?因为时间会有重合

    4 条回复    2022-03-17 14:05:34 +08:00
    dayeye2006199
        1
    dayeye2006199  
       2022-03-17 05:19:10 +08:00   1
    得分析一下你的下游是怎么使用这个数据的。

    我们做过和你的同样的应用,下游需要支持按照发布时间+预测时间作为查询条件的查询和时间上卷操作。
    所以方案 1 对这个需求支持是最好的。

    对发布时间和预测时间需要建立索引。

    数据量如果非常巨量的话,考虑对发布时间或者发布时间的区间(例如一周)做 partition 进行分表操作。

    方案 2 虽然数据更加紧凑,但是下游的查询是真的难写,不推荐。
    y0bcn
        2
    y0bcn  
    OP
       2022-03-17 08:37:17 +08:00
    @dayeye2006199 感谢回复,目前采用方案 2 ,确实下游查询非常难写,做法是将数据查出来后进行拆解转换,来简化开发,但是感觉这样的代码实在是难以维护,还是想办法提高方案 1 的性能才是好的方案。
    zmal
        3
    zmal  
       2022-03-17 11:33:28 +08:00
    方案一中“建索引后查询性能有所提升但插入速度较慢”,感觉写入速度不应该是瓶颈...mysql 写入有不少优化方案,真心数据量特别大还可以 load data 。
    y0bcn
        4
    y0bcn  
    OP
       2022-03-17 14:05:34 +08:00
    @zmal 好的,感谢提醒,我去学习一下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     841 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 20:55 PVG 04:55 LAX 12:55 JFK 15:55
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86