请教各位,这种海量数据的存储方案~ - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JL1990
0.5D
V2EX    问与答

请教各位,这种海量数据的存储方案~

  •  
  •   JL1990 2018-12-14 23:23:10 +08:00 2399 次点击
    这是一个创建于 2507 天前的主题,其中的信息可能已经有所发展或是发生改变。

    每天 5~8 亿条同类型的数据,每条数据在 50+个字段(有部分没有,但是也填充成一样的字段了),求助各位 v 友,有没有什么好的数据库方案可以推荐?我好学习下

    14 条回复    2018-12-15 14:27:02 +08:00
    misaka19000
        1
    misaka19000  
       2018-12-14 23:34:39 +08:00
    nosql
    misaka19000
        2
    misaka19000  
       2018-12-14 23:36:20 +08:00
    可以用 ES
    hyperdak288
        3
    hyperdak288  
       2018-12-14 23:37:07 +08:00 via Android
    需求事务就 tidb
    不需求就 es
    还是看具体的也许类型
    dapang1221
        4
    dapang1221  
       2018-12-14 23:37:09 +08:00
    “每天 5~8 亿条同类型的数据,每条数据在 50+个字段”……你这是想把日志存起来……?检索日志试下 EFK 吧,冷数据进磁带机……
    JL1990
        5
    JL1990  
    OP
       2018-12-14 23:52:59 +08:00
    没有事务需求,可以说是日志呢,ES 性能怎么样?抱歉,没有用过相关的。我查了下,是属于开源搜索与分析的软件,但存储方案呢?选什么数据库比较好?做集群的话,得多少台机器起步呀~
    @hyperdak288
    @dapang1221
    jiang2018
        6
    jiang2018  
       2018-12-15 00:26:09 +08:00 via Android
    要做分析吗
    jiang2018
        7
    jiang2018  
       2018-12-15 00:26:25 +08:00 via Android
    加微信 1259131780
    jiang2018
        8
    jiang2018  
       2018-12-15 00:26:48 +08:00 via Android
    HANA 内存数据库了解下
    FullBridgeRect
        9
    FullBridgeRect  
       2018-12-15 00:27:29 +08:00 via Android
    @JL1990 es 貌似可以存东西的
    SsuchingYu
        10
    SsuchingYu  
       2018-12-15 00:31:46 +08:00 via Android
    @jiang2018 #8 我总觉得不开源不好。
    yanaraika
        11
    yanaraika  
       2018-12-15 01:58:53 +08:00 via Android
    如果里面有非结构化数据需要搜索 那就 es + mongodb,否则就 influxdb
    yidinghe
        12
    yidinghe  
       2018-12-15 10:02:45 +08:00 via Android
    日志存储对性能要求不高,对可扩展性要求高。用内存数据库不合适,看看 cassandra。
    byteli
        13
    byteli  
       2018-12-15 10:20:32 +08:00 via Android
    堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好,3 台 8 核 32g 是肯定够了的,甚至 16g 也能凑合,磁盘要大点,每天 8 亿不是很大其实
    JL1990
        14
    JL1990  
    OP
       2018-12-15 14:27:02 +08:00
    没有很复杂的后续分析,目前考虑就用 ES 了,后续再考虑 4#说的 EFK 方案吧,感谢各位
    @byteli
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2521 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 07:29 PVG 15:29 LAX 00:29 JFK 03:29
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86