
每天 5~8 亿条同类型的数据,每条数据在 50+个字段(有部分没有,但是也填充成一样的字段了),求助各位 v 友,有没有什么好的数据库方案可以推荐?我好学习下
1 misaka19000 2018-12-14 23:34:39 +08:00 nosql |
2 misaka19000 2018-12-14 23:36:20 +08:00 可以用 ES |
3 hyperdak288 2018-12-14 23:37:07 +08:00 via Android 需求事务就 tidb 不需求就 es 还是看具体的也许类型 |
4 dapang1221 2018-12-14 23:37:09 +08:00 “每天 5~8 亿条同类型的数据,每条数据在 50+个字段”……你这是想把日志存起来……?检索日志试下 EFK 吧,冷数据进磁带机…… |
5 JL1990 OP 没有事务需求,可以说是日志呢,ES 性能怎么样?抱歉,没有用过相关的。我查了下,是属于开源搜索与分析的软件,但存储方案呢?选什么数据库比较好?做集群的话,得多少台机器起步呀~ @hyperdak288 @dapang1221 |
6 jiang2018 2018-12-15 00:26:09 +08:00 via Android 要做分析吗 |
7 jiang2018 2018-12-15 00:26:25 +08:00 via Android 加微信 1259131780 |
8 jiang2018 2018-12-15 00:26:48 +08:00 via Android HANA 内存数据库了解下 |
9 FullBridgeRect 2018-12-15 00:27:29 +08:00 via Android @JL1990 es 貌似可以存东西的 |
10 SsuchingYu 2018-12-15 00:31:46 +08:00 via Android @jiang2018 #8 我总觉得不开源不好。 |
11 yanaraika 2018-12-15 01:58:53 +08:00 via Android 如果里面有非结构化数据需要搜索 那就 es + mongodb,否则就 influxdb |
12 yidinghe 2018-12-15 10:02:45 +08:00 via Android 日志存储对性能要求不高,对可扩展性要求高。用内存数据库不合适,看看 cassandra。 |
13 byteli 2018-12-15 10:20:32 +08:00 via Android 堵需求是怎么样的。如果读和后续分析不太复杂的话用 es 挺好,3 台 8 核 32g 是肯定够了的,甚至 16g 也能凑合,磁盘要大点,每天 8 亿不是很大其实 |