目前用了 mongo 打算一天存一个集合,但是数据到了五千万左右的时候写入速度就很慢了,每秒几百条。
{ "_id" : ObjectId("5da7e7842bd2cd5578ebdf52"), "time" : "2019-09-01 08:01:45.899", "src_ip" : "59.1.1.1", "port" : "64466", "proto" : "TCP", "in_bytes" : "60", "out_bytes" : "0", "in_packets" : "1", "out_packets" : "0", "flows" : "1", "is_edu_net" : "1" }
数据结构大概是这样,后面需要展示,就这样表格一条数据占一行,会按照 ip,端口,或者协议查询。
![]() | 1 oscer 2019-10-17 16:21:40 +08:00 pg? |
2 taotaodaddy 2019-10-17 16:22:48 +08:00 via Android 时序? |
![]() | 3 mikulch 2019-10-17 16:33:12 +08:00 ![]() hbase? |
![]() | 4 atbility 2019-10-17 16:43:07 +08:00 elasticsearch? |
![]() | 5 l0wkey 2019-10-17 16:46:10 +08:00 TSDB |
![]() | 6 rrfeng 2019-10-17 16:48:48 +08:00 应该是 cache 满了,合理调整一下应该可以的。 |
![]() | 7 qiayue PRO 不用问,问就是时序数据库 |
![]() | 8 tt67wq 2019-10-17 16:57:19 +08:00 influxdb |
![]() | 9 letitbesqzr 2019-10-17 17:18:54 +08:00 @atbility #4 elasticsearch 真的适合如此高的频率写入数据?我所了解要说写入效率,es 是常见的数据库中最慢的。 |
10 hkitdog 2019-10-17 17:24:52 +08:00 via iPhone Oracle |
11 ebingtel 2019-10-17 17:26:44 +08:00 @letitbesqzr 先写入 kafka 再写 ES |
![]() | 12 yingsunwl 2019-10-17 17:33:24 +08:00 clickhouse |
![]() | 13 rockyou12 2019-10-17 17:34:59 +08:00 时序库吧,timescale,influxdb 这种,上面说 es 估计也行但性能会差些 |
![]() | 14 11ssss 2019-10-17 17:36:43 +08:00 TDengine |
![]() | 15 atbility 2019-10-17 17:37:06 +08:00 @letitbesqzr es 挺快的啊,上次我整了 10 个亿的数据,9 台服务器,速度杠杠滴 |
![]() | 16 zxc111 2019-10-17 17:38:17 +08:00 clickhouse+1 |
17 wangxiaoaer 2019-10-17 19:02:49 +08:00 |
![]() | 18 Pythondr 2019-10-18 01:08:54 +08:00 via Android 这种数据,明显时序数据库 |
![]() | 19 Samuelcc 2019-10-18 02:28:03 +08:00 via Android hbase |