有关 hbase 能不能当做时序数据库用的疑问 - V2EX
LeeReamond

有关 hbase 能不能当做时序数据库用的疑问

  •  
  •   LeeReamond Aug 5, 2021 1458 views
    This topic created in 1740 days ago, the information mentioned may be changed or developed.

    首页有个老哥问数据库相关的问题时有很多朋友回复 hbase,我去查了之后想到这个东西能不能当做时序数据库使用的问题。

    使用背景是我有一个需要储存传感器数据的项目,存储上一直感觉不太舒适,我的项目总共有约一万个传感器,每天新增数据在千万行左右,需要保存一年,合计稳定在 36 亿行左右。

    以前尝试过使用时序数据库,但是有几个方面的问题(比如目前大部分是小公司在运营,感觉不太牢靠。而需求方面又需要进行一定的传统关系型数据库的搜索,试了几款数据库在使用中各方面感觉都不太舒适,要可拓展性的话费用也是另一个问题),总之是实测下来在 36 亿这个数量级上,表现并没有比传统的关系型数据库集群+分库分表的效果好很多,所以还是使用原先的方案了。

    不过关系型数据库处理十亿以上数据毕竟还是卡,所以看到 hbase 的时候就很感兴趣,不知道能不能迁移。大概看了一些介绍文章,里面说 hbase 可以支持给每行存一个时间戳,我想知道这个时间戳能不能是手动控制写入的,因为传感器数据收集上来之后要统一做一个校正,不一定写入的时间就是数据采集时间。

    另外,针对一些常见的需求,hbase 能不能做到,比如: 1 、搜集近一个月内 9000 号传感器的所有数据 2 、将 8000 号传感器时间戳为 2020-01-01 18:18:18:666 的数据内容由 aaaaa 修改为 bbbbb 3 、新增或删除单独行

    不知道有没有大佬能指点一下 hbase 在这方面当做替换数据库用的可行性如何?

    4 replies    2021-08-06 03:08:43 +08:00
    Jface
        1
    Jface  
       Aug 5, 2021
    最近也在学习 Hbase 相关知识,如果有误请大家指正
    1.时间戳可以手动输入, 而且还支持多版本, Hbase 是按列存储
    2.Hbase 关键在于设置 rowkey, 就是主键, 配合过滤器能满足各种过滤要求
    3.Hbase 是 NoSQL 数据库, 替换需要考虑到非关系性数据库的影响,这方便我也不太了解...
    noqwerty
        2
    noqwerty  
       Aug 5, 2021 via Android
    直接用 InfluxDB 这种时序数据库有什么问题吗?性能上应该会比 OpenTSDB 好很多
    LeeReamond
        3
    LeeReamond  
    OP
       Aug 5, 2021
    @noqwerty 以前测试使用过,我测试中获取题目中描述的数据量下的数据( 30 亿)中类似限定时间范围+指定传感器的这种需求,获取连续一万条数据,目前调好的关系型数据库能做到延迟 300ms 左右,ifdb 没有在延迟方面表现出明显优势,而其他各项上则明显劣势了,所以当时没有换。不过这是前两年的测试了,现在很多细节我已经忘了,只是有这么个结论的印象
    Samuelcc
        4
    Samuelcc  
       Aug 6, 2021 via Android
    用 influxdb 吧,专门为时序数据设计的数据库,大致原理和 hbase 相似,但是对时序数据的特点做了不少优化。
    About     Help     Advertise     Blog     API     FAQ     Solana     1074 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 43ms UTC 22:50 PVG 06:50 LAX 15:50 JFK 18:50
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86