本来基于 HDFS 的 spark/impala 的 sql-like 的语法是挺好用的,性能也很不错,无奈 hdfs 上的存储系统一般不支持 update/delete ,只支持 insert ,刚接触 Bigdata 、 DW 这一块,不是很了解这方面的技术 /产品,有什么推荐的吗?
目前有要求如下
目前我知道 GreenPlum , Any other ideas?
PS:没找到合适的节点。
![]() | 1 k00baa 2016-11-16 09:34:43 +08:00 ElasticSearch 可以满足你的需求 |
![]() | 2 tchekai704 OP @k00baa 看了一下 ElasticSearch 的 SQL 并不强大,而且是三方的。还是谢谢推荐! |
![]() | 3 miaoever 2016-11-16 09:46:18 +08:00 目前我接触过的数仓上一般都不支持 update ,基本都是 insert overwrite 或者新建 table 然后 drop 掉原来的 table. |
4 yuankui 2016-11-16 10:18:23 +08:00 那就是 cassandra 啦。。 |
5 yuankui 2016-11-16 10:19:33 +08:00 楼主你可以先去查查,为什么这些数据仓库都不支持 update 。。 难道他们 SB 吗? |
![]() | 6 est 2016-11-16 10:44:26 +08:00 Cassandra |
![]() | 7 vus520 2016-11-16 10:55:58 +08:00 写了一大通,想了想,还是删掉了 |
8 wmttom 2016-11-16 13:51:37 +08:00 既然是 hadoop 生态,我能想到的就是 kudu 了 |
![]() | 9 tchekai704 OP @yuankui 我所知道的基于 Oracle 的 OLAP 的可以支持 update ,但是同时操作相关索引的性能代价很大; hdfs 本身并不支持修改数据,所以 HBase 这样的产品也是用插入新行并且后期进行 compact 来模拟 update ;至于传统的 DW 产品为什么不支持 update 确实是不知道。 |
![]() | 10 tchekai704 OP @vus520 please! |
![]() | 11 F281M6Dh8DXpD1g2 2016-11-16 23:48:15 +08:00 via iPad hive 是支持的 |