因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的
1 zhenjiachen 88 天前 直接把所有的 flink 依赖打包到 jar 里面,然后 java -jar 运行? |
![]() | 2 bronyakaka 88 天前 感觉基本都是与 kafka 配套的 |
![]() | 3 bronyakaka 88 天前 Redis Streams 比较轻量 |
4 chenquan 88 天前 |
5 chenquan 88 天前 毕竟轻量 -> 比较轻量 |
![]() | 6 yb2313 88 天前 用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序,ClickHouse 是非常合适的,并且部署也比 Flink 轻。 |
7 lianhuayu420 88 天前 rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ , 还有很多基于类 sql 的 ,https://siddhi.io/ |
8 lianhuayu420 88 天前 刚找了下 还有这个 https://www.fluvio.io/ |
9 brant2ai OP @yb2313 我的场景确实是需要窗口内聚合,但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ,结束也是这个测点发出 0 ,而实际指标是另外的测点来计算。这样就要求能动态获取,且能实时实现的 |
10 lezw 88 天前 Apache NiFi |
![]() | 11 Rat3 88 天前 数据量要说下 |
![]() | 12 icchux 88 天前 看你们的复杂计算多复杂了,如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出,但要涉及到状态计算,窗口很大的,一般都是上 flink |
13 cosen 88 天前 可以考虑买云服务,不用自己维护集群 |
14 brant2ai OP 日两千万这样 |
17 vvtf 87 天前 我们日~1 亿的数据, 67 种规则,状态大小 500m, 1 个 taskmanager, 2c4g,稳定运行. |
![]() | 18 yuluoxinsheng 87 天前 物联网可以考虑边缘计算。看看我这篇. https://juejin.cn/post/7508998028742737958 |
19 runningman 86 天前 flink 很重吗,还没研究很深 |