因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的

因为公司业务的原因,要处理比较多的物联数据。业主要求物联数据要能实时展示,并进行一定的复杂计算。 不想上 Flink 的原因: 1.Flink 太重了,一次就要上好多个节点,且业务是要交付到业主现场的,不可能派人盯着 Flink 的维护 2.Flink 有些场景下依旧不是特别好用,所以放弃 想问问有没有大牛介绍下比较好用的实时数据架构或者引擎的
1 zhenjiachen Jul 14, 2025 直接把所有的 flink 依赖打包到 jar 里面,然后 java -jar 运行? |
2 bronyakaka Jul 14, 2025 感觉基本都是与 kafka 配套的 |
3 bronyakaka Jul 14, 2025 Redis Streams 比较轻量 |
4 chenquan Jul 14, 2025 |
5 chenquan Jul 14, 2025 毕竟轻量 -> 比较轻量 |
6 user1284 Jul 14, 2025 用如果你的“复杂计算”大多是时间窗口内的聚合、分组、排序,ClickHouse 是非常合适的,并且部署也比 Flink 轻。 |
7 lianhuayu420 Jul 14, 2025 rust 里有几个 像 https://github.com/ArroyoSystems/arroyo ,https://risingwave.com/ , 还有很多基于类 sql 的 ,https://siddhi.io/ |
8 lianhuayu420 Jul 14, 2025 刚找了下 还有这个 https://www.fluvio.io/ |
9 brant2ai OP @yb2313 我的场景确实是需要窗口内聚合,但是窗口是不固定的。比如说开始时间是由物联内某个测点发出 1 ,结束也是这个测点发出 0 ,而实际指标是另外的测点来计算。这样就要求能动态获取,且能实时实现的 |
10 padhhcbd Jul 14, 2025 Apache NiFi |
11 Rat3 Jul 14, 2025 数据量要说下 |
12 icchux Jul 14, 2025 看你们的复杂计算多复杂了,如果只是实时但计算逻辑简单那可以接入到 ck 或者 doris 里面用 SQL 直出,但要涉及到状态计算,窗口很大的,一般都是上 flink |
13 cosen Jul 14, 2025 可以考虑买云服务,不用自己维护集群 |
14 brant2ai OP 日两千万这样 |
17 vvtf Jul 15, 2025 我们日~1 亿的数据, 67 种规则,状态大小 500m, 1 个 taskmanager, 2c4g,稳定运行. |
18 yuluoxinsheng Jul 15, 2025 物联网可以考虑边缘计算。看看我这篇. https://juejin.cn/post/7508998028742737958 |
19 runningman Jul 16, 2025 flink 很重吗,还没研究很深 |