这是一个创建于 1514 天前的主题，其中的信息可能已经有所发展或是发生改变。
背景：
- 有 2 个数据源分别实时向 kafka 两个 topic （ topicA, topicB ）写数据，A ，B 数据量日均一千万左右。
- topicA, topicB 数据写入顺序略微不同，理论上 A, B 路数据一一对应，通过唯一 ID 可以关联，实际可能会漏数据，也就是存在一部分关联不上的数据。
需求：
- 需要两个 topic 数据关联上后（都消费到后）再执行后面的操作，且时效性要求较高（因此无法通过离线关联）。
各位彦祖有没好的方案或者工具可以处理这种情况。
 | 1 Itoktsnhc 2021 年 11 月 18 日  1 感觉是 Flink |
| 2 Itoktsnhc 2021 年 11 月 18 日 自己实现应该有一个窗口期，比如 5 分钟，从 Topic A 和 B 中取数据，每份数据没有匹配最多向后等待一个窗口期，超时后没有匹配到扔到错误处理流程。正确匹配的数据合并后进入成功的 Topic 作为下游处理队列 |
 | 3 xx6412223 2021 年 11 月 18 日 源端无法保障，你需要的是一个错误处理流程 |
 | 4 masterclock 2021 年 11 月 18 日 flink stateful functions 似乎可以比较好地解决 |
 | 5 SbloodyS 2021 年 11 月 18 日 Flink 搞定 |
 | 6 SmiteChow 2021 年 11 月 18 日 需要前置一个过滤器消费者，整合任务并生产新任务 消费者至少有两个逻辑 1. 批量拉两个 topic 的任务，然后整合 2. 标记整合失败的任务，如果次数或时间大于一定阈值内丢弃任务，其他则重新放回队列等待下次整合 |
| 7 SmiteChow 2021 年 11 月 18 日 另外不要用 Flink 来做这个事，杀鸡焉用牛刀，Flink 是用来在流上做聚合运算的。 你要的不过是整合一个完整的参数给消费者消费。 |
 | 8 MoYi123 2021 年 11 月 18 日 加个 redis, 拿到数据的时候查不到就写入, 能查到就直接合并不就好了. |
 | 9 azkaban 2021 年 11 月 18 日 标准的 flink 双流 join 场景 |
 | 11 whats OP 大家似乎都觉得 flink 做比较合适 |
Select Language