* 数据流向:数据上报 API ===> goroutine 写入 buffer (channel) ===> goroutine 后台循环从 buffer 中读取 batchsize 个消息 ===> kafka writer 将获取到的消息写入 kafka
* 目前看到,从 buffer 中读取到的消息都是完整的,但是从 kafka 消费出来的消息很多都被截断了,差不多 30%多
* 每个 topic n 个 partition ,1 个 group ,n 个消费者
* 每条消息的长度从 2k 到 10k 不等,也有更长的,但 90%多在 2k 到 10k 之间
* 被截断的消息:截断为 n 段( n 不确定),比较大的一部分基本都处于 4000 到 8000 个字节之间,小的部分可能就几个字节
**详细信息如上**
**各位,帮忙看下是什么原因导致的,先谢过**
* 目前看到,从 buffer 中读取到的消息都是完整的,但是从 kafka 消费出来的消息很多都被截断了,差不多 30%多
* 每个 topic n 个 partition ,1 个 group ,n 个消费者
* 每条消息的长度从 2k 到 10k 不等,也有更长的,但 90%多在 2k 到 10k 之间
* 被截断的消息:截断为 n 段( n 不确定),比较大的一部分基本都处于 4000 到 8000 个字节之间,小的部分可能就几个字节
**详细信息如上**
**各位,帮忙看下是什么原因导致的,先谢过**
