我们正在使用 Kafka 镜像制作器将 0.8.2.1 集群中的主题镜像到 0.10.2.0 集群。然而,对于某些主题,我们依赖于循环分区分配(没有明确的分区键)。

我知道镜像制造商保留 key 并维护从源到目标的分区,但我看到一些奇怪的事情发生了:

源集群偏移量:

event_edi:0:28731 
event_edi:1:28775 
event_edi:2:28643 

目标集群偏移量:
event_edi:2:169 
event_edi:1:88 
event_edi:0:85596 

大多数这些消息没有任何键。看起来很奇怪,它们都被组合在一起并被倾倒在同一个分区而不是循环中。

对于镜像制造商,我运行了一个 SyncProducer,其余的配置都是默认的。

如果有人可以帮助我了解如何避免这种情况/或者如果我错了,将不胜感激!
蒂亚!

请您参考如下方法:

如果您没有使用 key 显式分区日志,它会执行此操作。我们的消息没有任何分区键,因此落在同一个分区中


评论关闭
IT序号网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!