我们正在使用 Kafka 镜像制作器将 0.8.2.1 集群中的主题镜像到 0.10.2.0 集群。然而,对于某些主题,我们依赖于循环分区分配(没有明确的分区键)。
我知道镜像制造商保留 key 并维护从源到目标的分区,但我看到一些奇怪的事情发生了:
源集群偏移量:
event_edi:0:28731
event_edi:1:28775
event_edi:2:28643
目标集群偏移量:
event_edi:2:169
event_edi:1:88
event_edi:0:85596
大多数这些消息没有任何键。看起来很奇怪,它们都被组合在一起并被倾倒在同一个分区而不是循环中。
对于镜像制造商,我运行了一个 SyncProducer,其余的配置都是默认的。
如果有人可以帮助我了解如何避免这种情况/或者如果我错了,将不胜感激!
蒂亚!
请您参考如下方法:
如果您没有使用 key 显式分区日志,它会执行此操作。我们的消息没有任何分区键,因此落在同一个分区中