有人可以告诉我在 kafka 0.9.0 中(在 kafka 中保存偏移量并使用新的消费者)zookeeper 执行哪些功能可能需要大量资源?这些资源是否会在数据高峰期波动很大?或者仅当集群中发生崩溃时?

请您参考如下方法:

如您所说,在 0.9.0 中,生产者或消费者不再使用 ZooKeeper。然而,Kafka 将其大部分元数据存储在 ZooKeeper 中——主题、分区、副本、ISR、代理等。单个生产或消费不与 ZooKeeper 交互。相反,ZooKeeper 在“更广泛”的操作中进行交互:添加新代理、添加新主题、从失败的代理中恢复、从失败的 Controller 中恢复等。此外,代理与 ZooKeeper 心跳,允许 ZooKeeper 知道代理是否失败。

一般来说,在 0.9.0 中,ZooKeeper 只会成为性能瓶颈,如果你有一个庞大的集群,大量的分区,或者非常“小”的 ZooKeeper 节点。


评论关闭
IT序号网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!