13.2.22.2. 使用来自最接近副本的消息
机架意识也可以用于消费者从最接近的副本中获取数据。这可用于在 Kafka 集群跨越多个数据中心时减少网络负载,也可以在公共云中运行 Kafka 时降低成本。但是,它可能会导致延迟增加。
为了能够从最接近的副本中消耗,必须在 Kafka 集群中配置机架感知,并且必须启用 RackAwareReplicaSelector
。副本选择器插件提供允许客户端使用最接近的副本的逻辑。默认实施使用 LeaderSelector
来始终为客户端选择领导副本。为 replica.selector.class
Specify RackAwareReplicaSelector
从默认实现中切换。
使用启用副本感知选择器的机 架
配置示例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... rack: topologyKey: topology.kubernetes.io/zone config: # ... replica.selector.class: org.apache.kafka.common.replica.RackAwareReplicaSelector # ...
除了 Kafka 代理配置外,还需要在消费者中指定 client.rack
选项。client.rack
选项应当指定使用者运行的 机架 ID。RackAwareReplicaSelector
与 broker.rack
和 client.rack
ID 匹配,以查找最接近的副本并从其中消耗。如果同一机架中有多个副本,RackAwareReplicaSelector
总是选择最新的副本。如果没有指定机架 ID,或者无法找到具有相同机架 ID 的副本,它将回退到领导副本。
图 13.1. 显示从同一可用区中的副本消耗的客户端示例
在 Kafka Connect 中使用来自最接近的副本的信息也可以在使用信息的 sink 连接器中使用。当使用 AMQ Streams 部署 Kafka Connect 时,您可以使用 KafkaConnect 或
自定义资源中的 KafkaConnect
S2Irack
部分来自动配置 client.rack
选项。
Kafka Connect 的机 架
配置示例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect # ... spec: kafka: # ... rack: topologyKey: topology.kubernetes.io/zone # ...
在 KafkaConnect 或
自定义资源中启用 rack 识别功能不会设置任何关联性规则,但您也可以配置 KafkaConnect
S2I关联性
或 topologySpreadConstraints
。如需更多信息,请参阅 第 2.7 节 “配置 pod 调度”。