8.2. 以分布式模式进行 Kafka Connect

在分布式模式中，Kafka Connect 在一个或多个 worker 节点上运行，工作负载分布在这些节点上。您可以使用 HTTP REST 接口管理连接器插件及其配置。

要在分布式模式下配置 Kafka Connect，编辑 config/connect-distributed.properties 配置文件。以下选项最为重要：

bootstrap.servers: 用作到 Kafka 的 bootstrap 连接的 Kafka 代理地址列表。例如： kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092。
key.converter: 用于将消息键转换为 Kafka 格式的类。例如： org.apache.kafka.connect.json.JsonConverter。
value.converter: 用于将消息有效负载转换为 Kafka 格式的类。例如： org.apache.kafka.connect.json.JsonConverter。
group.id: 分布式 Kafka Connect 集群的名称。这必须是唯一的，且不得与其他消费者组 ID 冲突。默认值为 connect-cluster。
config.storage.topic: 用于存储连接器配置的 Kafka 主题。默认值为 connect-configs。
offset.storage.topic: 用于存储偏移的 Kafka 主题。默认值为 connect-offset。
status.storage.topic: 用于 worker 节点状态的 Kafka 主题。默认值为 connect-status。

AMQ Streams 在分布式模式中包括 Kafka Connect 的示例配置文件 - 请参阅 AMQ Streams 安装目录中的 config/connect-distributed.properties。

有关所有支持的 Kafka Connect 配置选项的完整列表，请参阅附录 F, Kafka Connect 配置参数。

连接器插件使用 bootstrap 地址打开与 Kafka 代理的客户端连接。要配置这些连接，请使用前缀为 producer. 或 consumer. 的标准 Kafka 制作者和消费者配置选项。

有关配置 Kafka 生产者和消费者的详情，请参考：