8.2. 在分布式模式中使用 Kafka Connect

运行集群

1. 编辑所有 Kafka Connect worker 节点上的 /opt/kafka/config/connect-distributed.properties Kafka Connect 配置文件。

   • 设置 bootstrap.server 选项以指向 Kafka 代理。
   • 设置 group.id 选项。
   • 设置 config.storage.topic 选项。
   • 设置 offset.storage.topic 选项。

   • 设置 status.storage.topic 选项。

     例如：

     bootstrap.servers=kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
     group.id=my-group-id
     config.storage.topic=my-group-id-configs
     offset.storage.topic=my-group-id-offsets
     status.storage.topic=my-group-id-status

     Copy to Clipboard Toggle word wrap

2. 使用所有 Kafka Connect 节点上的 /opt/kafka/config/connect-distributed.properties 配置文件启动 Kafka Connect worker。

   su - kafka
   /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties

   Copy to Clipboard Toggle word wrap

3. 验证 Kafka Connect 是否正在运行。

   jcmd | grep ConnectDistributed

   Copy to Clipboard Toggle word wrap
4. 使用 Kafka Connect REST API 管理连接器。