8.2. 在分布式模式下的 Kafka Connect

运行集群

1. 编辑所有 Kafka Connect worker 节点上的 /opt/kafka/config/connect-distributed.properties Kafka Connect 配置文件。

   • 设置 bootstrap.server 选项以指向 Kafka 代理。
   • 设置 group.id 选项。
   • 设置 config.storage.topic 选项。
   • 设置 offset.storage.topic 选项。

   • 设置 status.storage.topic 选项。

     例如：

     bootstrap.servers=kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
     group.id=my-group-id
     config.storage.topic=my-group-id-configs
     offset.storage.topic=my-group-id-offsets
     status.storage.topic=my-group-id-status

     Copy to Clipboard Toggle word wrap

2. 使用所有 Kafka Connect 节点上的 /opt/kafka/config/connect-distributed.properties 配置文件启动 Kafka Connect worker。

   su - kafka
   /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties

   Copy to Clipboard Toggle word wrap

3. 验证 Kafka Connect 是否正在运行。

   jcmd | grep ConnectDistributed

   Copy to Clipboard Toggle word wrap

流程

1. 使用连接器配置准备 JSON 有效负载。例如：

   {
     "name": "my-connector",
     "config": {
     "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
       "tasks.max": "1",
       "topics": "my-topic-1,my-topic-2",
       "file": "/tmp/output-file.txt"
     }
   }

   Copy to Clipboard Toggle word wrap

2. 发送 POST 请求到 <KafkaConnectAddress>:8083/connectors，以创建连接器。以下示例使用 curl ：

   curl -X POST -H "Content-Type: application/json" --data @sink-connector.json http://connect0.my-domain.com:8083/connectors

   Copy to Clipboard Toggle word wrap

3. 通过向 < KafkaConnectAddress > :8083/connectors 发送 GET 请求来验证连接器是否已部署。以下示例使用 curl ：

   curl http://connect0.my-domain.com:8083/connectors

   Copy to Clipboard Toggle word wrap

删除连接器

1. 通过向 <KafkaConnectAddress>:8083/connectors/<ConnectorName> 发送 GET 请求来验证连接器是否存在。以下示例使用 curl ：

   curl http://connect0.my-domain.com:8083/connectors

   Copy to Clipboard Toggle word wrap

2. 要删除连接器，请发送 DELETE 请求到 < KafkaConnectAddress& gt; :8083/connectors。以下示例使用 curl ：

   curl -X DELETE http://connect0.my-domain.com:8083/connectors/my-connector

   Copy to Clipboard Toggle word wrap

3. 通过向 < KafkaConnectAddress > :8083/connectors 发送 GET 请求来验证连接器是否已删除。以下示例使用 curl ：

   curl http://connect0.my-domain.com:8083/connectors

   Copy to Clipboard Toggle word wrap