7.2. 분산 모드에서 Kafka 연결

클러스터 실행

1. 모든 Kafka Connect 작업자 노드에서 /opt/kafka/config/connect-distributed.properties Kafka Connect 구성 파일을 편집합니다.

   • Kafka 브로커를 가리키도록 bootstrap.server 옵션을 설정합니다.
   • group.id 옵션을 설정합니다.
   • config.storage.topic 옵션을 설정합니다.
   • offset.storage.topic 옵션을 설정합니다.

   • status.storage.topic 옵션을 설정합니다.

     예를 들면 다음과 같습니다.

     bootstrap.servers=kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
     group.id=my-group-id
     config.storage.topic=my-group-id-configs
     offset.storage.topic=my-group-id-offsets
     status.storage.topic=my-group-id-status

2. 모든 Kafka Connect 노드에서 /opt/kafka/config/connect-distributed.properties 구성 파일을 사용하여 Kafka Connect 작업자를 시작합니다.

   su - kafka
   /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties

3. Kafka Connect가 실행 중인지 확인합니다.

   jcmd | grep ConnectDistributed

프로세스

1. 커넥터 구성을 사용하여 JSON 페이로드를 준비합니다. 예를 들면 다음과 같습니다.

   {
     "name": "my-connector",
     "config": {
     "connector.class": "org.apache.kafka.connect.file.FileStreamSinkConnector",
       "tasks.max": "1",
       "topics": "my-topic-1,my-topic-2",
       "file": "/tmp/output-file.txt"
     }
   }

2. < KafkaConnectAddress > :8083/connectors 에 POST 요청을 보내 커넥터를 만듭니다. 다음 예제에서는 curl 을 사용합니다.

   curl -X POST -H "Content-Type: application/json" --data @sink-connector.json http://connect0.my-domain.com:8083/connectors

3. < KafkaConnectAddress > :8083/connectors 에게 GET 요청을 전송하여 커넥터가 배포되었는지 확인합니다. 다음 예제에서는 curl 을 사용합니다.

   curl http://connect0.my-domain.com:8083/connectors

커넥터 삭제

1. GET 요청을 < KafkaConnectAddress > :8083/connectors/ <ConnectorName > 에 전송하여 커넥터가 존재하는지 확인합니다. 다음 예제에서는 curl 을 사용합니다.

   curl http://connect0.my-domain.com:8083/connectors

2. 커넥터를 삭제하려면 < KafkaConnectAddress > :8083/connectors 로 DELETE 요청을 보냅니다. 다음 예제에서는 curl 을 사용합니다.

   curl -X DELETE http://connect0.my-domain.com:8083/connectors/my-connector

3. < KafkaConnectAddress > :8083/connectors 에게 GET 요청을 전송하여 커넥터가 삭제되었는지 확인합니다. 다음 예제에서는 curl 을 사용합니다.

   curl http://connect0.my-domain.com:8083/connectors