10.8.4. 커넥터 오프셋 나열

프로세스

1. listOffsets 구성을 포함하도록 커넥터의 KafkaConnector 리소스를 편집합니다.

   오프셋을 나열할 구성의 예

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnector
   metadata:
     name: my-source-connector
     labels:
       strimzi.io/cluster: my-connect-cluster
   spec:
     listOffsets:
       toConfigMap: 

   1

   
         name: my-connector-offsets 

   2

   
     # ...

   1

   오프셋 목록이 기록될 구성 맵에 대한 참조입니다.

   2

   이 예제에서 my-connector-offsets 라는 구성 맵의 이름입니다.

2. 명령을 실행하여 KafkaConnector 리소스에 주석을 달아 구성 맵에 목록을 작성합니다.

   oc annotate kafkaconnector my-source-connector strimzi.io/connector-offsets=list -n <namespace>

   주석은 목록 작업이 성공하거나 리소스에서 수동으로 제거될 때까지 유지됩니다.

3. KafkaConnector 리소스가 업데이트된 후 다음 명령을 사용하여 오프셋이 있는 구성 맵이 생성되었는지 확인합니다.

   oc get configmap my-connector-offsets -n <namespace>

4. 구성 맵의 콘텐츠를 검사하여 오프셋이 나열되어 있는지 확인합니다.

   oc describe configmap my-connector-offsets -n <namespace>

   Apache Kafka의 스트림은 오프셋 정보를 offsets.json 속성에 배치합니다. 기존 구성 맵을 업데이트할 때 다른 속성을 덮어쓰지 않습니다.

   소스 커넥터 오프셋 목록의 예

   apiVersion: v1
   kind: ConfigMap
   metadata:
     # ...
     ownerReferences: 

   1

   
     - apiVersion: kafka.strimzi.io/v1beta2
       blockOwnerDeletion: false
       controller: false
       kind: KafkaConnector
       name: my-source-connector
       uid: 637e3be7-bd96-43ab-abde-c55b4c4550e0
     resourceVersion: "66951"
     uid: 641d60a9-36eb-4f29-9895-8f2c1eb9638e
   data:
     offsets.json: |-
       {
         "offsets" : [ {
           "partition" : {
             "filename" : "/data/myfile.txt" 

   2

   
           },
           "offset" : {
             "position" : 15295 

   3

   
           }
         } ]
       }

   1

   소스 커넥터의 KafkaConnector 리소스를 가리키는 소유자 참조입니다. 사용자 정의 소유자 참조를 제공하려면 사전에 구성 맵을 생성하고 소유자 참조를 설정합니다.

   2

   파일 기반 커넥터의 경우 이 예제의 파일 이름 /data/myfile.txt 로 표시되는 소스 파티션입니다.

   3

   소스 파티션에서 마지막으로 처리된 오프셋 위치입니다.

   싱크 커넥터 오프셋 목록의 예

   apiVersion: v1
   kind: ConfigMap
   metadata:
     # ...
     ownerReferences: 

   1

   
     - apiVersion: kafka.strimzi.io/v1beta2
       blockOwnerDeletion: false
       controller: false
       kind: KafkaConnector
       name: my-sink-connector
       uid: 84a29d7f-77e6-43ac-bfbb-719f9b9a4b3b
     resourceVersion: "79241"
     uid: 721e30bc-23df-41a2-9b48-fb2b7d9b042c
   data:
     offsets.json: |-
       {
         "offsets": [
           {
             "partition": {
               "kafka_topic": "my-topic", 

   2

   
               "kafka_partition": 2 

   3

   
             },
             "offset": {
               "kafka_offset": 4 

   4

   
             }
           }
         ]
       }

   1

   싱크 커넥터의 KafkaConnector 리소스를 가리키는 소유자 참조입니다.

   2

   싱크 커넥터가 사용하는 Kafka 주제입니다.

   3

   Kafka 주제의 파티션입니다.

   4

   이 주제 및 파티션에 대해 마지막으로 커밋된 Kafka 오프셋입니다.