第11章 アプリケーション用 Debezium コネクターの設定

前提条件

• Kafka Connect のカスタムリソースで、metadata.annotations の use-connector-resources の値により、クラスターの Operator が KafkaConnector カスタムリソースを使用してクラスター内のコネクターを設定するように指定されている。以下に例を示します。

   ...
      metadata:
        name: my-connect-cluster
        annotations: strimzi.io/use-connector-resources: "true"
   ...

  Copy to Clipboard Toggle word wrap

手順

• topic.creation.default グループのプロパティーを定義するには、以下の例に示すように、コネクターのカスタムリソースの spec.config にプロパティーを追加します。

  apiVersion: kafka.strimzi.io/v1beta1
  kind: KafkaConnector
  metadata:
    name: inventory-connector
    labels:
      strimzi.io/cluster: my-connect-cluster
  spec:
  ...
  
     config:
  ...
       topic.creation.default.replication.factor: 3  

  1

  
       topic.creation.default.partitions: 10  

  2

  
       topic.creation.default.cleanup.policy: compact  

  3

  
       topic.creation.default.compression.type: lz4  

  4

  
  ...

  Copy to Clipboard Toggle word wrap

  任意の Kafka トピックレベルの設定プロパティー を default グループの設定に含めることができます。

手順

• カスタムトピックグループを定義するには、コネクターのカスタムリソースの spec.config に topic.creation.<group_name>.include プロパティーを追加し、続いてカスタムグループのトピックに適用する設定プロパティーを定義します。

  次の例では、カスタムトピック作成グループ inventory と applicationlogs を定義するカスタムリソースの抜粋を示しています。

  apiVersion: kafka.strimzi.io/v1beta1
  kind: KafkaConnector
  metadata:
    name: inventory-connector
  ...
  spec:
  ...
  
     config:
  ... 

  1

  
      topic.creation.inventory.include: dbserver1\\.inventory\\.*  

  2

  
      topic.creation.inventory.partitions: 20
      topic.creation.inventory.cleanup.policy: compact
      topic.creation.inventory.delete.retention.ms: 7776000000
  
      

  3

  
      topic.creation.applicationlogs.include: dbserver1\\.logs\\.applog-.* 

  4

  
      topic.creation.applicationlogs.exclude": dbserver1\\.logs\\.applog-old-.*  

  5

  
      topic.creation.applicationlogs.replication.factor: 1
      topic.creation.applicationlogs.partitions: 20
      topic.creation.applicationlogs.cleanup.policy: delete
      topic.creation.applicationlogs.retention.ms: 7776000000
      topic.creation.applicationlogs.compression.type: lz4
  ...
  ...

  Copy to Clipboard Toggle word wrap

手順

• カスタムグループを登録するには、コネクターのカスタムリソースに topic.creation.groups プロパティーを追加し、カスタムトピック作成グループをコンマで区切って指定します。

  カスタムトピック作成グループ inventory と applicationlogs を登録するコネクターカスタムリソースの抜粋を以下に示します。

  apiVersion: kafka.strimzi.io/v1beta1
  kind: KafkaConnector
  metadata:
    name: inventory-connector
  ...
  spec:
  ...
  
     config:
       topic.creation.groups: inventory,applicationlogs
  
  ...

  Copy to Clipboard Toggle word wrap