9.15. 外部ソースからの設定値の読み込み

手順

1. KafkaConnect リソースを設定します。

   • KubernetesConfigMapConfigProvider を有効にする

   ここに示す仕様は、config map およびシークレットからの値のロードをサポートできます。

   config map とシークレットを使用するための Kafka Connect 設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnect
   metadata:
     name: my-connect
     annotations:
       strimzi.io/use-connector-resources: "true"
   spec:
     # ...
     config:
       # ...
       config.providers: secrets,configmaps 1
       config.providers.configmaps.class: io.strimzi.kafka.KubernetesConfigMapConfigProvider 2
       config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider 3
     # ...

   1

   設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。

   2

   KubernetesConfigMapConfigProvider は config map から値を指定します。

   3

   KubernetesSecretConfigProvider は Secret から値を指定します。

2. リソースを作成または更新してプロバイダーを有効にします。

   oc apply -f <kafka_connect_configuration_file>

3. 外部の config map の値へのアクセスを許可するロールを作成します。

   config map の値にアクセスするロールの例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: connector-configuration-role
   rules:
   - apiGroups: [""]
     resources: ["configmaps"]
     resourceNames: ["my-connector-configuration"]
     verbs: ["get"]
   # ...

   このルールは、my-connector-configuration config map にアクセスする権限をロールに付与します。

4. config map が含まれる namespace へのアクセスを許可するロールバインディングを作成します。

   config map が含まれる namespace にアクセスするためのロールバインディングの例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: connector-configuration-role-binding
   subjects:
   - kind: ServiceAccount
     name: my-connect-connect
     namespace: my-project
   roleRef:
     kind: Role
     name: connector-configuration-role
     apiGroup: rbac.authorization.k8s.io
   # ...

   ロールバインディングにより、my-project namespace にアクセスする権限がロールに付与されます。

   サービスアカウントは、Kafka Connect デプロイメントによって使用されるものと同じである必要があります。サービスアカウント名の形式は <cluster_name>-connect で、<cluster_name> は KafkaConnect のカスタムリソースの名前です。

5. コネクター設定で config map を参照します。

   config map を参照するコネクター設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnector
   metadata:
     name: my-connector
     labels:
       strimzi.io/cluster: my-connect
   spec:
     # ...
     config:
       option: ${configmaps:my-project/my-connector-configuration:option1}
       # ...
   # ...

   プレースホルダー構造は、configmaps:<path_and_file_name>:<property> です。KubernetesConfigMapConfigProvider は、外部の ConfigMap から option1 プロパティーの値を読み込んで抽出します。

手順

1. KafkaConnect リソースを設定します。

   • EnvVarConfigProvider を有効にする
   • externalConfiguration プロパティーを使用して環境変数を指定します。

   外部環境変数を使用するための Kafka Connect 設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnect
   metadata:
     name: my-connect
     annotations:
       strimzi.io/use-connector-resources: "true"
   spec:
     # ...
     config:
       # ...
       config.providers: env 1
       config.providers.env.class: org.apache.kafka.common.config.provider.EnvVarConfigProvider 2
     # ...
     externalConfiguration:
       env:
         - name: AWS_ACCESS_KEY_ID 3
           valueFrom:
             secretKeyRef:
               name: aws-creds 4
               key: awsAccessKey 5
         - name: AWS_SECRET_ACCESS_KEY
           valueFrom:
             secretKeyRef:
               name: aws-creds
               key: awsSecretAccessKey
     # ...

   1

   設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。

   2

   EnvVarConfigProvider は、環境変数から値を指定します。

   3

   環境変数はシークレットから値を取得します。

   4

   環境変数を含むシークレットの名前。

   5

   シークレットに保存されているキーの名前。

   注記

   SecretKeyRef プロパティーは、シークレット内のキーを参照します。シークレットの代わりに config map を使用している場合は、configMapKeyRef プロパティーを使用します。

2. リソースを作成または更新してプロバイダーを有効にします。

   oc apply -f <kafka_connect_configuration_file>

3. コネクター設定の環境変数を参照してください。

   環境変数を参照するコネクター設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnector
   metadata:
     name: my-connector
     labels:
       strimzi.io/cluster: my-connect
   spec:
     # ...
     config:
       option: ${env:AWS_ACCESS_KEY_ID}
       option: ${env:AWS_SECRET_ACCESS_KEY}
       # ...
   # ...

   プレースホルダー構造は env:<environment_variable_name> です。EnvVarConfigProvider は、マウントされたシークレットから環境変数値を読み取り、抽出します。

手順

1. KafkaConnect リソースを設定します。

   • FileConfigProvider を有効にする
   • externalConfiguration プロパティーを使用してファイルを指定します。

   外部プロパティーファイルを使用するための Kafka Connect 設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnect
   metadata:
     name: my-connect
   spec:
     # ...
     config:
       config.providers: file 1
       config.providers.file.class: org.apache.kafka.common.config.provider.FileConfigProvider 2
     #...
     externalConfiguration:
       volumes:
         - name: connector-config 3
           secret:
             secretName: mysecret 4

   1

   設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。

   2

   FileConfigProvider はプロパティーファイルから値を提供します。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。

   3

   シークレットが含まれるボリュームの名前。

   4

   シークレットの名前。

2. リソースを作成または更新してプロバイダーを有効にします。

   oc apply -f <kafka_connect_configuration_file>

3. コネクター設定内のファイルプロパティーをプレースホルダーとして参照します。

   ファイルを参照するコネクター設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnector
   metadata:
     name: my-source-connector
     labels:
       strimzi.io/cluster: my-connect-cluster
   spec:
     class: io.debezium.connector.mysql.MySqlConnector
     tasksMax: 2
     config:
       database.hostname: 192.168.99.1
       database.port: "3306"
       database.user: "${file:/opt/kafka/external-configuration/connector-config/mysecret:dbUsername}"
       database.password: "${file:/opt/kafka/external-configuration/connector-config/mysecret:dbPassword}"
       database.server.id: "184054"
       #...

   プレースホルダー構造は、file:<path_and_file_name>:<property> です。FileConfigProvider は、マウントされたシークレットからデータベースのユーザー名とパスワードのプロパティー値を読み取り、抽出します。

手順

1. KafkaConnect リソースを設定します。

   • DirectoryConfigProvider を有効にする
   • externalConfiguration プロパティーを使用してファイルを指定します。

   外部プロパティーファイルを使用するための Kafka Connect 設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnect
   metadata:
     name: my-connect
   spec:
     # ...
     config:
       config.providers: directory 1
       config.providers.directory.class: org.apache.kafka.common.config.provider.DirectoryConfigProvider 2
     #...
     externalConfiguration:
       volumes: 3
         - name: cluster-ca 4
           secret:
             secretName: my-cluster-cluster-ca-cert 5
         - name: my-user
           secret:
             secretName: my-user 6

   1

   設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。

   2

   DirectoryConfigProvider はディレクトリー内のファイルからの値を提供します。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。

   3

   シークレットを含むボリュームの名前。

   4

   トラストストア設定を提供するクラスター CA 証明書のシークレットの名前。

   5

   ユーザーがキーストア設定を指定するためのシークレットの名前。

2. リソースを作成または更新してプロバイダーを有効にします。

   oc apply -f <kafka_connect_configuration_file>

3. コネクター設定内のファイルプロパティーをプレースホルダーとして参照します。

   ファイルを参照するコネクター設定の例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnector
   metadata:
     name: my-source-connector
     labels:
       strimzi.io/cluster: my-connect-cluster
   spec:
     class: io.debezium.connector.mysql.MySqlConnector
     tasksMax: 2
     config:
       # ...
       database.history.producer.security.protocol: SSL
       database.history.producer.ssl.truststore.type: PEM
       database.history.producer.ssl.truststore.certificates: "${directory:/opt/kafka/external-configuration/cluster-ca:ca.crt}"
       database.history.producer.ssl.keystore.type: PEM
       database.history.producer.ssl.keystore.certificate.chain: "${directory:/opt/kafka/external-configuration/my-user:user.crt}"
       database.history.producer.ssl.keystore.key: "${directory:/opt/kafka/external-configuration/my-user:user.key}"
       #...

   プレースホルダー構造は directory:<path>:<file_name> です。DirectoryConfigProvider は、マウントされたシークレットから認証情報を読み取り、抽出します。