AMQ Streams on OpenShift の使用

手順

1. registry.redhat.io/amq7/amq-streams-kafka-24-rhel7:1.4.0 をベースイメージとして使用して、新しい Dockerfile を作成します。

   FROM registry.redhat.io/amq7/amq-streams-kafka-24-rhel7:1.4.0
   USER root:root
   COPY ./my-plugins/ /opt/kafka/plugins/
   USER 1001

2. コンテナーイメージをビルドします。
3. カスタムイメージをコンテナーレジストリーにプッシュします。

4. 新しいコンテナーイメージを示します。

   以下のいずれかを行います。

   • KafkaConnect カスタムリソースの KafkaConnect.spec.image プロパティーを編集します。

     設定された場合、このプロパティーによって Cluster Operator の STRIMZI_KAFKA_CONNECT_IMAGES 変数がオーバーライドされます。

     apiVersion: kafka.strimzi.io/v1beta1
     kind: KafkaConnect
     metadata:
       name: my-connect-cluster
     spec:
       #...
       image: my-new-container-image

     または、以下を実行します。

   • install/cluster-operator/050-Deployment-strimzi-cluster-operator.yaml ファイルの STRIMZI_KAFKA_CONNECT_IMAGES 変数を編集して新しいコンテナーイメージを示すようにした後、Cluster Operator を再インストールします。

手順

1. コマンドラインで oc apply コマンドを使用し、Kafka Connect の S2I クラスターを作成およびデプロイします。

   oc apply -f examples/kafka-connect/kafka-connect-s2i.yaml

2. Kafka Connect プラグインでディレクトリーを作成します。

   $ tree ./my-plugins/
   ./my-plugins/
   ├── debezium-connector-mongodb
   │   ├── bson-3.4.2.jar
   │   ├── CHANGELOG.md
   │   ├── CONTRIBUTE.md
   │   ├── COPYRIGHT.txt
   │   ├── debezium-connector-mongodb-0.7.1.jar
   │   ├── debezium-core-0.7.1.jar
   │   ├── LICENSE.txt
   │   ├── mongodb-driver-3.4.2.jar
   │   ├── mongodb-driver-core-3.4.2.jar
   │   └── README.md
   ├── debezium-connector-mysql
   │   ├── CHANGELOG.md
   │   ├── CONTRIBUTE.md
   │   ├── COPYRIGHT.txt
   │   ├── debezium-connector-mysql-0.7.1.jar
   │   ├── debezium-core-0.7.1.jar
   │   ├── LICENSE.txt
   │   ├── mysql-binlog-connector-java-0.13.0.jar
   │   ├── mysql-connector-java-5.1.40.jar
   │   ├── README.md
   │   └── wkb-1.0.2.jar
   └── debezium-connector-postgres
       ├── CHANGELOG.md
       ├── CONTRIBUTE.md
       ├── COPYRIGHT.txt
       ├── debezium-connector-postgres-0.7.1.jar
       ├── debezium-core-0.7.1.jar
       ├── LICENSE.txt
       ├── postgresql-42.0.0.jar
       ├── protobuf-java-2.6.1.jar
       └── README.md

3. oc start-build コマンドで、準備したディレクトリーを使用してイメージの新しいビルドを開始します。

   oc start-build my-connect-cluster-connect --from-dir ./my-plugins/

   注記

   ビルドの名前は、デプロイされた Kafka Connect クラスターと同じになります。

4. ビルドが完了したら、Kafka Connect のデプロイメントによって新しいイメージが自動的に使用されます。

手順

1. Kafka リソースで、Kafka クラスター、ZooKeeper クラスター、またはその両方に割り当てられた永続ボリュームのサイズを増やします。

   • Kafka クラスターに割り当てられたボリュームサイズを増やすには、spec.kafka.storage プロパティーを編集します。

   • ZooKeeper クラスターに割り当てたボリュームサイズを増やすには、spec.zookeeper.storage プロパティーを編集します。

     たとえば、ボリュームサイズを 1000Gi から 2000Gi に増やすには、以下のように編集します。

     apiVersion: kafka.strimzi.io/v1beta1
     kind: Kafka
     metadata:
       name: my-cluster
     spec:
       kafka:
         # ...
         storage:
           type: persistent-claim
           size: 2000Gi
           class: my-storage-class
         # ...
       zookeeper:
         # ...

2. リソースを作成または更新します。

   oc apply を使用します。

   oc apply -f your-file

   OpenShift では、Cluster Operator からの要求に応じて、選択された永続ボリュームの容量が増やされます。サイズ変更が完了すると、サイズ変更された永続ボリュームを使用するすべての Pod が Cluster Operator によって再起動されます。これは自動的に行われます。

手順

1. Kafka リソースの spec.kafka.storage.volumes プロパティーを編集します。新しいボリュームを volumes アレイに追加します。たとえば、id が 2 の新しいボリュームを追加します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: jbod
         volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
         - id: 1
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
         - id: 2
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

3. 新しいトピックを作成するか、既存のパーティションを新しいディスクに再度割り当てします。

手順

1. 削除するディスクからすべてのパーティションを再度割り当てます。削除するディスクに割り当てられたままになっているパーティションのデータは削除される可能性があります。

2. Kafka リソースの spec.kafka.storage.volumes プロパティーを編集します。volumes アレイから 1 つまたは複数のボリュームを削除します。たとえば、ID が 1 と 2 のボリュームを削除します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: jbod
         volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
       # ...
     zookeeper:
       # ...

3. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka リソースの replicas プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       replicas: 3
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. クラスターデプロイメントを指定する Kafka リソースが含まれる YAML 設定ファイルを開きます。

2. Kafka リソースの spec.kafka.config プロパティーで、Kafka 設定を 1 つまたは複数入力します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
       config:
         default.replication.factor: 3
         offsets.topic.replication.factor: 3
         transaction.state.log.replication.factor: 3
         transaction.state.log.min.isr: 1
       # ...
     zookeeper:
       # ...

3. 新しい設定を適用してリソースを作成または更新します。

   oc apply を使用します。

   oc apply -f kafka.yaml

   kafka.yaml は、設定するリソースの YAML 設定ファイルに置き換えます (例: kafka-persistent.yaml)。

手順

1. Kafka.spec.kafka リソースの listeners プロパティーを編集します。

   認証のないプレーン (暗号化されていない) リスナーの設定例:

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
       listeners:
         plain: {}
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. クラスターデプロイメントを指定する Kafka リソースが含まれる YAML 設定ファイルを開きます。

2. Kafka リソースの spec.kafka.listeners プロパティーで、認証を有効にするリスナーに authentication フィールドを追加します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
       listeners:
         tls:
           authentication:
             type: tls
       # ...
     zookeeper:
       # ...

3. 新しい設定を適用してリソースを作成または更新します。

   oc apply を使用します。

   oc apply -f kafka.yaml

   kafka.yaml は、設定するリソースの YAML 設定ファイルに置き換えます (例: kafka-persistent.yaml)。

手順

1. Kafka.spec.kafka リソースで authorization プロパティーを追加または編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
       authorization:
         type: simple
         superUsers:
           - CN=fred
           - sam
           - CN=edward
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. クラスターデプロイメントを指定する Kafka リソースが含まれる YAML 設定ファイルを開きます。

2. Kafka リソースの spec.zookeeper.replicas プロパティーで、複製された ZooKeeper サーバーの数を入力します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
     zookeeper:
       # ...
       replicas: 3
       # ...

3. 新しい設定を適用してリソースを作成または更新します。

   oc apply を使用します。

   oc apply -f kafka.yaml

   kafka.yaml は、設定するリソースの YAML 設定ファイルに置き換えます (例: kafka-persistent.yaml)。

手順

1. クラスターデプロイメントを指定する Kafka リソースが含まれる YAML 設定ファイルを開きます。

2. Kafka リソースの spec.zookeeper.config プロパティーで、ZooKeeper 設定を 1 つまたは複数入力します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
     zookeeper:
       # ...
       config:
         autopurge.snapRetainCount: 3
         autopurge.purgeInterval: 1
       # ...

3. 新しい設定を適用してリソースを作成または更新します。

   oc apply を使用します。

   oc apply -f kafka.yaml

   kafka.yaml は、設定するリソースの YAML 設定ファイルに置き換えます (例: kafka-persistent.yaml)。

手順

1. OpenShift コンソールを使用してターミナルを開くか、CLI から exec コマンドを実行します。

   以下に例を示します。

   oc exec -it my-cluster-kafka-0 -- bin/kafka-topics.sh --list --zookeeper localhost:2181

   必ず localhost:2181 を使用してください。

   ZooKeeper に対して Kafka コマンドを実行できるようになりました。

手順

1. Kafka リソースの entityOperator プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
     zookeeper:
       # ...
     entityOperator:
       topicOperator:
         watchedNamespace: my-topic-namespace
         reconciliationIntervalSeconds: 60
       userOperator:
         watchedNamespace: my-user-namespace
         reconciliationIntervalSeconds: 60

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. クラスターデプロイメントを指定するリソースの resources プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
       resources:
         requests:
           cpu: "8"
           memory: 64Gi
         limits:
           cpu: "12"
           memory: 128Gi
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. ノードがデプロイされたゾーンやラックを表すノードラベルについては、OpenShift 管理者に相談します。

2. ラベルをトポロジーキーとして使用し、Kafka リソースの rack プロパティーを編集します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       rack:
         topologyKey: failure-domain.beta.kubernetes.io/zone
       # ...

3. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、または KafkaConnectS2I リソースの livenessProbe または readinessProbe プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       readinessProbe:
         initialDelaySeconds: 15
         timeoutSeconds: 5
       livenessProbe:
         initialDelaySeconds: 15
         timeoutSeconds: 5
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、または KafkaConnectS2I リソースの metrics プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
     zookeeper:
       # ...
       metrics:
         lowercaseOutputName: true
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、KafkaConnectS2I、KafkaMirrorMaker、または KafkaBridgeリソースの jvmOptions プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       jvmOptions:
         "-Xmx": "8g"
         "-Xms": "8g"
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、または KafkaConnectS2I リソースの image プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       image: my-org/my-image:latest
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka リソースの tlsSidecar プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       tlsSidecar:
         resources:
           requests:
             cpu: 200m
             memory: 64Mi
           limits:
             cpu: 500m
             memory: 128Mi
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka リソースの KafkaExporter プロパティーを編集します。

   設定可能なプロパティーは以下の例のとおりです。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     # ...
     kafkaExporter:
       image: my-org/my-image:latest 1
       groupRegex: ".*" 2
       topicRegex: ".*" 3
       resources: 4
         requests:
           cpu: 200m
           memory: 64Mi
         limits:
           cpu: 500m
           memory: 128Mi
       logging: debug 5
       enableSaramaLogging: true 6
       template: 7
         pod:
           metadata:
             labels:
               label1: value1
           imagePullSecrets:
             - name: my-docker-credentials
           securityContext:
             runAsUser: 1000001
             fsGroup: 0
           terminationGracePeriodSeconds: 120
       readinessProbe: 8
         initialDelaySeconds: 15
         timeoutSeconds: 5
       livenessProbe: 9
         initialDelaySeconds: 15
         timeoutSeconds: 5
   # ...

   1

   高度な任意手順: 特別な場合のみ推奨される コンテナーイメージの設定。

   2

   メトリクスに含まれるコンシューマーグループを指定する正規表現。

   3

   メトリクスに含まれるトピックを指定する正規表現。

   4

   予約する CPU およびメモリーリソース。

   5

   指定の重大度 (debug、info、warn、error、fatal) 以上でメッセージをログに記録するためのログ設定。

   6

   Sarama ロギングを有効にするブール値 (Kafka Exporter によって使用される Go クライアントライブラリー)。

   7

   デプロイメントテンプレートおよび Pod のカスタマイズ。

   8

   ヘルスチェックの readiness プローブ。

   9

   ヘルスチェックの liveness プローブ。

2. リソースを作成または更新します。

   oc apply -f kafka.yaml

手順

1. 移動するトピックを一覧表示する topics.json という名前の JSON ファイルを準備します。これには、以下の構造が必要です。

   {
     "version": 1,
     "topics": [
       <TopicObjects>
     ]
   }

   ここで <TopicObjects> は、以下のようなコンマ区切りのオブジェクトリストになります。

   {
     "topic": <TopicName>
   }

   たとえば、topic-a と topic-b のすべてのパーティションを再割り当てするには、以下のような topics.json ファイルを準備する必要があります。

   {
     "version": 1,
     "topics": [
       { "topic": "topic-a"},
       { "topic": "topic-b"}
     ]
   }

2. topics.json ファイルをブローカー Pod の 1 つにコピーします。

   cat topics.json | oc exec -c kafka <BrokerPod> -i -- \
     /bin/bash -c \
     'cat > /tmp/topics.json'

3. kafka-reassign-partitions.sh コマンドを使用して、再割り当て JSON を生成します。

   oc exec <BrokerPod> -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --topics-to-move-json-file /tmp/topics.json \
     --broker-list <BrokerList> \
     --generate

   たとえば、topic-a および topic-b のすべてのパーティションをブローカー 4 および 7 に移動する場合は、以下を実行します。

   oc exec <BrokerPod> -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --topics-to-move-json-file /tmp/topics.json \
     --broker-list 4,7 \
     --generate

手順

1. Kafka.spec.kafka.replicas 設定オプションを増やして、新しいブローカーを必要なだけ追加します。
2. 新しいブローカー Pod が起動したことを確認します。

3. 後でコマンドを実行するブローカー Pod に reassignment.json ファイルをコピーします。

   cat reassignment.json | \
     oc exec broker-pod -c kafka -i -- /bin/bash -c \
     'cat > /tmp/reassignment.json'

   以下に例を示します。

   cat reassignment.json | \
     oc exec my-cluster-kafka-0 -c kafka -i -- /bin/bash -c \
     'cat > /tmp/reassignment.json'

4. 同じブローカー Pod から kafka-reassign-partitions.sh コマンドラインツールを使用して、パーティションの再割り当てを実行します。

   oc exec broker-pod -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --execute

   レプリケーションをスロットルで調整する場合、--throttle とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --throttle 5000000 \
     --execute

   このコマンドは、2 つの再割り当て JSON オブジェクトを出力します。最初の JSON オブジェクトには、移動されたパーティションの現在の割り当てが記録されます。後で再割り当てを元に戻す必要がある場合に備え、この値をローカルファイル (Pod のファイル以外) に保存します。2 つ目の JSON オブジェクトは、再割り当て JSON ファイルに渡した目的の再割り当てです。

5. 再割り当ての最中にスロットルを変更する必要がある場合は、同じコマンドラインに別のスロットル率を指定して実行します。以下に例を示します。

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --throttle 10000000 \
     --execute

6. ブローカー Pod のいずれかから kafka-reassign-partitions.sh コマンドラインツールを使用して、再割り当てが完了したかどうかを定期的に確認します。これは先ほどの手順と同じコマンドですが、--execute オプションの代わりに --verify オプションを使用します。

   oc exec broker-pod -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --verify

   例:

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --verify

7. --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。割り当てを元のブローカーに戻すために JSON ファイルを保存した場合は、ここでそのファイルを削除できます。

手順

1. 後でコマンドを実行するブローカー Pod に reassignment.json ファイルをコピーします。

   cat reassignment.json | \
     oc exec broker-pod -c kafka -i -- /bin/bash -c \
     'cat > /tmp/reassignment.json'

   以下に例を示します。

   cat reassignment.json | \
     oc exec my-cluster-kafka-0 -c kafka -i -- /bin/bash -c \
     'cat > /tmp/reassignment.json'

2. 同じブローカー Pod から kafka-reassign-partitions.sh コマンドラインツールを使用して、パーティションの再割り当てを実行します。

   oc exec broker-pod -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --execute

   レプリケーションをスロットルで調整する場合、--throttle とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --throttle 5000000 \
     --execute

   このコマンドは、2 つの再割り当て JSON オブジェクトを出力します。最初の JSON オブジェクトには、移動されたパーティションの現在の割り当てが記録されます。後で再割り当てを元に戻す必要がある場合に備え、この値をローカルファイル (Pod のファイル以外) に保存します。2 つ目の JSON オブジェクトは、再割り当て JSON ファイルに渡した目的の再割り当てです。

3. 再割り当ての最中にスロットルを変更する必要がある場合は、同じコマンドラインに別のスロットル率を指定して実行します。以下に例を示します。

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --throttle 10000000 \
     --execute

4. ブローカー Pod のいずれかから kafka-reassign-partitions.sh コマンドラインツールを使用して、再割り当てが完了したかどうかを定期的に確認します。これは先ほどの手順と同じコマンドですが、--execute オプションの代わりに --verify オプションを使用します。

   oc exec broker-pod -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --verify

   例:

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 \
     --reassignment-json-file /tmp/reassignment.json \
     --verify

5. --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。割り当てを元のブローカーに戻すために JSON ファイルを保存した場合は、ここでそのファイルを削除できます。

6. すべてのパーティションの再割り当てが終了すると、削除されるブローカーはクラスター内のいずれのパーティションにも対応しないはずです。これは、ブローカーのデータログディレクトリーにライブパーティションのログが含まれていないことを確認すると検証できます。ブローカーのログディレクトリーに、拡張正規表現 \.[a-z0-9]-delete$ と一致しないディレクトリーが含まれる場合、ブローカーにライブパーティションがあるため、停止してはなりません。

   これを確認するには、以下のコマンドを実行します。

   oc exec my-cluster-kafka-0 -c kafka -it -- \
     /bin/bash -c \
     "ls -l /var/lib/kafka/kafka-log_<N>_ | grep -E '^d' | grep -vE '[a-zA-Z0-9.-]+\.[a-z0-9]+-delete$'"

   N は削除された Pod(s) の数に置き換えます。

   上記のコマンドによって出力が生成される場合、ブローカーにはライブパーティションがあります。この場合、再割り当てが終了していないか、再割り当て JSON ファイルが適切ではありません。

7. ブローカーにライブパーティションがないことが確認できたら、Kafka リソースの Kafka.spec.kafka.replicas を編集できます。これにより、StatefulSet がスケールダウンされ、番号が最も大きいブローカー Pod(s) が削除されます。

手順

1. Kafka リソースで maintenanceTimeWindows プロパティーを追加または編集します。たとえば、0800 から 1059 までと、1400 から 1559 までのメンテナンスを可能にするには、以下のように maintenanceTimeWindows を設定します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
     zookeeper:
       # ...
     maintenanceTimeWindows:
       - "* * 8-10 * * ?"
       - "* * 14-15 * * ?"

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. KafkaConnect または KafkaConnectS2I リソースの replicas プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: KafkaConnectS2I
   metadata:
     name: my-cluster
   spec:
     # ...
     replicas: 3
     # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. KafkaConnect または KafkaConnectS2I リソースの bootstrapServers プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: KafkaConnect
   metadata:
     name: my-cluster
   spec:
     # ...
     bootstrapServers: my-cluster-kafka-bootstrap:9092
     # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. (任意手順): 認証で使用される TLS 証明書が存在しない場合はファイルで準備し、Secret を作成します。

   注記

   Kafka クラスターの Cluster Operator によって作成されるシークレットは直接使用されることがあります。

   oc create を使用してこれを行うことができます。

   oc create secret generic my-secret --from-file=my-file.crt

2. KafkaConnect または KafkaConnectS2I リソースの tls プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: KafkaConnect
   metadata:
     name: my-connect
   spec:
     # ...
     tls:
       trustedCertificates:
         - secretName: my-cluster-cluster-cert
           certificate: ca.crt
     # ...

3. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. (任意手順): 認証に使用される鍵が存在しない場合はファイルで準備し、Secret を作成します。

   注記

   User Operator によって作成されたシークレットを使用できます。

   oc create を使用してこれを行うことができます。

   oc create secret generic my-secret --from-file=my-public.crt --from-file=my-private.key

2. KafkaConnect または KafkaConnectS2I リソースの authentication プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: KafkaConnect
   metadata:
     name: my-connect
   spec:
     # ...
     authentication:
       type: tls
       certificateAndKey:
         secretName: my-secret
         certificate: my-public.crt
         key: my-private.key
     # ...

3. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. (任意手順): 認証で使用されるパスワードがない場合はファイルで準備し、Secret を作成します。

   注記

   User Operator によって作成されたシークレットを使用できます。

   oc create を使用してこれを行うことができます。

   echo -n '<password>' > <my-password.txt>
   oc create secret generic <my-secret> --from-file=<my-password.txt>

2. KafkaConnect または KafkaConnectS2I リソースの authentication プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: KafkaConnect
   metadata:
     name: my-connect
   spec:
     # ...
     authentication:
       type: scram-sha-512
       username: _<my-username>_
       passwordSecret:
         secretName: _<my-secret>_
         password: _<my-password.txt>_
     # ...

3. リソースを作成または更新します。

   OpenShift では oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. KafkaConnect または KafkaConnectS2I リソースの config プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: KafkaConnect
   metadata:
     name: my-connect
   spec:
     # ...
     config:
       group.id: my-connect-cluster
       offset.storage.topic: my-connect-cluster-offsets
       config.storage.topic: my-connect-cluster-configs
       status.storage.topic: my-connect-cluster-status
       key.converter: org.apache.kafka.connect.json.JsonConverter
       value.converter: org.apache.kafka.connect.json.JsonConverter
       key.converter.schemas.enable: true
       value.converter.schemas.enable: true
       config.storage.replication.factor: 3
       offset.storage.replication.factor: 3
       status.storage.replication.factor: 3
     # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. クラスターデプロイメントを指定するリソースの resources プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   spec:
     kafka:
       # ...
       resources:
         requests:
           cpu: "8"
           memory: 64Gi
         limits:
           cpu: "12"
           memory: 128Gi
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、または KafkaConnectS2I リソースの livenessProbe または readinessProbe プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       readinessProbe:
         initialDelaySeconds: 15
         timeoutSeconds: 5
       livenessProbe:
         initialDelaySeconds: 15
         timeoutSeconds: 5
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、または KafkaConnectS2I リソースの metrics プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
     zookeeper:
       # ...
       metrics:
         lowercaseOutputName: true
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、KafkaConnectS2I、KafkaMirrorMaker、または KafkaBridgeリソースの jvmOptions プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       jvmOptions:
         "-Xmx": "8g"
         "-Xms": "8g"
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file

手順

1. Kafka、KafkaConnect、または KafkaConnectS2I リソースの image プロパティーを編集します。以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta1
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       image: my-org/my-image:latest
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply を使用してこれを行うことができます。

   oc apply -f your-file