2.5. Kafka MirrorMaker クラスターの設定

手順

1. KafkaMirrorMaker リソースの spec プロパティーを編集します。

   設定可能なプロパティーは以下の例のとおりです。

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaMirrorMaker
   metadata:
     name: my-mirror-maker
   spec:
     replicas: 3 

   1

   
     consumer:
       bootstrapServers: my-source-cluster-kafka-bootstrap:9092 

   2

   
       groupId: "my-group" 

   3

   
       numStreams: 2 

   4

   
       offsetCommitInterval: 120000 

   5

   
       tls: 

   6

   
         trustedCertificates:
         - secretName: my-source-cluster-ca-cert
           certificate: ca.crt
       authentication: 

   7

   
         type: tls
         certificateAndKey:
           secretName: my-source-secret
           certificate: public.crt
           key: private.key
       config: 

   8

   
         max.poll.records: 100
         receive.buffer.bytes: 32768
         ssl.cipher.suites: TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 

   9

   
         ssl.enabled.protocols: TLSv1.2
         ssl.protocol: TLSv1.2
         ssl.endpoint.identification.algorithm: HTTPS 

   10

   
     producer:
       bootstrapServers: my-target-cluster-kafka-bootstrap:9092
       abortOnSendFailure: false 

   11

   
       tls:
         trustedCertificates:
         - secretName: my-target-cluster-ca-cert
           certificate: ca.crt
       authentication:
         type: tls
         certificateAndKey:
           secretName: my-target-secret
           certificate: public.crt
           key: private.key
       config:
         compression.type: gzip
         batch.size: 8192
         ssl.cipher.suites: TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 

   12

   
         ssl.enabled.protocols: TLSv1.2
         ssl.protocol: TLSv1.2
         ssl.endpoint.identification.algorithm: HTTPS 

   13

   
     include: "my-topic|other-topic" 

   14

   
     resources: 

   15

   
       requests:
         cpu: "1"
         memory: 2Gi
       limits:
         cpu: "2"
         memory: 2Gi
     logging: 

   16

   
       type: inline
       loggers:
         mirrormaker.root.logger: "INFO"
     readinessProbe: 

   17

   
       initialDelaySeconds: 15
       timeoutSeconds: 5
     livenessProbe:
       initialDelaySeconds: 15
       timeoutSeconds: 5
     metricsConfig: 

   18

   
      type: jmxPrometheusExporter
      valueFrom:
        configMapKeyRef:
          name: my-config-map
          key: my-key
     jvmOptions: 

   19

   
       "-Xmx": "1g"
       "-Xms": "1g"
     image: my-org/my-image:latest 

   20

   
     template: 

   21

   
       pod:
         affinity:
           podAntiAffinity:
             requiredDuringSchedulingIgnoredDuringExecution:
               - labelSelector:
                   matchExpressions:
                     - key: application
                       operator: In
                       values:
                         - postgresql
                         - mongodb
                 topologyKey: "kubernetes.io/hostname"
       connectContainer: 

   22

   
         env:
           - name: JAEGER_SERVICE_NAME
             value: my-jaeger-service
           - name: JAEGER_AGENT_HOST
             value: jaeger-agent-name
           - name: JAEGER_AGENT_PORT
             value: "6831"
     tracing: 

   23

   
       type: jaeger

   Copy to Clipboard Toggle word wrap

   1

   レプリカノードの数。

   2

   コンシューマーおよびプロデューサーの ブートストラップサーバー。

   3

   コンシューマーのグループ ID。

   4

   コンシューマーストリームの数。

   5

   オフセットの自動コミット間隔 (ミリ秒単位)。

   6

   コンシューマーまたはプロデューサーの TLS 証明書が X.509 形式で保存される、キー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。

   7

   mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定されたコンシューマーまたはプロデューサーの認証。

   8

   コンシューマー および プロデューサー の Kafka 設定オプション。

   9

   TLS バージョンの特定の 暗号スイート と実行される外部リスナーの SSL プロパティー。

   10

   HTTPS に設定することで、ホスト名の検証が有効 になります。空の文字列を指定すると検証が無効になります。

   11

   abortOnSendFailure プロパティー が true に設定されている場合、メッセージの送信に失敗した後、Kafka MirrorMaker は終了し、コンテナーは再起動します。

   12

   TLS バージョンの特定の 暗号スイート と実行される外部リスナーの SSL プロパティー。

   13

   HTTPS に設定することで、ホスト名の検証が有効 になります。空の文字列を指定すると検証が無効になります。

   14

   ソースからターゲット Kafka クラスターにミラーリングされた 含まれるトピック。

   15

   サポートされているリソース (現在は cpu と memory) の予約と、消費可能な最大リソースを指定するための制限を要求します。

   16

   指定された ロガーおよびログレベル が ConfigMap を介して直接的に (inline) または間接的に (external) に追加されます。カスタム ConfigMap は、log4j.properties または log4j2.properties キー下に配置する必要があります。MirrorMaker には mirrormaker.root.logger と呼ばれる単一のロガーがあります。ログレベルは INFO、ERROR、WARN、TRACE、DEBUG、FATAL、または OFF に設定できます。

   17

   コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するための ヘルスチェック。

   18

   Prometheus メトリクス。この例では、Prometheus JMX エクスポーターの設定が含まれる ConfigMap を参照して有効になります。metricsConfig.valueFrom.configMapKeyRef.key 配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリクスを有効にできます。

   19

   Kafka MirrorMaker を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。

   20

   高度な任意設定: 特別な場合のみ推奨される コンテナーイメージの設定。

   21

   テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。

   22

   分散トレース用に環境変数が設定されます。

   23

   Jaeger では分散トレースが有効になっています。

   警告

   abortOnSendFailure プロパティーが false に設定されると、プロデューサーはトピックの次のメッセージを送信しようとします。失敗したメッセージは再送されないため、元のメッセージが失われる可能性があります。

2. リソースを作成または更新します。

   oc apply -f <your-file>

   Copy to Clipboard Toggle word wrap