AMQ Streams API リファレンス
OpenShift Container Platform で AMQ Streams 2.5 のデプロイメント設定
概要
多様性を受け入れるオープンソースの強化
Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、Red Hat CTO である Chris Wright のメッセージ をご覧ください。
第1章 スキーマプロパティーを使用したカスタムリソースの設定
カスタムリソースは、設定プロパティーを使用して AMQ Streams コンポーネントの操作を柔軟に管理および微調整する方法を提供します。このリファレンスガイドでは、複数のカスタムリソースに適用される共通の設定プロパティーと、AMQ Streams で使用できる各カスタムリソーススキーマで使用できる設定プロパティーについて説明します。必要に応じて、プロパティーの詳しい説明とその設定方法の例を提示します。
各スキーマに定義されたプロパティーは、構造化かつ体系化して、カスタムリソースの設定を指定する方法を提供します。リソース割り当てを調整する場合でも、アクセス制御を指定する場合でも、スキーマのプロパティーを使用すると、詳細なレベルの設定が可能になります。たとえば、KafkaClusterSpec
スキーマのプロパティーを使用して、Kafka クラスターのストレージのタイプを指定したり、Kafka ブローカーへの安全なアクセスを提供するリスナーを追加したりできます。
プロパティーの説明にあるように、スキーマ内のプロパティーオプションによっては制約がある場合があります。このような制約で、対象のプロパティーに割り当てることができる値に対して特定のオプションまたは制限を定義します。制約を使用して、カスタムリソースを有効かつ適切な値に設定します。
第2章 共通の設定プロパティー
共通設定プロパティーを使用して、AMQ Streams カスタムリソースを設定します。カスタムリソースに対して、そのリソースでサポートされている他の設定と同様に、共通の設定プロパティーを追加します。
2.1. replicas
replicas
プロパティーを使用してレプリカを設定します。
レプリケーションのタイプはリソースによって異なります。
-
KafkaTopic
はレプリケーション係数を使用して、Kafka クラスター内で各パーティションのレプリカ数を設定します。 - Kafka コンポーネントはレプリカを使用してデプロイメントの Pod 数を設定し、可用性とスケーラビリティーを向上します。
OpenShift で Kafka コンポーネントを実行している場合、高可用性のために複数のレプリカを実行する必要がない場合があります。コンポーネントがデプロイされたノードがクラッシュすると、OpenShift によって自動的に Kafka コンポーネント Pod が別のノードに再スケジュールされます。ただし、複数のレプリカで Kafka コンポーネントを実行すると、他のノードが稼働しているため、フェイルオーバー時間が短縮されます。
2.2. bootstrapServers
bootstrapServers
プロパティーを使用してブートストラップサーバーのリストを設定します。
ブートストラップサーバーリストは、同じ OpenShift クラスターにデプロイされていない Kafka クラスターを参照できます。AMQ Streams によってデプロイされた Kafka クラスターを参照することもできます。
同じ OpenShift クラスターである場合、各リストに CLUSTER-NAME-kafka-bootstrap
という名前の Kafka クラスターブートストラップサービスとポート番号が含まれる必要があります。AMQ Streams によって異なる OpenShift クラスターにデプロイされた場合、リストの内容はクラスターを公開するために使用された方法によって異なります (route、ingress、nodeport、または loadbalancer)。
AMQ Streams によって管理されない Kafka クラスターで Kafka を使用する場合は、指定のクラスターの設定に応じてブートストラップサーバーのリストを指定できます。
2.3. ssl
(サポートされている TLS バージョンと暗号スイート)
SSL 設定と暗号スイートの仕様を組み込んで、クライアントアプリケーションと Kafka クラスター間の TLS ベースの通信をさらに保護できます。標準の TLS 設定に加えて、サポートされている TLS バージョンを指定し、Kafka ブローカーの設定で暗号スイートを有効にすることができます。クライアントが使用する TLS バージョンと暗号スイートを制限する場合は、クライアントに設定を追加することもできます。クライアントの設定では、ブローカーで有効になっているプロトコルと暗号スイートのみを使用する必要があります。
暗号スイートは、セキュアな接続とデータ転送のための一連のセキュリティーメカニズムです。たとえば、暗号スイート TLS_AES_256_GCM_SHA384
は、TLS プロトコルと組み合わせて使用される次のメカニズムで設定されています。
- AES (Advanced Encryption Standard) 暗号化 (256 ビットキー)
- GCM (Galois/Counter Mode) 認証暗号化
- SHA384 (Secure Hash Algorithm) データ整合性保護
この組み合わせは、TLS_AES_256_GCM_SHA384
暗号スイート仕様にカプセル化されています。
ssl.enabled.protocols
プロパティーは、クラスターとそのクライアントの間のセキュアな通信に使用できる TLS バージョンを指定します。ssl.protocol
プロパティーは、全接続のデフォルトの TLS バージョンを設定します。有効なプロトコルから選択する必要があります。ssl.endpoint.identification.algorithm
プロパティーを使用して、ホスト名検証を有効または無効にします。
SSL の設定例
# ... config: ssl.cipher.suites: TLS_AES_256_GCM_SHA384, TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384 1 ssl.enabled.protocols: TLSv1.3, TLSv1.2 2 ssl.protocol: TLSv1.3 3 ssl.endpoint.identification.algorithm: HTTPS 4 # ...
2.4. trustedCertificates
tls
を設定して TLS 暗号化を設定する場合は、trustedCertificates
プロパティーを使用して、証明書が X.509 形式で保存されるキー名にシークレットの一覧を提供します。
Kafka クラスターの Cluster Operator によって作成されるシークレットを使用するか、独自の TLS 証明書ファイルを作成してから、ファイルから Secret
を作成できます。
oc create secret generic MY-SECRET \ --from-file=MY-TLS-CERTIFICATE-FILE.crt
TLS による暗号化の設定例
tls: trustedCertificates: - secretName: my-cluster-cluster-cert certificate: ca.crt - secretName: my-cluster-cluster-cert certificate: ca2.crt
複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
TLS 暗号化を有効にし、Java に同梱されるデフォルトの公開認証局のセットを使用する場合は、trustedCertificates
を空の配列として指定できます。
デフォルトの Java 証明書で TLS を有効にする例
tls: trustedCertificates: []
mTLS 認証の設定に関する詳細は、KafkaClientAuthenticationTls
schema reference を参照してください。
2.5. resources
AMQ Streams コンテナーのリソースを制御するために、リソース 要求 および 制限 を設定します。メモリー
および cpu
リソースの要求および制限を指定できます。要求には、Kafka の安定したパフォーマンスを確保できる十分な値が必要です。
実稼働環境でリソースを設定する方法は、さまざまな要因によって異なります。たとえば、アプリケーションは OpenShift クラスターでリソースを共有する可能性があります。
Kafka では、デプロイメントの以下の要素が、必要なリソースに影響を与える可能性があります。
- メッセージのスループットとサイズ
- メッセージを処理するネットワークスレッドの数
- プロデューサーおよびコンシューマーの数
- トピックおよびパーティションの数
リソース要求に指定の値は予約され、常にコンテナーで利用可能になります。リソース制限によって、指定のコンテナーが消費可能な最大リソースが指定されます。要求数から制限数の間は予約されず、常に利用できるとは限りません。コンテナーは、リソースが利用できる場合のみ、制限以下のリソースを使用できます。リソースの制限は一時的で、再割り当てが可能です。
リソース要求および制限
要求なしに制限を設定する場合や、その逆の場合、OpenShift は両方に同じ値を使用します。OpenShift は制限を超えない限りコンテナーを強制終了しないので、リソースに対して、要求と制限を同じ数に設定すると、QoS (Quality of Service) が保証されます。
サポート対象のリソース 1 つまたは複数に対して、リソース要求および制限を設定できます。
リソース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: #... resources: requests: memory: 64Gi cpu: "8" limits: memory: 64Gi cpu: "12" entityOperator: #... topicOperator: #... resources: requests: memory: 512Mi cpu: "1" limits: memory: 512Mi cpu: "1"
Topic Operator および User Operator のリソース要求および制限は Kafka
リソースに設定されます。
リソース要求が OpenShift クラスターで利用可能な空きリソースを超える場合、Pod はスケジュールされません。
AMQ Streams では、OpenShift 構文を使用して メモリー
および cpu
リソースを指定します。OpenShift におけるコンピュートリソースの管理に関する詳細は、Managing Compute Resources for Containers を参照してください。
- メモリーリソース
メモリーリソースを設定する場合は、コンポーネントの合計要件を考慮してください。
Kafka は JVM 内で実行され、オペレーティングシステムページキャッシュを使用してディスクに書き込む前にメッセージデータを保存します。Kafka のメモリー要求は、JVM ヒープおよびページキャッシュに適合する必要があります。
jvmOptions
プロパティーを設定 すると、最小および最大ヒープサイズを制御できます。他のコンポーネントはページキャッシュに依存しません。メモリーリソースは、ヒープサイズを制御する
jvmOptions
を指定せずに、設定できます。メモリー要求および制限は、メガバイト、ギガバイト、メビバイト、およびギビバイトで指定されます。仕様では、以下の接尾辞を使用します。
-
M
(メガバイト) -
G
(ギガバイト) -
Mi
(メビバイト) -
Gi
(ギビバイト)
異なるメモリー単位を使用するリソースの例
# ... resources: requests: memory: 512Mi limits: memory: 2Gi # ...
メモリーの指定およびサポートされるその他の単位に関する詳細は、Meaning of memory を参照してください。
-
- CPU リソース
常に信頼できるパフォーマンスを発揮させるには、CPU 要求を十分に指定する必要があります。CPU の要求および制限は、コア または ミリ cpu/ミリコア として指定します。
CPU コアは、整数 (
5
CPU コア) または小数 (2.5
CPU コア) で指定します。1000 ミリコア は1
CPU コアと同じです。CPU の単位の例
# ... resources: requests: cpu: 500m limits: cpu: 2.5 # ...
1 つの CPU コアのコンピューティング能力は、OpenShift がデプロイされたプラットフォームによって異なることがあります。
CPU 仕様の詳細は、Meaning of CPUを参照してください。
2.6. image
image
プロパティーを使用して、コンポーネントによって使用されるコンテナーイメージを設定します。
コンテナーイメージのオーバーライドは、別のコンテナーレジストリーやカスタマイズされたイメージを使用する必要がある特別な状況でのみ推奨されます。
たとえば、ネットワークで AMQ Streams によって使用されるコンテナーリポジトリーへのアクセスが許可されない場合、AMQ Streams イメージのコピーまたはソースからのビルドを行うことができます。しかし、設定したイメージが AMQ Streams イメージと互換性のない場合は、適切に機能しない可能性があります。
コンテナーイメージのコピーはカスタマイズでき、デバッグに使用されることもあります。
以下のリソースの image
プロパティーを使用すると、コンポーネントに使用するコンテナーイメージを指定できます。
-
Kafka.spec.kafka
-
Kafka.spec.zookeeper
-
Kafka.spec.entityOperator.topicOperator
-
Kafka.spec.entityOperator.userOperator
-
Kafka.spec.entityOperator.tlsSidecar
-
KafkaConnect.spec
-
KafkaMirrorMaker.spec
-
KafkaMirrorMaker2.spec
-
KafkaBridge.spec
Kafka、Kafka Connect、および Kafka MirrorMaker の image
プロパティーの設定
Kafka、Kafka Connect、および Kafka MirrorMaker では、複数の Kafka バージョンがサポートされます。各コンポーネントには独自のイメージが必要です。異なる Kafka バージョンのデフォルトイメージは、以下の環境変数で設定されます。
-
STRIMZI_KAFKA_IMAGES
-
STRIMZI_KAFKA_CONNECT_IMAGES
-
STRIMZI_KAFKA_MIRROR_MAKER_IMAGES
これらの環境変数には、Kafka バージョンと対応するイメージ間のマッピングが含まれます。マッピングは、image
および version
プロパティーとともに使用されます。
-
image
とversion
のどちらもカスタムリソースに指定されていない場合、version
は Cluster Operator のデフォルトの Kafka バージョンに設定され、環境変数のこのバージョンに対応するイメージが指定されます。 -
image
が指定されていてもversion
が指定されていない場合、指定されたイメージが使用され、Cluster Operator のデフォルトの Kafka バージョンがversion
であると想定されます。 -
version
が指定されていてもimage
が指定されていない場合、環境変数の指定されたバージョンに対応するイメージが使用されます。 -
version
とimage
の両方を指定すると、指定されたイメージが使用されます。このイメージには、指定のバージョンの Kafka イメージが含まれると想定されます。
異なるコンポーネントの image
および version
は、以下のプロパティーで設定できます。
-
Kafka の場合は
spec.kafka.image
およびspec.kafka.version
。 -
spec.image
およびspec.version
の Kafka Connect および Kafka MirrorMaker の場合。
version
のみを提供し、image
プロパティーを未指定のままにしておくことが推奨されます。これにより、カスタムリソースの設定時に間違いが発生する可能性が低減されます。異なるバージョンの Kafka に使用されるイメージを変更する必要がある場合は、Cluster Operator の環境変数を設定することが推奨されます。
他のリソースでの image
プロパティーの設定
他のカスタムリソースの image
プロパティーでは、デプロイメント中に指定の値が使用されます。image
プロパティーがない場合、Cluster Operator 設定に指定された image
が使用されます。image
名が Cluster Operator 設定に定義されていない場合、デフォルト値が使用されます。
Topic Operator の場合:
-
Cluster Operator 設定から
STRIMZI_DEFAULT_TOPIC_OPERATOR_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.0
container image.
-
Cluster Operator 設定から
User Operator の場合:
-
Cluster Operator 設定から
STRIMZI_DEFAULT_USER_OPERATOR_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.0
container image.
-
Cluster Operator 設定から
Entity Operator TLS サイドカーの場合:
-
Cluster Operator 設定から
STRIMZI_DEFAULT_TLS_SIDECAR_ENTITY_OPERATOR_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.0
コンテナーイメージ。
-
Cluster Operator 設定から
Kafka Exporter の場合:
-
Cluster Operator 設定から
STRIMZI_DEFAULT_KAFKA_EXPORTER_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.0
コンテナーイメージ。
-
Cluster Operator 設定から
Kafka Bridge の場合:
-
Cluster Operator 設定から
STRIMZI_DEFAULT_KAFKA_BRIDGE_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/bridge-rhel8:2.5.0
コンテナーイメージ。
-
Cluster Operator 設定から
Kafka ブローカーイニシャライザーの場合:
-
Cluster Operator 設定から
STRIMZI_DEFAULT_KAFKA_INIT_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.0
container image.
-
Cluster Operator 設定から
コンテナーイメージ設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... image: my-org/my-image:latest # ... zookeeper: # ...
2.7. livenessProbe
および readinessProbe
healthcheck
livenessProbe
および readinessProbe
プロパティーを使用して、AMQ Streams でサポートされる healthcheck プローブを設定します。
Healthcheck は、アプリケーションの健全性を検証する定期的なテストです。ヘルスチェックプローブが失敗すると、OpenShift によってアプリケーションが正常でないと見なされ、その修正が試行されます。
プローブの詳細は、Configure Liveness and Readiness Probes を参照してください。
livenessProbe
および readinessProbe
の両方で以下のオプションがサポートされます。
-
initialDelaySeconds
-
timeoutSeconds
-
periodSeconds
-
successThreshold
-
failureThreshold
Liveness および Readiness プローブの設定例
# ... readinessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 # ...
livenessProbe
および readinessProbe
のオプションに関する詳細は、Probe スキーマ参照 を参照してください。
2.8. metricsConfig
metricsConfig
プロパティーを使用して、Prometheus メトリクスを有効化および設定します。
metricsConfig
プロパティーには、Prometheus JMX Exporter の追加設定が含まれる ConfigMap への参照が含まれます。AMQ Streams では、Apache Kafka および ZooKeeper によってサポートされる JMX メトリクスを Prometheus メトリクスに変換するために、Prometheus JMX エクスポーターを使用した Prometheus メトリクスがサポートされます。
追加設定なしで Prometheus メトリクスのエクスポートを有効にするには、metricsConfig.valueFrom.configMapKeyRef.key
配下に空のファイルが含まれる ConfigMap を参照します。空のファイルを参照する場合、名前が変更されていない限り、すべてのメトリクスが公開されます。
Kafka のメトリクス設定が含まれる ConfigMap の例
kind: ConfigMap apiVersion: v1 metadata: name: my-configmap data: my-key: | lowercaseOutputName: true rules: # Special cases and very specific rules - pattern: kafka.server<type=(.+), name=(.+), clientId=(.+), topic=(.+), partition=(.*)><>Value name: kafka_server_$1_$2 type: GAUGE labels: clientId: "$3" topic: "$4" partition: "$5" # further configuration
Kafka のメトリクス設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... metricsConfig: type: jmxPrometheusExporter valueFrom: configMapKeyRef: name: my-config-map key: my-key # ... zookeeper: # ...
有効になったメトリクスは、9404 番ポートで公開されます。
metricsConfig
(または非推奨の metrics
) プロパティーがリソースに定義されていない場合、Prometheus メトリクスは無効になります。
Prometheus および Grafana の設定およびデプロイに関する詳細は Kafka へのメトリクスの導入 を参照してください。
2.9. jvmOptions
以下の AMQ Streams コンポーネントは、Java 仮想マシン (JVM) 内で実行されます。
- Apache Kafka
- Apache ZooKeeper
- Apache Kafka Connect
- Apache Kafka MirrorMaker
- AMQ Streams Kafka Bridge
異なるプラットフォームやアーキテクチャーでパフォーマンスを最適化するには、以下のリソースに jvmOptions
プロパティーを設定します。
-
Kafka.spec.kafka
-
Kafka.spec.zookeeper
-
Kafka.spec.entityOperator.userOperator
-
Kafka.spec.entityOperator.topicOperator
-
Kafka.spec.cruiseControl
-
KafkaNodePool.spec
-
KafkaConnect.spec
-
KafkaMirrorMaker.spec
-
KafkaMirrorMaker2.spec
-
KafkaBridge.spec
設定では、以下のオプションを指定できます。
-Xms
- JVM の起動時に最初に割り当てられる最小ヒープサイズ。
-Xmx
- 最大ヒープサイズ
-XX
- JVM の高度なランタイムオプション
javaSystemProperties
- 追加のシステムプロパティー
gcLoggingEnabled
- ガベッジコレクターのロギングを有効にします
-Xmx
や -Xms
などの JVM 設定で使用できる単位は、対応するイメージの JDK java
バイナリーで使用できる単位と同じです。そのため、1g
または 1G
は 1,073,741,824 バイトを意味し、Gi
は接尾辞として有効な単位ではありません。これは、1G
が 1,000,000,000 バイトを意味し、1Gi
が 1,073,741,824 バイトを意味する OpenShift 規則に従う、メモリー要求および制限 に使用される単位とは異なります。
-Xms
および -Xmx
オプション
コンテナーのメモリー要求および制限値を設定するだけでなく、-Xms
および -Xmx
JVM オプションを使用して、JVM に特定のヒープサイズを設定できます。-Xms
オプションを使用して初期ヒープサイズを設定し、-Xmx
オプションを使用して最大ヒープサイズを設定します。
JVM に割り当てられたメモリーをより詳細に制御するには、ヒープサイズを指定します。ヒープサイズは、コンテナーの メモリー制限 (および要求) を最大限に活用し、それを超えないようにする必要があります。ヒープサイズとその他のメモリー要件は、指定されたメモリー制限内に収まる必要があります。設定でヒープサイズを指定せずに、メモリーリソースの制限 (および要求) を設定する場合、Cluster Operator はデフォルトのヒープサイズを自動的に適用します。Cluster Operator は、メモリーリソース設定の割合に基づいて、デフォルトの最大および最小ヒープ値を設定します。
次の表に、デフォルトのヒープ値を示します。
コンポーネント | ヒープに割り当てられた使用可能なメモリーの割合 | 上限 |
---|---|---|
Kafka | 50% | 5 GB |
ZooKeeper | 75% | 2 GB |
Kafka Connect | 75% | なし |
MirrorMaker 2 | 75% | なし |
MirrorMaker | 75% | なし |
Cruise Control | 75% | なし |
Kafka Bridge | 50% | 31 Gi |
メモリー制限 (および要求) が指定されていない場合、JVM の最小ヒープサイズは 128M
に設定されます。JVM の最大ヒープサイズは、必要に応じてメモリーを増やすことができるように定義されていません。これは、テストおよび開発での単一ノード環境に適しています。
適切なメモリー要求を設定すると、次のことを防ぐことができます。
- ノードで実行されている他の Pod からのメモリーに圧力がかかる場合、OpenShift はコンテナーを強制終了します。
-
OpenShift がメモリー不足のノードにコンテナーをスケジューリングする。
-Xms
が-Xmx
に設定されている場合には、コンテナーはすぐにクラッシュし、存在しない場合、コンテナーは後でクラッシュします。
この例では、JVM のヒープに 2 GiB (2,147,483,648 バイト) が使用されます。JVM メモリー使用量の合計は、最大ヒープサイズを超える可能性があります。
-Xmx
および -Xms
の設定例
# ... jvmOptions: "-Xmx": "2g" "-Xms": "2g" # ...
最初のヒープサイズ (-Xms
) および最大ヒープサイズ (-Xmx
) に同じ値を設定すると、JVM が必要以上のヒープを割り当てて起動後にメモリーを割り当てないようにすることができます。
Kafka ブローカーコンテナーなど、多数のディスク I/O を実行するコンテナーには、オペレーティングシステムのページキャッシュとして使用できるメモリーが必要です。このようなコンテナーの場合、要求されるメモリーは、JVM が使用するメモリーよりも大幅に大きくする必要があります。
-XX オプション
-XX
オプションは、Apache Kafka の KAFKA_JVM_PERFORMANCE_OPTS
オプションの設定に使用されます。
例 -XX
設定
jvmOptions: "-XX": "UseG1GC": true "MaxGCPauseMillis": 20 "InitiatingHeapOccupancyPercent": 35 "ExplicitGCInvokesConcurrent": true
-XX
設定から生成される JVM オプション
-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -XX:-UseParNewGC
-XX
オプションを指定しないと、Apache Kafka の KAFKA_JVM_PERFORMANCE_OPTS
のデフォルト設定が使用されます。
javaSystemProperties
javaSystemProperties
は、デバッグユーティリティーなどの追加の Java システムプロパティーの設定に使用されます。
javaSystemProperties
の設定例
jvmOptions: javaSystemProperties: - name: javax.net.debug value: ssl
jvmOptions
の詳細は、JvmOptions
スキーマ参照 を参照してください。
2.10. ガベッジコレクターのロギング
jvmOptions
プロパティーでは、ガベージコレクター (GC) のロギングを有効または無効にすることもできます。GC ロギングはデフォルトで無効になっています。これを有効にするには、以下のように gcLoggingEnabled
プロパティーを設定します。
GC ロギングの設定例
# ... jvmOptions: gcLoggingEnabled: true # ...
第3章 Kafka
スキーマ参照
プロパティー | 説明 |
---|---|
spec | Kafka および ZooKeeper クラスター、Topic Operator の仕様。 |
status | Kafka および ZooKeeper クラスター、Topic Operator のステータス。 |
第4章 KafkaSpec
スキーマ参照
Kafka
で使用
プロパティー | 説明 |
---|---|
kafka | Kafka クラスターの設定。 |
zookeeper | ZooKeeper クラスターの設定。 |
entityOperator | Entity Operator の設定。 |
clusterCa | クラスター認証局の設定。 |
clientsCa | クライアント認証局の設定。 |
cruiseControl | Cruise Control デプロイメントの設定。指定時に Cruise Control インスタンスをデプロイします。 |
jmxTrans |
|
kafkaExporter | Kafka Exporter の設定。Kafka Exporter は追加のメトリクスを提供できます (例: トピック/パーティションでのコンシューマーグループのラグなど)。 |
maintenanceTimeWindows | メンテナンスタスク (証明書の更新) 用の時間枠の一覧。それぞれの時間枠は、cron 式で定義されます。 |
string array |
第5章 KafkaClusterSpec
スキーマ参照
KafkaSpec
で使用
KafkaClusterSpec
スキーマプロパティーの完全リスト
Kafka クラスターを設定します。
5.1. listeners
listeners
プロパティーを使用して、Kafka ブローカーへのアクセスを提供するようにリスナーを設定します。
認証のないプレーン (暗号化されていない) リスナーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... listeners: - name: plain port: 9092 type: internal tls: false # ... zookeeper: # ...
5.2. config
config
プロパティーを使用して、Kafka ブローカーオプションをキーとして設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
Apache Kafka ドキュメント にリストされているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- セキュリティー (暗号化、認証、および承認)
- リスナーの設定
- Broker ID の設定
- ログデータディレクトリーの設定
- ブローカー間の通信
- ZooKeeper の接続
次の接頭辞を持つプロパティーは設定できません。
-
advertised.
-
authorizer.
-
broker.
-
controller
-
cruise.control.metrics.reporter.bootstrap.
-
cruise.control.metrics.topic
-
host.name
-
inter.broker.listener.name
-
listener.
-
listeners
-
log.dir
-
password.
-
port
-
process.roles
-
sasl.
-
security.
-
servers,node.id
-
ssl.
-
super.user
-
zookeeper.clientCnxnSocket
-
zookeeper.connect
-
zookeeper.set.acl
-
zookeeper.ssl
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、サポートされている他のすべてのオプションは Kafka に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定 -
zookeeper.connection.timeout.ms
プロパティーを設定して、ZooKeeper 接続の確立に許可される最大時間の設定。 Cruise Control メトリックのプロパティー:
-
cruise.control.metrics.topic.num.partitions
-
cruise.control.metrics.topic.replication.factor
-
cruise.control.metrics.topic.retention.ms
-
cruise.control.metrics.topic.auto.create.retries
-
cruise.control.metrics.topic.auto.create.timeout.ms
-
cruise.control.metrics.topic.min.insync.replicas
-
コントローラーのプロパティー:
-
controller.quorum.election.backoff.max.ms
-
controller.quorum.election.timeout.ms
-
controller.quorum.fetch.timeout.ms
-
Kafka ブローカーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... config: num.partitions: 1 num.recovery.threads.per.data.dir: 1 default.replication.factor: 3 offsets.topic.replication.factor: 3 transaction.state.log.replication.factor: 3 transaction.state.log.min.isr: 1 log.retention.hours: 168 log.segment.bytes: 1073741824 log.retention.check.interval.ms: 300000 num.network.threads: 3 num.io.threads: 8 socket.send.buffer.bytes: 102400 socket.receive.buffer.bytes: 102400 socket.request.max.bytes: 104857600 group.initial.rebalance.delay.ms: 0 zookeeper.connection.timeout.ms: 6000 # ...
5.3. brokerRackInitImage
ラックアウェアネス (Rack Awareness) が有効である場合、Kafka ブローカー Pod は init コンテナーを使用して OpenShift クラスターノードからラベルを収集します。このコンテナーに使用されるコンテナーイメージは、brokerRackInitImage
プロパティーを使用して設定できます。brokerRackInitImage
フィールドがない場合、以下のイメージが優先度順に使用されます。
-
Cluster Operator 設定の
STRIMZI_DEFAULT_KAFKA_INIT_IMAGE
環境変数に指定されたコンテナーイメージ。 -
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.0
container image.
brokerRackInitImage
の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... rack: topologyKey: topology.kubernetes.io/zone brokerRackInitImage: my-org/my-image:latest # ...
コンテナーイメージのオーバーライドは、別のコンテナーレジストリーを使用する必要がある特別な状況でのみ推奨されます。たとえば、AMQ Streams によって使用されるコンテナーレジストリーにネットワークがアクセスできない場合などがこれに該当します。この場合は、AMQ Streams イメージをコピーするか、ソースからビルドする必要があります。設定したイメージが AMQ Streams イメージと互換性のない場合は、適切に機能しない可能性があります。
5.4. logging
Kafka には、次のような独自の設定可能なロガーがあります。
-
log4j.logger.org.I0Itec.zkclient.ZkClient
-
log4j.logger.org.apache.zookeeper
-
log4j.logger.kafka
-
log4j.logger.org.apache.kafka
-
log4j.logger.kafka.request.logger
-
log4j.logger.kafka.network.Processor
-
log4j.logger.kafka.server.KafkaApis
-
log4j.logger.kafka.network.RequestChannel$
-
log4j.logger.kafka.controller
-
log4j.logger.kafka.log.LogCleaner
-
log4j.logger.state.change.logger
-
log4j.logger.kafka.authorizer.logger
Kafka では Apache log4j
ロガー実装が使用されます。
logging
プロパティーを使用してロガーおよびロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。inline
ロギングでは、ルートロガーレベルを指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... kafka: # ... logging: type: inline loggers: kafka.root.logger.level: INFO log4j.logger.kafka.coordinator.transaction: TRACE log4j.logger.kafka.log.LogCleanerManager: DEBUG log4j.logger.kafka.request.logger: DEBUG log4j.logger.io.strimzi.kafka.oauth: DEBUG log4j.logger.org.openpolicyagents.kafka.OpaAuthorizer: DEBUG # ...
ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があります。
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: kafka-log4j.properties # ...
設定されていない利用可能なロガーのレベルは OFF
に設定されています。
Cluster Operator を使用して Kafka がデプロイされた場合、Kafka のロギングレベルの変更は動的に適用されます。
外部ロギングを使用する場合は、ロギングアペンダーが変更されるとローリング更新がトリガーされます。
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
5.5. KafkaClusterSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
version | Kafka ブローカーのバージョン。デフォルトは 3.5.0 です。バージョンのアップグレードまたはダウングレードに必要なプロセスを理解するには、ユーザードキュメントを参照してください。 |
string | |
replicas | クラスター内の Pod 数。 |
integer | |
image |
Pod の Docker イメージ。デフォルト値は、設定した |
string | |
listeners | Kafka ブローカーのリスナーを設定します。 |
config | 次の接頭辞のある Kafka ブローカーの config プロパティーは設定できません: listeners, advertised., broker., listener., host.name, port, inter.broker.listener.name, sasl., ssl., security., password., log.dir, zookeeper.connect, zookeeper.set.acl, zookeeper.ssl, zookeeper.clientCnxnSocket, authorizer., super.user, cruise.control.metrics.topic, cruise.control.metrics.reporter.bootstrap.servers,node.id, process.roles, controller. (次は対象外: zookeeper.connection.timeout.ms, sasl.server.max.receive.size,ssl.cipher.suites, ssl.protocol, ssl.enabled.protocols, ssl.secure.random.implementation,cruise.control.metrics.topic.num.partitions, cruise.control.metrics.topic.replication.factor, cruise.control.metrics.topic.retention.ms,cruise.control.metrics.topic.auto.create.retries, cruise.control.metrics.topic.auto.create.timeout.ms,cruise.control.metrics.topic.min.insync.replicas,controller.quorum.election.backoff.max.ms, controller.quorum.election.timeout.ms, controller.quorum.fetch.timeout.ms). |
map | |
storage |
ストレージの設定 (ディスク)。更新はできません。タイプは、指定のオブジェクト内の |
認可 |
Kafka ブローカーの承認設定。タイプは、指定のオブジェクト内の |
| |
rack |
|
brokerRackInitImage |
|
string | |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
jvmOptions | Pod の JVM オプション。 |
jmxOptions | Kafka ブローカーの JMX オプション。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
metricsConfig |
メトリクスの設定。タイプは、指定のオブジェクト内の |
logging |
Kafka のロギング設定。タイプは、指定のオブジェクト内の |
template | Kafka クラスターリソースのテンプレート。このテンプレートを使用すると、ユーザーは OpenShift リソースの生成方法を指定できます。 |
第6章 Generic KafkaListener
スキーマ参照
KafkaClusterSpec
で使用
GenericKafkaListener
スキーマプロパティーの完全リスト
OpenShift 内外の Kafka ブローカーに接続するようにリスナーを設定します。
Kafka
リソースでリスナーを設定します。
リスナー設定を示す Kafka
リソースの例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: #... listeners: - name: plain port: 9092 type: internal tls: false - name: tls port: 9093 type: internal tls: true authentication: type: tls - name: external1 port: 9094 type: route tls: true - name: external2 port: 9095 type: ingress tls: true authentication: type: tls configuration: bootstrap: host: bootstrap.myingress.com brokers: - broker: 0 host: broker-0.myingress.com - broker: 1 host: broker-1.myingress.com - broker: 2 host: broker-2.myingress.com #...
6.1. listeners
Kafka リソースの listeners
プロパティーを使用して Kafka
ブローカーリスナーを設定します。リスナーは配列として定義されます。
リスナーの設定例
listeners: - name: plain port: 9092 type: internal tls: false
名前およびポートは Kafka クラスター内で一意である必要があります。各リスナーに一意の名前とポートを指定することで、複数のリスナーを設定できます。名前は最大 25 文字で、小文字と数字で設定されます。
6.2. port
ポート番号は Kafka クラスターで使用されるポートで、クライアントによるアクセスに使用されるポートとは異なる場合があります。
-
loadbalancer
リスナーは、指定されたポート番号を使用します。internal
およびcluster-ip
リスナーも同様です。 -
ingress
およびroute
リスナーはアクセスにポート 443 を使用します。 -
nodeport
リスナーは OpenShift によって割り当てられたポート番号を使用します。
クライアント接続の場合は、リスナーのブートストラップサービスのアドレスおよびポートを使用します。これは、Kafka
リソースのステータス から取得できます。
クライアント接続のアドレスおよびポートを取得するコマンドの例
oc get kafka <kafka_cluster_name> -o=jsonpath='{.status.listeners[?(@.name=="<listener_name>")].bootstrapServers}{"\n"}'
ブローカーへのクライアントアクセス用にリスナーを設定する場合、いくつかの例外を除き、ポート 9092 以降 (9093、9094 など) を使用できます。ブローカー間通信 (9090 および 9091)、Prometheus メトリック (9404)、および JMX (Java Management Extensions) モニタリング (9999) 用に予約されているポートを使用するようにリスナーを設定できません。
6.3. type
タイプは internal
として設定されるか、外部リスナーの場合は route
、loadbalancer
、nodeport
、ingress
または cluster-ip
として設定されます。また、カスタムアクセスメカニズムの構築に使用できる内部リスナーの一種である cluster-ip
リスナーを設定することもできます。
- internal
tls
プロパティーを使用して、暗号化の有無に関わらず内部リスナーを設定できます。internal
リスナーの設定例#... spec: kafka: #... listeners: #... - name: plain port: 9092 type: internal tls: false - name: tls port: 9093 type: internal tls: true authentication: type: tls #...
- route
OpenShift
Routes
および HAProxy ルーターを使用して Kafka を公開するように外部リスナーを設定します。Kafka ブローカー Pod ごとに専用の
Route
が作成されます。追加のRoute
が作成され、Kafka ブートストラップアドレスとして提供されます。これらのRoutes
を使用すると、Kafka クライアントを 443 番ポートで Kafka に接続することができます。クライアントはデフォルトのルーターポートであるポート 443 に接続しますが、トラフィックは設定するポート (この例では9094
) にルーティングされます。route
リスナーの設定例#... spec: kafka: #... listeners: #... - name: external1 port: 9094 type: route tls: true #...
- ingress
Kubernetes
Ingress
および Ingress NGINX Controller for Kubernetes を使用して、Kafka を公開するように外部リスナーを設定します。各 Kafka ブローカー Pod に専用の
Ingress
リソースが作成されます。追加のIngress
リソースが作成され、Kafka ブートストラップアドレスとして提供されます。これらのIngress
リソースを使用すると、Kafka クライアントを 443 番ポートで Kafka に接続することができます。クライアントはデフォルトのコントローラーポートであるポート 443 に接続しますが、トラフィックは設定するポート (以下の例では9095
にルーティングされます)。GenericKafkaListenerConfigurationBootstrap
およびGenericKafkaListenerConfigurationBroker
プロパティーを使用して、ブートストラップおよびブローカーごとのサービスによって使用されるホスト名を指定する必要があります。Ingress
リスナーの設定例#... spec: kafka: #... listeners: #... - name: external2 port: 9095 type: ingress tls: true authentication: type: tls configuration: bootstrap: host: bootstrap.myingress.com brokers: - broker: 0 host: broker-0.myingress.com - broker: 1 host: broker-1.myingress.com - broker: 2 host: broker-2.myingress.com #...
注記Ingress
を使用する外部リスナーは、現在 Ingress NGINX Controller for Kubernetes でのみテストされています。- loadbalancer
Loadbalancer
タイプのService
を使用して Kafka を公開するように外部リスナーを設定します。Kafka ブローカー Pod ごとに新しいロードバランサーサービスが作成されます。追加のロードバランサーが作成され、Kafka の ブートストラップ アドレスとして提供されます。ロードバランサーは指定のポート番号をリッスンします。以下の例ではポート
9094
です。loadBalancerSourceRanges
プロパティーを使用して、指定された IP アドレスへのアクセスを制限する ソース範囲 を設定できます。loadbalancer
リスナーの設定例#... spec: kafka: #... listeners: - name: external3 port: 9094 type: loadbalancer tls: true configuration: loadBalancerSourceRanges: - 10.0.0.0/8 - 88.208.76.87/32 #...
- nodeport
NodePort
タイプのServices
を使用して Kafka を公開するように外部リスナーを設定します。Kafka クライアントは OpenShift のノードに直接接続します。追加の
NodePort
タイプのサービスが作成され、Kafka ブートストラップアドレスとして提供されます。Kafka ブローカー Pod にアドバタイズされたアドレスを設定する場合、AMQ Stremas では該当の Pod が稼働しているノードのアドレスが使用されます。
preferredNodePortAddressType
プロパティーを使用して、チェックした最初のアドレスタイプをノードアドレスとして設定することができます。nodeport
リスナーの設定例#... spec: kafka: #... listeners: #... - name: external4 port: 9095 type: nodeport tls: false configuration: preferredNodePortAddressType: InternalDNS #...
注記ノードポートを使用して Kafka クラスターを公開する場合、現在 TLS ホスト名の検証はサポートされません。
- cluster-ip
ブローカーごとの
ClusterIP
タイプService
を使用して Kafka を公開するように内部リスナーを設定します。リスナーは、ヘッドレスサービスとその DNS 名を使用してトラフィックを Kafka ブローカーにルーティングしません。ヘッドレスサービスの使用が不適切な場合は、このタイプのリスナーを使用して Kafka クラスターを公開できます。特定の Ingress コントローラーや OpenShift Gateway API を使用するものなど、カスタムアクセスメカニズムで使用できます。
Kafka ブローカー Pod ごとに新しい
ClusterIP
サービスが作成されます。このサービスには、ブローカーごとのポート番号を持つ Kafka ブートストラップ アドレスとして機能するClusterIP
アドレスが割り当てられます。たとえば、TCP ポート設定を使用して、Nginx Ingress Controller を介して Kafka クラスターを公開するようにリスナーを設定できます。cluster-ip
リスナーの設定例#... spec: kafka: #... listeners: - name: external-cluster-ip type: cluster-ip tls: false port: 9096 #...
6.4. tls
TLS プロパティーが必要です。
デフォルトでは、TLS による暗号化は有効になっていません。これを有効にするには、tls
プロパティーを true
に設定します。
ingress
および ingress
タイプのリスナーの場合、TLS 暗号化を有効にする必要があります。
6.5. 認証
リスナーの認証は以下のように指定できます。
-
mTLS (
tls
) -
SCRAM-SHA-512 (
scram-sha-512
) -
トークンベースの OAuth 2.0 (
oauth
) -
Custom(
カスタム
)
6.6. networkPolicyPeers
ネットワークレベルでリスナーへのアクセスを制限するネットワークポリシーを設定するには、networkPolicyPeers
を使用します。次の例では、plain
と tls
リスナーの networkPolicyPeers
の設定を示しています。
以下の例では、下記の点を前提としています。
-
ラベル
app: kafka-sasl-consumer
およびapp: kafka-sasl-producer
と一致するアプリケーション Pod のみがplain
リスナーに接続できます。アプリケーション Pod は Kafka ブローカーと同じ namespace で実行されている必要があります。 -
ラベル
project: myproject
およびproject: myproject2
と一致する namespace で稼働しているアプリケーション Pod のみ、tls
リスナーに接続できます。
networkPolicyPeers
プロパティーの構文は、NetworkPolicy
リソースの from
プロパティーと同じです。
ネットワークポリシー設定の例
listeners: #... - name: plain port: 9092 type: internal tls: true authentication: type: scram-sha-512 networkPolicyPeers: - podSelector: matchLabels: app: kafka-sasl-consumer - podSelector: matchLabels: app: kafka-sasl-producer - name: tls port: 9093 type: internal tls: true authentication: type: tls networkPolicyPeers: - namespaceSelector: matchLabels: project: myproject - namespaceSelector: matchLabels: project: myproject2 # ...
6.7. GenericKafkaListener
スキーマプロパティー
プロパティー | 説明 |
---|---|
name | リスナーの名前。名前は、リスナーおよび関連する OpenShift オブジェクトの識別に使用されます。指定の Kafka クラスター内で一意となる必要があります。この名前には、小文字と数字を使用でき、最大 11 文字まで使用できます。 |
string | |
port | Kafka 内でリスナーによって使用されるポート番号。ポート番号は指定の Kafka クラスター内で一意である必要があります。許可されるポート番号は 9092 以上ですが、すでに Prometheus および JMX によって使用されているポート 9404 および 9999 以外になります。リスナーのタイプによっては、ポート番号は Kafka クライアントに接続するポート番号と同じではない場合があります。 |
integer | |
type |
リスナーのタイプ。現在サポートされているタイプは、
|
文字列 (ingress、internal、route、loadbalancer、cluster-ip、nodeport のいずれか) | |
tls | リスナーで TLS による暗号化を有効にします。これは必須プロパティーです。 |
boolean | |
authentication |
このリスナーの認証設定。タイプは、指定のオブジェクト内の |
| |
configuration | 追加のリスナー設定。 |
networkPolicyPeers | このリスナーに接続できるピアの一覧。この一覧のピアは、論理演算子 OR を使用して組み合わせます。このフィールドが空であるか、存在しない場合、このリスナーのすべてのコネクションが許可されます。このフィールドが存在し、1 つ以上の項目が含まれる場合、リスナーはこの一覧の少なくとも 1 つの項目と一致するトラフィックのみを許可します。詳細は、networking.k8s.io/v1 networkpolicypeer の外部ドキュメント を参照してください。 |
第7章 KafkaListenerAuthenticationTls
スキーマ参照
type
プロパティーは、KafkaListenerAuthenticationTls
タイプと、 KafkaListenerAuthenticationScramSha512
、KafkaListenerAuthenticationOAuth
、KafkaListenerAuthenticationCustom
とを区別して使用するための識別子です。KafkaListenerAuthenticationTls
タイプには tls
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第8章 KafkaListenerAuthenticationScramSha512
スキーマ参照
type
プロパティーは、KafkaListenerAuthenticationScramSha512
タイプと、KafkaListenerAuthenticationTls
、KafkaListenerAuthenticationOAuth
、KafkaListenerAuthenticationCustom
とを区別して使用するための識別子です。KafkaListenerAuthenticationScramSha512
タイプには scram-sha-512
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第9章 KafkaListenerAuthenticationOAuth
スキーマ参照
type
プロパティーは、KafkaListenerAuthenticationOAuth
タイプと、KafkaListenerAuthenticationTls
、KafkaListenerAuthenticationScramSha512
、KafkaListenerAuthenticationCustom
とを区別して使用するための識別子です。KafkaListenerAuthenticationOAuth
タイプには oauth
の値が必要です。
プロパティー | 説明 |
---|---|
accessTokenIsJwt |
アクセストークンを JWT として処理するかどうかを設定します。認可サーバーが不透明なトークンを返す場合は、 |
boolean | |
checkAccessTokenType |
アクセストークンタイプのチェックを行うかどうかを設定します。認可サーバーの JWT トークンに 'typ' 要求が含まれない場合は、 |
boolean | |
checkAudience |
オーディエンスのチェックを有効または無効にします。オーディエンスのチェックによって、トークンの受信者が特定されます。オーディエンスチェックが有効な場合、OAuth クライアント ID も |
boolean | |
checkIssuer |
発行元のチェックを有効または無効にします。デフォルトでは、 |
boolean | |
clientAudience |
認可サーバーのトークンエンドポイントにリクエストを送信するときに使用するオーディエンス。ブローカー間の認証や、 |
string | |
clientId | Kafka ブローカーは、OAuth クライアント ID を使用して認可サーバーに対して認証し、イントロスペクションエンドポイント URI を使用することができます。 |
string | |
clientScope |
認可サーバーのトークンエンドポイントにリクエストを送信するときに使用するスコープ。ブローカー間の認証や、 |
string | |
clientSecret | OAuth クライアントシークレットが含まれる OpenShift シークレットへのリンク。Kafka ブローカーは、OAuth クライアントシークレットを使用して認可サーバーに対して認証し、イントロスペクションエンドポイント URI を使用することができます。 |
connectTimeoutSeconds | 認可サーバーへの接続時のタイムアウト (秒単位)。設定しない場合は、実際の接続タイムアウトは 60 秒になります。 |
integer | |
customClaimCheck | JWT トークンに適用される JSONPath フィルタークエリー、または追加のトークン検証のイントロスペクションエンドポイントの応答に適用される JSONPath フィルタークエリー。デフォルトでは設定されません。 |
string | |
disableTlsHostnameVerification |
TLS ホスト名の検証を有効または無効にします。デフォルト値は |
boolean | |
enableECDSA |
|
boolean | |
enableMetrics |
OAuth メトリックを有効または無効にします。デフォルト値は |
boolean | |
enableOauthBearer |
SASL_OAUTHBEARER での OAuth 認証を有効または無効にします。デフォルト値は |
boolean | |
enablePlain |
SASL_PLAIN で OAuth 認証を有効または無効にします。このメカニズムが使用される場合、再認証はサポートされません。デフォルト値は |
boolean | |
failFast |
起動時に回復可能な実行時エラーが発生する可能性があるため、Kafka ブローカープロセスの終了を有効または無効にします。デフォルト値は |
boolean | |
fallbackUserNameClaim |
|
string | |
fallbackUserNamePrefix |
ユーザー ID を設定するために |
string | |
groupsClaim | 認証中にユーザーのグループ抽出に使用される JSONPath クエリー。抽出したグループは、カスタムオーソライザーで使用できます。デフォルトでは、グループは抽出されません。 |
string | |
groupsClaimDelimiter | グループの解析時に JSON 配列ではなく単一の文字列の値として抽出された場合に使用される区切り文字。デフォルト値は ',' (コンマ) です。 |
string | |
httpRetries | 最初の HTTP リクエストが失敗した場合に試行する最大再試行回数。設定されていない場合、デフォルトでは再試行は行われません。 |
integer | |
httpRetryPauseMs | 失敗した HTTP リクエストを再試行するまでの一時停止。設定されていない場合、デフォルトでは一時停止せず、ただちにリクエストを繰り返します。 |
integer | |
introspectionEndpointUri | 不透明な JWT 以外のトークンの検証に使用できるトークンイントロスペクションエンドポイントの URI。 |
string | |
jwksEndpointUri | ローカルの JWT 検証に使用できる JWKS 証明書エンドポイントの URI。 |
string | |
jwksExpirySeconds |
JWKS 証明書が有効とみなされる頻度を設定します。期限切れの間隔は、 |
integer | |
jwksIgnoreKeyUse |
JWKS エンドポイント応答の |
boolean | |
jwksMinRefreshPauseSeconds | 連続する 2 回の更新の間に適用される最小の一時停止期間。不明な署名鍵が検出されると、更新は即座にスケジュールされますが、この最小一時停止の期間は待機します。デフォルトは 1 秒です。 |
integer | |
jwksRefreshSeconds |
JWKS 証明書が更新される頻度を設定します。更新間隔は、 |
integer | |
maxSecondsWithoutReauthentication |
再認証せずに認証されたセッションが有効な状態でいられる最大期間 (秒単位)。これにより、Apache Kafka の再認証機能が有効になり、アクセストークンの有効期限が切れるとセッションが期限切れになります。最大期間の前または最大期間の到達時にアクセストークンが期限切れになると、クライアントは再認証する必要があります。そうでないと、サーバーは接続を切断します。デフォルトでは設定されません。アクセストークンが期限切れになっても認証されたセッションは期限切れになりません。このオプションは、SASL_OAUTHBEARER 認証メカニズムにのみ適用されます ( |
integer | |
readTimeoutSeconds | 認可サーバーへの接続時の読み取りタイムアウト (秒単位)。設定しない場合は、実際の読み取りタイムアウトは 60 秒になります。 |
integer | |
tlsTrustedCertificates | OAuth サーバーへの TLS 接続の信頼済み証明書。 |
| |
tokenEndpointUri |
クライアントが |
string | |
type |
|
string | |
userInfoEndpointUri | Introspection Endpoint がユーザー ID に使用できる情報を返さない場合に、ユーザー ID 取得のフォールバックとして使用する User Info Endpoint の URL。 |
string | |
userNameClaim |
ユーザー ID の取得に使用される JWT 認証トークン、Introspection Endpoint の応答、または User Info Endpoint の応答からの要求の名前。デフォルトは |
string | |
validIssuerUri | 認証に使用されるトークン発行者の URI。 |
string | |
validTokenType |
Introspection Endpoint によって返される |
string |
第10章 GenericSecretSource
スキーマ参照
KafkaClientAuthenticationOAuth
、KafkaListenerAuthenticationCustom
、KafkaListenerAuthenticationOAuth
で使用
プロパティー | 説明 |
---|---|
key | OpenShift シークレットでシークレット値が保存されるキー。 |
string | |
secretName | シークレット値が含まれる OpenShift シークレットの名前。 |
string |
第11章 CertSecretSource
スキーマ参照
ClientTls
、KafkaAuthorizationKeycloak
、KafkaAuthorizationOpa
、KafkaClientAuthenticationOAuth
、KafkaListenerAuthenticationOAuth
で使用
プロパティー | 説明 |
---|---|
certificate | Secret のファイル証明書の名前。 |
string | |
secretName | 証明書が含まれる Secret の名前。 |
string |
第12章 KafkaListenerAuthenticationCustom
スキーマ参照
KafkaListenerAuthenticationCustom
スキーマプロパティーの完全リスト
カスタム認証を設定するには、type
プロパティーを custom
に設定します。
カスタム認証では、kafka でサポートされているあらゆるタイプの認証が使用できます。
カスタム OAuth 認証の設定例
spec: kafka: config: principal.builder.class: SimplePrincipal.class listeners: - name: oauth-bespoke port: 9093 type: internal tls: true authentication: type: custom sasl: true listenerConfig: oauthbearer.sasl.client.callback.handler.class: client.class oauthbearer.sasl.server.callback.handler.class: server.class oauthbearer.sasl.login.callback.handler.class: login.class oauthbearer.connections.max.reauth.ms: 999999999 sasl.enabled.mechanisms: oauthbearer oauthbearer.sasl.jaas.config: | org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required ; secrets: - name: example
sasl
および tls
の値を使用して、リスナーにマップするプロトコルを判別するプロトコルマップが生成されます。
- SASL = True, TLS = True → SASL_SSL
- SASL = False, TLS = True → SSL
- SASL = True, TLS = False → SASL_PLAINTEXT
- SASL = False, TLS = False → PLAINTEXT
12.1. listenerConfig
listenerConfig
を使用して指定されたリスナー設定は、listener.name.<listener_name>-<port>
の接頭辞が付けられます。たとえば、sasl.enabled.mechanisms
は listener.name.<listener_name>-<port>.sasl.enabled.mechanisms
になります。
12.2. secrets
シークレットは、Kafka ブローカーノードのコンテナーの/opt/kafka/custom-authn-secrets/custom-listener-<listener_name>-<port>/<secret_name>
にマウントされます。
たとえば、設定例ではマウントされたシークレット (example
) は /opt/kafka/custom-authn-secrets/custom-listener-oauth-bespoke-9093/example
にあります。
12.3. プリンシパルビルダー
Kafka クラスター設定でカスタムプリンシパルビルダーを設定できます。ただし、プリンシパルビルダーは以下の要件に依存します。
- 指定されたプリンシパルビルダークラスがイメージに存在している。独自に構築する 前 に、すでに存在しているかどうかを確認します。必要なクラスで AMQ Streams イメージを再構築する必要があります。
-
他のリスナーが
oauth
タイプ認証をしていない。これは、OAuth リスナーが独自のプリンシパルビルダーを Kafka 設定に追加するためです。 - 指定のプリンシパルビルダーは AMQ Streams と互換性がある。
AMQ Streams は Kafka クラスターの管理に使用するため、カスタムプリンシパルビルダーは認証用のピア証明書をサポートする必要があります。
Kafka のデフォルトのプリンシパルビルダークラス は、ピア証明書の名前を基にしたプリンシパルのビルドをサポートします。カスタムプリンシパルビルダーは、SSL ピア証明書の名前を使用して user
タイプのプリンシパルを指定する必要があります。
以下の例は、AMQ Streams の OAuth 要件を満たすカスタムプリンシパルビルダーを示しています。
カスタム OAuth 設定のプリンシパルビルダーの例
public final class CustomKafkaPrincipalBuilder implements KafkaPrincipalBuilder { public KafkaPrincipalBuilder() {} @Override public KafkaPrincipal build(AuthenticationContext context) { if (context instanceof SslAuthenticationContext) { SSLSession sslSession = ((SslAuthenticationContext) context).session(); try { return new KafkaPrincipal( KafkaPrincipal.USER_TYPE, sslSession.getPeerPrincipal().getName()); } catch (SSLPeerUnverifiedException e) { throw new IllegalArgumentException("Cannot use an unverified peer for authentication", e); } } // Create your own KafkaPrincipal here ... } }
12.4. KafkaListenerAuthenticationCustom
スキーマ参照
type
プロパティーは KafkaListenerAuthenticationCustom
タイプと KafkaListenerAuthenticationTls
, KafkaListenerAuthenticationScramSha512
, KafkaListenerAuthenticationOAuth
とを区別して使用するための識別子です。KafkaListenerAuthenticationCustom
タイプには custom
の値が必要です。
プロパティー | 説明 |
---|---|
listenerConfig | 特定のリスナーに使用される設定。すべての値の前に listener.name.<listener_name> を付けます。 |
map | |
sasl | このリスナーで SASL を有効または無効にします。 |
boolean | |
secrets | /opt/kafka/custom-authn-secrets/custom-listener-<listener_name>-<port>/<secret_name> にマウントされるシークレット。 |
type |
|
string |
第13章 GenericKafkaListenerConfiguration
スキーマ参照
GenericKafkaListenerConfiguration
スキーマプロパティーの全リスト
Kafka リスナーの設定。
13.1. brokerCertChainAndKey
brokerCertChainAndKey
プロパティーは、TLS 暗号化が有効になっているリスナーでのみ使用されます。プロパティーを使用して、独自の Kafka リスナー証明書を提供できます。
TLS 暗号化が有効な loadbalancer
外部リスナーの設定例
listeners: #... - name: external port: 9094 type: loadbalancer tls: true authentication: type: tls configuration: brokerCertChainAndKey: secretName: my-secret certificate: my-listener-certificate.crt key: my-listener-key.key # ...
13.2. externalTrafficPolicy
externalTrafficPolicy
プロパティーは、loadbalancer
や nodeport
のリスナーで使用されます。OpenShift の外で Kafka を公開する場合は、Local
または Cluster
を選択できます。Local
は他のノードへのホップを避け、クライアントの IP を保持しますが、Cluster
はそのどちらでもありません。デフォルトは Cluster
です。
13.3. loadBalancerSourceRanges
loadBalancerSourceRanges
プロパティーは、loadbalancer
でのみ使用されます。OpenShift 外部で Kafka を公開する場合、ラベルやアノテーションの他にソースの範囲を使用して、サービスの作成方法をカスタマイズします。
ロードバランサーリスナー向けに設定されたソース範囲の例
listeners: #... - name: external port: 9094 type: loadbalancer tls: false configuration: externalTrafficPolicy: Local loadBalancerSourceRanges: - 10.0.0.0/8 - 88.208.76.87/32 # ... # ...
13.4. class
class
プロパティーは、ingress
リスナーでのみ使用されます。Ingress
クラスの設定は class
プロパティーで行います。
Ingress
クラスの nginx-internal
を使用した ingress
タイプの外部リスナーの例
listeners: #... - name: external port: 9094 type: ingress tls: true configuration: class: nginx-internal # ... # ...
13.5. preferredNodePortAddressType
preferredNodePortAddressType
プロパティーは、nodeport
リスナーでのみ使用されます。
リスナーの設定で preferredNodePortAddressType
プロパティーを使用して、ノードアドレスとしてチェックされる最初のアドレスタイプを指定します。たとえば、デプロイメントに DNS サポートがない場合や、内部 DNS または IP アドレスを介してブローカーを内部でのみ公開する場合、このプロパティーは便利です。該当タイプのアドレスが見つかった場合はそのアドレスが使用されます。アドレスタイプが見つからなかった場合、AMQ Streams は標準の優先順位でタイプの検索を続行します。
- ExternalDNS
- ExternalIP
- Hostname
- InternalDNS
- InternalIP
優先ノードポートアドレスタイプで設定された外部リスナーの例
listeners: #... - name: external port: 9094 type: nodeport tls: false configuration: preferredNodePortAddressType: InternalDNS # ... # ...
13.6. useServiceDnsDomain
useServiceDnsDomain
プロパティーは、internal
および cluster-ip
リスナーでのみ使用されます。クラスターサービスの接尾辞 (通常は .cluster.local
) を含む完全修飾 DNS 名を使用するかどうかを定義します。useServiceDnsDomain
を false
に設定すると、アドバタイズされるアドレスはサービス接尾辞なしで生成されます。(例:my-cluster-kafka-0.my-cluster-kafka-brokers.myproject.svc
)useServiceDnsDomain
を true
に設定すると、アドバタイズされたアドレスはサービスの接尾辞で生成されます。(例:my-cluster-kafka-0.my-cluster-kafka-brokers.myproject.svc.cluster.local
)デフォルトは false
です。
サービス DNS ドメインを使用するよう設定された内部リスナーの例
listeners: #... - name: plain port: 9092 type: internal tls: false configuration: useServiceDnsDomain: true # ... # ...
OpenShift クラスターが .cluster.local
とは異なるサービス接尾辞を使用している場合は、Cluster Operator の設定で KUBERNETES_SERVICE_DNS_DOMAIN
環境変数を使用して接尾辞を設定することができます。
13.7. GenericKafkaListenerConfiguration
スキーマプロパティー
プロパティー | 説明 |
---|---|
brokerCertChainAndKey |
このリスナーに使用される証明書とプライベートキーのペアを保持する |
externalTrafficPolicy |
サービスによって外部トラフィックがローカルノードのエンドポイントまたはクラスター全体のエンドポイントにルーティングされるかどうかを指定します。 |
string ([Local、Cluster] のいずれか) | |
loadBalancerSourceRanges |
クライアントがロードバランサータイプのリスナーに接続できる CIDR 形式による範囲 (例: |
string array | |
bootstrap | ブートストラップの設定。 |
brokers | ブローカーごとの設定。 |
ipFamilyPolicy |
サービスによって使用される IP Family Policy を指定します。利用可能なオプションは、 |
string ([RequireDualStack、SingleStack、PreferDualStack] のいずれか) | |
ipFamilies |
サービスによって使用される IP Families を指定します。利用可能なオプションは、 |
string ([IPv6, IPv4] の 1 つ以上) array | |
createBootstrapService |
ブートストラップサービスを作成するかどうか。ブートストラップサービスはデフォルトで作成されます (指定されない場合)。このフィールドは、 |
boolean | |
class |
使用するコントローラーを定義する |
string | |
finalizers |
このリスナーに作成された |
string array | |
maxConnectionCreationRate | このリスナーでいつでも許可される最大接続作成率。制限に達すると、新しい接続はスロットリングされます。 |
integer | |
maxConnections | ブローカーのこのリスナーでいつでも許可される最大接続数。制限に達すると、新しい接続はブロックされます。 |
integer | |
preferredNodePortAddressType |
ノードアドレスとして使用するアドレスタイプを定義します。使用できるタイプ:
このフィールドは、最初にチェックされる優先アドレスタイプの選択に使用されます。このアドレスタイプのアドレスが見つからない場合、他のタイプがデフォルトの順序でチェックされます。このフィールドは、 |
string ([ExternalDNS、ExternalIP、Hostname、InternalIP、InternalDNS] のいずれか) | |
useServiceDnsDomain |
OpenShift サービス DNS ドメインを使用するべきかどうかを設定します。 |
boolean |
第14章 CertAndKeySecretSource
スキーマ参照
GenericKafkaListenerConfiguration
、KafkaClientAuthenticationTls
で使用
プロパティー | 説明 |
---|---|
certificate | Secret のファイル証明書の名前。 |
string | |
key | Secret の秘密鍵の名前。 |
string | |
secretName | 証明書が含まれる Secret の名前。 |
string |
第15章 GenericKafkaListenerConfigurationBootstrap
スキーマ参照
GenericKafkaListenerConfiguration
で使用
GenericKafkaListenerConfigurationBootstrap
スキーマプロパティーの全リスト
nodePort
、host
、loadBalancerIP
、annotations
プロパティーに相当するブローカーサービスは、GenericKafkaListenerConfigurationBroker
schema で設定されます。
15.1. alternativeNames
ブートストラップサービスの代替名を指定できます。名前はブローカー証明書に追加され、TLS ホスト名の検証に使用できます。alternativeNames
プロパティーは、すべてのタイプのリスナーに適用されます。
ブートストラップアドレスを追加設定した外部 route
リスナーの例です。
listeners: #... - name: external port: 9094 type: route tls: true authentication: type: tls configuration: bootstrap: alternativeNames: - example.hostname1 - example.hostname2 # ...
15.2. host
host
プロパティーは、route
リスナーと ingress
リスナーで使用され、ブートストラップサービスとパーブロカーサービスで使用されるホスト名を指定します。
Ingress コントローラーが自動的にホスト名を割り当てることはないため、ingress
リスナーの設定には host
のプロパティー値が必須となります。確実にホスト名が Ingress エンドポイントに解決されるようにしてください。AMQ Streams では、要求されたホストが利用可能で、適切に Ingress エンドポイントにルーティングされることを検証しません。
Ingress リスナーのホスト設定例
listeners: #... - name: external port: 9094 type: ingress tls: true authentication: type: tls configuration: bootstrap: host: bootstrap.myingress.com brokers: - broker: 0 host: broker-0.myingress.com - broker: 1 host: broker-1.myingress.com - broker: 2 host: broker-2.myingress.com # ...
デフォルトでは、route
リスナーのホストは OpenShift によって自動的に割り当てられます。ただし、ホストを指定して、割り当てられたルートをオーバーライドすることができます。
AMQ Streams では、要求されたホストが利用可能であることを検証しません。ホストが使用可能であることを確認する必要があります。
route リスナーのホスト設定例
# ... listeners: #... - name: external port: 9094 type: route tls: true authentication: type: tls configuration: bootstrap: host: bootstrap.myrouter.com brokers: - broker: 0 host: broker-0.myrouter.com - broker: 1 host: broker-1.myrouter.com - broker: 2 host: broker-2.myrouter.com # ...
15.3. nodePort
デフォルトでは、ブートストラップおよびブローカーサービスに使用されるポート番号は OpenShift によって自動的に割り当てられます。nodeport
リスナーに割り当てられたノードポートを上書きするには、要求されたポート番号を指定します。
AMQ Streams は要求されたポートの検証を行いません。ポートが使用できることを確認する必要があります。
ノードポートのオーバーライドが設定された外部リスナーの例
# ... listeners: #... - name: external port: 9094 type: nodeport tls: true authentication: type: tls configuration: bootstrap: nodePort: 32100 brokers: - broker: 0 nodePort: 32000 - broker: 1 nodePort: 32001 - broker: 2 nodePort: 32002 # ...
15.4. loadBalancerIP
ロードバランサーの作成時に特定の IP アドレスを要求するには、loadBalancerIP
プロパティーを使用します。特定の IP アドレスでロードバランサーを使用する必要がある場合は、このプロパティーを使用します。クラウドプロバイダーがこの機能に対応していない場合、loadBalancerIP
フィールドは無視されます。
特定のロードバランサー IP アドレスリクエストのある loadbalancer
タイプの外部リスナーの例
# ... listeners: #... - name: external port: 9094 type: loadbalancer tls: true authentication: type: tls configuration: bootstrap: loadBalancerIP: 172.29.3.10 brokers: - broker: 0 loadBalancerIP: 172.29.3.1 - broker: 1 loadBalancerIP: 172.29.3.2 - broker: 2 loadBalancerIP: 172.29.3.3 # ...
15.5. annotations
annotations
を使用して、リスナーに関連する OpenShift リソースにアノテーションを追加します。これらのアノテーションを使用すると、自動的に DNS 名をロードバランサーサービスに割り当てる 外部 DNS などの DNS ツールをインストルメント化できます。
annotations
を使用した loadbalancer
型の外部リスナーの例
# ... listeners: #... - name: external port: 9094 type: loadbalancer tls: true authentication: type: tls configuration: bootstrap: annotations: external-dns.alpha.kubernetes.io/hostname: kafka-bootstrap.mydomain.com. external-dns.alpha.kubernetes.io/ttl: "60" brokers: - broker: 0 annotations: external-dns.alpha.kubernetes.io/hostname: kafka-broker-0.mydomain.com. external-dns.alpha.kubernetes.io/ttl: "60" - broker: 1 annotations: external-dns.alpha.kubernetes.io/hostname: kafka-broker-1.mydomain.com. external-dns.alpha.kubernetes.io/ttl: "60" - broker: 2 annotations: external-dns.alpha.kubernetes.io/hostname: kafka-broker-2.mydomain.com. external-dns.alpha.kubernetes.io/ttl: "60" # ...
15.6. GenericKafkaListenerConfigurationBootstrap
スキーマのプロパティー
プロパティー | 説明 |
---|---|
alternativeNames | ブートストラップサービスの追加の代替名。代替名は、TLS 証明書のサブジェクト代替名のリストに追加されます。 |
string array | |
host |
ブートストラップホスト。このフィールドは、ホスト名を指定するために Ingress リソースまたは Route リソースで使用されます。このフィールドは、 |
string | |
nodePort |
ブートストラップサービスのノードポート。このフィールドは、 |
integer | |
loadBalancerIP |
ロードバランサーは、このフィールドに指定された IP アドレスで要求されます。この機能は、ロードバランサーの作成時に、基礎となるクラウドプロバイダーが |
string | |
annotations |
|
map | |
labels |
|
map |
第16章 GenericKafkaListenerConfigurationBroker
スキーマ参照
GenericKafkaListenerConfiguration
で使用
GenericKafkaListenerConfigurationBroker
スキーマプロパティーの全リスト
ブートストラップサービスのオーバーライドを設定するGenericKafkaListenerConfigurationBootstrap
schemaでは、nodePort
、host
、loadBalancerIP
、annotations
プロパティーの設定例を見ることができます。
ブローカーのアドバタイズされたアドレス
デフォルトでは、AMQ Streams は Kafka クラスターがそのクライアントにアドバタイズするホスト名とポートを自動的に決定しようとします。AMQ Streams が稼働しているインフラストラクチャーでは Kafka にアクセスできる正しいホスト名やポートを提供しない可能性があるため、デフォルトの動作はすべての状況に適しているわけではありません。
ブローカー ID を指定し、リスナーの configuration
プロパティーでアドバタイズされたホスト名とポートをカスタマイズすることができます。その後、AMQ Streams では Kafka ブローカーでアドバタイズされたアドレスが自動設定され、ブローカー証明書に追加されるため、TLS ホスト名の検証が使用できるようになります。アドバタイズされたホストおよびポートのオーバーライドは、すべてのタイプのリスナーで利用できます。
アドバタイズされたアドレスのオーバーライドを設定した外部 route
リスナーの例
listeners: #... - name: external port: 9094 type: route tls: true authentication: type: tls configuration: brokers: - broker: 0 advertisedHost: example.hostname.0 advertisedPort: 12340 - broker: 1 advertisedHost: example.hostname.1 advertisedPort: 12341 - broker: 2 advertisedHost: example.hostname.2 advertisedPort: 12342 # ...
16.1. GenericKafkaListenerConfigurationBroker
スキーマプロパティー
プロパティー | 説明 |
---|---|
broker | Kafka ブローカーの ID (ブローカー識別子)。ブローカー ID は 0 から始まり、ブローカーレプリカの数に対応します。 |
integer | |
advertisedHost |
ブローカーの |
string | |
advertisedPort |
ブローカーの |
integer | |
host |
ブローカーホスト。このフィールドは、ホスト名を指定するために Ingress リソースまたは Route リソースで使用されます。このフィールドは、 |
string | |
nodePort |
ブローカーごとのサービスのノードポート。このフィールドは、 |
integer | |
loadBalancerIP |
ロードバランサーは、このフィールドに指定された IP アドレスで要求されます。この機能は、ロードバランサーの作成時に、基礎となるクラウドプロバイダーが |
string | |
annotations |
|
map | |
labels |
|
map |
第17章 EphemeralStorage
スキーマ参照
使用場所: JbodStorage
、KafkaClusterSpec
、KafkaNodePoolSpec
、ZookeeperClusterSpec
type
プロパティーは、EphemeralStorage
タイプの使用を、PersistentClaimStorage
から区別する識別子です。EphemeralStorage
タイプには ephemeral
の値が必要です。
プロパティー | 説明 |
---|---|
id | ストレージ ID 番号。これは、'jbod' タイプのストレージで定義されるストレージボリュームのみで必須です。 |
integer | |
sizeLimit | type=ephemeral の場合、この EmptyDir ボリュームに必要なローカルストレージの合計容量を定義します (例: 1Gi)。 |
string | |
type |
|
string |
第18章 PersistentClaimStorage
スキーマ参照
使用場所: JbodStorage
、KafkaClusterSpec
、KafkaNodePoolSpec
、ZookeeperClusterSpec
type
プロパティーは、PersistentClaimStorage
タイプの使用を、EphemeralStorage
から区別する識別子です。PersistentClaimStorage
タイプには persistent-claim
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
size | type=persistent-claim の場合、永続ボリューム要求のサイズを定義します (例: 1Gi).。type=persistent-claim の場合には必須です。 |
string | |
selector | 使用する特定の永続ボリュームを指定します。このようなボリュームを選択するラベルを表す key:value ペアが含まれます。 |
map | |
deleteClaim | クラスターのアンデプロイ時に永続ボリューム要求を削除する必要があるかどうかを指定します。 |
boolean | |
class | 動的ボリュームの割り当てに使用するストレージクラス。 |
string | |
id | ストレージ ID 番号。これは、'jbod' タイプのストレージで定義されるストレージボリュームのみで必須です。 |
integer | |
overrides |
個々のブローカーを上書きします。 |
第19章 PersistentClaimStorageOverride
スキーマ参照
プロパティー | 説明 |
---|---|
class | このブローカーの動的ボリュームの割り当てに使用するストレージクラス。 |
string | |
broker | Kafka ブローカーの ID (ブローカー ID)。 |
integer |
第20章 JbodStorage
スキーマ参照
使用場所: KafkaClusterSpec
、KafkaNodePoolSpec
type
プロパティーは、JbodStorage
タイプの使用を EphemeralStorage
と PersistentClaimStorage
から区別する識別子です。JbodStorage
タイプには jbod
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
volumes | JBOD ディスクアレイを表すストレージオブジェクトとしてのボリュームの一覧。 |
第21章 KafkaAuthorizationSimple
スキーマ参照
KafkaClusterSpec
で使用
KafkaAuthorizationSimple
スキーマプロパティーの全リスト
AMQ Streams でのシンプルな認証は、Apache Kafka で提供されているデフォルトの ACL(Access Control Lists) 認証プラグインである AclAuthorizer
プラグインを使用します。ACL を使用すると、ユーザーがアクセスできるリソースを細かく定義できます。
Kafka
のカスタムリソースに簡易認証を使用するように設定します。authorization
セクションの type
プロパティーに simple
という値を設定し、スーパーユーザーのリストを設定します。
アクセスルールは、ACLRule schema referenceで説明されているように、KafkaUser
に対して設定されます。
21.1. superUsers
スーパーユーザーとして扱われるユーザープリンシパルのリスト。このリストのユーザープリンシパルは、ACL ルールをクエリーしなくても常に許可されます。
簡易承認の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... authorization: type: simple superUsers: - CN=client_1 - user_2 - CN=client_3 # ...
Kafka.spec.kafka
の config
プロパティーにある super.user
設定オプションは無視されます。この代わりに、authorization
プロパティーでスーパーユーザーを指定します。詳細は Kafka ブローカーの設定 を参照してください。
21.2. KafkaAuthorizationSimple
スキーマのプロパティー
type
プロパティーは、KafkaAuthorizationSimple
タイプの使用をKafkaAuthorizationOpa
およびKafkaAuthorizationKeycloak
、KafkaAuthorizationCustom
と区別するための識別子です。KafkaAuthorizationSimple
タイプには simple
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
superUsers | スーパーユーザーの一覧。無制限のアクセス権を取得する必要のあるユーザープリンシパルの一覧が含まれなければなりません。 |
string array |
第22章 KafkaAuthorizationOpa
スキーマ参照
KafkaClusterSpec
で使用
KafkaAuthorizationOpa
スキーマプロパティーの全リスト
Open Policy Agentの認証を使用するには、authorization
セクションの type
プロパティーに opa
という値を設定し、必要に応じて OPA のプロパティーを設定します。AMQ Streams は、Kafka 承認に Open Policy Agent プラグインをオーソライザーとして使用します。入力データのフォーマットやポリシーの例については、Open Policy Agent plugin for Kafka authorization を参照してください。
22.1. url
Open Policy Agent サーバーへの接続に使用される URL。URL には、オーソライザーによってクエリーされるポリシーが含まれる必要があります。必須。
22.2. allowOnError
一時的に利用できない場合など、オーソライザーによる Open Policy Agent へのクエリーが失敗した場合に、デフォルトで Kafka クライアントを許可または拒否するかどうかを定義します。デフォルトは false
で、すべてのアクションが拒否されます。
22.3. initialCacheCapacity
すべてのリクエストに対して Open Policy Agent をクエリーしないようにするために、オーソライザーによって使用されるローカルキャッシュの初期容量。デフォルトは 5000
です。
22.4. maximumCacheSize
すべてのリクエストに対して Open Policy Agent をクエリーしないようにするために、オーソライザーによって使用されるローカルキャッシュの最大容量。デフォルトは 50000
です。
22.5. expireAfterMs
すべてのリクエストに対して Open Policy Agent をクエリーしないようにするために、ローカルキャッシュに保持されるレコードの有効期限。キャッシュされた承認決定が Open Policy Agent サーバーからリロードされる頻度を定義します。ミリ秒単位です。デフォルトは 3600000
ミリ秒 (1 時間) です。
22.6. tlsTrustedCertificates
OPA サーバーへの TLS 接続用の信頼された証明書。
22.7. superUsers
スーパーユーザーとして扱われるユーザープリンシパルのリスト。このリストのユーザープリンシパルは、Open Policy Agent ポリシーをクエリーしなくても常に許可されます。
Open Policy Agent オーソライザーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... authorization: type: opa url: http://opa:8181/v1/data/kafka/allow allowOnError: false initialCacheCapacity: 1000 maximumCacheSize: 10000 expireAfterMs: 60000 superUsers: - CN=fred - sam - CN=edward # ...
22.8. KafkaAuthorizationOpa
スキーマのプロパティー
type
プロパティーは、KafkaAuthorizationOpa
タイプの使用を KafkaAuthorizationSimple
、KafkaAuthorizationKeycloak
、KafkaAuthorizationCustom
と区別するための識別子です。KafkaAuthorizationOpa
タイプには opa
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
url | Open Policy Agent サーバーへの接続に使用される URL。URL には、オーソライザーによってクエリーされるポリシーが含まれる必要があります。このオプションは必須です。 |
string | |
allowOnError |
一時的に利用できない場合など、オーソライザーによる Open Policy Agent へのクエリーが失敗した場合に、デフォルトで Kafka クライアントを許可または拒否するかどうかを定義します。デフォルトは |
boolean | |
initialCacheCapacity |
すべてのリクエストに対して Open Policy Agent をクエリーしないようにするために、オーソライザーによって使用されるローカルキャッシュの初期容量。デフォルトは |
integer | |
maximumCacheSize |
すべてのリクエストに対して Open Policy Agent をクエリーしないようにするために、オーソライザーによって使用されるローカルキャッシュの最大容量。デフォルトは |
integer | |
expireAfterMs |
すべてのリクエストに対して Open Policy Agent をクエリーしないようにするために、ローカルキャッシュに保持されるレコードの有効期限。キャッシュされた承認決定が Open Policy Agent サーバーからリロードされる頻度を定義します。ミリ秒単位です。デフォルトは |
integer | |
tlsTrustedCertificates | OPA サーバーへの TLS 接続用の信頼された証明書。 |
| |
superUsers | スーパーユーザーのリスト。これは、無制限のアクセス権限を持つユーザープリンシパルのリストです。 |
string array | |
enableMetrics |
Open Policy Agent オーソライザープラグインでメトリクスを指定するかどうかを定義します。デフォルトは |
boolean |
第23章 KafkaAuthorizationKeycloak
スキーマ参照
KafkaClusterSpec
で使用
type
プロパティーは、KafkaAuthorizationKeycloak
タイプの使用をKafkaAuthorizationSimple
、KafkaAuthorizationOpa
、KafkaAuthorizationCustom
と区別するための識別子です。KafkaAuthorizationKeycloak
タイプには keycloak
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
clientId | Kafka クライアントが OAuth サーバーに対する認証に使用し、トークンエンドポイント URI を使用することができる OAuth クライアント ID。 |
string | |
tokenEndpointUri | 認可サーバートークンエンドポイント URI。 |
string | |
tlsTrustedCertificates | OAuth サーバーへの TLS 接続の信頼済み証明書。 |
| |
disableTlsHostnameVerification |
TLS ホスト名の検証を有効または無効にします。デフォルト値は |
boolean | |
delegateToKafkaAcls |
Red Hat Single Sign-On の Authorization Services ポリシーにより DENIED となった場合に、承認の決定を 'Simple' オーソライザーに委譲すべきかどうか。デフォルト値は |
boolean | |
grantsRefreshPeriodSeconds | 連続する付与 (Grants) 更新実行の間隔 (秒単位)。デフォルト値は 60 です。 |
integer | |
grantsRefreshPoolSize | アクティブなセッションの付与 (Grants) の更新に使用するスレッドの数。スレッドが多いほど並列処理多くなるため、ジョブがより早く完了します。ただし、使用するスレッドが多いほど、認可サーバーの負荷が大きくなります。デフォルト値は 5 です。 |
integer | |
grantsGcPeriodSeconds | キャッシュから古い許可を削除するジョブの連続実行間の時間 (秒単位)。デフォルト値は 300 です。 |
integer | |
grantsAlwaysLatest |
新しいセッションに対して最新の許可を取得するかどうかを制御します。有効にすると、許可が Red Hat Single Sign-On から取得され、ユーザーのためにキャッシュされます。デフォルト値は |
boolean | |
superUsers | スーパーユーザーの一覧。無制限のアクセス権を取得する必要のあるユーザープリンシパルの一覧が含まれなければなりません。 |
string array | |
connectTimeoutSeconds | 認可サーバーへの接続時のタイムアウト (秒単位)。設定しない場合は、実際の接続タイムアウトは 60 秒になります。 |
integer | |
readTimeoutSeconds | 認可サーバーへの接続時の読み取りタイムアウト (秒単位)。設定しない場合は、実際の読み取りタイムアウトは 60 秒になります。 |
integer | |
httpRetries | 最初の HTTP リクエストが失敗した場合に試行する最大再試行回数。設定されていない場合、デフォルトでは再試行は行われません。 |
integer | |
enableMetrics |
OAuth メトリックを有効または無効にします。デフォルト値は |
boolean | |
grantsMaxIdleTimeSeconds | アイドル許可をキャッシュからエビクトるようになるまでの時間 (秒単位)。デフォルト値は 300 です。 |
integer |
第24章 KafkaAuthorizationCustom
スキーマ参照
KafkaClusterSpec
で使用
KafkaAuthorizationCustom
スキーマプロパティーの全リスト
AMQ Streams でカスタム認証を使用するには、独自の Authorizer
プラグインを設定して、アクセスコントロールリスト (ACLs) を定義します。
ACL を使用すると、ユーザーがアクセスできるリソースを細かく定義できます。
Kafka
のカスタムリソースにカスタム認証を使用するように設定します。authorization
セクションの type
プロパティーに値 custom
を設定し、以下のプロパティーを設定します。
カスタムオーソライザーは、org.apache.kafka.server.authorizer.Authorizer
インターフェイスを実装し、super.users 設定プロパティーを使用して super.users
の設定をサポートする必要があります。
24.1. authorizerClass
(必須) カスタム ACL をサポートするための org.apache.kafka.server.authorizer.Authorizer
インターフェイスを実装した Java クラスです。
24.2. superUsers
スーパーユーザーとして扱われるユーザープリンシパルのリスト。このリストのユーザープリンシパルは、ACL ルールをクエリーしなくても常に許可されます。
Kafka.spec.kafka.config
を使用して、カスタムオーサライザーを初期化するための設定を追加することができます。
Kafka.spec
でのカスタム認証設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... authorization: type: custom authorizerClass: io.mycompany.CustomAuthorizer superUsers: - CN=client_1 - user_2 - CN=client_3 # ... config: authorization.custom.property1=value1 authorization.custom.property2=value2 # ...
Kafka
カスタムリソースの設定に加えて、カスタムオーソライザークラスとその依存関係を含む JAR ファイルが Kafka ブローカーのクラスパス上で利用可能である必要があります。
AMQ Streams の Maven ビルドプロセスでは、docker-images/kafka/kafka-thirdparty-libs
ディレクトリーの下にある pom.xml
ファイルに依存関係として追加することで、生成された Kafka ブローカーコンテナーイメージにカスタムサードパーティーライブラリーを追加する仕組みがあります。ディレクトリーには、Kafka のバージョンごとに異なるフォルダーが含まれています。適切なフォルダーを選択します。pom.xml
ファイルを修正する前に、サードパーティーのライブラリーが Maven リポジトリーで利用可能であり、その Maven リポジトリーが AMQ Streams のビルドプロセスからアクセス可能である必要があります。
Kafka.spec.kafka
の config
プロパティーにある super.user
設定オプションは無視されます。この代わりに、authorization
プロパティーでスーパーユーザーを指定します。詳細は Kafka ブローカーの設定 を参照してください。
カスタム承認では、oauth
認証を使用して groupsClaim
設定属性を設定する時に JWT トークンから抽出されたグループメンバーシップ情報を利用できます。グループは、以下のように authorize() 呼び出し中に OAuthKafkaPrincipal
オブジェクトで利用できます。
public List<AuthorizationResult> authorize(AuthorizableRequestContext requestContext, List<Action> actions) { KafkaPrincipal principal = requestContext.principal(); if (principal instanceof OAuthKafkaPrincipal) { OAuthKafkaPrincipal p = (OAuthKafkaPrincipal) principal; for (String group: p.getGroups()) { System.out.println("Group: " + group); } } }
24.3. KafkaAuthorizationCustom
スキーマのプロパティー
type
プロパティーは、KafkaAuthorizationCustom
タイプの使用を KafkaAuthorizationSimple
、KafkaAuthorizationOpa
、KafkaAuthorizationKeycloak
と区別する識別子です。タイプ KafkaAuthorizationCustom
の値が custom
である必要があります。
プロパティー | 説明 |
---|---|
type |
|
string | |
authorizerClass | 認証実装クラス。クラスパスで使用できる必要があります。 |
string | |
superUsers | スーパーユーザーのリスト。これは、無制限のアクセス権限を持つユーザープリンシパルです。 |
string array | |
supportsAdminApi |
カスタムオーソライザーが、Kafka Admin API を使用して ACL を管理するための API をサポートしているかどうかを示します。デフォルトは |
boolean |
第25章 Rack
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaClusterSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
rack
オプションは、ラックの認識を設定します。ラックは、アベイラビリティーゾーン、データセンター、またはデータセンターの実際のラックを表すことができます。rackの設定は、topologyKey
で行います。topologyKey
は、OpenShift ノード上のラベルを識別するもので、その値にはトポロジーの名前が含まれています。このようなラベルの例としては、topology.kubernetes.io/zone
(古い OpenShift バージョンでは failure-domain.beta.kubernetes.io/zone
) があり、これには OpenShift ノードが実行されているアベイラビリティゾーンの名前が含まれています。Kafka クラスターが実行するラックを認識するように設定し、パーティションレプリカを異なるラックに分散したり、最も近いレプリカからのメッセージの消費したりするなどの追加機能を有効にできます。
OpenShift ノードラベルの詳細は、Well-Known Labels, Annotations and Taints を参照してください。ノードがデプロイされたゾーンやラックを表すノードラベルについては、OpenShift 管理者に相談します。
25.1. ラック間でのパーティションレプリカの分散
ラックアウェアネスを設定すると、AMQ Streams は各 Kafka ブローカーの broker.rack
設定を行います。broker.rack の
設定では、各ブローカにラック ID を割り当てます。broker.rack
を設定すると、Kafka ブローカーはパーティションレプリカをできるだけ多くの異なるラックに分散して配置します。レプリカが複数のラックに分散されている場合、複数のレプリカが同時に失敗する可能性は、同じラックにある場合よりも低くなります。レプリカを分散すると回復性が向上し、可用性と信頼性にとっても重要です。Kafka でラックアウェアネスを有効にするには、以下の例のように、Kafka
のカスタムリソースの .spec.kafka
セクションに rack
オプションを追加します。
Kafka の rack
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... rack: topologyKey: topology.kubernetes.io/zone # ...
Pod が削除または再起動すると、ブローカーが実行されているラックは、変更されることがあります。その結果、異なるラックで実行しているレプリカが、同じラックを共有する可能性があります。RackAwareGoal
で Cruise Control と KafkaRebalance
リソースを使用して、レプリカが異なるラックに分散していることを確認します。
Kafka
カスタムリソースでラックアウェアネスが有効になっている場合、AMQ Streams は自動的に OpenShift の preferredDuringSchedulingIgnoredDuringExecution
アフィニティールールを追加して、Kafka ブローカーを異なるラックに分散させます。ただし、優先 ルールは、ブローカーが分散されることを保証しません。OpenShift と Kafka の設定に応じて、affinity
ルールを追加したり、ZooKeeper と Kafka の両方に topologySpreadConstraints
を設定したりして、できるだけ多くのラックにノードが適切に分散されるようにしてください。詳細は、Pod スケジュールの設定 を参照してください。
25.2. 最も近いレプリカからのメッセージの消費
ラックアウェアネスをコンシューマーで使用して、最も近いレプリカからデータを取得することもできます。これは、Kafka クラスターが複数のデータセンターにまたがる場合に、ネットワークの負荷を軽減するのに役立ちます。また、パブリッククラウドで Kafka を実行する場合にコストを削減することもできます。ただし、レイテンシーが増加する可能性があります。
最も近いレプリカから利用するためには、Kafka クラスターでラックアウェアが設定されており、RackAwareReplicaSelector
が有効になっている必要があります。レプリカセレクタープラグインは、クライアントが最も近いレプリカから消費できるようにするロジックを提供します。デフォルトの実装では、LeaderSelector
を使用して、常にクライアントのリーダーレプリカを選択します。replica.selector.class
に RackAwareReplicaSelector
を指定すると、デフォルトの実装から切り替わります。
レプリカ対応セレクターを有効にした rack
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... rack: topologyKey: topology.kubernetes.io/zone config: # ... replica.selector.class: org.apache.kafka.common.replica.RackAwareReplicaSelector # ...
Kafka ブローカーの設定に加えて、コンシューマーに client.rack
オプションを指定する必要があります。client.rack
オプションには、コンシューマーが稼動しているrack IDを指定する必要があります。RackAwareReplicaSelector
は、マッチングした broker.rack
と client.rack
ID を関連付けて、最も近いレプリカを見つけ、そこからデータを取得します。同じラック内に複数のレプリカがある場合、RackAwareReplicaSelector
は常に最新のレプリカを選択します。ラック ID が指定されていない場合や、同じラック ID を持つレプリカが見つからない場合は、リーダーレプリカにフォールバックします。
図25.1 同じアベイラビリティーゾーンのレプリカから消費するクライアントの例

コネクターが最も近いレプリカからのメッセージを消費するように、Kafka Connect、MirrorMaker 2、および Kafka Bridge を設定することもできます。KafkaConnect
、KafkaMirrorMaker2
、および KafkaBridge
カスタムリソースでラック認識を有効にします。この設定ではアフィニティールールは設定されませんが、affinity
または topologySpreadConstraints
を設定することもできます。詳細は、Pod スケジュールの設定 を参照してください。
AMQ Streams を使用して Kafka Connect を展開する場合、KafkaConnect
カスタムリソースの rack
セクションを使用して、client.rack
オプションを自動的に設定することができます。
Kafka Connect の rack
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect # ... spec: # ... rack: topologyKey: topology.kubernetes.io/zone # ...
AMQ Streams を使用して MirrorMaker 2 を展開する場合、KafkaMirrorMaker2
カスタムリソースの rack
セクションを使用して、client.rack
オプションを自動的に設定できます。
MirrorMaker 2 の rack
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 # ... spec: # ... rack: topologyKey: topology.kubernetes.io/zone # ...
AMQ Streams を使用して Kafka Bridge をデプロイする場合、KafkaBridge
カスタムリソースの rack
セクションを使用して、client.rack
オプションを自動的に設定することができます。
Kafka Bridge の rack
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge # ... spec: # ... rack: topologyKey: topology.kubernetes.io/zone # ...
25.3. Rack
スキーマのプロパティー
プロパティー | 説明 |
---|---|
topologyKey |
OpenShift クラスターノードに割り当てられたラベルに一致するキー。ラベルの値は、ブローカーの |
string |
第26章 Probe
スキーマ参照
CruiseControlSpec
、EntityTopicOperatorSpec
、EntityUserOperatorSpec
、KafkaBridgeSpec
、KafkaClusterSpec
、KafkaConnectSpec
、KafkaExporterSpec
、KafkaMirrorMaker2Spec
、KafkaMirrorMakerSpec
、TlsSidecar
、ZookeeperClusterSpec
で使用
プロパティー | 説明 |
---|---|
failureThreshold | 正常に実行された後に失敗とみなされるプローブの連続失敗回数の最小値。デフォルトは 3 です。最小値は 1 です。 |
integer | |
initialDelaySeconds | 最初に健全性をチェックするまでの初期の遅延。デフォルトは 15 秒です。最小値は 0 です。 |
integer | |
periodSeconds | プローブを実行する頻度 (秒単位)。デフォルトは 10 秒です。最小値は 1 です。 |
integer | |
successThreshold | 失敗後に、プローブが正常とみなされるための最小の連続成功回数。デフォルトは 1 です。liveness は 1 でなければなりません。最小値は 1 です。 |
integer | |
timeoutSeconds | ヘルスチェック試行のタイムアウト。デフォルトは 5 秒です。最小値は 1 です。 |
integer |
第27章 JvmOptions
スキーマ参照
使用場所: CruiseControlSpec
, EntityTopicOperatorSpec
, EntityUserOperatorSpec
, KafkaBridgeSpec
, KafkaClusterSpec
, KafkaConnectSpec
, KafkaMirrorMaker2Spec
, KafkaMirrorMakerSpec
, KafkaNodePoolSpec
, ZookeeperClusterSpec
プロパティー | 説明 |
---|---|
-XX | JVM への -XX オプションのマップ。 |
map | |
-Xms | JVM への -Xms オプション。 |
string | |
-Xmx | JVM への -Xmx オプション。 |
string | |
gcLoggingEnabled | ガベージコレクションのロギングが有効かどうかを指定します。デフォルトは false です。 |
boolean | |
javaSystemProperties |
|
|
第28章 SystemProperty
スキーマ参照
JvmOptions
で使用
プロパティー | 説明 |
---|---|
name | システムプロパティー名。 |
string | |
value | システムプロパティーの値。 |
string |
第29章 KafkaJmxOptions
スキーマ参照
KafkaClusterSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
、ZookeeperClusterSpec
で使用
KafkaJmxOptions
スキーマプロパティーの全リスト
JMX 接続オプションを設定します。
ポート 9999 に接続して、Kafka ブローカー、ZooKeeper ノード、Kafka Connect、および MirrorMaker 2 から JMX メトリックを取得します。パスワードで保護された JMX ポート、または保護されていない JMX ポートを設定するには、jmxOptions
プロパティーを使用します。パスワードで保護すると、未許可の Pod によるポートへの不正アクセスを防ぐことができます。
その後、コンポーネントに関するメトリクスを取得できます。
たとえば、Kafka ブローカーごとに、クライアントからのバイト/秒の使用度データや、ブローカーのネットワークの要求レートを取得することができます。
JMX ポートのセキュリティーを有効にするには、authentication
フィールドの type
パラメーターを password
に設定します。
Kafka ブローカーと ZooKeeper ノード用のパスワードで保護された JMX 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... jmxOptions: authentication: type: "password" # ... zookeeper: # ... jmxOptions: authentication: type: "password" #...
次に、対応するブローカーを指定して、Pod をクラスターにデプロイし、ヘッドレスサービスを使用して JMX メトリクスを取得できます。
たとえば、ブローカー 0 から JMX メトリクスを取得するには、以下を指定します。
"CLUSTER-NAME-kafka-0.CLUSTER-NAME-kafka-brokers"
CLUSTER-NAME-kafka-0
はブローカー Pod の名前、CLUSTER-NAME-kafka-brokers
はブローカー Pod の IP を返すヘッドレスサービスの名前です。
JMX ポートがセキュアである場合、Pod のデプロイメントで JMX Secret からユーザー名とパスワードを参照すると、そのユーザー名とパスワードを取得できます。
保護されていない JMX ポートの場合は、空のオブジェクト {}
を使用して、ヘッドレスサービスの JMX ポートを開きます。保護されたポートと同じ方法で Pod をデプロイし、メトリクスを取得できますが、この場合はどの Pod も JMX ポートから読み取ることができます。
Kafka ブローカーと ZooKeeper ノードのオープンポート JMX 設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... jmxOptions: {} # ... zookeeper: # ... jmxOptions: {} # ...
関連情報
- JMX を使用して公開される Kafka コンポーネントメトリクスの詳細は、Apache Kafka のドキュメント を参照してください。
29.1. KafkaJmxOptions
スキーマプロパティー
プロパティー | 説明 |
---|---|
authentication |
JMX ポートに接続するための認証設定。タイプは、指定のオブジェクト内の |
第30章 KafkaJmxAuthenticationPassword
スキーマ参照
KafkaJmxOptions
で使用
type
プロパティーは、KafkaJmxAuthenticationPassword
タイプの使用と、今後追加される可能性のある他のサブタイプとを区別するための識別情報です。KafkaJmxAuthenticationPassword
タイプには password
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第31章 JmxPrometheusExporterMetrics
スキーマ参照
CruiseControlSpec
、KafkaClusterSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
、KafkaMirrorMakerSpec
、ZookeeperClusterSpec
で使用
type
プロパティーは、JmxPrometheusExporterMetrics
タイプの使用と、将来追加される可能性のある他のサブタイプとを区別する識別子です。JmxPrometheusExporterMetrics
タイプの値 jmxPrometheusExporter
を持つ必要があります。
プロパティー | 説明 |
---|---|
type |
|
string | |
valueFrom | Prometheus JMX Exporter 設定が保存される ConfigMap エントリー。この設定の構造の詳細は、 Prometheus JMXExporterを参照してください。 |
第32章 ExternalConfigurationReference
のスキーマ参照
ExternalLogging
JmxPrometheusExporterMetrics
で使用
プロパティー | 説明 |
---|---|
configMapKeyRef | 設定が含まれる ConfigMap のキーへの参照。詳細は、core/v1 configmapkeyselector の外部ドキュメント を参照してください。 |
第33章 InlineLogging
スキーマ参照
CruiseControlSpec
、EntityTopicOperatorSpec
、EntityUserOperatorSpec
、KafkaBridgeSpec
、KafkaClusterSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
、KafkaMirrorMakerSpec
、ZookeeperClusterSpec
で使用
type
プロパティーは、InlineLogging
タイプの使用と、ExternalLogging
.を区別するための識別子です。InlineLogging
タイプには inline
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
loggers | ロガー名からロガーレベルへのマップ。 |
map |
第34章 ExternalLogging
スキーマ参照
CruiseControlSpec
、EntityTopicOperatorSpec
、EntityUserOperatorSpec
、KafkaBridgeSpec
、KafkaClusterSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
、KafkaMirrorMakerSpec
、ZookeeperClusterSpec
で使用
type
プロパティーは、ExternalLogging
タイプの使用を、InlineLogging
と区別するための識別子です。ExternalLogging
タイプには external
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
valueFrom |
ロギング設定が保存される |
第35章 KafkaClusterTemplate
スキーマ参照
KafkaClusterSpec
で使用
プロパティー | 説明 |
---|---|
statefulset |
|
Pod |
Kafka |
bootstrapService |
Kafka ブートストラップ |
brokersService |
Kafka ブローカー |
externalBootstrapService |
Kafka 外部ブートストラップ |
perPodService |
OpenShift の外部からアクセスするために使用される Pod ごとの Kafka |
externalBootstrapRoute |
Kafka 外部ブートストラップ |
perPodRoute |
OpenShift の外部からアクセスするために使用される Kafka の Pod ごとの |
externalBootstrapIngress |
Kafka 外部ブートストラップ |
perPodIngress |
OpenShift の外部からアクセスするために使用される Kafka の Pod ごとの |
persistentVolumeClaim |
すべての Kafka |
podDisruptionBudget |
Kafka |
kafkaContainer | Kafka ブローカーコンテナーのテンプレート。 |
initContainer | Kafka init コンテナーのテンプレート。 |
clusterCaCert | Kafka Cluster 証明書の公開鍵が含まれる Secret のテンプレート。 |
serviceAccount | Kafka サービスアカウントのテンプレート。 |
jmxSecret | Kafka Cluster JMX 認証の Secret のテンプレートです。 |
clusterRoleBinding | Kafka ClusterRoleBinding のテンプレート。 |
podSet |
Kafka |
第36章 StatefulSetTemplate
スキーマ参照
KafkaClusterTemplate
、ZookeeperClusterTemplate
で使用
プロパティー | 説明 |
---|---|
metadata | リソースに適用済みのメタデータ。 |
podManagementPolicy |
この StatefulSet に使用される PodManagementPolicy。有効な値は |
string ([OrderedReady、Parallel] のいずれか) |
第37章 MetadataTemplate
スキーマ参照
BuildConfigTemplate
、DeploymentTemplate
、InternalServiceTemplate
、PodDisruptionBudgetTemplate
、PodTemplate
、ResourceTemplate
、StatefulSetTemplate
で使用
MetadataTemplate
スキーマプロパティーの全リスト
Labels
および Annotations
は、リソースの識別および整理に使用され、metadata
プロパティーで設定されます。
以下に例を示します。
# ... template: pod: metadata: labels: label1: value1 label2: value2 annotations: annotation1: value1 annotation2: value2 # ...
labels
および annotations
フィールドには、予約された文字列 strimzi.io
が含まれないすべてのラベルやアノテーションを含めることができます。strimzi.io
が含まれるラベルやアノテーションは、内部で AMQ Streams によって使用され、設定することはできません。
37.1. MetadataTemplate
スキーマのプロパティー
プロパティー | 説明 |
---|---|
labels | OpenShift リソースに追加されたラベル。 |
map | |
annotations | OpenShift リソースにアノテーションが追加されました。 |
map |
第38章 PodTemplate
スキーマ参照
使用場所: CruiseControlTemplate
, EntityOperatorTemplate
, JmxTransTemplate
, KafkaBridgeTemplate
, KafkaClusterTemplate
, KafkaConnectTemplate
, KafkaExporterTemplate
, KafkaMirrorMakerTemplate
, KafkaNodePoolTemplate
, ZookeeperClusterTemplate
Kafka Pod のテンプレートを設定します。
PodTemplate
の設定例
# ... template: pod: metadata: labels: label1: value1 annotations: anno1: value1 imagePullSecrets: - name: my-docker-credentials securityContext: runAsUser: 1000001 fsGroup: 0 terminationGracePeriodSeconds: 120 # ...
38.1. hostAliases
hostAliases
プロパティーを使用して、Pod の /etc/hosts
ファイルに注入されるホストと IP アドレスのリストを指定します。
この設定は特に、クラスター外部の接続がユーザーによっても要求される場合に Kafka Connect または MirrorMaker で役立ちます。
hostAliases
の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect #... spec: # ... template: pod: hostAliases: - ip: "192.168.1.86" hostnames: - "my-host-1" - "my-host-2" #...
38.2. PodTemplate
スキーマのプロパティー
プロパティー | 説明 |
---|---|
metadata | リソースに適用済みのメタデータ。 |
imagePullSecrets |
この Pod で使用されるイメージのプルに使用する同じ namespace のシークレットへの参照の一覧です。Cluster Operator の環境変数 |
securityContext | Pod レベルのセキュリティー属性と共通のコンテナー設定を設定します。詳細は、core/v1 podsecuritycontext の外部ドキュメント を参照してください。 |
terminationGracePeriodSeconds | 猶予期間とは、Pod で実行されているプロセスに終了シグナルが送信されてから、kill シグナルでプロセスを強制的に終了するまでの期間 (秒単位) です。この値は、プロセスの予想されるクリーンアップ時間よりも長く設定します。値は負の値ではない整数にする必要があります。値をゼロにすると、即座に削除されます。非常に大型な Kafka クラスターの場合は、正常終了期間を延長し、Kafka ブローカーの終了前に作業を別のブローカーに転送する時間を十分確保する必要があることがあります。デフォルトは 30 秒です。 |
integer | |
affinity | Pod のアフィニティールール。詳細は、core/v1 affinity の外部ドキュメント を参照してください。 |
tolerations | Pod の許容 (Toleration)。詳細は、core/v1 toleration の外部ドキュメント を参照してください。 |
toleration アレイ | |
priorityClassName | 優先順位を Pod に割り当てるために使用される優先順位クラス (Priority Class) の名前。Priority Class (優先順位クラス) の詳細は、Pod Priority and Preemption を参照してください。 |
string | |
schedulerName |
この |
string | |
hostAliases | Pod の HostAliases。HostAliases は、指定された場合に Pod の hosts ファイルに注入されるホストおよび IP のオプションのリストです。詳細は、external documentation for core/v1 hostalias を参照してください。 |
HostAlias アレイ | |
tmpDirSizeLimit |
一時 EmptyDir ボリューム ( |
string | |
enableServiceLinks | サービスについての情報を Pod の環境変数に注入するかどうかを示します。 |
boolean | |
topologySpreadConstraints | Pod のトポロジー分散制約。詳細は、core/v1 topologyspreadconstraint の外部ドキュメント を参照してください。 |
第39章 InternalServiceTemplate
のスキーマ参照
CruiseControlTemplate
、KafkaBridgeTemplate
、KafkaClusterTemplate
、KafkaConnectTemplate
、ZookeeperClusterTemplate
で使用
プロパティー | 説明 |
---|---|
metadata | リソースに適用済みのメタデータ。 |
ipFamilyPolicy |
サービスによって使用される IP Family Policy を指定します。利用可能なオプションは、 |
string ([RequireDualStack、SingleStack、PreferDualStack] のいずれか) | |
ipFamilies |
サービスによって使用される IP Families を指定します。利用可能なオプションは、 |
string ([IPv6, IPv4] の 1 つ以上) array |
第40章 ResourceTemplate
スキーマ参照
使用場所: CruiseControlTemplate
, EntityOperatorTemplate
, JmxTransTemplate
, KafkaBridgeTemplate
, KafkaClusterTemplate
, KafkaConnectTemplate
, KafkaExporterTemplate
, KafkaMirrorMakerTemplate
, KafkaNodePoolTemplate
, KafkaUserTemplate
, ZookeeperClusterTemplate
プロパティー | 説明 |
---|---|
metadata | リソースに適用済みのメタデータ。 |
第41章 PodDisruptionBudgetTemplate
スキーマ参照
CruiseControlTemplate
、KafkaBridgeTemplate
、KafkaClusterTemplate
、KafkaConnectTemplate
、KafkaMirrorMakerTemplate
、ZookeeperClusterTemplate
で使用
PodDisruptionBudgetTemplate
スキーマプロパティーの全リスト
PodDisruptionBudget
(PDB) は、計画されたメンテナンスまたはアップグレード中に使用可能にする必要がある Pod の最小数を指定することで高可用性を確保する OpenShift リソースです。AMQ Streams は、新しい StrimziPodSet
または Deployment
ごとに PDB を作成します。デフォルトでは、PDB は一度に 1 つの Pod のみを使用不能にすることができます。maxUnavailable
プロパティーのデフォルト値を変更して、許容される利用不可能な Pod の数を増やすことができます。
StrimziPodSet
カスタムリソースは、maxUnavailable
値を直接使用できないカスタムコントローラーを使用して Pod を管理します。代わりに、次の例に示すように、PDB リソースの作成時に maxUnavailable
値が minAvailable
値に自動的に変換され、実質的に同じ目的を果たします。
-
ブローカー Pod が 3 つあり、
Kafka
リソースでmaxUnavailable
プロパティーが1
に設定されている場合、minAvailable
設定は2
となり、1 つの Pod が使用不可になることが許可されます。 -
ブローカー Pod が 3 つあり、
maxUnavailable
プロパティーが0
(ゼロ) に設定されている場合、minAvailable
設定は3
で、3 つのブローカー Pod すべてが使用可能である必要があり、使用できない Pod が存在しないことが許可されます。
PodDisruptionBudget
テンプレートの設定例
# ... template: podDisruptionBudget: metadata: labels: key1: label1 key2: label2 annotations: key1: label1 key2: label2 maxUnavailable: 1 # ...
41.1. PodDisruptionBudgetTemplate
スキーマ参照
プロパティー | 説明 |
---|---|
metadata |
|
maxUnavailable |
自動 Pod エビクションを許可するための利用不可能な Pod の最大数。Pod エビクションは、 |
integer |
第42章 ContainerTemplate
スキーマ参照
使用場所: CruiseControlTemplate
, EntityOperatorTemplate
, JmxTransTemplate
, KafkaBridgeTemplate
, KafkaClusterTemplate
, KafkaConnectTemplate
, KafkaExporterTemplate
, KafkaMirrorMakerTemplate
, KafkaNodePoolTemplate
, ZookeeperClusterTemplate
ContainerTemplate
スキーマプロパティーの全リスト
コンテナーのカスタムのセキュリティーコンテキストおよび環境変数を設定できます。
環境変数は、env
プロパティーで name
および value
フィールドのあるオブジェクトのリストとして定義されます。以下の例は、Kafka ブローカーコンテナーに設定された 2 つのカスタム環境変数と 1 つのセキュリティーコンテキストを示しています。
# ... template: kafkaContainer: env: - name: EXAMPLE_ENV_1 value: example.env.one - name: EXAMPLE_ENV_2 value: example.env.two securityContext: runAsUser: 2000 # ...
KAFKA_
で始まる環境変数は AMQ Streams 内部となるため、使用しないようにしてください。AMQ Streams によってすでに使用されているカスタム環境変数を設定すると、その環境変数は無視され、警告がログに記録されます。
42.1. ContainerTemplate
スキーマのプロパティー
プロパティー | 説明 |
---|---|
env | コンテナーに適用する必要のある環境変数。 |
| |
securityContext | コンテナーのセキュリティーコンテキスト。詳細は、core/v1 securitycontext の外部ドキュメント を参照してください。 |
第43章 ContainerEnvVar
スキーマ参照
プロパティー | 説明 |
---|---|
name | 環境変数のキー。 |
string | |
value | 環境変数の値。 |
string |
第44章 ZookeeperClusterSpec
スキーマ参照
KafkaSpec
で使用
ZookeeperClusterSpec
スキーマプロパティーの全リスト
ZooKeeper クラスターを設定します。
44.1. config
config
プロパティーを使用して、ZooKeeper のオプションをキーとして設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
ZooKeeper のドキュメント に記載されているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- セキュリティー (暗号化、認証、および承認)
- リスナーの設定
- データディレクトリーの設定
- ZooKeeper クラスターの設定
次の接頭辞を持つプロパティーは設定できません。
-
4lw.commands.whitelist
-
authProvider
-
clientPort
-
dataDir
-
dataLogDir
-
quorum.auth
-
reconfigEnabled
-
requireClientAuthScheme
-
secureClientPort
-
server.
-
snapshot.trust.empty
-
standaloneEnabled
-
serverCnxnFactory
-
ssl.
-
sslQuorum
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、その他のサポートされているオプションはすべて ZooKeeper に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定
ZooKeeper の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... zookeeper: # ... config: autopurge.snapRetainCount: 3 autopurge.purgeInterval: 2 # ...
44.2. logging
ZooKeeper には設定可能なロガーがあります。
-
zookeeper.root.logger
ZooKeeper は、Apachelog4j
のロガー実装を使用しています。
logging
プロパティーを使用してロガーおよびロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。inline
ロギングでは、ルートロガーレベルを指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... zookeeper: # ... logging: type: inline loggers: zookeeper.root.logger: INFO log4j.logger.org.apache.zookeeper.server.FinalRequestProcessor: TRACE log4j.logger.org.apache.zookeeper.server.ZooKeeperServer: DEBUG # ...
ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があります。
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... zookeeper: # ... logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: zookeeper-log4j.properties # ...
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
44.3. ZookeeperClusterSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
replicas | クラスター内の Pod 数。 |
integer | |
image | Pod の Docker イメージ。 |
string | |
storage |
ストレージの設定 (ディスク)。更新はできません。タイプは、指定のオブジェクト内の |
config | ZooKeeper ブローカーの設定。次の接頭辞のあるプロパティーは設定できません: server.、 dataDir、dataLogDir、clientPort、authProvider、quorum.auth、requireClientAuthScheme、 snapshot.trust.empty、standaloneEnabled、reconfigEnabled、4lw.commands.whitelist、secureClientPort、ssl、serverCnxnFactory、sslQuorum (次の例外を除く: ssl.protocol、ssl.quorum.protocol、ssl.enabledProtocols、ssl.quorum.enabledProtocols、ssl.ciphersuites、ssl.quorum.ciphersuites、ssl.hostnameVerification、ssl.quorum.hostnameVerification) |
map | |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
jvmOptions | Pod の JVM オプション。 |
jmxOptions | Zookeeper ノードの JMX オプション。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
metricsConfig |
メトリクスの設定。タイプは、指定のオブジェクト内の |
logging |
ZooKeeper のロギング設定。タイプは、指定のオブジェクト内の |
template | ZooKeeper クラスターリソースのテンプレート。このテンプレートを使用すると、ユーザーは OpenShift リソースの生成方法を指定できます。 |
第45章 ZookeeperClusterTemplate
スキーマ参照
プロパティー | 説明 |
---|---|
statefulset |
|
Pod |
ZooKeeper |
clientService |
ZooKeeper クライアント |
nodesService |
ZooKeeper ノード |
persistentVolumeClaim |
すべての ZooKeeper |
podDisruptionBudget |
ZooKeeper |
zookeeperContainer | ZooKeeper コンテナーのテンプレート。 |
serviceAccount | ZooKeeper サービスアカウントのテンプレート。 |
jmxSecret | Zookeeper Cluster JMX 認証の Secret のテンプレート。 |
podSet |
ZooKeeper |
第46章 EntityOperatorSpec
スキーマ参照
KafkaSpec
で使用
プロパティー | 説明 |
---|---|
topicOperator | Topic Operator の設定。 |
userOperator | User Operator の設定。 |
tlsSidecar | TLS サイドカーの設定。 |
template |
Entity Operator リソースのテンプレート。テンプレートを使用すると、ユーザーは |
第47章 EntityTopicOperatorSpec
スキーマ参照
EntityTopicOperatorSpec
スキーマプロパティーの全リスト
Topic Operator を設定します。
47.1. logging
Topic Operator には設定可能なロガーがあります。
-
rootLogger.level
Topic Operator では、Apachelog4j2
のロガー実装を使用しています。
Kafka リソース Kafka
リソースの entityOperator.topicOperator
フィールドの logging
プロパティーを使用して、ロガーとロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j2.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。inline
ロギングでは、ルートロガーレベルを指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: # ... topicOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 logging: type: inline loggers: rootLogger.level: INFO logger.top.name: io.strimzi.operator.topic 1 logger.top.level: DEBUG 2 logger.toc.name: io.strimzi.operator.topic.TopicOperator 3 logger.toc.level: TRACE 4 logger.clients.level: DEBUG 5 # ...
オペレーターの問題を調査する場合、通常は rootLogger
を DEBUG
に変更して、より詳細なログを取得するだけで十分です。ただし、ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があることに注意してください。
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: # ... topicOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: topic-operator-log4j2.properties # ...
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
47.2. EntityTopicOperatorSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
watchedNamespace | Topic Operator が監視する必要のある namespace。 |
string | |
image | Topic Operator に使用するイメージ。 |
string | |
reconciliationIntervalSeconds | 定期的な調整の間隔。 |
integer | |
zookeeperSessionTimeoutSeconds | ZooKeeper セッションのタイムアウト。 |
integer | |
startupProbe | Pod の起動チェック。 |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
topicMetadataMaxAttempts | トピックメタデータの取得を試行する回数。 |
integer | |
logging |
ロギング設定。タイプは、指定のオブジェクト内の |
jvmOptions | Pod の JVM オプション。 |
第48章 EntityUserOperatorSpec
スキーマ参照
EntityUserOperatorSpec
スキーマプロパティーの全リスト
User Operator を設定します。
48.1. logging
User Operator には設定可能なロガーがあります。
-
rootLogger.level
User Operator では、Apachelog4j2
のロガー実装を使用しています。
Kafka
リソースの entityOperator.userOperator
フィールドの logging
プロパティーを使用して、ロガーとロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j2.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。inline
ログでは rootLogger.level
を指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: # ... userOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 logging: type: inline loggers: rootLogger.level: INFO logger.uop.name: io.strimzi.operator.user 1 logger.uop.level: DEBUG 2 logger.abstractcache.name: io.strimzi.operator.user.operator.cache.AbstractCache 3 logger.abstractcache.level: TRACE 4 logger.jetty.level: DEBUG 5 # ...
オペレーターの問題を調査する場合、通常は rootLogger
を DEBUG
に変更して、より詳細なログを取得するだけで十分です。ただし、ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があることに注意してください。
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: # ... userOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: user-operator-log4j2.properties # ...
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
48.2. EntityUserOperatorSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
watchedNamespace | User Operator が監視する必要のある namespace。 |
string | |
image | User Operator に使用するイメージ。 |
string | |
reconciliationIntervalSeconds | 定期的な調整の間隔。 |
integer | |
zookeeperSessionTimeoutSeconds |
|
integer | |
secretPrefix | KafkaUser 名に追加され、Secret 名として使用される接頭辞。 |
string | |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
logging |
ロギング設定。タイプは、指定のオブジェクト内の |
jvmOptions | Pod の JVM オプション。 |
第49章 TlsSidecar
スキーマ参照
CruiseControlSpec
、EntityOperatorSpec
で使用
Pod で実行されるコンテナーである TLS サイドカーを設定しますが、サポートの目的で提供されます。。AMQ Streams では、TLS サイドカーは TLS を使用して、コンポーネントと ZooKeeper との間の通信を暗号化および復号化します。
TLS サイドカーは Entity Operator で使用されます。
TLS サイドカーは、Kafka.spec.entityOperator
の tlsSidecar
プロパティーを使用して設定されます。
TLS サイドカーは、以下の追加オプションをサポートします。
-
image
-
resources
-
logLevel
-
readinessProbe
-
livenessProbe
resources
プロパティーは、TLS サイドカーに割り当てられたメモリーと CPU のリソースを指定します。
image
プロパティーは、使用されるコンテナーイメージを設定します。
readinessProbe
プロパティーと livenessProbe
プロパティーは、TLS サイドカーのhealthcheck プローブを設定します。
logLevel
プロパティーは、ロギングレベルを指定します。以下のログレベルがサポートされます。
- emerg
- alert
- crit
- err
- warning
- notice
- info
- debug
デフォルト値は notice です。
TLS サイドカーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... entityOperator: # ... tlsSidecar: resources: requests: cpu: 200m memory: 64Mi limits: cpu: 500m memory: 128Mi # ...
49.1. TlsSidecar
スキーマのプロパティー
プロパティー | 説明 |
---|---|
image | コンテナーの Docker イメージ。 |
string | |
livenessProbe | Pod の liveness チェック。 |
logLevel |
TLS サイドカーのログレベル。デフォルト値は |
string ([emerg、debug、crit、err、alert、warning、notice、info] のいずれか) | |
readinessProbe | Pod の readiness チェック。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
第50章 EntityOperatorTemplate
スキーマ参照
プロパティー | 説明 |
---|---|
deployment |
Entity Operator |
Pod |
Entity Operator |
topicOperatorContainer | Entity Topic Operator コンテナーのテンプレート。 |
userOperatorContainer | Entity User Operator コンテナーのテンプレート。 |
tlsSidecarContainer | Entity Operator TLS サイドカーコンテナーのテンプレート。 |
serviceAccount | Entity Operator サービスアカウントのテンプレート。 |
entityOperatorRole | Entity Operator Role. のテンプレート。 |
topicOperatorRoleBinding | Entity Topic Operator RoleBinding のテンプレート。 |
userOperatorRoleBinding | Entity Topic Operator RoleBinding のテンプレート。 |
第51章 DeploymentTemplate
スキーマ参照
CruiseControlTemplate
、EntityOperatorTemplate
、JmxTransTemplate
、KafkaBridgeTemplate
、KafkaConnectTemplate
、KafkaExporterTemplate
、KafkaMirrorMakerTemplate
で使用
DeploymentTemplate
スキーマプロパティーの完全なリスト
deploymentStrategy
を使用して、デプロイ設定が変更されたときに古い Pod を新しい Pod に置き換えるために使用される戦略を指定します。
以下のいずれかの値を使用します。
-
RollingUpdate
: Pod はダウンタイムなしで再起動されます。 -
Recreate
: Pod は、新しい Pod が作成される前に終了されます。
Recreate
デプロイメント戦略を使用すると、予備のリソースを必要としないという利点がありますが、欠点はアプリケーションのダウンタイムです。
Recreate
に設定されたデプロイメント戦略を示す例。
# ... template: deployment: deploymentStrategy: Recreate # ...
この設定の変更によって、ローリング 更新が発生することはありません。
51.1. DeploymentTemplate
スキーマプロパティー
プロパティー | 説明 |
---|---|
metadata | リソースに適用済みのメタデータ。 |
deploymentStrategy |
デプロイ設定変更のための Pod 交換戦略。有効な値は |
string ([RollingUpdate、Recreate] のいずれか) |
第52章 CertificateAuthority
スキーマ参照
KafkaSpec
で使用
TLS 証明書のクラスター内での使用方法の設定。これは、クラスター内の内部通信に使用される証明書および Kafka.spec.kafka.listeners.tls
を介したクライアントアクセスに使用される証明書の両方に適用されます。
プロパティー | 説明 |
---|---|
generateCertificateAuthority | true の場合、認証局の証明書が自動的に生成されます。それ以外の場合は、ユーザーは CA 証明書で Secret を提供する必要があります。デフォルトは true です。 |
boolean | |
generateSecretOwnerReference |
|
boolean | |
validityDays | 生成される証明書の有効日数。デフォルトは 365 です。 |
integer | |
renewalDays |
証明書更新期間の日数。これは、証明書の期限が切れるまでの日数です。この間に、更新アクションを実行することができます。 |
integer | |
certificateExpirationPolicy |
|
string ([replace-key、renew-certificate] のいずれか) |
第53章 CruiseControlSpec
スキーマ参照
KafkaSpec
で使用
CruiseControlSpec
スキーマプロパティーの完全なリスト
Cruise Control クラスターを設定します。
設定オプションは以下に関連しています。
- ゴールの設定
- リソース配分目標の容量制限
53.1. config
config
プロパティーを使用して、Cruise Control オプションをキーとして設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
Cruise Control のドキュメント に記載されているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- セキュリティー (暗号化、認証、および承認)
- Kafka クラスターへの接続
- クライアント ID の設定
- ZooKeeper の接続
- Web サーバー設定
- 自己修復
次の接頭辞を持つプロパティーは設定できません。
-
bootstrap.servers
-
capacity.config.file
-
client.id
-
failed.brokers.zk.path
-
kafka.broker.failure.detection.enable
-
metric.reporter.sampler.bootstrap.servers
-
network.
-
request.reason.required
-
security.
-
self.healing.
-
ssl.
-
topic.config.provider.class
-
two.step.
-
webserver.accesslog.
-
webserver.api.urlprefix
-
webserver.http.
-
webserver.session.path
-
zookeeper.
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、その他のサポートされているオプションはすべて Cruise Control に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定 -
Cross-Origin Resource Sharing (CORS) を有効にするための
webserver
プロパティーの設定
Cruise Control の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... cruiseControl: # ... config: # Note that `default.goals` (superset) must also include all `hard.goals` (subset) default.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.ReplicaCapacityGoal hard.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal cpu.balance.threshold: 1.1 metadata.max.age.ms: 300000 send.buffer.bytes: 131072 webserver.http.cors.enabled: true webserver.http.cors.origin: "*" webserver.http.cors.exposeheaders: "User-Task-ID,Content-Type" # ...
53.2. Cross-Origin Resource Sharing (CORS)
Cross-Origin Resource Sharing (CORS) は、REST API へのアクセスを制御するための HTTP メカニズムです。制限は、アクセス方法またはクライアントアプリケーションの元の URL に対して行うことができます。config
の webserver.http.cors.enabled
プロパティーを使用して、Cruise Control で CORS を有効にできます。有効にすると、CORS は、AMQ Streams とは異なる元の URL を持つアプリケーションからの Cruise Control REST API への読み取りアクセスを許可します。これにより、指定されたオリジンからのアプリケーションが GET
リクエストを使用して、Cruise Control API を介して Kafka クラスターに関する情報をフェッチできるようになります。たとえば、アプリケーションは、現在のクラスター負荷または最新の最適化提案に関する情報を取得できます。POST
リクエストは許可されていません。
Cruise Control で CORS を使用する方法の詳細については、Cruise Control Wiki の REST API を 参照してください。
Cruise Control の CORS の有効化
Kafka.spec.cruiseControl.config
で CORS を有効化および設定します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... cruiseControl: # ... config: webserver.http.cors.enabled: true 1 webserver.http.cors.origin: "*" 2 webserver.http.cors.exposeheaders: "User-Task-ID,Content-Type" 3 # ...
53.3. Cruise Control REST API のセキュリティー
Cruise Control REST API は、HTTP 基本認証と SSL で保護されており、Kafka ブローカーの廃止など、破壊的な可能性のある Cruise Control 操作からクラスターを保護します。AMQStreams の Cruise Control は、これらの設定が有効になっている場合にのみ使用することをお勧めします。
ただし、次の Cruise Control 設定を指定することで、これらの設定を無効にすることができます。
-
ビルトイン HTTP Basic 認証を無効にするには、
webserver.security.enable
をfalse
に設定します。 -
ビルトイン SSL を無効にするには、
webserver.ssl.enable
をfalse
に設定します。
API 承認、認証、および SSL を無効にする Cruise Control の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... cruiseControl: config: webserver.security.enable: false webserver.ssl.enable: false # ...
53.4. brokerCapacity
Cruise Control は、容量制限を使用して、リソース容量制限の最適化目標が破られているかどうかを判断します。このタイプには 4 つのゴールがあります。
-
DiskCapacityGoal
- ディスク使用率容量 -
CpuCapacityGoal
- CPU 使用率容量 -
NetworkInboundCapacityGoal
- ネットワークインバウンド利用容量 -
NetworkOutboundCapacityGoal
- ネットワークの送信利用容量
Kafka ブローカーリソースの容量制限は、Kafka.spec.cruiseControl
の brokerCapacity
プロパティーに指定します。これらはデフォルトで有効になっており、デフォルト値を変更できます。容量制限は、以下のブローカーリソースに設定できます。
-
cpu
- ミリコアまたは CPU コアの CPU リソース (デフォルト: 1) -
inboundNetwork
: バイト毎秒単位のインバウンドネットワークスループット (デフォルトは 10000 KiB/s) -
outboundNetwork
: バイト毎秒単位のアウトバウンドネットワークスループット (デフォルトは 10000 KiB/s)
ネットワークスループットの場合、1 秒あたりの標準の OpenShift バイト単位 (K、M、G) またはそれに相当するビバイト (2 の累乗)(Ki、Mi、Gi) の整数値を使用します。
ディスクと CPU の容量制限は AMQ Streams で自動的に生成されるので、設定する必要はありません。CPU ゴールを使用するときに正確なリバランスの提案を保証するために、Kafka.spec.kafka.resources
で CPU リクエストを CPU 制限と同じに設定できます。これにより、すべての CPU リソースが事前に予約され、常に利用できます。この設定を使用すると、CPU 目標に基づいてリバランス提案を準備するときに Cruise Control が CPU 使用率を適切に評価できます。Kafka.spec.kafka.resources
の CPU 制限と同じ CPU 要求を設定できない場合は、CPU 容量を手動で設定して同じ精度にすることができます。
bibyte 単位での Cruise Control brokerCapacity の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... cruiseControl: # ... brokerCapacity: cpu: "2" inboundNetwork: 10000KiB/s outboundNetwork: 10000KiB/s # ...
53.5. 容量の上書き
ブローカーは、異種ネットワークまたは CPU リソースを持つノードで実行されている可能性があります。その場合は、ブローカーごとにネットワーク容量と CPU 制限を設定する overrides
を指定します。オーバーライドにより、ブローカー間の正確な再調整が保証されます。次のブローカリソースに対してオーバーライド容量制限を設定できます。
-
cpu
- ミリコアまたは CPU コアの CPU リソース (デフォルト: 1) -
inboundNetwork
: バイト毎秒単位のインバウンドネットワークスループット (デフォルトは 10000 KiB/s) -
outboundNetwork
: バイト毎秒単位のアウトバウンドネットワークスループット (デフォルトは 10000 KiB/s)
バイバイト単位を使用した Cruise Control 容量オーバーライド設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... cruiseControl: # ... brokerCapacity: cpu: "1" inboundNetwork: 10000KiB/s outboundNetwork: 10000KiB/s overrides: - brokers: [0] cpu: "2.755" inboundNetwork: 20000KiB/s outboundNetwork: 20000KiB/s - brokers: [1, 2] cpu: 3000m inboundNetwork: 30000KiB/s outboundNetwork: 30000KiB/s
詳細は、BrokerCapacity スキーマ参照 を参照してください。
53.6. logging
Cruise Control には独自の設定可能なロガーがあります。
-
rootLogger.level
Cruise Control では Apache log4j2
ロガー実装が使用されます。
logging
プロパティーを使用してロガーおよびロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。
ここで、inline
および external
ロギングの例を示します。inline
ロギングでは、ルートロガーレベルを指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka # ... spec: cruiseControl: # ... logging: type: inline loggers: rootLogger.level: INFO logger.exec.name: com.linkedin.kafka.cruisecontrol.executor.Executor 1 logger.exec.level: TRACE 2 logger.go.name: com.linkedin.kafka.cruisecontrol.analyzer.GoalOptimizer 3 logger.go.level: DEBUG 4 # ...
Cruise Control の問題を調査する場合、通常は rootLogger
を DEBUG
に変更して、より詳細なログを取得するだけで十分です。ただし、ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があることに注意してください。
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka # ... spec: cruiseControl: # ... logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: cruise-control-log4j.properties # ...
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
53.7. CruiseControlSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
image | Pod の Docker イメージ。 |
string | |
tlsSidecar |
|
resources | Cruise Control コンテナー用に予約された CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
livenessProbe | Cruise Control コンテナーの Pod liveness チェック |
readinessProbe | Cruise Control コンテナーの Pod readiness チェック |
jvmOptions | Cruise Control コンテナーの JVM オプション |
logging |
Cruise Control のロギング設定 (Log4j 2)。タイプは、指定のオブジェクト内の |
template |
Cruise Control のリソースである |
brokerCapacity |
Cruise Control の |
config | Cruise Control の設定。設定オプションの完全リストは、https://github.com/linkedin/cruise-control/wiki/Configurations を参照してください。次の接頭辞を持つプロパティーは設定できません: failed.brokers.zk.path,webserver.http., webserver.api.urlprefix, webserver.session.path, webserver.accesslog., two.step., request.reason.required,metric.reporter.sampler.bootstrap.servers, capacity.config.file, self.healing., ssl., kafka.broker.failure.detection.enable, topic.config.provider.class (例外: ssl.cipher.suites, ssl.protocol, ssl.enabled.protocols, webserver.http.cors.enabled, webserver.http.cors.origin, webserver.http.cors.exposeheaders, webserver.security.enable, webserver.ssl.enable). |
map | |
metricsConfig |
メトリクスの設定。タイプは、指定のオブジェクト内の |
第54章 CruiseControlTemplate
スキーマ参照
プロパティー | 説明 |
---|---|
deployment |
Cruise Control |
Pod |
Cruise Control |
apiService |
Cruise Control API |
podDisruptionBudget |
Cruise Control |
cruiseControlContainer | Cruise Control コンテナーのテンプレート。 |
tlsSidecarContainer |
|
serviceAccount | Cruise Control サービスアカウントのテンプレート。 |
第55章 BrokerCapacity
スキーマー参照
プロパティー | 説明 |
---|---|
disk |
|
string | |
cpuUtilization |
|
integer | |
cpu | コアまたはミリコア単位の CPU リソースのブローカー容量。たとえば、1、1.500、1500m などです。有効な CPU リソースユニットの詳細については、https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/#meaning-of-cpu を参照してください。 |
string | |
inboundNetwork | インバウンドネットワークスループットのブローカー容量 (バイト/秒)。整数値は、標準の OpenShift バイト単位 (K、M、G) またはそれと同等のビバイト (Ki、Mi、Gi)/秒を使用します。たとえば、10000KiB/s です。 |
string | |
outboundNetwork | アウトバウンドネットワークスループットのブローカー容量 (バイト/秒)。整数値は、標準の OpenShift バイト単位 (K、M、G) またはそれと同等のビバイト (Ki、Mi、Gi)/秒を使用します。たとえば、10000KiB/s です。 |
string | |
overrides |
個々のブローカーを上書きします。 |
第56章 BrokerCapacityOverride
スキーマ参照
使用先: BrokerCapacity
プロパティー | 説明 |
---|---|
brokers | Kafka ブローカー (ブローカー識別子) のリスト。 |
整数配列 | |
cpu | コアまたはミリコア単位の CPU リソースのブローカー容量。たとえば、1、1.500、1500m などです。有効な CPU リソースユニットの詳細については、https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/#meaning-of-cpu を参照してください。 |
string | |
inboundNetwork | インバウンドネットワークスループットのブローカー容量 (バイト/秒)。整数値は、標準の OpenShift バイト単位 (K、M、G) またはそれと同等のビバイト (Ki、Mi、Gi)/秒を使用します。たとえば、10000KiB/s です。 |
string | |
outboundNetwork | アウトバウンドネットワークスループットのブローカー容量 (バイト/秒)。整数値は、標準の OpenShift バイト単位 (K、M、G) またはそれと同等のビバイト (Ki、Mi、Gi)/秒を使用します。たとえば、10000KiB/s です。 |
string |
第57章 JmxTransSpec
スキーマ参照
JmxTransSpec
タイプは非推奨になりました。
KafkaSpec
で使用
プロパティー | 説明 |
---|---|
image | JmxTrans に使用するイメージ。 |
string | |
outputDefinitions |
後で参照される出力ホストを定義します。これらのプロパティーの詳細については、 |
logLevel | JmxTrans デプロイメントのログレベルを設定します。詳細は、JmxTrans Logging Level を参照してください。 |
string | |
kafkaQueries |
各ブローカーから読み取るデータを定義するために Kafka ブローカーに送信するクエリー。これらのプロパティーの詳細については、 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
template | JmxTrans リソースのテンプレート。 |
第58章 JmxTransOutputDefinitionTemplate
スキーマ参照
JmxTransSpec
で使用されています。
プロパティー | 説明 |
---|---|
outputType | プッシュされるデータの形式を設定するためのテンプレート。詳細は JmxTrans OutputWriters を参照してください。 |
string | |
host | データがプッシュされるリモートホストの DNS/ホスト名。 |
string | |
port | データのプッシュ先となるリモートホストのポート。 |
integer | |
flushDelayInSeconds | 新しいデータセットをプッシュするまでに JmxTrans が待機する秒数。 |
integer | |
typeNames | ワイルドカードクエリーに対応するために、含めるデータをフィルタリングするテンプレート。詳細は、JmxTrans queries を参照してください。 |
string array | |
name | 出力定義の名前を設定するためのテンプレート。これは、クエリーの結果を送信する場所を特定するために使用されます。 |
string |
第59章 JmxTransQueryTemplate
schema reference
JmxTransSpec
で使用されています。
プロパティー | 説明 |
---|---|
targetMBean | 特定の MBean ではなくワイルドカードを使用する場合、データは複数の MBean から収集されます。ワイルドカードを使用せずに MBean を指定した場合、データは指定された MBean から収集されます。 |
string | |
attributes | 対象の MBean のどの属性を含めるべきかを判断します。 |
string array | |
outputs | JMX メトリクスがプッシュされる場所と、データ形式が定義された spec.kafka.jmxTrans.outputDefinitions に指定された出力定義の名前リスト。 |
string array |
第60章 JmxTransTemplate
スキーマ参照
JmxTransSpec
で使用されています。
プロパティー | 説明 |
---|---|
deployment |
JmxTrans |
Pod |
JmxTrans |
container | JmxTrans コンテナーのテンプレート。 |
serviceAccount | JmxTrans サービスアカウントのテンプレート。 |
第61章 KafkaExporterSpec
スキーマ参照
KafkaSpec
で使用
プロパティー | 説明 |
---|---|
image | Pod の Docker イメージ。 |
string | |
groupRegex |
収集するコンシューマーグループを指定する正規表現。デフォルト値は |
string | |
topicRegex |
収集するトピックを指定する正規表現。デフォルト値は |
string | |
groupExcludeRegex | 除外するコンシューマーグループを指定する正規表現。 |
string | |
topicExcludeRegex | 除外するトピックを指定する正規表現。 |
string | |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
logging |
指定の重大度以上のログメッセージのみ。有効なレベル: [ |
string | |
enableSaramaLogging | Kafka Exporter によって使用される Go クライアントライブラリーである Sarama ロギングを有効にします。 |
boolean | |
template | デプロイメントテンプレートおよび Pod のカスタマイズ。 |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
第62章 KafkaExporterTemplate
スキーマ参照
プロパティー | 説明 |
---|---|
deployment |
Kafka Exporter |
Pod |
Kafka Exporter |
サービス |
|
container | Kafka Exporter コンテナーのテンプレート。 |
serviceAccount | Kafka Exporter サービスアカウントのテンプレート。 |
第63章 KafkaStatus
スキーマ参照
Kafka
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
listeners | 内部リスナーおよび外部リスナーのアドレス。 |
| |
kafkaNodePools | この Kafka クラスターによって使用される KafkaNodePool のリスト。 |
clusterId | Kafka クラスター ID。 |
string |
第64章 Condition
スキーマ参照
使用場所: KafkaBridgeStatus
、KafkaConnectorStatus
、KafkaConnectStatus
、KafkaMirrorMaker2Status
、KafkaMirrorMakerStatus
、KafkaNodePoolStatus
、KafkaRebalanceStatus
、KafkaStatus
、KafkaTopicStatus
、KafkaUserStatus
、StrimziPodSetStatus
プロパティー | 説明 |
---|---|
type | リソース内の他の条件と区別するために使用される条件の固有識別子。 |
string | |
status | 条件のステータス (True、False、または Unknown のいずれか)。 |
string | |
lastTransitionTime | タイプの条件がある状態から別の状態へと最後に変更した時間。必須形式は、UTC タイムゾーンの 'yyyy-MM-ddTHH:mm:ssZ' です。 |
string | |
reason | 条件の最後の遷移の理由 (CamelCase の単一の単語)。 |
string | |
message | 条件の最後の遷移の詳細を示す、人間が判読できるメッセージ。 |
string |
第65章 ListenerStatus
スキーマ参照
KafkaStatus
で使用
プロパティー | 説明 |
---|---|
type |
|
string | |
name | リスナーの名前。 |
string | |
addresses | このリスナーのアドレス一覧。 |
| |
bootstrapServers |
このリスナーを使用して Kafka クラスターに接続するための |
string | |
certificates |
指定のリスナーへの接続時に、サーバーのアイデンティティーを検証するために使用できる TLS 証明書の一覧。 |
string array |
第66章 ListenerAddress
スキーマ参照
ListenerStatus
で使用
プロパティー | 説明 |
---|---|
host | Kafka ブートストラップサービスの DNS 名または IP アドレス。 |
string | |
port | Kafka ブートストラップサービスのポート。 |
integer |
第67章 UsedNodePoolStatus
スキーマ参照
KafkaStatus
で使用
プロパティー | 説明 |
---|---|
name | この Kafka リソースによって使用される KafkaNodePool の名前。 |
string |
第68章 KafkaConnect
スキーマ参照
プロパティー | 説明 |
---|---|
spec | Kafka Connect クラスターの仕様。 |
status | Kafka Connect クラスターのステータス。 |
第69章 KafkaConnectSpec
スキーマ参照
KafkaConnect
で使用
KafkaConnectSpec
スキーマプロパティーの全リスト
Kafka Connect クラスターを設定します。
69.1. config
config
プロパティーを使用して、Kafka Connect オプションをキーとして設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
以下のオプションにはデフォルト値があります。
-
group.id
、デフォルト値connect-cluster
-
offset.storage.topic
、デフォルト値connect-cluster-offsets
-
config.storage.topic
、デフォルト値connect-cluster-configs
-
status.storage.topic
、デフォルト値connect-cluster-status
-
key.converter
、デフォルト値org.apache.kafka.connect.json.JsonConverter
-
value.converter
、デフォルト値org.apache.kafka.connect.json.JsonConverter
このようなオプションは、KafkaConnect.spec.config
プロパティーにない場合に自動的に設定されます。
例外
Apache Kafka ドキュメント にリストされているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- Kafka クラスターブートストラップアドレス
- セキュリティー (暗号化、認証、および承認)
- リスナーと REST インターフェイスの設定
- プラグインパスの設定
次の接頭辞を持つプロパティーは設定できません。
-
bootstrap.servers
-
consumer.interceptor.classes
-
listeners
-
plugin.path
-
producer.interceptor.classes
-
rest.
-
sasl.
-
security.
-
ssl.
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、サポートされている他のすべてのオプションは Kafka Connect に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定
Kafka Connect の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect spec: # ... config: group.id: my-connect-cluster offset.storage.topic: my-connect-cluster-offsets config.storage.topic: my-connect-cluster-configs status.storage.topic: my-connect-cluster-status key.converter: org.apache.kafka.connect.json.JsonConverter value.converter: org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable: true value.converter.schemas.enable: true config.storage.replication.factor: 3 offset.storage.replication.factor: 3 status.storage.replication.factor: 3 # ...
提供された config
オブジェクトのキーまたは値は Cluster Operator によって検証されません。無効な設定を指定すると、Kafka Connect クラスターが起動しなかったり、不安定になる可能性があります。この場合、Cluster Operator が新しい設定をすべての Kafka Connect ノードにロールアウトできるように設定を修正します。
69.2. logging
Kafka Connect には独自の設定可能なロガーがあります。
-
connect.root.logger.level
-
log4j.logger.org.reflections
実行中の Kafka Connect プラグインに応じて、さらにロガーが追加されます。
curl リクエストを使用して、Kafka ブローカー Pod から稼働している Kafka Connect ロガーの完全リストを取得します。
curl -s http://<connect-cluster-name>-connect-api:8083/admin/loggers/
Kafka Connect では Apache log4j
ロガー実装が使用されます。
logging
プロパティーを使用してロガーおよびロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。inline
ロギングでは、ルートロガーレベルを指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect spec: # ... logging: type: inline loggers: connect.root.logger.level: INFO log4j.logger.org.apache.kafka.connect.runtime.WorkerSourceTask: TRACE log4j.logger.org.apache.kafka.connect.runtime.WorkerSinkTask: DEBUG # ...
ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があります。
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect spec: # ... logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: connect-logging.log4j # ...
設定されていない利用可能なロガーのレベルは OFF
に設定されています。
Cluster Operator を使用して Kafka Connect がデプロイされた場合、Kafka Connect のロギングレベルの変更は動的に適用されます。
外部ロギングを使用する場合は、ロギングアペンダーが変更されるとローリング更新がトリガーされます。
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
69.3. KafkaConnectSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
version | Kafka Connect のバージョン。デフォルトは 3.5.0 です。バージョンのアップグレードまたはダウングレードに必要なプロセスを理解するには、ユーザードキュメントを参照してください。 |
string | |
replicas |
Kafka Connect グループの Pod 数。デフォルトは |
integer | |
image | Pod の Docker イメージ。 |
string | |
bootstrapServers | 接続するブートストラップサーバー。これは <hostname>:_<port>_ pairs のコンマ区切りリストとして指定する必要があります。 |
string | |
tls | TLS 設定。 |
authentication |
Kafka Connect の認証設定。タイプは、指定のオブジェクト内の |
| |
config | Kafka Connect の設定。次の接頭辞を持つプロパティーは設定できません: ssl.、sasl.、security.、listeners、plugin.path、rest.、bootstrap.servers、consumer.interceptor.classes、producer.interceptor.classes (ssl.endpoint.identification.algorithm、ssl.cipher.suites、ssl.protocol、ssl.enabled.protocols を除く) |
map | |
resources | CPU とメモリーリソースおよび要求された初期リソースの上限。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
jvmOptions | Pod の JVM オプション。 |
jmxOptions | JMX オプション。 |
logging |
Kafka Connect のロギング設定。タイプは、指定のオブジェクト内の |
clientRackInitImage |
|
string | |
rack |
|
tracing |
Kafka Connect でのトレースの設定。タイプは、指定のオブジェクト内の |
template |
Kafka Connect および Kafka Mirror Maker 2 リソースのテンプレート。ユーザーはテンプレートにより、 |
externalConfiguration | Secret または ConfigMap から Kafka Connect Pod にデータを渡し、これを使用してコネクターを設定します。 |
build | Connect コンテナーイメージを構築する方法を設定します。オプション: |
metricsConfig |
メトリクスの設定。タイプは、指定のオブジェクト内の |
第70章 ClientTls
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2ClusterSpec
、KafkaMirrorMakerConsumerSpec
、KafkaMirrorMakerProducerSpec
KafkaConnect、KafkaBridge、KafkaMirror、KafkaMirrorMaker2 をクラスターに接続するための TLS 信頼証明書を設定します。
70.1. trustedCertificates
trustedCertificates
プロパティーを使用してシークレットのリストを提供する。
70.2. ClientTls
スキーマプロパティー
プロパティー | 説明 |
---|---|
trustedCertificates | TLS 接続の信頼済み証明書。 |
|
第71章 KafkaClientAuthenticationTls
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2ClusterSpec
、KafkaMirrorMakerConsumerSpec
、KafkaMirrorMakerProducerSpec
KafkaClientAuthenticationTls
スキーマプロパティーの全リスト
mTLS 認証を設定するには、type
プロパティーを値 tls
に設定します。mTLS は TLS 証明書を使用して認証します。
71.1. certificateAndKey
証明書は certificateAndKey
プロパティーで指定され、常に OpenShift シークレットからロードされます。シークレットでは、公開鍵と秘密鍵の 2 つの鍵を使用して証明書を X509 形式で保存する必要があります。
User Operator によって作成されたシークレットを使用できます。または、認証に使用される鍵で独自の TLS 証明書ファイルを作成し、ファイルから Secret
を作成することもできます。
oc create secret generic MY-SECRET \ --from-file=MY-PUBLIC-TLS-CERTIFICATE-FILE.crt \ --from-file=MY-PRIVATE.key
mTLS 認証は、TLS 接続でのみ使用できます。
mTLS 設定の例
authentication: type: tls certificateAndKey: secretName: my-secret certificate: my-public-tls-certificate-file.crt key: private.key
71.2. KafkaClientAuthenticationTls
スキーマプロパティー
type
プロパティーは、KafkaClientAuthenticationTls
タイプと、KafkaClientAuthenticationScramSha256
, KafkaClientAuthenticationScramSha512
, KafkaClientAuthenticationPlain
, KafkaClientAuthenticationOAuth
の使用を区別するための識別子です。KafkaClientAuthenticationTls
タイプには tls
の値が必要です。
プロパティー | 説明 |
---|---|
certificateAndKey |
証明書と秘密鍵のペアを保持する |
type |
|
string |
第72章 KafkaClientAuthenticationScramSha256
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2ClusterSpec
、KafkaMirrorMakerConsumerSpec
、KafkaMirrorMakerProducerSpec
KafkaClientAuthenticationScramSha256
スキーマプロパティーの全リスト
SASL ベースの SCRAM-SHA-256 認証を設定するには、type
プロパティーを scram-sha-256
に設定します。SCRAM-SHA-256 認証メカニズムには、ユーザー名とパスワードが必要です。
72.1. username
username
プロパティーでユーザー名を指定します。
72.2. passwordSecret
passwordSecret
プロパティーで、パスワードが含まれる Secret
へのリンクを指定します。
User Operator によって作成されたシークレットを使用できます。
必要に応じて、認証に使用するクリアテキストのパスワードが含まれるテキストファイルを作成できます。
echo -n PASSWORD > MY-PASSWORD.txt
次に、テキストファイルから Secret
を作成し、パスワードに独自のフィールド名 (鍵) を設定できます。
oc create secret generic MY-CONNECT-SECRET-NAME --from-file=MY-PASSWORD-FIELD-NAME=./MY-PASSWORD.txt
Kafka Connect の SCRAM-SHA-256 クライアント認証の Secret 例
apiVersion: v1 kind: Secret metadata: name: my-connect-secret-name type: Opaque data: my-connect-password-field: LFTIyFRFlMmU2N2Tm
secretName
プロパティーには Secret
の名前が含まれ、password
プロパティーには Secret
内にパスワードが格納されるキーの名前が含まれます。
password
プロパティーには、実際のパスワードを指定しないでください。
Kafka Connect の SASL ベース SCRAM-SHA-256 クライアント認証の設定例
authentication: type: scram-sha-256 username: my-connect-username passwordSecret: secretName: my-connect-secret-name password: my-connect-password-field
72.3. KafkaClientAuthenticationScramSha256
スキーマプロパティー
プロパティー | 説明 |
---|---|
passwordSecret |
パスワードを保持する |
type |
|
string | |
username | 認証に使用されるユーザー名。 |
string |
第73章 PasswordSecretSource
スキーマ参照
使用先: KafkaClientAuthenticationOAuth
、KafkaClientAuthenticationPlain
、KafkaClientAuthenticationScramSha256
、KafkaClientAuthenticationScramSha512
プロパティー | 説明 |
---|---|
password | パスワードが保存される Secret のキーの名前。 |
string | |
secretName | パスワードを含むシークレットの名前。 |
string |
第74章 KafkaClientAuthenticationScramSha512
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2ClusterSpec
、KafkaMirrorMakerConsumerSpec
、KafkaMirrorMakerProducerSpec
KafkaClientAuthenticationScramSha512
スキーマプロパティーの全リスト
SASL ベースの SCRAM-SHA-512 認証を設定するには、type
プロパティーを scram-sha-512
に設定します。SCRAM-SHA-512 認証メカニズムには、ユーザー名とパスワードが必要です。
74.1. username
username
プロパティーでユーザー名を指定します。
74.2. passwordSecret
passwordSecret
プロパティーで、パスワードが含まれる Secret
へのリンクを指定します。
User Operator によって作成されたシークレットを使用できます。
必要に応じて、認証に使用するクリアテキストのパスワードが含まれるテキストファイルを作成できます。
echo -n PASSWORD > MY-PASSWORD.txt
次に、テキストファイルから Secret
を作成し、パスワードに独自のフィールド名 (鍵) を設定できます。
oc create secret generic MY-CONNECT-SECRET-NAME --from-file=MY-PASSWORD-FIELD-NAME=./MY-PASSWORD.txt
Kafka Connect の SCRAM-SHA-512 クライアント認証の Secret 例
apiVersion: v1 kind: Secret metadata: name: my-connect-secret-name type: Opaque data: my-connect-password-field: LFTIyFRFlMmU2N2Tm
secretName
プロパティーには Secret
の名前が含まれ、password
プロパティーには Secret
内にパスワードが格納されるキーの名前が含まれます。
password
プロパティーには、実際のパスワードを指定しないでください。
Kafka Connect の SASL ベース SCRAM-SHA-512 クライアント認証の設定例
authentication: type: scram-sha-512 username: my-connect-username passwordSecret: secretName: my-connect-secret-name password: my-connect-password-field
74.3. KafkaClientAuthenticationScramSha512
スキーマプロパティー
プロパティー | 説明 |
---|---|
passwordSecret |
パスワードを保持する |
type |
|
string | |
username | 認証に使用されるユーザー名。 |
string |
第75章 KafkaClientAuthenticationPlain
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2ClusterSpec
、KafkaMirrorMakerConsumerSpec
、KafkaMirrorMakerProducerSpec
KafkaClientAuthenticationPlain
スキーマプロパティーの全リスト
SASL ベースの PLAIN 認証を設定するには、type
プロパティーを plain
に設定します。SASL PLAIN 認証メカニズムには、ユーザー名とパスワードが必要です。
SASL PLAIN メカニズムは、クリアテキストでユーザー名とパスワードをネットワーク全体に転送します。TLS による暗号化が有効になっている場合にのみ SASL PLAIN 認証を使用します。
75.1. username
username
プロパティーでユーザー名を指定します。
75.2. passwordSecret
passwordSecret
プロパティーで、パスワードが含まれる Secret
へのリンクを指定します。
User Operator によって作成されたシークレットを使用できます。
必要に応じて、認証に使用するクリアテキストのパスワードが含まれるテキストファイルを作成します。
echo -n PASSWORD > MY-PASSWORD.txt
次に、テキストファイルから Secret
を作成し、パスワードに独自のフィールド名 (鍵) を設定できます。
oc create secret generic MY-CONNECT-SECRET-NAME --from-file=MY-PASSWORD-FIELD-NAME=./MY-PASSWORD.txt
Kafka Connect の PLAIN クライアント認証の Secret 例
apiVersion: v1 kind: Secret metadata: name: my-connect-secret-name type: Opaque data: my-password-field-name: LFTIyFRFlMmU2N2Tm
secretName
プロパティーには Secret
の名前が含まれ、password
プロパティーには Secret
内にパスワードが格納されるキーの名前が含まれます。
password
プロパティーには、実際のパスワードを指定しないでください。
SASL ベースの PLAIN クライアント認証の設定例
authentication: type: plain username: my-connect-username passwordSecret: secretName: my-connect-secret-name password: my-password-field-name
75.3. KafkaClientAuthenticationPlain
スキーマプロパティー
type
プロパティーは、KafkaClientAuthenticationPlain
タイプと、KafkaClientAuthenticationTls
, KafkaClientAuthenticationScramSha256
, KafkaClientAuthenticationScramSha512
, KafkaClientAuthenticationOAuth
の使用を区別するための識別子です。KafkaClientAuthenticationPlain
タイプには plain
の値が必要です。
プロパティー | 説明 |
---|---|
passwordSecret |
パスワードを保持する |
type |
|
string | |
username | 認証に使用されるユーザー名。 |
string |
第76章 KafkaClientAuthenticationOAuth
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2ClusterSpec
、KafkaMirrorMakerConsumerSpec
、KafkaMirrorMakerProducerSpec
KafkaClientAuthenticationOAuth
スキーマプロパティーの全リスト
OAuth クライアント認証を設定するには、type
プロパティーを oauth
に設定します。
OAuth 認証は、以下のオプションのいずれかを使用して設定できます。
- クライアント ID およびシークレット
- クライアント ID および更新トークン
- アクセストークン
- ユーザー名およびパスワード
- TLS
クライアント ID およびシークレット
認証で使用されるクライアント ID およびクライアントシークレットとともに、tokenEndpointUri
プロパティーで認可サーバーのアドレスを設定できます。OAuth クライアントは OAuth サーバーに接続し、クライアント ID およびシークレットを使用して認証し、Kafka ブローカーとの認証に使用するアクセストークンを取得します。clientSecret
プロパティーで、クライアントシークレットを含む Secret
へのリンクを指定します。
クライアント ID およびクライアントシークレットを使用した OAuth クライアント認証の例
authentication: type: oauth tokenEndpointUri: https://sso.myproject.svc:8443/auth/realms/internal/protocol/openid-connect/token clientId: my-client-id clientSecret: secretName: my-client-oauth-secret key: client-secret
必要に応じて、scope
と audience
を指定できます。
クライアント ID および更新トークン
OAuth クライアント ID および更新トークンとともに、tokenEndpointUri
プロパティーで OAuth サーバーのアドレスを設定できます。OAuth クライアントは OAuth サーバーに接続し、クライアント ID と更新トークンを使用して認証し、Kafka ブローカーとの認証に使用するアクセストークンを取得します。refreshToken
プロパティーで、更新トークンが含まれる Secret
へのリンクを指定します。
クライアント ID と更新トークンを使用した OAuth クライアント認証の例
authentication: type: oauth tokenEndpointUri: https://sso.myproject.svc:8443/auth/realms/internal/protocol/openid-connect/token clientId: my-client-id refreshToken: secretName: my-refresh-token-secret key: refresh-token
アクセストークン
Kafka ブローカーとの認証に使用されるアクセストークンを直接設定できます。この場合、tokenEndpointUri
は指定しません。accessToken
プロパティーで、アクセストークンが含まれる Secret
へのリンクを指定します。
アクセストークンのみを使用した OAuth クライアント認証の例
authentication: type: oauth accessToken: secretName: my-access-token-secret key: access-token
ユーザー名およびパスワード
OAuth のユーザー名とパスワードの設定では、OAuth リソースオーナーのパスワード付与 メカニズムを使用します。このメカニズムは非推奨であり、クライアント認証情報 (ID とシークレット) を使用できない環境での統合を有効にするためにのみサポートされています。アクセス管理システムが別のアプローチをサポートしていない場合、または認証にユーザーアカウントが必要な場合は、ユーザーアカウントの使用が必要になることがあります。
典型的なアプローチは、クライアントアプリケーションを表す認可サーバーに特別なユーザーアカウントを作成することです。次に、ランダムに生成された長いパスワードと非常に限られた権限セットをアカウントに与えます。たとえば、アカウントは Kafka クラスターにのみ接続できますが、他のサービスを使用したり、ユーザーインターフェイスにログインしたりすることはできません。
最初にリフレッシュトークンメカニズムの使用を検討してください。
tokenEndpointUri
プロパティーで、認証に使用されるクライアント ID、ユーザー名、およびパスワードと共に、認可サーバーのアドレスを設定できます。OAuth クライアントは OAuth サーバーに接続し、ユーザー名、パスワード、クライアント ID、およびオプションでクライアントシークレットを使用して認証し、Kafka ブローカーでの認証に使用するアクセストークンを取得します。
passwordSecret
プロパティーで、パスワードが含まれる Secret
へのリンクを指定します。
通常、パブリック OAuth クライアントを使用して clientId
も設定する必要があります。機密 OAuth クライアントを使用している場合は、clientSecret
も設定する必要があります。
パブリッククライアントでのユーザー名とパスワードを使用した OAuth クライアント認証の例
authentication: type: oauth tokenEndpointUri: https://sso.myproject.svc:8443/auth/realms/internal/protocol/openid-connect/token username: my-username passwordSecret: secretName: my-password-secret-name password: my-password-field-name clientId: my-public-client-id
機密クライアントでのユーザー名とパスワードを使用した OAuth クライアント認証の例
authentication: type: oauth tokenEndpointUri: https://sso.myproject.svc:8443/auth/realms/internal/protocol/openid-connect/token username: my-username passwordSecret: secretName: my-password-secret-name password: my-password-field-name clientId: my-confidential-client-id clientSecret: secretName: my-confidential-client-oauth-secret key: client-secret
必要に応じて、scope
と audience
を指定できます。
TLS
HTTPS プロトコルを使用して OAuth サーバーにアクセスする場合、信頼される認証局によって署名された証明書を使用し、そのホスト名が証明書に記載されている限り、追加の設定は必要ありません。
OAuth サーバーが自己署名証明書を使用している場合、または信頼されていない認証局によって署名されている場合は、カスタムリソースで信頼済み証明書の一覧を設定できます。tlsTrustedCertificates
プロパティーには、証明書が保存されるキーの名前を持つシークレットの一覧が含まれます。証明書は X509 形式で保存する必要があります。
提供される TLS 証明書の例
authentication: type: oauth tokenEndpointUri: https://sso.myproject.svc:8443/auth/realms/internal/protocol/openid-connect/token clientId: my-client-id refreshToken: secretName: my-refresh-token-secret key: refresh-token tlsTrustedCertificates: - secretName: oauth-server-ca certificate: tls.crt
OAuth クライアントはデフォルトで、OAuth サーバーのホスト名が、証明書サブジェクトまたは別の DNS 名のいずれかと一致することを確認します。必要でない場合は、ホスト名の検証を無効にできます。
無効にされた TLS ホスト名の検証例
authentication: type: oauth tokenEndpointUri: https://sso.myproject.svc:8443/auth/realms/internal/protocol/openid-connect/token clientId: my-client-id refreshToken: secretName: my-refresh-token-secret key: refresh-token disableTlsHostnameVerification: true
76.1. KafkaClientAuthenticationOAuth
スキーマプロパティー
type
プロパティーは、KafkaClientAuthenticationOAuth
タイプと、KafkaClientAuthenticationTls
, KafkaClientAuthenticationScramSha256
, KafkaClientAuthenticationScramSha512
, KafkaClientAuthenticationPlain
の使用を区別するための識別子です。KafkaClientAuthenticationOAuth
タイプには oauth
の値が必要です。
プロパティー | 説明 |
---|---|
accessToken | 認可サーバーから取得したアクセストークンが含まれる OpenShift シークレットへのリンク。 |
accessTokenIsJwt |
アクセストークンを JWT として処理すべきかどうかを設定します。認可サーバーが不透明なトークンを返す場合は、 |
boolean | |
audience |
認可サーバーに対して認証を行うときに使用する OAuth オーディエンス。一部の認可サーバーでは、オーディエンスを明示的に設定する必要があります。許可される値は、認可サーバーの設定によります。デフォルトでは、トークンエンドポイントリクエストを実行する場合は |
string | |
clientId | Kafka クライアントが OAuth サーバーに対する認証に使用し、トークンエンドポイント URI を使用することができる OAuth クライアント ID。 |
string | |
clientSecret | Kafka クライアントが OAuth サーバーに対する認証に使用し、トークンエンドポイント URI を使用することができる OAuth クライアントシークレットが含まれる OpenShift シークレットへのリンク。 |
connectTimeoutSeconds | 認可サーバーへの接続時のタイムアウト (秒単位)。設定しない場合は、実際の接続タイムアウトは 60 秒になります。 |
integer | |
disableTlsHostnameVerification |
TLS ホスト名の検証を有効または無効にします。デフォルト値は |
boolean | |
enableMetrics |
OAuth メトリックを有効または無効にします。デフォルト値は |
boolean | |
httpRetries | 最初の HTTP リクエストが失敗した場合に試行する最大再試行回数。設定されていない場合、デフォルトでは再試行は行われません。 |
integer | |
httpRetryPauseMs | 失敗した HTTP リクエストを再試行するまでの一時停止。設定されていない場合、デフォルトでは一時停止せず、ただちにリクエストを繰り返します。 |
integer | |
maxTokenExpirySeconds | アクセストークンの有効期間を指定の秒数に設定または制限します。これは、認可サーバーが不透明なトークンを返す場合に設定する必要があります。 |
integer | |
passwordSecret |
パスワードを保持する |
readTimeoutSeconds | 認可サーバーへの接続時の読み取りタイムアウト (秒単位)。設定しない場合は、実際の読み取りタイムアウトは 60 秒になります。 |
integer | |
refreshToken | 認可サーバーからアクセストークンを取得するために使用できる更新トークンが含まれる OpenShift シークレットへのリンク。 |
scope |
認可サーバーに対して認証を行うときに使用する OAuth スコープ。一部の認可サーバーでこれを設定する必要があります。許可される値は、認可サーバーの設定によります。デフォルトでは、トークンエンドポイントリクエストを実行する場合は |
string | |
tlsTrustedCertificates | OAuth サーバーへの TLS 接続の信頼済み証明書。 |
| |
tokenEndpointUri | 認可サーバートークンエンドポイント URI。 |
string | |
type |
|
string | |
username | 認証に使用されるユーザー名。 |
string |
第77章 JaegerTracing
スキーマ参照
タイプ JaegerTracing
は非推奨になりました。
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
、KafkaMirrorMakerSpec
type
プロパティーは、JaegerTracing
タイプの使用を OpenTelemetryTracing
と区別する識別子です。JaegerTracing
タイプには jaeger
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第78章 OpenTelemetryTracing
スキーマ参照
使用先: KafkaBridgeSpec
、KafkaConnectSpec
、KafkaMirrorMaker2Spec
、KafkaMirrorMakerSpec
type
プロパティーは、OpenTelemetryTracing
タイプの使用をJaegerTracing
と区別する識別子です。タイプ OpenTelemetryTracing
の値が opentelemetry
である必要があります。
プロパティー | 説明 |
---|---|
type |
|
string |
第79章 KafkaConnectTemplate
スキーマ参照
使用先: KafkaConnectSpec
、KafkaMirrorMaker2Spec
プロパティー | 説明 |
---|---|
deployment |
Kafka Connect |
podSet |
Kafka Connect |
pod |
Kafka Connect |
apiService |
Kafka Connect API |
headlessService |
Kafka Connect ヘッドレス |
connectContainer | Kafka Connect コンテナーのテンプレート。 |
initContainer | Kafka init コンテナーのテンプレート。 |
podDisruptionBudget |
Kafka Connect |
serviceAccount | Kafka Connect サービスアカウントのテンプレート。 |
clusterRoleBinding | Kafka Connect ClusterRoleBinding のテンプレート。 |
buildPod |
Kafka Connect Build |
buildContainer | Kafka Connect Build コンテナーのテンプレート。build コンテナーは OpenShift でのみ使用されます。 |
buildConfig | 新しいコンテナーイメージをビルドするために使用される Kafka Connect BuildConfig のテンプレート。BuildConfig は OpenShift でのみ使用されます。 |
buildServiceAccount | Kafka Connect Build サービスアカウントのテンプレート。 |
jmxSecret | Kafka Connect Cluster JMX 認証の Secret のテンプレートです。 |
第80章 BuildConfigTemplate
スキーマ参照
使用先: KafkaConnectTemplate
プロパティー | 説明 |
---|---|
metadata |
|
pullSecret | ベースイメージをプルするためのクレデンシャルが含まれる Container Registry Secret。 |
string |
第81章 ExternalConfiguration
スキーマ参照
使用先: KafkaConnectSpec
、KafkaMirrorMaker2Spec
ExternalConfiguration
スキーマプロパティーの完全リスト
Kafka Connect コネクターの設定オプションを定義する外部ストレージプロパティーを設定します。
ConfigMap またはシークレットを環境変数またはボリュームとして Kafka Connect Pod にマウントできます。ボリュームおよび環境変数は、KafkaConnect.spec
または KafkaMirrorMaker2.spec
の externalConfiguration
プロパティーで設定されます。
これが適用されると、コネクターの開発時に環境変数とボリュームを使用できます。
詳細は、外部ソースからの設定値の読み込み を参照してください。
81.1. ExternalConfiguration
スキーマプロパティー
プロパティー | 説明 |
---|---|
env | Secret または ConfigMap からのデータを環境変数として Kafka Connect Pod で利用できるようにします。 |
| |
volumes | Secret または ConfigMap からのデータをボリュームとして Kafka Connect Pod で利用できるようにします。 |
第82章 ExternalConfigurationEnv
スキーマ参照
プロパティー | 説明 |
---|---|
name |
Kafka Connect Pod に渡される環境変数の名前。環境変数に、 |
string | |
valueFrom | Kafka Connect Pod に渡される環境変数の値。Secret または ConfigMap フィールドのいずれかへ参照として渡すことができます。このフィールドでは、Secret または ConfigMap を 1 つだけ指定する必要があります。 |
第83章 ExternalConfigurationEnvVarSource
スキーマ参照
プロパティー | 説明 |
---|---|
configMapKeyRef | ConfigMap のキーへの参照。詳細は、core/v1 configmapkeyselector の外部ドキュメント を参照してください。 |
secretKeyRef | Secret のキーへの参照。詳細は、core/v1 secretkeyselector の外部ドキュメント を参照してください。 |
第84章 ExternalConfigurationVolumeSource
スキーマ参照
プロパティー | 説明 |
---|---|
configMap | ConfigMap のキーへの参照。Secret または ConfigMap を 1 つだけ指定する必要があります。詳細は、core/v1 configmapvolumesource の外部ドキュメント を参照してください。 |
name | Kafka Connect Pod に追加されるボリュームの名前。 |
string | |
secret | Secret のキーへの参照。Secret または ConfigMap を 1 つだけ指定する必要があります。詳細は、core/v1 secretvolumesource の外部ドキュメント を参照してください。 |
第85章 Build
スキーマ参照
使用先: KafkaConnectSpec
Kafka Connect デプロイメントの追加コネクターを設定します。
85.1. 出力
追加のコネクタープラグインで新しいコンテナーイメージをビルドするには、イメージをプッシュ、保存、およびプルできるコンテナーレジストリーが AMQ Streams に必要です。AMQ Streams は独自のコンテナーレジストリーを実行しないため、レジストリーを指定する必要があります。AMQ Streams は、プライベートコンテナーレジストリーだけでなく、Quay や Docker Hub などのパブリックレジストリーもサポートします。コンテナーレジストリーは、KafkaConnect
カスタムリソースの .spec.build.output
セクションで設定されます。output
設定は必須で、docker
と imagestream
の 2 つのタイプをサポートします。
Docker レジストリーの使用
Docker レジストリーを使用するには、type
を docker
として指定し、image
フィールドに新しいコンテナーイメージのフルネームを指定する必要があります。フルネームには以下が含まれる必要があります。
- レジストリーのアドレス
- ポート番号 (標準以外のポートでリッスンしている場合)
- 新しいコンテナーイメージのタグ
有効なコンテナーイメージ名の例:
-
docker.io/my-org/my-image/my-tag
-
quay.io/my-org/my-image/my-tag
-
image-registry.image-registry.svc:5000/myproject/kafka-connect-build:latest
Kafka Connect デプロイメントごとに個別のイメージを使用する必要があります。これは、最も基本的なレベルで異なるタグを使用する可能性があることを意味します。
レジストリーに認証が必要な場合は、pushSecret
を使用してレジストリーのクレデンシャルで Secret の名前を設定します。Secret には、kubernetes .io/dockerconfigjson
タイプと .dockerconfigjson
ファイルを使用して Docker 認証情報を追加します。プライベートレジストリーからイメージをプルする方法の詳細は、Create a Secret based on existing Docker credentials を参照してください。
output
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... build: output: type: docker 1 image: my-registry.io/my-org/my-connect-cluster:latest 2 pushSecret: my-registry-credentials 3 #...
OpenShift ImageStream の使用
Docker の代わりに OpenShift ImageStream を使用して、新しいコンテナーイメージを保存できます。Kafka Connect をデプロイする前に、ImageStream を手動で作成する必要があります。ImageStream を使用するには、type
を imagestream
に設定し、image
プロパティーを使用して ImageStream と使用するタグの名前を指定します。例: my-connect-image-stream:latest
output
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... build: output: type: imagestream 1 image: my-connect-build:latest 2 #...
85.2. plugins
コネクタープラグインは、特定タイプの外部システムへの接続に必要な実装を定義するファイルのセットです。コンテナーイメージに必要なコネクタープラグインは、KafkaConnect
カスタムリソースの .spec.build.plugins
プロパティーを使用して設定する必要があります。各コネクタープラグインには、Kafka Connect デプロイメント内で一意となる名前が必要です。さらに、プラグインアーティファクトもリストする必要があります。これらのアーティファクトは AMQ Streams によってダウンロードされ、新しいコンテナーイメージに追加され、Kafka Connect デプロイメントで使用されます。コネクタープラグインアーティファクトには、シリアライザーやデシリアライザーなどの追加のコンポーネントを含めることもできます。各コネクタープラグインは、異なるコネクターとそれらの依存関係が適切に サンドボックス化 されるように、個別のディレクトリーにダウンロードされます。各プラグインは、1 つ以上の artifact
で設定する必要があります。
2 つのコネクタープラグインを持つ plugins
の設定例
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
name: my-connect-cluster
spec:
#...
build:
output:
#...
plugins: 1
- name: debezium-postgres-connector
artifacts:
- type: tgz
url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/2.3.2.Final/debezium-connector-postgres-2.3.2.Final-plugin.tar.gz
sha512sum: 0145fa5138363603c8099cfc8b595f45cd6389a2d2248ecfbdd763849f534efaa5469d75b25395dfca6d87807202ccfbca34aa13a210092e598a97a73a46b6be
- name: camel-telegram
artifacts:
- type: tgz
url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.11.5/camel-telegram-kafka-connector-0.11.5-package.tar.gz
sha512sum: d6d9f45e0d1dbfcc9f6d1c7ca2046168c764389c78bc4b867dab32d24f710bb74ccf2a007d7d7a8af2dfca09d9a52ccbc2831fc715c195a3634cca055185bd91
#...
- 1
- (必須) コネクタープラグインおよびそれらのアーティファクトの一覧。
AMQ Streams では、以下のタイプのアーティファクトがサポートされます。
- 直接ダウンロードして使用する JAR ファイル
- ダウンロードおよび解凍された TGZ アーカイブ
- ダウンロードおよび解凍された ZIP アーカイブ
- Maven コーディネートを使用する Maven アーティファクト
- 直接ダウンロードおよび使用されるその他のアーティファクト
AMQ Streams は、ダウンロードしたアーティファクトのセキュリティースキャンを実行しません。セキュリティー上の理由から、最初にアーティファクトを手動で検証し、チェックサムの検証を設定して、自動ビルドと Kafka Connect デプロイメントで同じアーティファクトが使用されるようにする必要があります。
JAR アーティファクトの使用
JAR アーティファクトは、コンテナーイメージにダウンロードされ、追加された JAR ファイルを表します。JAR アーティファクトを使用するには、type
プロパティーを jar
に設定し、url
プロパティーを使用してダウンロードする場所を指定します。
さらに、アーティファクトの SHA-512 チェックサムを指定することもできます。指定された場合、AMQ Streams は新しいコンテナーイメージのビルド中にアーティファクトのチェックサムを検証します。
JAR アーティファクトの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... build: output: #... plugins: - name: my-plugin artifacts: - type: jar 1 url: https://my-domain.tld/my-jar.jar 2 sha512sum: 589...ab4 3 - type: jar url: https://my-domain.tld/my-jar2.jar #...
TGZ アーティファクトの使用
TGZ アーティファクトは、Gzip 圧縮を使用して圧縮された TAR アーカイブをダウンロードするために使用されます。複数の異なるファイルで設定される場合でも、TGZ アーティファクトに Kafka Connect コネクター全体を含めることができます。TGZ アーティファクトは、新しいコンテナーイメージのビルド時に AMQ Streams によって自動的にダウンロードおよび展開されます。TGZ アーティファクトを使用するには、type
プロパティーを tgz
に設定し、url
プロパティーを使用してダウンロードする場所を指定します。
さらに、アーティファクトの SHA-512 チェックサムを指定することもできます。指定された場合、展開して新しいコンテナーイメージをビルドする前に、チェックサムが AMQ Streams によって検証されます。
TGZ アーティファクトの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... build: output: #... plugins: - name: my-plugin artifacts: - type: tgz 1 url: https://my-domain.tld/my-connector-archive.tgz 2 sha512sum: 158...jg10 3 #...
ZIP アーティファクトの使用
ZIP アーティファクトは ZIP 圧縮アーカイブのダウンロードに使用されます。前のセクションで説明した TGZ アーティファクトと同じ方法で ZIP アーティファクトを使用します。唯一の違いは、type: tgz
ではなく type: zip
を指定することです。
Maven アーティファクトの使用
Maven
アーティファクトは、コネクタープラグインアーティファクトを Maven コーディネートとして指定するために使用されます。Maven コーディネートは、プラグインアーティファクトおよび依存関係を特定し、Maven リポジトリーから検索および取得できるようにします。
コネクタービルドプロセスがアーティファクトをコンテナーイメージに追加するには、Maven リポジトリーへのアクセス権が必要です。
Maven アーティファクトの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... build: output: #... plugins: - name: my-plugin artifacts: - type: maven 1 repository: https://mvnrepository.com 2 group: org.apache.camel.kafkaconnector 3 artifact: camel-kafka-connector 4 version: 0.11.0 5 #...
other
アーティファクトの使用
other
アーティファクトは、コンテナーイメージにダウンロードおよび追加されたファイルの種類を表します。結果となるコンテナーイメージのアーティファクトに特定の名前を使用する場合は、fileName
フィールドを使用します。ファイル名が指定されていない場合、URL ハッシュを基にファイルの名前が付けられます。
さらに、アーティファクトの SHA-512 チェックサムを指定することもできます。指定された場合、AMQ Streams は新しいコンテナーイメージのビルド中にアーティファクトのチェックサムを検証します。
other
アーティファクトの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... build: output: #... plugins: - name: my-plugin artifacts: - type: other 1 url: https://my-domain.tld/my-other-file.ext 2 sha512sum: 589...ab4 3 fileName: name-the-file.ext 4 #...
85.3. Build
スキーマのプロパティー
プロパティー | 説明 |
---|---|
output |
新たにビルドされたイメージの保存先を設定します。必須。タイプは、指定のオブジェクト内の |
resources | ビルド用に予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
plugins | Kafka Connect に追加する必要のあるコネクタープラグインのリスト。必須。 |
|
第86章 DockerOutput
スキーマ参照
Build
で使用
type
プロパティーは、DockerOutput
タイプの使用を、ImageStreamOutput
と区別するための識別子です。DockerOutput
タイプには docker
の値が必要です。
プロパティー | 説明 |
---|---|
image |
新たにビルドされたイメージのタグ付けおよびプッシュに使用されるフルネーム。例: |
string | |
pushSecret | 新たにビルドされたイメージをプッシュするための、クレデンシャルが含まれる Container Registry Secret。 |
string | |
additionalKanikoOptions | 新しい Connect イメージをビルドする際に、Kaniko エグゼキューターに渡される追加オプションを設定します。指定できるオプションは --customPlatform、--insecure、--insecure-pull、--insecure-registry、--log-format、--log-timestamp、--registry-mirror、--reproducible、--single-snapshot、--skip-tls-verify、--skip-tls-verify-pull、--skip-tls-verify-registry、--verbosity、--snapshotMode、--use-new-run です。これらのオプションは、Kaniko エグゼキューターが使用される OpenShift でのみ使用されます。OpenShift では無視されます。オプションは、Kaniko GitHub repository に記載されています。このフィールドを変更しても、Kafka Connect イメージのビルドは新たにトリガーされません。 |
string array | |
type |
|
string |
第87章 ImageStreamOutput
スキーマ参照
Build
で使用
type
プロパティーは、InlineLogging
タイプの使用と、DockerOutput
を区別するための識別子です。ImageStreamOutput
タイプには imagestream
の値が必要です。
プロパティー | 説明 |
---|---|
image |
新たにビルドされたイメージがプッシュされる ImageStream の名前およびタグ。例: |
string | |
type |
|
string |
第88章 Plugin
スキーマ参照
Build
で使用
プロパティー | 説明 |
---|---|
name |
コネクタープラグインの一意名。コネクターアーティファクトが保存されるパスの生成に使用されます。名前は KafkaConnect リソース内で一意である必要があります。この名前は、 |
string | |
artifacts | このコネクタープラグインに属するアーティファクトの一覧。必須。 |
|
第89章 JarArtifact
スキーマ参照
Plugin
で使用
プロパティー | 説明 |
---|---|
url |
ダウンロードされるアーティファクトの URL。AMQ Streams では、ダウンロードしたアーティファクトのセキュリティースキャンは行いません。セキュリティー上の理由から、最初にアーティファクトを手動で検証し、チェックサムの検証を設定して、自動ビルドで同じアーティファクトが使用されるようにする必要があります。 |
string | |
sha512sum |
アーティファクトの SHA512 チェックサム。オプション:指定すると、新しいコンテナーのビルド時にチェックサムが検証されます。指定のない場合は、ダウンロードしたアーティファクトは検証されません。 |
string | |
insecure |
デフォルトでは、TLS を使用する接続を検証して安全かどうかを確認します。使用するサーバー証明書は有効で信頼でき、サーバー名が含まれる必要があります。このオプションを |
boolean | |
type |
|
string |
第90章 TgzArtifact
スキーマ参照
Plugin
で使用
プロパティー | 説明 |
---|---|
url |
ダウンロードされるアーティファクトの URL。AMQ Streams では、ダウンロードしたアーティファクトのセキュリティースキャンは行いません。セキュリティー上の理由から、最初にアーティファクトを手動で検証し、チェックサムの検証を設定して、自動ビルドで同じアーティファクトが使用されるようにする必要があります。 |
string | |
sha512sum |
アーティファクトの SHA512 チェックサム。オプション:指定すると、新しいコンテナーのビルド時にチェックサムが検証されます。指定のない場合は、ダウンロードしたアーティファクトは検証されません。 |
string | |
insecure |
デフォルトでは、TLS を使用する接続を検証して安全かどうかを確認します。使用するサーバー証明書は有効で信頼でき、サーバー名が含まれる必要があります。このオプションを |
boolean | |
type |
|
string |
第91章 ZipArtifact
スキーマ参照
Plugin
で使用
プロパティー | 説明 |
---|---|
url |
ダウンロードされるアーティファクトの URL。AMQ Streams では、ダウンロードしたアーティファクトのセキュリティースキャンは行いません。セキュリティー上の理由から、最初にアーティファクトを手動で検証し、チェックサムの検証を設定して、自動ビルドで同じアーティファクトが使用されるようにする必要があります。 |
string | |
sha512sum |
アーティファクトの SHA512 チェックサム。オプション:指定すると、新しいコンテナーのビルド時にチェックサムが検証されます。指定のない場合は、ダウンロードしたアーティファクトは検証されません。 |
string | |
insecure |
デフォルトでは、TLS を使用する接続を検証して安全かどうかを確認します。使用するサーバー証明書は有効で信頼でき、サーバー名が含まれる必要があります。このオプションを |
boolean | |
type |
|
string |
第92章 MavenArtifact
スキーマ参照
Plugin
で使用
type
プロパティーは、MavenArtifact
タイプと JarArtifact
, TgzArtifact
, ZipArtifact
, OtherArtifact
の使用を区別するための識別子です。MavenArtifact
タイプには maven
の値が必要です。
プロパティー | 説明 |
---|---|
repository |
アーティファクトのダウンロード元となる Maven リポジトリー。 |
string | |
group |
Maven グループ ID。 |
string | |
artifact |
Maven artifact ID。 |
string | |
version |
Maven のバージョン番号。 |
string | |
insecure |
デフォルトでは、TLS を使用する接続を検証して安全かどうかを確認します。使用するサーバー証明書は有効で信頼でき、サーバー名が含まれる必要があります。このオプションを |
boolean | |
type |
|
string |
第93章 OtherArtifact
スキーマ参照
Plugin
で使用
プロパティー | 説明 |
---|---|
url |
ダウンロードされるアーティファクトの URL。AMQ Streams では、ダウンロードしたアーティファクトのセキュリティースキャンは行いません。セキュリティー上の理由から、最初にアーティファクトを手動で検証し、チェックサムの検証を設定して、自動ビルドで同じアーティファクトが使用されるようにする必要があります。 |
string | |
sha512sum |
アーティファクトの SHA512 チェックサム。オプション:指定すると、新しいコンテナーのビルド時にチェックサムが検証されます。指定のない場合は、ダウンロードしたアーティファクトは検証されません。 |
string | |
fileName | 保存されるアーティファクトの名前。 |
string | |
insecure |
デフォルトでは、TLS を使用する接続を検証して安全かどうかを確認します。使用するサーバー証明書は有効で信頼でき、サーバー名が含まれる必要があります。このオプションを |
boolean | |
type |
|
string |
第94章 KafkaConnectStatus
スキーマ参照
KafkaConnect
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
url | Kafka Connect コネクターの管理および監視用の REST API エンドポイントの URL。 |
string | |
connectorPlugins | この Kafka Connect デプロイメントで使用できるコネクタープラグインの一覧。 |
| |
labelSelector | このリソースを提供する Pod のラベルセレクター。 |
string | |
replicas | このリソースを提供するために現在使用されている Pod の数。 |
integer |
第95章 ConnectorPlugin
スキーマ参照
使用先: KafkaConnectStatus
、KafkaMirrorMaker2Status
プロパティー | 説明 |
---|---|
type |
コネクタープラグインのタイプ。 |
string | |
version | コネクタープラグインのバージョン。 |
string | |
class | コネクタープラグインのクラス。 |
string |
第96章 KafkaTopic
スキーマ参照
プロパティー | 説明 |
---|---|
spec | トピックの仕様。 |
status | トピックのステータス。 |
第97章 KafkaTopicSpec
スキーマ参照
KafkaTopic
で使用
プロパティー | 説明 |
---|---|
partitions |
トピックに存在するパーティション数。この数はトピック作成後に減らすことはできません。トピック作成後に増やすことはできますが、その影響について理解することが重要となります。特にセマンティックパーティションのあるトピックで重要となります。これがない場合、デフォルトは |
integer | |
replicas |
トピックのレプリカ数。これがない場合、デフォルトは |
integer | |
config | トピックの設定。 |
map | |
topicName | トピックの名前。これがない場合、デフォルトではトピックの metadata.name に設定されます。トピック名が有効な OpenShift リソース名ではない場合を除き、これを設定しないことが推奨されます。 |
string |
第98章 KafkaTopicStatus
スキーマ参照
KafkaTopic
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
topicName | トピック名。 |
string |
第99章 KafkaUser
スキーマ参照
プロパティー | 説明 |
---|---|
spec | ユーザーの仕様。 |
status | Kafka User のステータス。 |
第100章 KafkaUserSpec
スキーマ参照
KafkaUser
で使用
プロパティー | 説明 |
---|---|
authentication |
この Kafka ユーザーに対して有効になっている認証メカニズム。サポートされる認証メカニズムは、
認証はオプションです。認証が設定されていない場合には、認証情報は生成されません。ユーザーに設定された ACL およびクォータは、SASL 認証に適した |
| |
認可 |
この Kafka ユーザーの承認ルール。タイプは、指定のオブジェクト内の |
quotas | クライアントによって使用されるブローカーリソースを制御する要求のクォータ。ネットワーク帯域幅および要求レートクォータの適用が可能です。Kafka ユーザークォータの Kafka ドキュメントは http://kafka.apache.org/documentation/#design_quotas を参照してください。 |
template |
Kafka User |
第101章 KafkaUserTlsClientAuthentication
スキーマ参照
KafkaUserSpec
で使用
type
プロパティーは KafkaUserTlsClientAuthentication
タイプと、KafkaUserTlsExternalClientAuthentication
, KafkaUserScramSha512ClientAuthentication
の使用を区別するための識別子です。KafkaUserTlsClientAuthentication
タイプには tls
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第102章 KafkaUserTlsExternalClientAuthentication
スキーマ参照
KafkaUserSpec
で使用
type
プロパティーは KafkaUserTlsExternalClientAuthentication
タイプと KafkaUserTlsClientAuthentication
, KafkaUserScramSha512ClientAuthentication
の使用を区別するための識別子です。KafkaUserTlsExternalClientAuthentication
タイプには tls-external
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第103章 KafkaUserScramSha512ClientAuthentication
スキーマ参照
KafkaUserSpec
で使用
type
プロパティーは KafkaUserScramSha512ClientAuthentication
タイプと KafkaUserTlsClientAuthentication
, KafkaUserTlsExternalClientAuthentication
の使用を区別するための識別子です。KafkaUserScramSha512ClientAuthentication
タイプには scram-sha-512
の値が必要です。
プロパティー | 説明 |
---|---|
password | ユーザーのパスワードを指定します。設定されていない場合、新規パスワードは User Operator によって生成されます。 |
type |
|
string |
第104章 Password
スキーマ参照
使用先: KafkaUserScramSha512ClientAuthentication
プロパティー | 説明 |
---|---|
valueFrom | パスワードを読み取る必要のあるシークレット。 |
第105章 PasswordSource
スキーマ参照
使用先: Password
プロパティー | 説明 |
---|---|
secretKeyRef | リソースの namespace で Secret のキーを選択します。詳細は、core/v1 secretkeyselector の外部ドキュメント を参照してください。 |
第106章 KafkaUserAuthorizationSimple
スキーマ参照
KafkaUserSpec
で使用
type
プロパティーは、KafkaUserAuthorizationSimple
タイプを使用する際に、今後追加される可能性のある他のサブタイプと区別する識別子です。KafkaUserAuthorizationSimple
タイプには simple
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
ACL | このユーザーに適用される必要のある ACL ルールの一覧。 |
|
第107章 AclRule
スキーマ参照
KafkaUserAuthorizationSimple
で使用
ブローカーが AclAuthorizer
を使用する場合に KafkaUser
のアクセス制御ルールを設定します。
認証を使用した KafkaUser
の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: # ... authorization: type: simple acls: - resource: type: topic name: my-topic patternType: literal operations: - Read - Describe - resource: type: group name: my-group patternType: prefix operations: - Read
107.1. resource
resource
プロパティーを使用して、ルールが適用されるリソースを指定します。
簡易承認は、type
プロパティーに指定される、以下の 4 つのリソースタイプをサポートします。
-
トピック (
topic
) -
コンシューマーグループ (
group
) -
クラスター (
cluster
) -
トランザクション ID (
transactionalId
)
Topic、Group、および Transactional ID リソースでは、name
プロパティーでルールが適用されるリソースの名前を指定できます。
クラスタータイプのリソースには名前がありません。
名前は、patternType
プロパティーを使用して literal
または prefix
として指定されます。
-
リテラル (literal) 名には、
name
フィールドに指定された名前がそのまま使われます。 -
接頭辞名では、
name
値を接頭辞として使用し、名前がその値で始まるすべてのリソースにルールを適用します。
patternType
が literal
として設定されている場合、名前を *
に設定して、ルールがすべてのリソースに適用されるように指示します。
ユーザーがすべてのトピックからメッセージを読み込める ACL ルールの例
acls: - resource: type: topic name: "*" patternType: literal operations: - Read
107.2. type
ルールの type
。allow
(操作の許可) または deny
(操作の拒否、現在未サポート) です。
type
フィールドの設定は任意です。type
の指定がない場合、ACL ルールは allow
ルールとして処理されます。
107.3. operations
ルールが許可または拒否する operation
のリストを指定します。
以下の操作がサポートされます。
- Read
- Write
- Delete
- Alter
- Describe
- All
- IdempotentWrite
- ClusterAction
- Create
- AlterConfigs
- DescribeConfigs
特定の操作のみが各リソースで機能します。
AclAuthorizer
、ACL、およびサポートされるリソースと操作の組み合わせの詳細は、Authorization and ACL を参照してください。
107.4. host
host
プロパティーを使用して、ルールが許可または拒否されるリモートホストを指定します。
アスタリスク (*
) を使用して、すべてのホストからの操作を許可または拒否します。host
フィールドの設定は任意です。host
を指定しないと、値 *
がデフォルトで使用されます。
107.5. AclRule
スキーマのプロパティー
プロパティー | 説明 |
---|---|
host | ACL ルールに記述されているアクションを許可または拒否するホスト。 |
string | |
操作 (operation) |
|
string ([Read、Write、Delete、Alter、Describe、All、IdempotentWrite、ClusterAction、Create、AlterConfigs、DescribeConfigs] のいずれか) | |
operations | 許可または拒否される操作の一覧。サポートされる操作: Read、Write、Create、Delete、Alter、Describe、ClusterAction、AlterConfigs、DescribeConfigs、IdempotentWrite、All |
string ([Read, Write, Delete, Alter, Describe, All, IdempotentWrite, ClusterAction, Create, AlterConfigs, DescribeConfigs] のいずれか 1 つ以上) array | |
resource |
指定の ACL ルールが適用されるリソースを示します。タイプは、指定のオブジェクト内の |
| |
type |
ルールのタイプ。現在サポートされているタイプは |
string ([allow、deny] のいずれか) |
第108章 AclRuleTopicResource
スキーマ参照
AclRule
で使用
type
プロパティーは、AclRuleTopicResource
タイプを使用する際に AclRuleGroupResource
、AclRuleClusterResource
、AclRuleTransactionalIdResource
タイプと区別する識別子です。AclRuleTopicResource
タイプには topic
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
name |
指定の ACL ルールが適用されるリソースの名前。 |
string | |
patternType |
リソースフィールドで使用されるパターンを指定します。サポートされるタイプは |
string ([prefix、literal] のいずれか) |
第109章 AclRuleGroupResource
スキーマ参照
AclRule
で使用
type
プロパティーは、AclRuleGroupResource
タイプを使用する際に AclRuleTopicResource
、AclRuleClusterResource
、AclRuleTransactionalIdResource
タイプと区別する識別子です。AclRuleGroupResource
タイプには group
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
name |
指定の ACL ルールが適用されるリソースの名前。 |
string | |
patternType |
リソースフィールドで使用されるパターンを指定します。サポートされるタイプは |
string ([prefix、literal] のいずれか) |
第110章 AclRuleClusterResource
スキーマ参照
AclRule
で使用
type
プロパティーは、AclRuleClusterResource
タイプを使用する際に AclRuleTopicResource
、AclRuleGroupResource
、AclRuleTransactionalIdResource
タイプと区別する識別子です。AclRuleClusterResource
タイプには cluster
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string |
第111章 AclRuleTransactionalIdResource
スキーマ参照
AclRule
で使用
type
プロパティーは、AclRuleTransactionalIdResource
タイプを使用する際に AclRuleTopicResource
、AclRuleGroupResource
、AclRuleClusterResource
タイプと区別する識別子です。AclRuleTransactionalIdResource
タイプには transactionalId
の値が必要です。
プロパティー | 説明 |
---|---|
type |
|
string | |
name |
指定の ACL ルールが適用されるリソースの名前。 |
string | |
patternType |
リソースフィールドで使用されるパターンを指定します。サポートされるタイプは |
string ([prefix、literal] のいずれか) |
第112章 KafkaUserQuotas
スキーマ参照
KafkaUserSpec
で使用
KafkaUserQuotas
スキーマプロパティーの全リスト
Kafka では、ユーザーは quotas
を設定してクライアントによるリソースの使用を制御できます。
112.1. quotas
クライアントを設定して、以下のタイプのクォータを使用できます。
- ネットワーク使用率 クォータは、クォータを共有するクライアントの各グループのバイトレートしきい値を指定します。
- CPU 使用率クォータは、クライアントからのブローカー要求のウィンドウを指定します。ウィンドウは、クライアントが要求を行う時間の割合 (パーセント) です。クライアントはブローカーの I/O スレッドおよびネットワークスレッドで要求を行います。
- パーティション変更クォータは、クライアントが 1 秒ごとに実行できるパーティション変更の数を制限します。
パーティション変更クォータにより、Kafka クラスターが同時にトピック操作に圧倒されないようにします。パーティション変更は、次のタイプのユーザー要求に応答して発生します。
- 新しいトピック用のパーティションの作成
- 既存のトピックへのパーティションの追加
- トピックからのパーティションの削除
パーティション変更クオータを設定して、ユーザー要求に対して変更が許可されるレートを制御できます。
Kafka クライアントにクォータを使用することは、さまざまな状況で役に立つ場合があります。レートが高すぎる要求を送信する Kafka プロデューサーを誤って設定したとします。このように設定が間違っていると、他のクライアントにサービス拒否を引き起こす可能性があるため、問題のあるクライアントはブロックする必要があります。ネットワーク制限クォータを使用すると、他のクライアントがこの状況の著しい影響を受けないようにすることが可能です。
AMQ Streams はユーザーレベルのクォータをサポートしますが、クライアントレベルのクォータはサポートしません。
Kafka ユーザークォータの設定例
spec: quotas: producerByteRate: 1048576 consumerByteRate: 2097152 requestPercentage: 55 controllerMutationRate: 10
Kafka ユーザークォータの詳細は Apache Kafka ドキュメント を参照してください。
112.2. KafkaUserQuotas
スキーマ参照
プロパティー | 説明 |
---|---|
consumerByteRate | グループのクライアントにスロットリングが適用される前に、各クライアントグループがブローカーから取得できる最大 bps (ビット毎秒) のクオータ。ブローカーごとに定義されます。 |
integer | |
controllerMutationRate | トピックの作成リクエスト、パーティションの作成リクエスト、トピックの削除リクエストで変更が受け入れられるレートのクオータ。レートは、作成または削除されたパーティション数で累積されます。 |
number | |
producerByteRate | グループのクライアントにスロットリングが適用される前に、各クライアントグループがブローカーにパブリッシュできる最大 bps (ビット毎秒) のクオータ。ブローカーごとに定義されます。 |
integer | |
requestPercentage | 各クライアントグループの最大 CPU 使用率のクォータ。ネットワークと I/O スレッドの比率 (パーセント) として指定。 |
integer |
第113章 KafkaUserTemplate
スキーマ参照
KafkaUserSpec
で使用
KafkaUserTemplate
スキーマプロパティーの全リスト
User Operator によって作成されるシークレットの追加ラベルおよびアノテーションを指定します。
KafkaUserTemplate
を示す例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: type: tls template: secret: metadata: labels: label1: value1 annotations: anno1: value1 # ...
113.1. KafkaUserTemplate
スキーマのプロパティー
プロパティー | 説明 |
---|---|
secret |
KafkaUser リソースのテンプレート。テンプレートを使用すると、ユーザーはパスワードまたは TLS 証明書のある |
第114章 KafkaUserStatus
スキーマ参照
KafkaUser
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
username | ユーザー名。 |
string | |
secret |
認証情報が保存される |
string |
第115章 KafkaMirrorMaker
スキーマ参照
KafkaMirrorMaker
タイプが非推奨になりました。代わりに KafkaMirrorMaker2
を使用してください。
プロパティー | 説明 |
---|---|
spec | Kafka MirrorMaker の仕様。 |
status | Kafka MirrorMaker のステータス。 |
第116章 KafkaMirrorMakerSpec
スキーマ参照
KafkaMirrorMaker
で使用
KafkaMirrorMakerSpec
スキーマプロパティーの完全リスト
Kafka MirrorMaker を設定します。
116.1. include
include
プロパティーを使用して、Kafka MirrorMaker がソースからターゲット Kafka クラスターにミラーリングするトピックのリストを設定します。
このプロパティーでは、簡単な単一のトピック名から複雑なパターンまですべての正規表現が許可されます。たとえば、A|B
を使用してトピック A と B をミラーリングでき、*
を使用してすべてのトピックをミラーリングできます。また、複数の正規表現をコンマで区切って Kafka MirrorMaker に渡すこともできます。
116.2. KafkaMirrorMakerConsumerSpec
および KafkaMirrorMakerProducerSpec
KafkaMirrorMakerConsumerSpec および KafkaMirrorMaker
ProducerSpec
を使用して、ソース (コンシューマー) およびターゲット (プロデューサー) クラスターを設定します。
Kafka MirrorMaker は常に 2 つの Kafka クラスター (ソースおよびターゲット) と連携します。接続を確立するため、ソースおよびターゲット Kafka クラスターのブートストラップサーバーは HOSTNAME:PORT
ペアのコンマ区切りリストとして指定されます。それぞれのコンマ区切りリストには、HOSTNAME:PORT
ペアとして指定された 1 つ以上の Kafka ブローカーまたは Kafka ブローカーを示す 1 つの Service
が含まれます。
116.3. logging
Kafka MirrorMaker には、独自の設定可能なロガーがあります。
-
mirrormaker.root.logger
MirrorMaker では Apache log4j
ロガー実装が使用されます。
logging
プロパティーを使用してロガーおよびロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。ConfigMap 内では、ロギング設定は log4j.properties
を使用して記述されます。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。Cluster Operator の実行時に、指定された正確なロギング設定を使用する ConfigMap がカスタムリソースを使用して作成され、その後は調整のたびに再作成されます。カスタム ConfigMap を指定しない場合、デフォルトのロギング設定が使用されます。特定のロガー値が設定されていない場合、上位レベルのロガー設定がそのロガーに継承されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。inline
ロギングでは、ルートロガーレベルを指定します。特定のクラスまたはロガーを loggers プロパティーに追加することで、それらのログレベルを設定することもできます。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker spec: # ... logging: type: inline loggers: mirrormaker.root.logger: INFO log4j.logger.org.apache.kafka.clients.NetworkClient: TRACE log4j.logger.org.apache.kafka.common.network.Selector: DEBUG # ...
ログレベルを DEBUG
に設定すると、大量のログが出力され、パフォーマンスに影響を及ぼす可能性があります。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker spec: # ... logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: mirror-maker-log4j.properties # ...
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
116.4. KafkaMirrorMakerSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
version | Kafka MirrorMaker のバージョン。デフォルトは 3.5.0 です。バージョンのアップグレードまたはダウングレードに必要なプロセスを理解するには、ドキュメントを参照してください。 |
string | |
replicas |
|
integer | |
image | Pod の Docker イメージ。 |
string | |
consumer | ソースクラスターの設定。 |
producer | ターゲットクラスターの設定。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
whitelist |
|
string | |
include |
ミラーリングに含まれるトピックの一覧。このオプションは、Java スタイルの正規表現を使用するあらゆる正規表現を許可します。式 |
string | |
jvmOptions | Pod の JVM オプション。 |
logging |
MirrorMaker のロギング設定。タイプは、指定のオブジェクト内の |
metricsConfig |
メトリクスの設定。タイプは、指定のオブジェクト内の |
tracing |
Kafka MirrorMaker でのトレースの設定。タイプは、指定のオブジェクト内の |
template |
Kafka MirrorMaker のリソースである |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
第117章 KafkaMirrorMakerConsumerSpec
スキーマ参照
KafkaMirrorMakerConsumerSpec
スキーマプロパティーの完全リスト
MirrorMaker コンシューマーを設定します。
117.1. numStreams
consumer.numStreams
プロパティーを使用して、コンシューマーのストリームの数を設定します。
コンシューマースレッドの数を増やすと、ミラーリングトピックのスループットを増やすことができます。コンシューマースレッドは、Kafka MirrorMaker に指定されたコンシューマーグループに属します。トピックパーティションはコンシューマースレッド全体に割り当てられ、メッセージが並行して消費されます。
117.2. offsetCommitInterval
consumer.offsetCommitInterval
プロパティーを使用して、コンシューマーのオフセット自動コミット間隔を設定します。
Kafka MirrorMaker によってソース Kafka クラスターのデータが消費された後に、オフセットがコミットされる通常の間隔を指定できます。間隔はミリ秒単位で設定され、デフォルト値は 60,000 です。
117.3. config
consumer.config
プロパティーを使用して、コンシューマーの Kafka オプションをキーとして設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
コンシューマー向けの Apache Kafka 設定ドキュメント に記載されているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- Kafka クラスターブートストラップアドレス
- セキュリティー (暗号化、認証、および承認)
- コンシューマーグループ ID
- インターセプター
次の接頭辞を持つプロパティーは設定できません。
-
bootstrap.servers
-
group.id
-
interceptor.classes
-
sasl.
-
security.
-
ssl.
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、その他のサポートされているオプションはすべて MirrorMaker に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定
提供された config
オブジェクトのキーまたは値は Cluster Operator によって検証されません。無効な設定を指定すると、MirrorMaker クラスターが起動しなかったり、不安定になる可能性があります。この場合、Cluster Operator が新しい設定をすべての MirrorMaker ノードにロールアウトできるように設定を修正します。
117.4. groupId
consumer.groupId
プロパティーを使用して、コンシューマーにコンシューマーグループ ID を設定します。
Kafka MirrorMaker は Kafka コンシューマーを使用してメッセージを消費し、他の Kafka コンシューマークライアントと同様に動作します。ソース Kafka クラスターから消費されるメッセージは、ターゲット Kafka クラスターにミラーリングされます。パーティションの割り当てには、コンシューマーがコンシューマーグループの一部である必要があるため、グループ ID が必要です。
117.5. KafkaMirrorMakerConsumerSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
numStreams | 作成するコンシューマーストリームスレッドの数を指定します。 |
integer | |
offsetCommitInterval | オフセットの自動コミット間隔をミリ秒単位で指定します。デフォルト値は 60000 です。 |
integer | |
bootstrapServers | Kafka クラスターへの最初の接続を確立するための host:port ペアの一覧。 |
string | |
groupId | このコンシューマーが属するコンシューマーグループを識別する一意の文字列。 |
string | |
authentication |
クラスターに接続するための認証設定。タイプは、指定のオブジェクト内の |
| |
config | MirrorMaker コンシューマーの設定。次の接頭辞を持つプロパティーは設定できません: ssl.、bootstrap.servers、group.id、sasl.、security.、interceptor.classes (次の例外を除く: ssl.endpoint.identification.algorithm、ssl.cipher.suites、ssl.protocol、ssl.enabled.protocols). |
map | |
tls | MirrorMaker をクラスターに接続するための TLS 設定。 |
第118章 KafkaMirrorMakerProducerSpec
スキーマ参照
KafkaMirrorMakerProducerSpec
スキーマプロパティーの完全リスト
MirrorMaker プロデューサーを設定します。
118.1. abortOnSendFailure
producer.abortOnSendFailure
プロパティーを使用して、プロデューサーからメッセージ送信の失敗を処理する方法を設定します。
デフォルトでは、メッセージを Kafka MirrorMaker から Kafka クラスターに送信する際にエラーが発生した場合、以下が行われます。
- Kafka MirrorMaker コンテナーが OpenShift で終了します。
- その後、コンテナーが再作成されます。
abortOnSendFailure
オプションを false
に設定した場合、メッセージ送信エラーは無視されます。
118.2. config
producer.config
プロパティーを使用して、プロデューサーの Kafka オプションをキーとして設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
プロデューサー向けの Apache Kafka 設定ドキュメント に記載されているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- Kafka クラスターブートストラップアドレス
- セキュリティー (暗号化、認証、および承認)
- インターセプター
次の接頭辞を持つプロパティーは設定できません。
-
bootstrap.servers
-
interceptor.classes
-
sasl.
-
security.
-
ssl.
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、その他のサポートされているオプションはすべて MirrorMaker に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定
提供された config
オブジェクトのキーまたは値は Cluster Operator によって検証されません。無効な設定を指定すると、MirrorMaker クラスターが起動しなかったり、不安定になる可能性があります。この場合、Cluster Operator が新しい設定をすべての MirrorMaker ノードにロールアウトできるように設定を修正します。
118.3. KafkaMirrorMakerProducerSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
bootstrapServers | Kafka クラスターへの最初の接続を確立するための host:port ペアの一覧。 |
string | |
abortOnSendFailure |
送信失敗時に MirrorMaker が終了するように設定するフラグ。デフォルト値は |
boolean | |
authentication |
クラスターに接続するための認証設定。タイプは、指定のオブジェクト内の |
| |
config | MirrorMaker プロデューサーの設定。次の接頭辞を持つプロパティーは設定できません: ssl.、bootstrap.servers、sasl.、security.、interceptor.classes (次の例外を除く: ssl.endpoint.identification.algorithm、ssl.cipher.suites、ssl.protocol、ssl.enabled.protocols). |
map | |
tls | MirrorMaker をクラスターに接続するための TLS 設定。 |
第119章 KafkaMirrorMakerTemplate
スキーマ参照
プロパティー | 説明 |
---|---|
deployment |
Kafka MirrorMaker |
pod |
Kafka MirrorMaker |
podDisruptionBudget |
Kafka MirrorMaker |
mirrorMakerContainer | Kafka MirrorMaker コンテナーのテンプレート。 |
serviceAccount | Kafka MirrorMaker サービスアカウントのテンプレート。 |
第120章 KafkaMirrorMakerStatus
スキーマ参照
KafkaMirrorMaker
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
labelSelector | このリソースを提供する Pod のラベルセレクター。 |
string | |
replicas | このリソースを提供するために現在使用されている Pod の数。 |
integer |
第121章 KafkaBridge
スキーマ参照
プロパティー | 説明 |
---|---|
spec | Kafka Bridge の仕様。 |
status | Kafka Bridge のステータス。 |
第122章 KafkaBridgeSpec
スキーマ参照
KafkaBridge
で使用
KafkaBridgeSpec
スキーマプロパティーの全リスト
Kafka Bridge クラスターを設定します。
設定オプションは以下に関連しています。
- Kafka クラスターブートストラップアドレス
- セキュリティー (暗号化、認証、および承認)
- コンシューマー設定
- プロデューサーの設定
- HTTP の設定
122.1. logging
Kafka Bridge には独自の設定可能なロガーがあります。
-
rootLogger.level
-
logger.<operation-id>
logger.<operation-id>
ロガーの <operation-id>
を置き換えると、特定の操作のログレベルを設定できます。
-
createConsumer
-
deleteConsumer
-
subscribe
-
unsubscribe
-
poll
-
assign
-
commit
-
send
-
sendToPartition
-
seekToBeginning
-
seekToEnd
-
seek
-
healthy
-
ready
-
openapi
各操作は OpenAPI 仕様にしたがって定義されます。各操作にはブリッジが HTTP クライアントから要求を受信する対象の API エンドポイントがあります。各エンドポイントのログレベルを変更すると、送信および受信 HTTP リクエストに関する詳細なログ情報を作成できます。
各ロガーはその 名前
を http.openapi.operation.<operation-id>
として割り当てる必要があります。たとえば、send
操作ロガーのロギングレベルを設定すると、以下が定義されます。
logger.send.name = http.openapi.operation.send logger.send.level = DEBUG
Kafka Bridge では Apache log4j2
ロガー実装が使用されます。ロガーは log4j2.properties
ファイルで定義されます。このファイルには healthy
および ready
エンドポイントの以下のデフォルト設定が含まれています。
logger.healthy.name = http.openapi.operation.healthy logger.healthy.level = WARN logger.ready.name = http.openapi.operation.ready logger.ready.level = WARN
その他すべての操作のログレベルは、デフォルトで INFO
に設定されます。
logging
プロパティーを使用してロガーおよびロガーレベルを設定します。
ログレベルを設定するには、ロガーとレベルを直接指定 (インライン) するか、カスタム (外部) ConfigMap を使用します。ConfigMap を使用する場合、logging.valueFrom.configMapKeyRef.name
プロパティーを外部ロギング設定が含まれる ConfigMap の名前に設定します。logging.valueFrom.configMapKeyRef.name
および logging.valueFrom.configMapKeyRef.key
プロパティーはいずれも必須です。name
や key
が設定されていない場合は、デフォルトのロギングが使用されます。ConfigMap 内では、ロギング設定は log4j.properties
を使用して記述されます。ログレベルの詳細は、Apache logging services を参照してください。
ここで、inline
および external
ロギングの例を示します。
inline ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge spec: # ... logging: type: inline loggers: rootLogger.level: INFO # enabling DEBUG just for send operation logger.send.name: "http.openapi.operation.send" logger.send.level: DEBUG # ...
外部ロギング
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge spec: # ... logging: type: external valueFrom: configMapKeyRef: name: customConfigMap key: bridge-logj42.properties # ...
設定されていない利用可能なロガーのレベルは OFF
に設定されています。
Cluster Operator を使用して Kafka Bridge がデプロイされた場合、Kafka Bridge のロギングレベルの変更は動的に適用されます。
外部ロギングを使用する場合は、ロギングアペンダーが変更されるとローリング更新がトリガーされます。
ガベージコレクター (GC)
ガベッジコレクターのロギングは jvmOptions
プロパティーを使用して 有効 (または無効) にすることもできます。
122.2. KafkaBridgeSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
replicas |
|
integer | |
image | Pod の Docker イメージ。 |
string | |
bootstrapServers | Kafka クラスターへの最初の接続を確立するための host:port ペアの一覧。 |
string | |
tls | Kafka Bridge をクラスターに接続するための TLS 設定。 |
authentication |
クラスターに接続するための認証設定。タイプは、指定のオブジェクト内の |
| |
http | HTTP 関連の設定。 |
adminClient | Kafka AdminClient 関連の設定。 |
consumer | Kafka コンシューマーに関連する設定。 |
producer | Kafka プロデューサーに関連する設定。 |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
jvmOptions | 現時点でサポートされていない Pod の JVM オプション。 |
logging |
Kafka Bridge のロギング設定。タイプは、指定のオブジェクト内の |
clientRackInitImage |
|
string | |
rack | client.rack コンシューマー設定として使用されるノードラベルの設定。 |
enableMetrics | Kafka Bridge のメトリクスを有効にします。デフォルトは false です。 |
boolean | |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
template |
Kafka Bridge リソースのテンプレート。テンプレートを使用すると、ユーザーは |
tracing |
Kafka Bridge でのトレースの設定。タイプは、指定のオブジェクト内の |
第123章 KafkaBridgeHttpConfig
スキーマ参照
KafkaBridgeSpec
で使用
KafkaBridgeHttpConfig
スキーマプロパティーの完全リスト
Kafka Bridge の Kafka クラスターへの HTTP アクセスを設定します。
デフォルトの HTTP 設定では、8080 番ポートで Kafka Bridge をリッスンします。
123.1. cors
HTTP プロパティーは、Kafka クラスターへの HTTP アクセスを有効にする他に、CPRS (Cross-Origin Resource Sharing) により Kafka Bridge のアクセス制御を有効化または定義する機能を提供します。CORS は、複数のオリジンから指定のリソースにブラウザーでアクセスできるようにする HTTP メカニズムです。CORS を設定するには、許可されるリソースオリジンのリストと、HTTP のアクセス方法を定義します。オリジンには、URL または Java 正規表現を使用できます。
Kafka Bridge HTTP の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: # ... http: port: 8080 cors: allowedOrigins: "https://strimzi.io" allowedMethods: "GET,POST,PUT,DELETE,OPTIONS,PATCH" # ...
123.2. KafkaBridgeHttpConfig
スキーマプロパティー
プロパティー | 説明 |
---|---|
port | サーバーがリッスンするポート。 |
integer | |
cors | HTTP Bridge の CORS 設定。 |
第124章 KafkaBridgeHttpCors
スキーマ参照
プロパティー | 説明 |
---|---|
allowedOrigins | 許可されるオリジンのリスト。Java の正規表現を使用できます。 |
string array | |
allowedMethods | 許可される HTTP メソッドのリスト。 |
string array |
第125章 KafkaBridgeAdminClientSpec
スキーマプロパティー
KafkaBridgeSpec
で使用
プロパティー | 説明 |
---|---|
config | ブリッジによって作成された AdminClient インスタンスに使用される Kafka AdminClient 設定。 |
map |
第126章 KafkaBridgeConsumerSpec
スキーマ参照
KafkaBridgeSpec
で使用
KafkaBridgeConsumerSpec
スキーマプロパティーの完全リスト
Kafka Bridge のコンシューマーオプションを鍵として設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
コンシューマー向けの Apache Kafka 設定ドキュメント に記載されているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- Kafka クラスターブートストラップアドレス
- セキュリティー (暗号化、認証、および承認)
- コンシューマーグループ ID
次の接頭辞を持つプロパティーは設定できません。
-
bootstrap.servers
-
group.id
-
sasl.
-
security.
-
ssl.
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、その他のサポートされているオプションはすべて Kafka Bridge に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定
Kafka Bridge コンシューマーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: # ... consumer: config: auto.offset.reset: earliest enable.auto.commit: true # ...
config
オブジェクトのキーまたは値は Cluster Operator によって検証されません。無効な設定を指定すると、Kafka Bridge デプロイメントが起動しなかったり、不安定になる可能性があります。この場合、Cluster Operator が新しい設定をすべての Kafka Bridge ノードにロールアウトできるように設定を修正します。
126.1. KafkaBridgeConsumerSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
config | ブリッジによって作成されたコンシューマーインスタンスに使用される Kafka コンシューマーの設定。次の接頭辞を持つプロパティーは設定できません: ssl.、bootstrap.servers、group.id、sasl.、security. (次の例外を除く: ssl.endpoint.identification.algorithm、ssl.cipher.suites、ssl.protocol、ssl.enabled.protocols). |
map |
第127章 KafkaBridgeProducerSpec
スキーマ参照
KafkaBridgeSpec
で使用
KafkaBridgeProducerSpec
スキーマプロパティーの完全リスト
Kafka Bridge のプロデューサーオプションを鍵として設定します。
値は以下の JSON タイプのいずれかになります。
- 文字列
- 数値
- Boolean
例外
プロデューサー向けの Apache Kafka 設定ドキュメント に記載されているオプションを指定および設定できます。
ただし、AMQ Streams は、以下に関連するオプションの設定と管理を処理します。これらのオプションは変更できません。
- Kafka クラスターブートストラップアドレス
- セキュリティー (暗号化、認証、および承認)
- コンシューマーグループ ID
次の接頭辞を持つプロパティーは設定できません。
-
bootstrap.servers
-
sasl.
-
security.
-
ssl.
config
プロパティーに変更できないオプションが含まれている場合、そのオプションは無視され、警告メッセージが Cluster Operator ログファイルに記録されます。AMQ Streams によって設定されたオプションに対する次の例外を含め、その他のサポートされているオプションはすべて Kafka Bridge に転送されます。
-
サポートされている TLS バージョンと暗号スイート の任意の
ssl
設定
Kafka Bridge プロデューサーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: # ... producer: config: acks: 1 delivery.timeout.ms: 300000 # ...
config
オブジェクトのキーまたは値は Cluster Operator によって検証されません。無効な設定を指定すると、Kafka Bridge デプロイメントが起動しなかったり、不安定になる可能性があります。この場合、Cluster Operator が新しい設定をすべての Kafka Bridge ノードにロールアウトできるように設定を修正します。
127.1. KafkaBridgeProducerSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
config | ブリッジによって作成されたプロデューサーインスタンスに使用される Kafka プロデューサーの設定。次の接頭辞を持つプロパティーは設定できません: ssl.、bootstrap.servers、sasl.、security. (次の例外を除く: ssl.endpoint.identification.algorithm、ssl.cipher.suites、ssl.protocol、ssl.enabled.protocols). |
map |
第128章 KafkaBridgeTemplate
スキーマ参照
KafkaBridgeSpec
で使用
プロパティー | 説明 |
---|---|
deployment |
Kafka Bridge |
pod |
Kafka Bridge |
apiService |
Kafka Bridge API |
podDisruptionBudget |
Kafka Bridge |
bridgeContainer | Kafka Bridge コンテナーのテンプレート。 |
clusterRoleBinding | Kafka Bridge ClusterRoleBinding のテンプレート。 |
serviceAccount | Kafka Bridge サービスアカウントのテンプレート。 |
initContainer | Kafka Bridge init コンテナーのテンプレート。 |
第129章 KafkaBridgeStatus
スキーマ参照
KafkaBridge
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
url | 外部クライアントアプリケーションが Kafka Bridge にアクセスできる URL。 |
string | |
labelSelector | このリソースを提供する Pod のラベルセレクター。 |
string | |
replicas | このリソースを提供するために現在使用されている Pod の数。 |
integer |
第130章 KafkaConnector
スキーマ参照
プロパティー | 説明 |
---|---|
spec | Kafka Connector の仕様。 |
status | Kafka Connector のステータス。 |
第131章 KafkaConnectorSpec
スキーマ参照
KafkaConnector
で使用
プロパティー | 説明 |
---|---|
class | Kafka Connector のクラス。 |
string | |
tasksMax | Kafka Connector のタスクの最大数。 |
integer | |
AutoRestart | コネクターとタスク設定の自動再起動。 |
config | Kafka Connector の設定。次のプロパティーは設定できません: connector.class、tasks.max |
map | |
pause | コネクターを一時停止すべきかどうか。デフォルトは false です。 |
boolean |
第132章 AutoRestart
スキーマ参照
使用先: KafkaConnectorSpec
、KafkaMirrorMaker2ConnectorSpec
FAILED
状態のコネクターとタスクの自動再起動を設定します。
有効にすると、バックオフアルゴリズムによって、失敗した各コネクターとそのタスクに自動再起動が適用されます。
オペレーターは、調整時に自動再始動を試みます。最初の試行が失敗した場合、オペレーターはさらに 6 回まで試行します。再起動の試行間隔が 2 分から 30 分に増加します。再起動するたびに、失敗したコネクターとタスクは FAILED
から RESTARTING
に遷移します。最後の試行後に再起動が失敗した場合は、コネクターの設定に問題がある可能性があります。コネクターとタスクは FAILED
状態のままであるため、手動で再起動する必要があります。これを行うには、KafKaConnector
カスタムリソースに strimzi.io/restart: "true"
のアノテーションを付けます。
Kafka Connect コネクターの場合、KafkaConnector
リソースの autoRestart
プロパティーを使用して、失敗したコネクターとタスクの自動再起動を有効にします。
Kafka Connect の失敗したコネクターの自動再起動の有効化
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-source-connector spec: autoRestart: enabled: true
MirrorMaker 2 の場合、KafkaMirrorMaker2
リソースのコネクターの autoRestart
プロパティーを使用して、失敗したコネクターとタスクの自動再起動を有効にします。
MirrorMaker 2 の障害が発生したコネクターの自動再起動を有効にする
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mm2-cluster spec: mirrors: - sourceConnector: autoRestart: enabled: true # ... heartbeatConnector: autoRestart: enabled: true # ... checkpointConnector: autoRestart: enabled: true # ...
132.1. AutoRestart
スキーマプロパティー
プロパティー | 説明 |
---|---|
enabled | 失敗したコネクターとタスクの自動再起動を有効にするか無効にするか。 |
boolean |
第133章 KafkaConnectorStatus
スキーマ参照
KafkaConnector
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
autoRestart | 自動再起動のステータス。 |
connectorStatus | Kafka Connect REST API によって報告されるコネクターのステータス。 |
map | |
tasksMax | Kafka Connector のタスクの最大数。 |
integer | |
topics | Kafka Connector によって使用されるトピックのリスト。 |
string array |
第134章 AutoRestartStatus
スキーマ参照
使用先: KafkaConnectorStatus
、KafkaMirrorMaker2Status
プロパティー | 説明 |
---|---|
count | コネクターまたはタスクが再起動された回数。 |
integer | |
connectorName | 再始動されるコネクターの名前。 |
string | |
lastRestartTimestamp | 自動再起動が最後に試行された時刻。必須形式は、UTC タイムゾーンの 'yyyy-MM-ddTHH:mm:ssZ' です。 |
string |
第135章 KafkaMirrorMaker2
スキーマ参照
プロパティー | 説明 |
---|---|
spec | Kafka MirrorMaker 2 クラスターの仕様。 |
status | Kafka MirrorMaker 2 クラスターのステータス。 |
第136章 KafkaMirrorMaker2Spec
スキーマ参照
プロパティー | 説明 |
---|---|
version | Kafka Connect のバージョン。デフォルトは 3.5.0 です。バージョンのアップグレードまたはダウングレードに必要なプロセスを理解するには、ユーザードキュメントを参照してください。 |
string | |
replicas |
Kafka Connect グループの Pod 数。デフォルトは |
integer | |
image | Pod の Docker イメージ。 |
string | |
connectCluster |
Kafka Connect に使用されるクラスターエイリアス。エイリアスは |
string | |
clusters | ミラーリング用の Kafka クラスター。 |
mirrors | MirrorMaker 2 コネクターの設定。 |
resources | CPU とメモリーリソースおよび要求された初期リソースの上限。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
livenessProbe | Pod の liveness チェック。 |
readinessProbe | Pod の readiness チェック。 |
jvmOptions | Pod の JVM オプション。 |
jmxOptions | JMX オプション。 |
logging |
Kafka Connect のロギング設定。タイプは、指定のオブジェクト内の |
clientRackInitImage |
|
string | |
rack |
|
tracing |
Kafka Connect でのトレースの設定。タイプは、指定のオブジェクト内の |
template |
Kafka Connect および Kafka Mirror Maker 2 リソースのテンプレート。ユーザーはテンプレートにより、 |
externalConfiguration | Secret または ConfigMap から Kafka Connect Pod にデータを渡し、これを使用してコネクターを設定します。 |
metricsConfig |
メトリクスの設定。タイプは、指定のオブジェクト内の |
第137章 KafkaMirrorMaker2ClusterSpec
スキーマ参照
KafkaMirrorMaker2ClusterSpec
スキーマプロパティーの完全リスト
ミラーリング用の Kafka クラスターを設定します。
137.1. config
Kafka のオプションを設定するには、config
プロパティーを使用します。
標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
TLS バージョンの特定の 暗号スイート を使用するクライアント接続に、許可された ssl
プロパティーを設定 することができます。また、 ssl.endpoint.identification.algorithm
プロパティーを設定して、ホスト名の検証を有効または無効にすることもできます。
137.2. KafkaMirrorMaker2ClusterSpec
スキーマプロパティー
プロパティー | 説明 |
---|---|
alias | Kafka クラスターの参照に使用されるエイリアス。 |
string | |
bootstrapServers |
Kafka クラスターへの接続を確立するための |
string | |
tls | MirrorMaker 2 コネクターをクラスターに接続するための TLS 設定。 |
authentication |
クラスターに接続するための認証設定。タイプは、指定のオブジェクト内の |
| |
config | MirrorMaker 2 クラスター設定。次の接頭辞を持つプロパティーは設定できません: ssl.、sasl.、security.、listeners、plugin.path、rest.、bootstrap.servers、consumer.interceptor.classes、producer.interceptor.classes (ssl.endpoint.identification.algorithm、ssl.cipher.suites、ssl.protocol、ssl.enabled.protocols を除く) |
map |
第138章 KafkaMirrorMaker2MirrorSpec
スキーマ参照
プロパティー | 説明 |
---|---|
sourceCluster |
Kafka MirrorMaker 2 コネクターによって使用されるソースクラスターのエイリアス。エイリアスは |
string | |
targetCluster |
Kafka MirrorMaker 2 コネクターによって使用されるターゲットクラスターのエイリアス。エイリアスは |
string | |
sourceConnector | Kafka MirrorMaker 2 ソースコネクターの仕様。 |
heartbeatConnector | Kafka MirrorMaker 2 ハートビートコネクターの仕様。 |
checkpointConnector | Kafka MirrorMaker 2 チェックポイントコネクターの仕様。 |
topicsPattern | ミラーリングするトピックに一致する正規表現 (例: "topic1|topic2|topic3")。コンマ区切りリストもサポートされます。 |
string | |
topicsBlacklistPattern |
|
string | |
topicsExcludePattern | ミラーリングから除外するトピックに一致する正規表現。コンマ区切りリストもサポートされます。 |
string | |
groupsPattern | ミラーリングされるコンシューマーグループに一致する正規表現。コンマ区切りリストもサポートされます。 |
string | |
groupsBlacklistPattern |
|
string | |
groupsExcludePattern | ミラーリングから除外するコンシューマーグループに一致する正規表現。コンマ区切りリストもサポートされます。 |
string |
第139章 KafkaMirrorMaker2ConnectorSpec
スキーマ参照
KafkaMirrorMaker2MirrorSpec
で使用
プロパティー | 説明 |
---|---|
tasksMax | Kafka Connector のタスクの最大数。 |
integer | |
config | Kafka Connector の設定。次のプロパティーは設定できません: connector.class、tasks.max |
map | |
autoRestart | コネクターとタスク設定の自動再起動。 |
pause | コネクターを一時停止すべきかどうか。デフォルトは false です。 |
boolean |
第140章 KafkaMirrorMaker2Status
スキーマ参照
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
url | Kafka Connect コネクターの管理および監視用の REST API エンドポイントの URL。 |
string | |
autoRestartStatuses | MirrorMaker 2 コネクターの自動再起動ステータスのリスト。 |
connectorPlugins | この Kafka Connect デプロイメントで使用できるコネクタープラグインの一覧。 |
| |
connectors | Kafka Connect REST API によって報告される、MirrorMaker 2 コネクターのステータスのリスト。 |
map array | |
labelSelector | このリソースを提供する Pod のラベルセレクター。 |
string | |
replicas | このリソースを提供するために現在使用されている Pod の数。 |
integer |
第141章 KafkaRebalance
スキーマ参照
プロパティー | 説明 |
---|---|
spec | Kafka のリバランス (再分散) の仕様。 |
status | Kafka のリバランス (再分散) のステータス。 |
第142章 KafkaRebalanceSpec
スキーマ参照
KafkaRebalance
で使用
プロパティー | 説明 |
---|---|
モード |
リバランスを実行するモード。サポートされているモードは
|
文字列 (remove-brokers、full、add-brokers のいずれか) | |
brokers |
スケールアップの場合に新しく追加されたブローカーのリスト、またはリバランスに使用するためにスケールダウンの場合に削除されるブローカーのリスト。このリストは、リバランスモードの |
整数配列 | |
goals | リバランスプロポーザルの生成および実行に使用されるゴールのリスト (優先度順)。サポートされるゴールは https://github.com/linkedin/cruise-control#goals を参照してください。空のゴールリストを指定すると、default.goals Cruise Control 設定パラメーターに宣言されたゴールが使用されます。 |
string array | |
skipHardGoalCheck | 最適化プロポーザルの生成で、Kafka CR に指定されたハードゴールのスキップを許可するかどうか。これは、これらのハードゴールの一部が原因で分散ソリューションが検索できない場合に便利です。デフォルトは false です。 |
boolean | |
rebalanceDisk | ブローカー内のディスク分散を有効にし、同じブローカーのディスク間でディスク領域の使用率を分散します。ディスクが複数割り当てられた JBOD ストレージを使用する Kafka デプロイメントにのみ適用されます。有効にすると、ブローカー間の分散は無効になります。デフォルトは false です。 |
boolean | |
excludedTopics | 一致するトピックが最適化プロポーザルの計算から除外される正規表現。この正規表現は java.util.regex.Pattern クラスによって解析されます。サポートされる形式の詳細は、このクラスのドキュメントを参照してください。 |
string | |
concurrentPartitionMovementsPerBroker | 各ブローカーに出入りする継続中であるパーティションレプリカの移動の上限。デフォルトは 5 です。 |
integer | |
concurrentIntraBrokerPartitionMovements | 各ブローカー内のディスク間で継続中のパーティションレプリカ移動の上限。デフォルトは 2 です。 |
integer | |
concurrentLeaderMovements | 継続中のパーティションリーダーシップ移動の上限。デフォルトは 1000 です。 |
integer | |
replicationThrottle | レプリカの移動に使用される帯域幅の上限 (バイト/秒単位)。デフォルトでは制限はありません。 |
integer | |
replicaMovementStrategies | 生成された最適化プロポーザルでのレプリカ移動の実行順序を決定するために使用されるストラテジークラス名のリスト。デフォルトでは、生成された順序でレプリカの移動が実行される BaseReplicaMovementStrategy が使用されます。 |
string array |
第143章 KafkaRebalanceStatus
スキーマ参照
KafkaRebalance
で使用
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
sessionId | この KafkaRebalance リソースに関する Cruise Control へのリクエストのセッション識別子。これは、継続中のリバランス操作の状態を追跡するために、Kafka Rebalance operator によって使用されます。 |
string | |
optimizationResult | 最適化の結果を示す JSON オブジェクト。 |
map |
第144章 KafkaNodePool
スキーマ参照
プロパティー | 説明 |
---|---|
spec | KafkaNodePool の仕様。 |
status | KafkaNodePool のステータス。 |
第145章 KafkaNodePoolSpec
スキーマ参照
使用場所: KafkaNodePool
プロパティー | 説明 |
---|---|
replicas | プール内の Pod の数。 |
integer | |
storage |
ストレージの設定 (ディスク)。更新はできません。タイプは、指定のオブジェクト内の |
roles |
KRaft モードが有効な場合に、このプール内のノードが持つロール。サポートされている値は broker と controller です。このフィールドは必須です。KRaft モードが無効な場合に使用できる値は |
string ([controller, broker] の 1 つ以上) array | |
resources | 予約する CPU およびメモリーリソース。詳細は、core/v1 resourcerequirements の外部ドキュメント を参照してください。 |
jvmOptions | Pod の JVM オプション。 |
template | プールリソースのテンプレート。このテンプレートを使用すると、ユーザーはこのプールに属するリソースの生成方法を指定できます。 |
第146章 KafkaNodePoolTemplate
スキーマ参照
使用場所: KafkaNodePoolSpec
プロパティー | 説明 |
---|---|
podSet |
Kafka |
pod |
Kafka |
perPodService |
OpenShift の外部からアクセスするために使用される Pod ごとの Kafka |
perPodRoute |
OpenShift の外部からアクセスするために使用される Kafka の Pod ごとの |
perPodIngress |
OpenShift の外部からアクセスするために使用される Kafka の Pod ごとの |
persistentVolumeClaim |
すべての Kafka |
kafkaContainer | Kafka ブローカーコンテナーのテンプレート。 |
initContainer | Kafka init コンテナーのテンプレート。 |
第147章 KafkaNodePoolStatus
スキーマ参照
使用場所: KafkaNodePool
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
nodeIds | このプール内の Kafka ノードによって使用されるノード ID。 |
整数配列 | |
clusterId | Kafka クラスター ID。 |
string | |
replicas | このリソースを提供するために現在使用されている Pod の数。 |
integer | |
labelSelector | このリソースを提供する Pod のラベルセレクター。 |
string |
第148章 StrimziPodSet
スキーマ参照
StrimziPodSet
スキーマプロパティーの完全なリスト
StrimziPodSet
は内部 AMQ Streams リソースです。情報は参照用途としてのみ提供されています。エラーが発生する可能性があるため、StrimziPodSet
リソースを作成、変更、または削除しないでください。
148.1. StrimziPodSet
スキーマのプロパティー
プロパティー | 説明 |
---|---|
spec | StrimziPodSet の仕様。 |
status | StrimziPodSet のステータス。 |
第149章 StrimziPodSetSpec
スキーマ参照
使用場所: StrimziPodSet
プロパティー | 説明 |
---|---|
selector |
Selector は、この |
pods | この StrimziPodSet で管理される Pod。詳細は、core/v1 Pod の外部ドキュメント を参照してください。 |
Map array |
第150章 StrimziPodSetStatus
スキーマ参照
使用場所: StrimziPodSet
プロパティー | 説明 |
---|---|
conditions | ステータス条件の一覧。 |
| |
observedGeneration | 最後に Operator によって調整された CRD の生成。 |
integer | |
pods |
この |
integer | |
readyPods |
この |
integer | |
currentPods |
現在のリビジョンを持つ |
integer |
付録A サブスクリプションの使用
AMQ Streams は、ソフトウェアサブスクリプションから提供されます。サブスクリプションを管理するには、Red Hat カスタマーポータルでアカウントにアクセスします。
アカウントへのアクセス
- access.redhat.com に移動します。
- アカウントがない場合は作成します。
- アカウントにログインします。
サブスクリプションのアクティベート
- access.redhat.com に移動します。
- My Subscriptions に移動します。
- Activate a subscription に移動し、16 桁のアクティベーション番号を入力します。
Zip および Tar ファイルのダウンロード
zip または tar ファイルにアクセスするには、カスタマーポータルを使用して、ダウンロードする関連ファイルを検索します。RPM パッケージを使用している場合、この手順は必要ありません。
- ブラウザーを開き、access.redhat.com/downloads で Red Hat カスタマーポータルの Product Downloads ページにログインします。
- INTEGRATION AND AUTOMATION カテゴリーで、AMQ Streams for Apache Kafka エントリーを見つけます。
- 必要な AMQ Streams 製品を選択します。Software Downloads ページが開きます。
- コンポーネントの Download リンクをクリックします。
DNF を使用したパッケージのインストール
パッケージとすべてのパッケージ依存関係をインストールするには、以下を使用します。
dnf install <package_name>
ローカルディレクトリーからダウンロード済みのパッケージをインストールするには、以下を使用します。
dnf install <path_to_download_package>
改訂日時: 2023-11-22