OpenShift での AMQ Streams のデプロイと管理
OpenShift Container Platform で AMQ Streams 2.5 をデプロイおよび管理する
概要
多様性を受け入れるオープンソースの強化
Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、Red Hat CTO である Chris Wright のメッセージ をご覧ください。
第1章 デプロイメントの概要
AMQ Streams は、OpenShift クラスターで Apache Kafka を実行するプロセスを簡素化します。
このガイドでは、AMQ Streams のデプロイと管理の手順を説明します。デプロイメントのオプションと手順については、AMQ Streams に含まれるサンプルインストールファイルを使用して説明します。このガイドでは設定に関する重要な考慮事項を強調していますが、利用可能なすべてのオプションを網羅しているわけではありません。Kafka コンポーネントの設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
このガイドでは、デプロイメント手順に加えて、デプロイメント前およびデプロイメント後のガイダンスも提供されます。Kafka クラスターへのクライアントアクセスのセットアップとセキュリティー保護について説明します。さらに、メトリクスの統合、分散トレース、Cruise Control や AMQ Streams Drain Cleaner などのクラスター管理ツールなどの追加のデプロイメントオプションについても検討します。AMQ Streams の管理と、最適なパフォーマンスを実現するための Kafka 設定の微調整に関する推奨事項も記載されています。
デプロイメントを最新の状態に保つために、AMQ Streams と Kafka の両方についてアップグレード手順が提供されています。
AMQ Streams は、ディストリビューションに関係なく、すべてのタイプの OpenShift クラスターと互換性があるように設計されています。デプロイメントにパブリッククラウドまたはプライベートクラウドが含まれるかどうか、ローカル開発環境をセットアップしている場合、このガイドの手順はすべての場合に当てはまります。
1.1. AMQ Streams のカスタムリソース
AMQ Streams を使用した Kafka コンポーネントの OpenShift クラスターへのデプロイメントは、カスタムリソースの適用により高度な設定が可能です。カスタムリソースは、OpenShift リソースを拡張するために CRD (カスタムリソース定義、Custom Resource Definition) によって追加される API のインスタンスとして作成されます。
CRD は、OpenShift クラスターでカスタムリソースを記述するための設定手順として機能し、デプロイメントで使用する Kafka コンポーネントごとに AMQ Streams で提供されます。CRD およびカスタムリソースは YAML ファイルとして定義されます。YAML ファイルのサンプルは AMQ Streams ディストリビューションに同梱されています。
また、CRD を使用すると、CLI へのアクセスや設定検証などのネイティブ OpenShift 機能を AMQ Streams リソースで活用することもできます。
1.1.1. AMQ Streams カスタムリソースの例
AMQ Streams 固有のリソースのインスタンス化と管理に使用されるスキーマを定義するには、CRD をクラスターに 1 回だけインストールする必要があります。
CRD をインストールして新規カスタムリソースタイプをクラスターに追加した後に、その仕様に基づいてリソースのインスタンスを作成できます。
クラスターの設定によりますが、インストールには通常、クラスター管理者権限が必要です。
カスタムリソースの管理は、AMQ Streams 管理者のみが行えます。詳細は、「AMQ Streams の管理者の指定」 を参照してください。
kind:Kafka
などの新しい kind
リソースは、OpenShift クラスター内で CRD によって定義されます。
Kubernetes API サーバーを使用すると、kind
を基にしたカスタムリソースの作成が可能になり、カスタムリソースが OpenShift クラスターに追加されたときにカスタムリソースの検証および格納方法を CRD から判断します。
CustomResourceDefinition
が削除されると、そのタイプのカスタムリソースも削除されます。さらに、カスタムリソースによって作成された OpenShift リソース (Deployment
、Pod
、Service
、ConfigMap
リソースなど) も削除されます。
AMQ Streams 固有の各カスタムリソースは、リソースの kind
の CRD によって定義されるスキーマに準拠します。AMQ Streams コンポーネントのカスタムリソースには、spec
で定義される共通の設定プロパティーがあります。
CRD とカスタムリソースの関係を理解するため、Kafka トピックの CRD の例を見てみましょう。
Kafka トピックの CRD
apiVersion: kafka.strimzi.io/v1beta2 kind: CustomResourceDefinition metadata: 1 name: kafkatopics.kafka.strimzi.io labels: app: strimzi spec: 2 group: kafka.strimzi.io versions: v1beta2 scope: Namespaced names: # ... singular: kafkatopic plural: kafkatopics shortNames: - kt 3 additionalPrinterColumns: 4 # ... subresources: status: {} 5 validation: 6 openAPIV3Schema: properties: spec: type: object properties: partitions: type: integer minimum: 1 replicas: type: integer minimum: 1 maximum: 32767 # ...
- 1
- CRD を識別するためのトピック CRD、その名前および名前のメタデータ。
- 2
- グループ (ドメイン) 名、複数名、サポート対象のスキーマバージョンなど、この CRD の仕様。トピックの API にアクセスするために URL で使用されます。他の名前は、CLI のインスタンスリソースを識別するために使用されます。たとえば、
oc get kafkaShortNametopic my-topic
やoc get kafkatopics
などです。 - 3
- ShortName は CLI コマンドで使用できます。たとえば、
oc get kafkatopic
の代わりにoc get kt
を略名として使用できます。 - 4
- カスタムリソースで
get
コマンドを使用する場合に示される情報。 - 5
- リソースの スキーマ参照 に記載されている CRD の現在の状態。
- 6
- openAPIV3Schema 検証によって、トピックカスタムリソースの作成が検証されます。たとえば、トピックには 1 つ以上のパーティションと 1 つのレプリカが必要です。
ファイル名に、インデックス番号とそれに続く Crd が含まれるため、AMQ Streams インストールファイルと提供される CRD YAML ファイルを識別できます。
KafkaTopic
カスタムリソースに該当する例は次のとおりです。
Kafka トピックカスタムリソース
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic 1 metadata: name: my-topic labels: strimzi.io/cluster: my-cluster 2 spec: 3 partitions: 1 replicas: 1 config: retention.ms: 7200000 segment.bytes: 1073741824 status: conditions: 4 lastTransitionTime: "2019-08-20T11:37:00.706Z" status: "True" type: Ready observedGeneration: 1 / ...
- 1
kind
およびapiVersion
によって、インスタンスであるカスタムリソースの CRD が特定されます。- 2
- トピックまたはユーザーが属する Kafka クラスターの名前 (
Kafka
リソースの名前と同じ) を定義する、KafkaTopic
およびKafkaUser
リソースのみに適用可能なラベル。 - 3
- 指定内容には、トピックのパーティション数およびレプリカ数や、トピック自体の設定パラメーターが示されています。この例では、メッセージがトピックに保持される期間や、ログのセグメントファイルサイズが指定されています。
- 4
KafkaTopic
リソースのステータス条件。lastTransitionTime
でtype
条件がReady
に変更されています。
プラットフォーム CLI からカスタムリソースをクラスターに適用できます。カスタムリソースが作成されると、Kubernetes API の組み込みリソースと同じ検証が使用されます。
KafkaTopic
の作成後、Topic Operator は通知を受け取り、該当する Kafka トピックが AMQ Streams で作成されます。
1.2. AMQ Streams の Operator
AMQ Streams Operator は、専用OpenShift で Kafka を効果的に管理するための専門的な運用知識をベースに特別に構築されています。各 Operator は個別の関数を実行します。
- Cluster Operator
- Cluster Operator は、OpenShift での Apache Kafka クラスターのデプロイメントおよび管理を処理します。Kafka ブローカーおよびその他の Kafka コンポーネントおよびリソースの設定を自動化します。
- Topic Operator
- Topic Operator は、Kafka クラスター内でのトピックの作成、設定、および削除を管理します。
- User Operator
- User Operator は、Kafka ブローカーへのアクセスを必要とする Kafka ユーザーを管理します。
AMQ Streams をデプロイする場合に、最初に Cluster Operator をデプロイします。その後、Cluster Operator が Kafka のデプロイメントを処理する準備が整います。Cluster Operator を使用して、またはスタンドアロン Operator として Topic Operator および User Operator をデプロイすることもできます。Cluster Operator によって管理されない Kafka クラスターでは、スタンドアロンの Operator を使用します。
Topic Operator および User Operator は Entity Operator の一部です。Cluster Operator は、Entity Operator 設定に基づいて Operator を 1 つまたは両方デプロイできます。
スタンドアロン Operator をデプロイするには、環境変数を設定して Kafka クラスターに接続する必要があります。これらの環境変数は、Cluster Operator によって設定されるため、Cluster Operator を使用して Operator をデプロイする場合に設定する必要はありません。
1.2.1. OpenShift namespace での AMQ Streams リソースの監視
Operator は、OpenShift namespace で AMQ Streams リソースを監視および管理します。Cluster Operator は、OpenShift クラスター内の単一の名前空間、複数の名前空間、またはすべての名前空間を監視できます。Topic Operator と User Operator は、単一の名前空間を監視できます。
-
Cluster Operator は
Kafka
リソースを監視します -
Topic Operator は
KafkaTopic
リソースを監視します -
User Operator は
KafkaUser
リソースを監視します
Topic Operator と User Operator は、名前空間内の単一の Kafka クラスターのみを監視できます。また、単一の Kafka クラスターにのみ接続できます。
複数のトピックオペレーターが同じ名前空間を監視すると、名前の衝突やトピックの削除が発生する可能性があります。これは、各 Kafka クラスターが同じ名前 (__consumer_offsets
など) を持つ Kafka トピックを使用するためです。特定の名前空間を監視するトピック Operator が 1 つだけであることを確認してください。
単一の名前空間で複数の User Operator を使用する場合、特定のユーザー名を持つユーザーは複数の Kafka クラスターに存在できます。
Cluster Operator を使用して Topic Operator と User Operator をデプロイすると、デフォルトで Cluster Operator によってデプロイされた Kafka クラスターが監視されます。Operator 設定で watchedNamespace
を使用して名前空間を指定することもできます。
各 Operator のスタンドアロンデプロイの場合、設定で監視する名前空間と Kafka クラスターへの接続を指定します。
1.2.2. RBAC リソースの管理
Cluster Operator は、OpenShift リソースへのアクセスが必要な AMQ Streams コンポーネントのロールベースのアクセス制御 (RBAC) リソースを作成および管理します。
Cluster Operator が機能するには、Kafka
および KafkaConnect
などの Kafka リソースや ConfigMap
、Pod
、Deployment
、Service
などの管理リソースと対話するために OpenShift クラスター内でパーミッションが必要です。
権限は、以下の OpenShift RBAC リソースを使用して指定します。
-
ServiceAccount
-
Role
およびClusterRole
-
RoleBinding
およびClusterRoleBinding
1.2.2.1. AMQ Streams コンポーネントへの権限の委譲
Cluster Operator は strimzi-cluster-operator
という名前のサービスアカウントで実行されます。このアカウントには、クラスターロールが割り当てられ、AMQ Streams コンポーネントの RBAC リソースを作成するパーミッションが付与されます。ロールバインディングは、クラスターロールをサービスアカウントに関連付けます。
OpenShift は、ある ServiceAccount
の下で動作するコンポーネントが、付与元の ServiceAccount
に含まれていない、別の ServiceAccount
権限を付与するのを防ぎます。Cluster Operator は管理するリソースが必要とする RoleBinding
および ClusterRoleBinding
RBAC リソースを作成するため、これに同じ権限を付与するロールが必要です。
以下の表は、Cluster Operator によって作成される RBAC リソースについて説明しています。
名前 | Used by (使用フィールド) |
---|---|
| Kafka ブローカー Pod |
| ZooKeeper Pod |
| Kafka Connect Pod |
| MirrorMaker Pod |
| MirrorMaker 2 Pod |
| Kafka Bridge Pod |
| Entitiy Operator |
名前 | Used by (使用フィールド) |
---|---|
| Cluster Operator |
| Cluster Operator |
| Cluster Operator |
| Cluster Operator、ラック機能 (使用時) |
| Cluster Operator、Topic Operator、User Operator |
| Cluster Operator、ラック対応の Kafka クライアント |
名前 | Used by (使用フィールド) |
---|---|
| Cluster Operator |
| Cluster Operator、ラック対応の Kafka ブローカー |
| Cluster Operator、ラック対応の Kafka クライアント |
名前 | Used by (使用フィールド) |
---|---|
| Cluster Operator |
| Cluster Operator、ラック対応の Kafka ブローカー |
1.2.2.2. ServiceAccount
を使用した Cluster Operator の実行
Cluster Operator は ServiceAccount
を使用して最適に実行されます。
Cluster Operator の ServiceAccount
の例
apiVersion: v1 kind: ServiceAccount metadata: name: strimzi-cluster-operator labels: app: strimzi
その後、Cluster Operator の Deployment
で、これを spec.template.spec.serviceAccountName
に指定する必要があります。
Cluster Operator の Deployment
の部分的な例
apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-cluster-operator labels: app: strimzi spec: replicas: 1 selector: matchLabels: name: strimzi-cluster-operator strimzi.io/kind: cluster-operator template: metadata: labels: name: strimzi-cluster-operator strimzi.io/kind: cluster-operator spec: serviceAccountName: strimzi-cluster-operator # ...
1.2.2.3. ClusterRole
リソース
Cluster Operator は ClusterRole
リソースを使用して、リソースに必要なアクセスを提供します。OpenShift クラスターの設定によっては、クラスター管理者がクラスターロールを作成する必要になる場合があります。
クラスター管理者の権限は ClusterRole
リソースの作成にのみ必要です。Cluster Operator はクラスター管理者アカウントでは実行されません。
ClusterRole
リソースは 最小権限の原則 に従い、Cluster Operator が Kafka コンポーネントのクラスターを操作するために必要な権限のみを含みます。最初に割り当てられた一連の権限により、Cluster Operator で Deployment
、Pod
、ConfigMap
などの OpenShift リソースを管理できます。
Cluster Operator が権限を委任するには、すべてのクラスターロールが必要です。
Cluster Operator は strimzi-cluster-operator-namespaced
および strimzi-cluster-operator-global
クラスターロールを使用して、namespace スコープのリソースレベルおよびクラスタースコープのリソースレベルでパーミッションを付与します。
Cluster Operator の namespaced リソースのある ClusterRole
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-cluster-operator-namespaced labels: app: strimzi rules: # Resources in this role are used by the operator based on an operand being deployed in some namespace. When needed, you # can deploy the operator as a cluster-wide operator. But grant the rights listed in this role only on the namespaces # where the operands will be deployed. That way, you can limit the access the operator has to other namespaces where it # does not manage any clusters. - apiGroups: - "rbac.authorization.k8s.io" resources: # The cluster operator needs to access and manage rolebindings to grant Strimzi components cluster permissions - rolebindings verbs: - get - list - watch - create - delete - patch - update - apiGroups: - "rbac.authorization.k8s.io" resources: # The cluster operator needs to access and manage roles to grant the entity operator permissions - roles verbs: - get - list - watch - create - delete - patch - update - apiGroups: - "" resources: # The cluster operator needs to access and delete pods, this is to allow it to monitor pod health and coordinate rolling updates - pods # The cluster operator needs to access and manage service accounts to grant Strimzi components cluster permissions - serviceaccounts # The cluster operator needs to access and manage config maps for Strimzi components configuration - configmaps # The cluster operator needs to access and manage services and endpoints to expose Strimzi components to network traffic - services - endpoints # The cluster operator needs to access and manage secrets to handle credentials - secrets # The cluster operator needs to access and manage persistent volume claims to bind them to Strimzi components for persistent data - persistentvolumeclaims verbs: - get - list - watch - create - delete - patch - update - apiGroups: - "apps" resources: # The cluster operator needs to access and manage deployments to run deployment based Strimzi components - deployments - deployments/scale - deployments/status # The cluster operator needs to access and manage stateful sets to run stateful sets based Strimzi components - statefulsets # The cluster operator needs to access replica-sets to manage Strimzi components and to determine error states - replicasets verbs: - get - list - watch - create - delete - patch - update - apiGroups: - "" # legacy core events api, used by topic operator - "events.k8s.io" # new events api, used by cluster operator resources: # The cluster operator needs to be able to create events and delegate permissions to do so - events verbs: - create - apiGroups: # Kafka Connect Build on OpenShift requirement - build.openshift.io resources: - buildconfigs - buildconfigs/instantiate - builds verbs: - get - list - watch - create - delete - patch - update - apiGroups: - networking.k8s.io resources: # The cluster operator needs to access and manage network policies to lock down communication between Strimzi components - networkpolicies # The cluster operator needs to access and manage ingresses which allow external access to the services in a cluster - ingresses verbs: - get - list - watch - create - delete - patch - update - apiGroups: - route.openshift.io resources: # The cluster operator needs to access and manage routes to expose Strimzi components for external access - routes - routes/custom-host verbs: - get - list - watch - create - delete - patch - update - apiGroups: - image.openshift.io resources: # The cluster operator needs to verify the image stream when used for Kafka Connect image build - imagestreams verbs: - get - apiGroups: - policy resources: # The cluster operator needs to access and manage pod disruption budgets this limits the number of concurrent disruptions # that a Strimzi component experiences, allowing for higher availability - poddisruptionbudgets verbs: - get - list - watch - create - delete - patch - update
Cluster Operator のクラスタースコープリソースのある ClusterRole
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-cluster-operator-global labels: app: strimzi rules: - apiGroups: - "rbac.authorization.k8s.io" resources: # The cluster operator needs to create and manage cluster role bindings in the case of an install where a user # has specified they want their cluster role bindings generated - clusterrolebindings verbs: - get - list - watch - create - delete - patch - update - apiGroups: - storage.k8s.io resources: # The cluster operator requires "get" permissions to view storage class details # This is because only a persistent volume of a supported storage class type can be resized - storageclasses verbs: - get - apiGroups: - "" resources: # The cluster operator requires "list" permissions to view all nodes in a cluster # The listing is used to determine the node addresses when NodePort access is configured # These addresses are then exposed in the custom resource states - nodes verbs: - list
strimzi-cluster-operator-leader-election
クラスターロールは、リーダーの選出に必要な権限を表します。
リーダー選出権限を持つ ClusterRole
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-cluster-operator-leader-election labels: app: strimzi rules: - apiGroups: - coordination.k8s.io resources: # The cluster operator needs to access and manage leases for leader election # The "create" verb cannot be used with "resourceNames" - leases verbs: - create - apiGroups: - coordination.k8s.io resources: # The cluster operator needs to access and manage leases for leader election - leases resourceNames: # The default RBAC files give the operator only access to the Lease resource names strimzi-cluster-operator # If you want to use another resource name or resource namespace, you have to configure the RBAC resources accordingly - strimzi-cluster-operator verbs: - get - list - watch - delete - patch - update
strimzi-kafka-broker
クラスターロールは、ラック対応機能を使用する Kafka Pod の init コンテナーが必要とするアクセス権限を表します。
strimzi- <cluster_name> -kafka-init
という名前のロールバインディングは、<cluster_name> -kafka
サービスアカウントに、strimzi-kafka-broker
ロールを使用してクラスター内のノードへのアクセスを許可します。ラック機能が使用されておらず、クラスターが nodeport
を介して公開されていない場合、バインディングは作成されません。
Cluster Operator の ClusterRole
により、OpenShift ノードへのアクセスを Kafka ブローカー Pod に委譲できます。
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-kafka-broker labels: app: strimzi rules: - apiGroups: - "" resources: # The Kafka Brokers require "get" permissions to view the node they are on # This information is used to generate a Rack ID that is used for High Availability configurations - nodes verbs: - get
strimzi-entity-operator
クラスターロールは、Topic Operator および User Operator が必要とするアクセスを表します。
Topic Operator はステータス情報を含む OpenShift イベントを生成するため、<cluster_name> -entity-operator
サービスアカウントは strimzi-entity-operator
ロールにバインドされ、strimzi-entity-operator
ロールバインディングを介してこのアクセスが許可されます。
Cluster Operator の ClusterRole
により、イベントへのアクセスを Topic および User Operator に委任できます。
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-entity-operator labels: app: strimzi rules: - apiGroups: - "kafka.strimzi.io" resources: # The entity operator runs the KafkaTopic assembly operator, which needs to access and manage KafkaTopic resources - kafkatopics - kafkatopics/status # The entity operator runs the KafkaUser assembly operator, which needs to access and manage KafkaUser resources - kafkausers - kafkausers/status verbs: - get - list - watch - create - patch - update - delete - apiGroups: - "" resources: - events verbs: # The entity operator needs to be able to create events - create - apiGroups: - "" resources: # The entity operator user-operator needs to access and manage secrets to store generated credentials - secrets verbs: - get - list - watch - create - delete - patch - update
strimzi-kafka-client
クラスターロールは、ラック対応機能を使用する Kafka クライアントが必要とするアクセス権限を表します。
Cluster Operator の ClusterRole
により、OpenShift ノードへのアクセスを Kafka クライアントベースの Pod に委譲できます。
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-kafka-client labels: app: strimzi rules: - apiGroups: - "" resources: # The Kafka clients (Connect, Mirror Maker, etc.) require "get" permissions to view the node they are on # This information is used to generate a Rack ID (client.rack option) that is used for consuming from the closest # replicas when enabled - nodes verbs: - get
1.2.2.4. ClusterRoleBinding
リソース
Cluster Operator は ClusterRoleBinding
および RoleBinding
リソースを使用して ClusterRole
を ServiceAccount
に関連付けます。クラスターのロールバインディングは、クラスタースコープのリソースが含まれるクラスターロールで必要になります。
Cluster Operator の ClusterRoleBinding
の例
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: strimzi-cluster-operator labels: app: strimzi subjects: - kind: ServiceAccount name: strimzi-cluster-operator namespace: myproject roleRef: kind: ClusterRole name: strimzi-cluster-operator-global apiGroup: rbac.authorization.k8s.io
権限の委任に使用されるクラスターロールには、クラスターロールバインディングも必要です。
Cluster Operator と Kafka ブローカーのラック対応機能向けのClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: strimzi-cluster-operator-kafka-broker-delegation labels: app: strimzi # The Kafka broker cluster role must be bound to the cluster operator service account so that it can delegate the cluster role to the Kafka brokers. # This must be done to avoid escalating privileges which would be blocked by Kubernetes. subjects: - kind: ServiceAccount name: strimzi-cluster-operator namespace: myproject roleRef: kind: ClusterRole name: strimzi-kafka-broker apiGroup: rbac.authorization.k8s.io
Cluster Operator と Kafka クライアントのラック対応機能向けのClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: strimzi-cluster-operator-kafka-client-delegation labels: app: strimzi # The Kafka clients cluster role must be bound to the cluster operator service account so that it can delegate the # cluster role to the Kafka clients using it for consuming from closest replica. # This must be done to avoid escalating privileges which would be blocked by Kubernetes. subjects: - kind: ServiceAccount name: strimzi-cluster-operator namespace: myproject roleRef: kind: ClusterRole name: strimzi-kafka-client apiGroup: rbac.authorization.k8s.io
namespaced リソースのみを含むクラスターロールは、ロールバインディングのみを使用してバインドされます。
Cluster Operator の RoleBinding
の例
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: strimzi-cluster-operator labels: app: strimzi subjects: - kind: ServiceAccount name: strimzi-cluster-operator namespace: myproject roleRef: kind: ClusterRole name: strimzi-cluster-operator-namespaced apiGroup: rbac.authorization.k8s.io
Cluster Operator および Kafka ブローカーのらっくt相合機能向けの RoleBinding
の例
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: strimzi-cluster-operator-entity-operator-delegation labels: app: strimzi # The Entity Operator cluster role must be bound to the cluster operator service account so that it can delegate the cluster role to the Entity Operator. # This must be done to avoid escalating privileges which would be blocked by Kubernetes. subjects: - kind: ServiceAccount name: strimzi-cluster-operator namespace: myproject roleRef: kind: ClusterRole name: strimzi-entity-operator apiGroup: rbac.authorization.k8s.io
1.3. Kafka Bridge を使用した Kafka クラスターへの接続
AMQ Streams Kafka Bridge API を使用して、コンシューマーを作成および管理し、ネイティブ Kafka プロトコルではなく HTTP を介してレコードを送受信できます。
Kafka Bridge を設定する場合、Kafka クラスターへの HTTP アクセスを設定します。その後、Kafka Bridge を使用して、クラスターからのメッセージを生成および消費したり、REST インターフェイスを介して他の操作を実行することができます。
関連情報
- Kafka Bridge のインストールおよび使用に関する詳細は、AMQ Streams Kafka Bridge の使用 を参照してください。
1.4. シームレスな FIPS サポート
FIPS (Federal Information Processing Standards) は、コンピューターセキュリティーおよび相互運用性の標準です。FIPS 対応の OpenShift クラスターで AMQ Streams を実行すると、AMQ Streams コンテナーイメージで使用される OpenJDK が自動的に FIPS モードに切り替わります。バージョン 2.4 以降、AMQ Streams は、変更や特別な設定を行わなくても、FIPS 対応の OpenShift クラスター上で実行できるようになりました。OpenJDK の FIPS 準拠のセキュリティーライブラリーのみを使用します。
パスワードの最小長
FIPS モードで実行する場合、SCRAM-SHA-512 パスワードは 32 文字以上にする必要があります。AMQ Streams 2.4 からは、AMQ Streams User Operator のデフォルトのパスワード長も 32 文字に設定されています。32 文字未満のパスワード長を使用するカスタム設定の Kafka クラスターがある場合は、設定を更新する必要があります。32 文字未満のパスワードを持つユーザーがいる場合は、必要な長さのパスワードを再生成する必要があります。これを行うには、たとえば、ユーザーシークレットを削除し、ユーザーオペレーターが適切な長さの新しいパスワードを作成するのを待ちます。
FIPS 対応の OpenShift クラスターを使用している場合、通常の OpenShift クラスターと比較してメモリー消費量が増加する可能性があります。問題を回避するには、メモリー要求を少なくとも 512Mi に増やすことを推奨します。
1.5. 本書の表記慣例
ユーザー置換値
ユーザーが置き換える値は、置き換え可能 な値とも呼ばれ、山かっこ (<>) を付けて表示されます。アンダースコア ( _ ) は、複数単語の値に使用されます。値がコードまたはコマンドを参照する場合は monospace
も使用されます。
たとえば、次のコードは、<my_namespace>
を正しい名前空間名に置き換える必要があることを示しています。
sed -i 's/namespace: .*/namespace: <my_namespace>' install/cluster-operator/*RoleBinding*.yaml
1.6. 関連情報
第2章 AMQ Streams のインストール方法
AMQ Streams を OpenShift 4.10 〜 4.14 にインストールするには、2 つの方法があります。
インストール方法 | 説明 |
---|---|
AMQ Streams ソフトウェアダウンロードページ から、Red Hat AMQ Streams 2.5 OpenShift インストールおよびサンプルファイル をダウンロードします。
| |
OperatorHub の AMQ Streams Operator を使用して、AMQ Streams を単一の namespace またはすべての namespace にデプロイします。 |
できるだけ柔軟性を確保するには、アーティファクトのインストール方法を選択してください。OperatorHub メソッドは標準的な設定を提供し、自動更新を活用できるようにします。
Helm を使用した AMQ Streams のインストールはサポートされていません。
第3章 AMQ Streams でデプロイされる内容
Apache Kafka コンポーネントは、AMQ Streams ディストリビューションを使用して OpenShift にデプロイする場合に提供されます。Kafka コンポーネントは通常、クラスターとして実行され、可用性を確保します。
Kafka コンポーネントが組み込まれた通常のデプロイメントには以下が含まれます。
- ブローカーノードの Kafka クラスター
- レプリケートされた ZooKeeper インスタンスの zookeeper クラスター
- 外部データ接続用の Kafka Connect クラスター
- セカンダリークラスターで Kafka クラスターをミラーリングする Kafka MirrorMaker クラスター
- 監視用に追加の Kafka メトリックデータを抽出する Kafka Exporter
- Kafka クラスターに対して HTTP ベースの要求を行う Kafka Bridge
- Cruise Control によるブローカーノード間のトピックパーティションの再バランス
少なくとも Kafka および ZooKeeper は必要ですが、上記のコンポーネントがすべて必須なわけではありません。MirrorMaker や Kafka Connect など、一部のコンポーネントでは Kafka なしでデプロイできます。
3.1. デプロイメントの順序
OpenShift クラスターへのデプロイで必要とされる順序は、次のとおりです。
- Cluster Operator をデプロイし、Kafka クラスターを管理します。
- ZooKeeper クラスターとともに Kafka クラスターをデプロイし、Topic Operator および User Operator がデプロイメントに含まれるようにします。
任意で以下をデプロイします。
- Topic Operator および User Operator (Kafka クラスターとともにデプロイしなかった場合)
- Kafka Connect
- Kafka MirrorMaker
- Kafka Bridge
- メトリクスを監視するためのコンポーネント
Cluster Operator は、 Deployment
、Service
、および Pod
リソースなど、コンポーネントの OpenShift リソースを作成します。OpenShift リソース名には、デプロイ時にコンポーネントに指定された名前が追加されます。たとえば、my-kafka-cluster
という名前の Kafka クラスターには、 my-kafka-cluster-kafka
という名前のサービスがあります。
第4章 AMQ Streams デプロイメントの準備
必要な事前デプロイメントタスクを完了して、AMQ Streams のデプロイメントを準備します。次のような、特定の要件に応じて必要な準備手順を実行します。
本ガイドのコマンドを実行するには、クラスターユーザーに RBAC (ロールベースアクセス制御) および CRD を管理する権限を付与する必要があります。
4.1. デプロイメントの前提条件
AMQ Streams をデプロイするには、以下が必要です。
OpenShift 4.10 〜 4.14 クラスター。
AMQ Streams は Strimzi 0.36.x に基づいています。
-
oc
コマンドラインツールがインストールされ、稼働中のクラスターに接続するように設定されている。
4.2. AMQ Streams リリースアーティファクトのダウンロード
デプロイメントファイルを使用して AMQ Streams をインストールするには、AMQ Streams ソフトウェアダウンロードページ からファイルをダウンロードしてデプロイメントします。
AMQ Streams のリリースアーティファクトには、YAML ファイルが含まれています。これらのファイルは、AMQ Streams コンポーネントの OpenShift へのデプロイ、共通の操作の実行、および Kafka クラスターの設定に便利です。
oc
を使用して、ダウンロードした ZIP ファイルの install/cluster-operator
フォルダーから Cluster Operator をデプロイします。Cluster Operator のデプロイメントおよび設定に関する詳細は、「Cluster Operator のデプロイ」 を参照してください。
また、AMQ Streams Cluster Operator によって管理されない Kafka クラスターをトピックおよび User Operator のスタンドアロンインストールと共に使用する場合は、install/topic-operator
および install/user-operator
フォルダーからデプロイできます。
AMQ Streams コンテナーイメージは、Red Hat Ecosystem Catalog からも入手できます。ただし、指定の YAML ファイルを使用して AMQ Streams をデプロイすることを推奨します。
4.3. コンテナーイメージを独自のレジストリーにプッシュ
AMQ Streams のコンテナーイメージは Red Hat Ecosystem Catalog にあります。AMQ Streams が提供するインストール YAML ファイルは、Red Hat Ecosystem Catalog から直接イメージをプルします。
Red Hat Ecosystem Catalog にアクセスできない場合や独自のコンテナーリポジトリーを使用する場合は以下を行います。
- リストにある すべての コンテナーイメージをプルします。
- 独自のレジストリーにプッシュします。
- インストール YAML ファイルのイメージ名を更新します。
リリースに対してサポートされる各 Kafka バージョンには別のイメージがあります。
コンテナーイメージ | namespace/リポジトリー | 説明 |
---|---|---|
Kafka |
| 次を含む、Kafka を実行するための AMQ Streams イメージ
|
Operator |
| Operator を実行するための AMQ Streams イメージ
|
Kafka Bridge |
| AMQ Streams Kafka Bridge を稼働するための AMQ Streams イメージ |
AMQ Streams Drain Cleaner |
| AMQ Streams Drain Cleaner を実行するための AMQ Streams イメージ |
4.4. コンテナーイメージレジストリーに対する認証用のプルシークレットの作成
AMQ Streams が提供するインストール YAML ファイルは、コンテナーイメージを Red Hat Ecosystem Catalog から直接プルします。AMQ Streams デプロイメントで認証が必要な場合は、シークレットで認証用の認証情報を設定し、それをインストール YAML に追加します。
通常、認証は必要ありませんが、特定のプラットフォームでは要求される場合があります。
前提条件
- Red Hat のユーザー名とパスワード、または Red Hat レジストリーサービスアカウントのログイン情報。
Red Hat サブスクリプションを使用して、Red Hat カスタマーポータル からレジストリーサービスアカウントを作成できます。
手順
ログインの詳細と、AMQ Streams イメージがプルされるコンテナーレジストリーを含むプルシークレットを作成します。
oc create secret docker-registry <pull_secret_name> \ --docker-server=registry.redhat.io \ --docker-username=<user_name> \ --docker-password=<password> \ --docker-email=<email>
ユーザー名とパスワードを追加します。メールアドレスは任意です。
install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
デプロイメントファイルを編集し、STRIMZI_IMAGE_PULL_SECRET
環境変数を使用してプルシークレットを指定します。apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-cluster-operator spec: # ... template: spec: serviceAccountName: strimzi-cluster-operator containers: # ... env: - name: STRIMZI_IMAGE_PULL_SECRETS value: "<pull_secret_name>" # ...
シークレットは、Cluster Operator によって作成されたすべての Pod に適用されます。
4.5. AMQ Streams の管理者の指定
AMQ Streams では、デプロイメントの設定にカスタムリソースが提供されます。デフォルトでは、これらのリソースの表示、作成、編集、および削除権限は OpenShift クラスター管理者に限定されます。AMQ Streams には、これらの権利を他のユーザーに割り当てるために使用できる 2 つのクラスターロールが用意されています。
-
strimzi-view
ロールを指定すると、ユーザーは AMQ Streams リソースを表示できます。 -
strimzi-admin
ロールを指定すると、ユーザーは AMQ Streams リソースを作成、編集、または削除することもできます。
これらのロールをインストールすると、これらの権限が自動的にデフォルトの OpenShift クラスターロールに集約 (追加) されます。strimzi-view
は view
ロールに、strimzi-admin
は edit
および admin
ロールに集約されます。このように集約することで、すでに同様の権限を持つユーザーに、これらのロールを割り当てる必要がなくなる可能性があります。
以下の手順では、クラスター管理者でないユーザーが AMQ Streams リソースを管理できるようにする strimzi-admin
ロールの割り当て方法を説明します。
システム管理者は、Cluster Operator のデプロイ後に AMQ Streams の管理者を指定できます。
前提条件
- Cluster Operator でデプロイとデプロイされた CRD (カスタムリソース定義) を管理する AMQ Streams の CRD リソースおよび RBAC (ロールベースアクセス制御) リソース。
手順
OpenShift で
strimzi-view
およびstrimzi-admin
クラスターロールを作成します。oc create -f install/strimzi-admin
必要な場合は、ユーザーに必要なアクセス権限を付与するロールを割り当てます。
oc create clusterrolebinding strimzi-admin --clusterrole=strimzi-admin --user=user1 --user=user2
第5章 Web コンソールを使用した OperatorHub からの AMQ Streams のインストール
OpenShift Container Platform Web コンソールの OperatorHub から AMQ Streams Operator をインストールします。
本セクションの手順では以下の方法を説明します。
5.1. OperatorHub からの AMQ Streams Operator のインストール
OpenShift Container Platform Web コンソールの OperatorHub を使用して、AMQ Streams Operator をインストールしてサブスクライブできます。
この手順では、プロジェクトを作成し、そのプロジェクトに AMQ Streams Operator をインストールする方法を説明します。プロジェクトは namespace を表します。namespace を使用して機能を分離することで管理性を確保することを推奨します。
適切な更新チャネルを使用するようにしてください。サポート対象の OpenShift のバージョンを使用している場合は、デフォルトの stable チャネルから安全に AMQ Streams をインストールできます。ただし、stable チャネルで自動更新を有効にすることは推奨されません。自動アップグレードでは、アップグレード前の必要手順がスキップされます。バージョン固有のチャネルでのみ自動アップグレードを使用します。
前提条件
-
cluster-admin
またはstrimzi-admin
パーミッションを持つアカウントを使用して OpenShift Container Platform Web コンソールにアクセスできる。
手順
OpenShift Web コンソールで Home > Projects ページに移動し、インストール用のプロジェクト (namespace) を作成します。
この例では、
amq-streams-kafka
という名前のプロジェクトを使用します。- Operators > OperatorHub ページに移動します。
Filter by keyword ボックスにスクロールするかキーワードを入力して、AMQ Streams Operator を見つけます。
Operator は、Streaming & Messaging カテゴリーにあります。
- AMQ Streams をクリックして、Operator 情報を表示します。
- operator に関する情報を確認し、Install をクリックします。
Install Operator ページで、次のインストールおよび更新オプションから選択します。
Update Channel: Operator の更新チャネルを選択します。
- stable チャネル (デフォルト) には最新の更新とリリースがすべて含まれます。これには、十分なテストを行った上、安定していることが想定される、メジャー、マイナー、およびマイクロリリースが含まれます。
- amq-streams-X.x チャネルには、メジャーリリースのマイナーリリースの更新およびマイクロリリースの更新が含まれます。X は、メジャーリリースのバージョン番号に置き換えてください。
- amq-streams-X.Y.x チャネルには、マイナーリリースのマイクロリリースの更新が含まれます。X はメジャーリリースのバージョン番号、Y はマイナーリリースのバージョン番号に置き換えてください。
Installation Mode: 作成したプロジェクトを選択して、特定の namespace に Operator をインストールします。
AMQ Streams Operator をクラスターのすべての namespace (デフォルトのオプション) にインストールするか、特定の namespace にインストールするかを選択できます。特定の namespace を Kafka クラスターおよびその他の AMQ Streams コンポーネント専用とすることが推奨されます。
- Update approval: デフォルトでは、OLM (Operator Lifecycle Manager) によって、AMQ Streams Operator が自動的に最新の AMQ Streams バージョンにアップグレードされます。今後のアップグレードを手動で承認する場合は、Manual を選択します。Operator の詳細は、OpenShift ドキュメント を参照してください。
Install をクリックして、選択した namespace に Operator をインストールします。
AMQ Streams Operator によって、Cluster Operator、CRD、およびロールベースアクセス制御 (RBAC) リソースは選択された namespace にデプロイされます。
Operator を使用する準備ができたら、Operators > Installed Operators に移動して、Operator が選択した namespace にインストールされていることを確認します。
ステータスは Succeeded と表示されます。
これで、AMQ Streams Operator を使用して、Kafka クラスターから順に Kafka コンポーネントをデプロイできるようになりました。
Workloads > Deployments に移動すると、Cluster Operator および Entity Operator のデプロイメントの詳細を確認できます。Cluster Operator の名前には、バージョン番号 amq-streams-cluster-operator-<version>
が含まれます。AMQ Streams インストールアーティファクトを使用して Cluster Operator をデプロイする場合、名前は異なります。この場合、名前は strimzi-cluster-operator
です。
5.2. AMQ Streams Operator を使用した Kafka コンポーネントのデプロイ
Openshift にインストールすると、AMQ Streams Operator は、ユーザーインターフェイスから Kafka コンポーネントをインストールできるようにします。
次の Kafka コンポーネントをインストールできます。
- Kafka
- Kafka Connect
- Kafka MirrorMaker
- Kafka MirrorMaker 2
- Kafka Topic
- Kafka User
- Kafka Bridge
- Kafka Connector
- Kafka Rebalance
コンポーネントを選択して、インスタンスを作成します。少なくとも、Kafka インスタンスを作成します。この手順では、デフォルト設定を使用して Kafka インスタンスを作成する方法を説明します。インストールを実行する前に、デフォルトのインストール仕様を設定できます。
プロセスは、他の Kafka コンポーネントのインスタンスを作成する場合と同じです。
前提条件
- AMQ Streams Operator が OpenShift クラスターにインストールされている。
手順
Web コンソールで Operators > Installed Operators ページに移動し、AMQ Streams をクリックして、Operator の詳細を表示します。
提供されている API から、Kafka コンポーネントのインスタンスを作成できます。
Kafka の下の Create instance をクリックして、Kafka インスタンスを作成します。
デフォルトでは、3 つの Kafka ブローカーノードと 3 つの ZooKeeper ノードを持つ
my-cluster
という名の Kafka クラスターを作成します。クラスターはエフェメラルストレージを使用します。Create をクリックして、Kafka のインストールを開始します。
ステータスが Ready に変わるまで待ちます。
第6章 インストールアーティファクトを使用した AMQ Streams のデプロイ
AMQ Streams のデプロイメント環境を準備 したら、AMQ Streams を OpenShift クラスターにデプロイできます。リリースアーティファクトで提供されるインストールファイルを使用します。
AMQ Streams は Strimzi 0.36.x に基づいています。AMQ Streams 2.5 は OpenShift 4.10 〜 4.14 にデプロイできます。
インストールファイルを使用して AMQ Streams をデプロイする手順は次のとおりです。
- Cluster Operator をデプロイします。
Cluster Operator を使用して、以下をデプロイします。
任意で、要件に応じて以下の Kafka コンポーネントをデプロイします。
本ガイドのコマンドを実行するには、OpenShift ユーザーに RBAC (ロールベースアクセス制御) および CRD を管理する権限を付与する必要があります。
6.1. 基本的なデプロイメントパス
AQM Streams が同じ namespace にある 1 つの Kafka クラスターを管理するデプロイメントを設定できます。この設定は、開発またはテストに使用できます。または、運用環境で AMQ Streams を使用して、さまざまな namespace で多数の Kafka クラスターを管理できます。
AMQ Streams のデプロイメントの最初のステップは、install/cluster-operator
ファイルを使用して Cluster Operator をインストールすることです。
1 つのコマンド (oc apply -f ./install/cluster-operator
) で、cluster-operator
フォルダー内のすべてのインストールファイルに適用されます。
このコマンドは、以下を含む、Kafka デプロイメントの作成および管理に必要な内容をすべて設定します。
-
Cluster Operator (
Deployment
、ConfigMap
) -
AMQ Streams CRDs (
CustomResourceDefinition
) -
RBAC リソース (
ClusterRole
、ClusterRoleBinding
、RoleBinding
) -
サービスアカウント (
ServiceAccount
)
基本的なデプロイメントパスは次のとおりです。
- リリースアーティファクトをダウンロードする
- Cluster Operator をデプロイする OpenShift namespace を作成する
-
Cluster Operator 用に作成された namespace を使用するように
install/cluster-operator
ファイルを更新します。 - Cluster Operator をインストールして、1 つ、複数、またはすべての namespace を監視します
-
Cluster Operator 用に作成された namespace を使用するように
- Kafka クラスターを作成する
その後、他の Kafka コンポーネントをデプロイし、デプロイのモニタリングを設定できます。
6.2. Cluster Operator のデプロイ
Cluster Operator は、OpenShift クラスター内で Kafka クラスターのデプロイおよび管理を行います。
Cluster Operator の稼働中に、Kafka リソースの更新に対する監視が開始されます。
デフォルトでは、Cluster Operator の単一のレプリカがデプロイされます。リーダーの選択でレプリカを追加し、中断が発生した場合に追加の Cluster Operator がスタンバイ状態になるようにすることができます。詳細は、「リーダーの選択による複数の Cluster Operator レプリカの実行」 を参照してください。
6.2.1. Cluster Operator が監視する namespace の指定
Cluster Operator は、Kafka リソースがデプロイされている namespace の更新を監視します。Cluster Operator をデプロイするときは、OpenShift クラスター内で監視する namespace を指定します。次の namespace を指定できます。
- 選択された単一の namespace (クラスターオペレーターを含む同じ namespace)
- 複数の選択された namespace
- クラスター内のすべての namespace
選択した複数の namespace を監視すると、処理オーバーヘッドが増加するため、パフォーマンスに最も大きな影響を与えます。namespace の監視のパフォーマンスを最適化するには、通常、単一の namespace を監視するか、クラスター全体を監視することが推奨されます。単一の namespace を監視すると、namespace 固有のリソースを集中的に監視することができますが、すべての namespace を監視すると、すべての namespace にわたるクラスターのリソースの包括的なビューが提供されます。
Cluster Operator では、以下のリソースの変更が監視されます。
-
Kafka クラスターの
Kafka
。 -
Kafka Connect クラスターの
KafkaConnect
。 -
Kafka Connect クラスターでコネクターを作成および管理するための
KafkaConnector
。 -
Kafka MirrorMaker インスタンスの
KafkaMirrorMaker
。 -
KafkaMirrorMaker2
(Kafka MirrorMaker 2 インスタンスの場合)。 -
Kafka Bridge インスタンスの
KafkaBridge
。 -
Cruise Control の最適化リクエストの
KafkaRebalance
。
OpenShift クラスターでこれらのリソースの 1 つが作成されると、Operator がクラスターの詳細をリソースから取得します。さらに、Deployment、Pod、Service、および ConfigMap などの必要な OpenShift リソースが作成され、リソースの新しいクラスターの作成が開始されます。
Kafka リソースが更新されるたびに、リソースのクラスターを設定する OpenShift リソースで該当する更新が Operator によって実行されます。
リソースは、パッチを適用するか削除してから、再作成して、目的とするクラスターの状態を、リソースのクラスターに反映させます。この操作は、サービスの中断を引き起こすローリング更新の原因となる可能性があります。
リソースが削除されると、Operator によってクラスターがアンデプロイされ、関連する OpenShift リソースがすべて削除されます。
Cluster Operator は OpenShift クラスター内の 1 つ、複数、またはすべての namespace を監視できますが、Topic Operator と User Operator は単一の namespace 内の KafkaTopic
リソースと KafkaUser
リソースを監視します。詳細は、「OpenShift namespace での AMQ Streams リソースの監視」 を参照してください。
6.2.2. 単一の namespace を監視対象とする Cluster Operator のデプロイメント
この手順では、OpenShift クラスターの単一の namespace で AMQ Streams リソースを監視する Cluster Operator をデプロイする方法を説明します。
前提条件
-
CustomResourceDefinition
および RBAC (ClusterRole
およびRoleBinding
) リソースを作成および管理する権限を持つアカウント。
手順
Cluster Operator のインストール先の namespace を使用するように、AMQ Streams インストールファイルを編集します。
たとえば、この手順では Cluster Operator は
my-cluster-operator-namespace
という namespace にインストールされます。Linux の場合は、以下を使用します。
sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
MacOS の場合は、以下を使用します。
sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
Cluster Operator をデプロイします。
oc create -f install/cluster-operator -n my-cluster-operator-namespace
デプロイメントのステータスを確認します。
oc get deployments -n my-cluster-operator-namespace
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE strimzi-cluster-operator 1/1 1 1
READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に1
が表示されれば、デプロイメントは成功しています。
6.2.3. 複数の namespace を監視対象とする Cluster Operator のデプロイメント
この手順では、OpenShift クラスターの複数の namespace で AMQ Streams リソースを監視する Cluster Operator をデプロイする方法を説明します。
前提条件
-
CustomResourceDefinition
および RBAC (ClusterRole
およびRoleBinding
) リソースを作成および管理する権限を持つアカウント。
手順
Cluster Operator のインストール先の namespace を使用するように、AMQ Streams インストールファイルを編集します。
たとえば、この手順では Cluster Operator は
my-cluster-operator-namespace
という namespace にインストールされます。Linux の場合は、以下を使用します。
sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
MacOS の場合は、以下を使用します。
sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
ファイルを編集し、Cluster Operator が監視するすべての namespace のリストをSTRIMZI_NAMESPACE
環境変数に追加します。たとえば、この手順では Cluster Operator は
watched-namespace-1
、watched-namespace-2
、およびwatched-namespace-3
という namespace を監視します。apiVersion: apps/v1 kind: Deployment spec: # ... template: spec: serviceAccountName: strimzi-cluster-operator containers: - name: strimzi-cluster-operator image: registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1 imagePullPolicy: IfNotPresent env: - name: STRIMZI_NAMESPACE value: watched-namespace-1,watched-namespace-2,watched-namespace-3
リストした各 namespace に
RoleBindings
をインストールします。この例では、コマンドの
watched-namespace
を前述のステップでリストした namespace に置き換えます。watched-namespace-1
、watched-namespace-2
、およびwatched-namespace-3
にも、繰り返し同様の操作を実行します。oc create -f install/cluster-operator/020-RoleBinding-strimzi-cluster-operator.yaml -n <watched_namespace> oc create -f install/cluster-operator/023-RoleBinding-strimzi-cluster-operator.yaml -n <watched_namespace> oc create -f install/cluster-operator/031-RoleBinding-strimzi-cluster-operator-entity-operator-delegation.yaml -n <watched_namespace>
Cluster Operator をデプロイします。
oc create -f install/cluster-operator -n my-cluster-operator-namespace
デプロイメントのステータスを確認します。
oc get deployments -n my-cluster-operator-namespace
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE strimzi-cluster-operator 1/1 1 1
READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に1
が表示されれば、デプロイメントは成功しています。
6.2.4. すべての namespace を対象とする Cluster Operator のデプロイメント
この手順では、OpenShift クラスターのすべての namespace で AMQ Streams リソースを監視する Cluster Operator をデプロイする方法を説明します。
このモードで実行している場合、Cluster Operator は、新規作成された namespace でクラスターを自動的に管理します。
前提条件
-
CustomResourceDefinition
および RBAC (ClusterRole
およびRoleBinding
) リソースを作成および管理する権限を持つアカウント。
手順
Cluster Operator のインストール先の namespace を使用するように、AMQ Streams インストールファイルを編集します。
たとえば、この手順では Cluster Operator は
my-cluster-operator-namespace
という namespace にインストールされます。Linux の場合は、以下を使用します。
sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
MacOS の場合は、以下を使用します。
sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
ファイルを編集し、STRIMZI_NAMESPACE
環境変数の値を*
に設定します。apiVersion: apps/v1 kind: Deployment spec: # ... template: spec: # ... serviceAccountName: strimzi-cluster-operator containers: - name: strimzi-cluster-operator image: registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1 imagePullPolicy: IfNotPresent env: - name: STRIMZI_NAMESPACE value: "*" # ...
クラスター全体ですべての namespace にアクセスできる権限を Cluster Operator に付与する
ClusterRoleBindings
を作成します。oc create clusterrolebinding strimzi-cluster-operator-namespaced --clusterrole=strimzi-cluster-operator-namespaced --serviceaccount my-cluster-operator-namespace:strimzi-cluster-operator oc create clusterrolebinding strimzi-cluster-operator-watched --clusterrole=strimzi-cluster-operator-watched --serviceaccount my-cluster-operator-namespace:strimzi-cluster-operator oc create clusterrolebinding strimzi-cluster-operator-entity-operator-delegation --clusterrole=strimzi-entity-operator --serviceaccount my-cluster-operator-namespace:strimzi-cluster-operator
Cluster Operator を OpenShift クラスターにデプロイします。
oc create -f install/cluster-operator -n my-cluster-operator-namespace
デプロイメントのステータスを確認します。
oc get deployments -n my-cluster-operator-namespace
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE strimzi-cluster-operator 1/1 1 1
READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に1
が表示されれば、デプロイメントは成功しています。
6.3. Kafka のデプロイ
Cluster Operator で Kafka クラスターを管理できるようにするには、これを Kafka
リソースとしてデプロイする必要があります。AMQ Streams では、この目的のために、デプロイメントファイルのサンプルが同梱されています。これらのファイルを使用して、Topic Operator および User Operator を同時にデプロイできます。
Cluster Operator をデプロイしたら、Kafka
リソースを使用して次のコンポーネントをデプロイします。
- Kafka クラスター または ノードプールを備えた Kafka クラスター (プレビュー)
- Topic Operator
- User Operator
Kafka をインストールする場合、AMQ Streams によって ZooKeeper クラスターもインストールされ、Kafka と ZooKeeper との接続に必要な設定が追加されます。
ノードプール機能のプレビューを試している場合は、1 つ以上のノードプールを含む Kafka クラスターをデプロイできます。ノードプールは、Kafka ノードのセットの設定を提供します。ノードプールを使用すると、同じ Kafka クラスター内でノードに異なる設定を持たせることができます。
ノードプールはデフォルトでは有効になっていないため、使用する前に KafkaNodePools
フィーチャーゲートを有効にする 必要があります。
Kafka クラスターを Kafka
リソースとしてデプロイしていない場合は、Cluster Operator を使用してこのクラスターを管理できません。これには、OpenShift 外で実行されている Kafka クラスターなどが該当します。ただし、Topic Operator と User Operator は、スタンドアロンコンポーネントとしてデプロイすること で、AMQ Streams によって 管理されていない Kafka クラスターで使用できます。AMQ Streams によって管理されていない Kafka クラスターで他の Kafka コンポーネントをデプロイして使用することもできます。
6.3.1. Kafka クラスターのデプロイメント
この手順では、Cluster Operator を使用して Kafka クラスターを OpenShift クラスターにデプロイする方法を説明します。
デプロイメントでは、YAML ファイルの仕様を使用して Kafka
リソースが作成されます。
AMQ Streams には、Kafka クラスターの作成に使用できる次の サンプルファイル が用意されています。
kafka-persistent.yaml
- 3 つの Zookeeper ノードと 3 つの Kafka ノードを使用して永続クラスターをデプロイします。
kafka-jbod.yaml
- それぞれが複数の永続ボリューを使用する、3 つの ZooKeeper ノードと 3 つの Kafka ノードを使用して、永続クラスターをデプロイします。
kafka-persistent-single.yaml
- 1 つの ZooKeeper ノードと 1 つの Kafka ノードを使用して、永続クラスターをデプロイします。
kafka-ephemeral.yaml
- 3 つの ZooKeeper ノードと 3 つの Kafka ノードを使用して、一時クラスターをデプロイします。
kafka-ephemeral-single.yaml
- 3 つの ZooKeeper ノードと 1 つの Kafka ノードを使用して、一時クラスターをデプロイします。
この手順では、一時 および 永続 Kafka クラスターデプロイメントの例を使用します。
- 一時クラスター
-
通常、Kafka の一時クラスターは開発およびテスト環境での使用に適していますが、本番環境での使用には適していません。このデプロイメントでは、ブローカー情報 (ZooKeeper) と、トピックまたはパーティション (Kafka) を格納するための
emptyDir
ボリュームが使用されます。emptyDir
ボリュームを使用すると、その内容は Pod のライフサイクルと厳密な関係を持つため、Pod がダウンすると削除されます。 - 永続クラスター
Kafka の永続クラスターでは、永続ボリュームを使用して ZooKeeper および Kafka データを格納します。
PersistentVolumeClaim
を使用してPersistentVolume
が取得され、PersistentVolume
の実際のタイプには依存しません。PersistentVolumeClaim
でStorageClass
を使用し、自動ボリュームプロビジョニングをトリガーすることができます。StorageClass
が指定されていない場合、OpenShift はデフォルトのStorageClass
を使用しようとします。次の例では、一般的なタイプの永続ボリュームを一部紹介しています。
- OpenShift クラスターが Amazon AWS で実行されている場合、OpenShift は Amazon EBS ボリュームをプロビジョニングできます。
- OpenShift クラスターが Microsoft Azure で実行されている場合、OpenShift は Azure Disk Storage ボリュームをプロビジョニングできます。
- OpenShift クラスターが Google Cloud で実行されている場合、OpenShift は永続ディスクボリュームをプロビジョニングできます
- OpenShift クラスターがベアメタルで実行されている場合、OpenShift はローカル永続ボリュームをプロビジョニングできます
このサンプル YAML ファイルは、最新のサポート対象 Kafka バージョン、サポート対象のログメッセージ形式バージョンとブローカー間のプロトコルバージョンの設定を指定します。Kafka config
の inter.broker.protocol.version
プロパティーは、指定された Kafka バージョン (spec.kafka.version
) によってサポートされるバージョンである必要があります。このプロパティーは、Kafka クラスターで使用される Kafka プロトコルのバージョンを表します。
Kafka 3.0.0 以降、inter.broker.protocol.version
が 3.0
以上に設定されていると、log.message.format.version
オプションは無視されるため、設定する必要はありません。
Kafka のアップグレード 時に、inter.broker.protocol.version
への更新が必要です。
サンプルクラスターの名前はデフォルトで my-cluster
になります。クラスター名はリソースの名前によって定義され、クラスターがデプロイされた後に変更できません。クラスターをデプロイする前にクラスター名を変更するには、関連する YAML ファイルにある Kafka
リソースの Kafka.metadata.name
プロパティーを編集します。
デフォルトのクラスター名および指定された Kafka バージョン
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: version: 3.5.0 #... config: #... log.message.format.version: "3.5" inter.broker.protocol.version: "3.5" # ...
手順
一時または永続クラスターを作成およびデプロイします。
一時クラスターを作成およびデプロイするには、以下を実行します。
oc apply -f examples/kafka/kafka-ephemeral.yaml
永続クラスターを作成およびデプロイするには、以下を実行します。
oc apply -f examples/kafka/kafka-persistent.yaml
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
Pod 名および readiness が表示される出力
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 my-cluster-kafka-0 1/1 Running 0 my-cluster-kafka-1 1/1 Running 0 my-cluster-kafka-2 1/1 Running 0 my-cluster-zookeeper-0 1/1 Running 0 my-cluster-zookeeper-1 1/1 Running 0 my-cluster-zookeeper-2 1/1 Running 0
my-cluster
は Kafka クラスターの名前です。0
で始まる連続インデックス番号は、作成された各 Kafka および ZooKeeper Pod を識別します。デフォルトのデプロイメントでは、Entity Operator クラスター、3 つの Kafka Pod、および 3 つの ZooKeeper Pod を作成します。
READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。
関連情報
6.3.2. (プレビュー) Kafka ノードプールのデプロイ
この手順では、Cluster Operator を使用して Kafka ノードプールを OpenShift クラスターにデプロイする方法を示します。ノードプールは、同じ設定を共有する Kafka クラスター内の Kafka ノードの個別のグループを表します。ノードプール内の各 Kafka ノードについて、ノードプールで定義されていない設定は、kafka
リソースのクラスター設定から継承されます。
ノードプール機能はプレビューとして利用できます。ノードプールはデフォルトでは有効になっていないため、使用する前に KafkaNodePools
フィーチャーゲートを有効にする 必要があります。
デプロイメントでは、YAML ファイルの仕様を使用して KafkaNodePool
リソースが作成されます。クラスター管理に KRaft (Kafka Raft メタデータ) モードまたは ZooKeeper を使用する Kafka クラスターでノードプールを使用できます。
KRaft モードは、Apache Kafka または AMQ Streams での運用の準備ができていません。
AMQ Streams には、Kafka ノードプールの作成に使用できる次の サンプルファイル が用意されています。
kafka.yaml
- 3 つのノードと 2 つの異なる Kafka ブローカープールを備えた ZooKeeper をデプロイします。各プールには 3 つのブローカーがあります。この例のプールは、異なるストレージ設定を使用しています。
kafka-with-dual-role-kraft-nodes.yaml
- ブローカーとコントローラーのロールを共有する KRaft ノードの 1 つのプールを備えた Kafka クラスターをデプロイします。
kafka-with-kraft.yaml
- コントローラーノードの 1 つのプールとブローカーノードの 1 つのプールを備えた Kafka クラスターをデプロイします。
ノードプールの使用をすぐに開始する必要はありません。これらを使用する場合は、ここで説明する手順を実行して、KafkaNodePool
リソースを使用して新しい Kafka クラスターをデプロイするか、既存の Kafka クラスターを移行でき ます。
前提条件
既存の Kafka クラスターを移行してノードプールを使用する場合は、既存の Kafka クラスターを移行する手順 を参照してください。
手順
コマンドラインから
KafkaNodePools
フィーチャーゲートを有効にします。oc set env deployment/strimzi-cluster-operator STRIMZI_FEATURE_GATES="+KafkaNodePools"
または、Cluster Operator Deployment を編集し、
STRIMZI_FEATURE_GATES
環境変数を更新します。env - name: STRIMZI_FEATURE_GATES value: +KafkaNodePools
これにより、クラスター Operator が更新されます。
KRaft モードを使用する場合は、
UseKRaft
フィーチャーゲートも有効にします。ノードプールを作成します。
3 つのブローカーの 2 つのノードプールを備えた Kafka クラスターと ZooKeeper クラスターをデプロイするには、次の手順を実行します。
oc apply -f examples/kafka/nodepools/kafka.yaml
デュアルロールノードを使用する単一ノードプールを備えた Kafka クラスターを KRaft モードでデプロイするには、次の手順を実行します。
oc apply -f examples/kafka/nodepools/kafka-with-dual-role-kraft-nodes.yaml
ブローカーノードとコントローラーノードに個別のノードプールを使用して Kafka クラスターを KRaft モードでデプロイするには、次の手順を実行します。
oc apply -f examples/kafka/nodepools/kafka-with-kraft.yaml
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
出力にはノードプール名と準備状況が表示されます
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 my-cluster-pool-a-kafka-0 1/1 Running 0 my-cluster-pool-a-kafka-1 1/1 Running 0 my-cluster-pool-a-kafka-4 1/1 Running 0
-
my-cluster
は Kafka クラスターの名前です。 pool-a
はノードプールの名前です。0
で始まる連続したインデックス番号は、作成された各 Kafka Pod を識別します。ZooKeeper を使用している場合は、ZooKeeper Pod も表示されます。READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。デプロイに関する情報は、プール内のノードの ID のリストなど、
KafkaNodePool
リソースのステータスにも表示されます。注記ノード ID は、クラスター内のすべてのノードプールにわたって 0 (ゼロ) から順番に割り当てられます。これは、ノード ID が特定のノードプール内で連続して実行されない可能性があることを意味します。クラスター全体のノード ID のシーケンスにギャップがある場合、追加される次のノードにはギャップを埋める ID が割り当てられます。スケールダウンすると、プール内で最も大きな数のノード ID を持つノードが削除されます。
-
関連情報
6.3.3. Cluster Operator を使用した Topic Operator のデプロイ
この手順では、Cluster Operator を使用して Topic Operator をデプロイする方法を説明します。Topic Operator は、双方向モードまたは一方向モードのいずれかで使用するためにデプロイメントできます。双方向および一方向のトピック管理の詳細は、「トピック管理モード」 を参照してください。
一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには 、UnidirectionTopicOperator
フィーチャーゲートを有効にする 必要があります。
Kafka
リソースの entityOperator
プロパティーを設定し、topicOperator
が含まれるようにします。デフォルトでは、Topic Operator は Cluster Operator によってデプロイされた Kafka クラスターの namespace で KafkaTopic
リソースを監視します。Topic Operator spec
で watchedNamespace
を使用して namespace を指定することもできます。1 つの Topic Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、Top Operator 1 つのみとします。
AMQ Streams を使用して複数の Kafka クラスターを同じ namespace にデプロイする場合は、1 つの Kafka クラスターに対してのみ Topic Operator を有効にするか、watchedNamespace
プロパティーを使用して Topic Operators が他の namespace を監視するように設定します。
AMQ Streams によって管理されない Kafka クラスターを Topic Operator と使用する場合は、Topic Operator をスタンドアロンコンポーネントとしてデプロイ する必要があります。
entityOperator
および topicOperator
プロパティーの設定に関する詳細は、エンティティー Operator の設定 を参照してください。
手順
Kafka
リソースのentityOperator
プロパティーを編集し、topicOperator
が含まれるようにします。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: #... entityOperator: topicOperator: {} userOperator: {}
EntityTopicOperatorSpec
スキーマ参照 で説明されているプロパティーを使用して、トピック Operatorspec
を設定します。すべてのプロパティーにデフォルト値を使用する場合は、空のオブジェクト (
{}
) を使用します。リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
Pod 名と準備状況が表示される出力
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 # ...
my-cluster
は Kafka クラスターの名前です。READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。
6.3.4. Cluster Operator を使用した User Operator のデプロイ
この手順では、Cluster Operator を使用して User Operator をデプロイする方法を説明します。
Kafka
リソースの entityOperator
プロパティーを設定し、userOperator
が含まれるようにします。デフォルトでは、User Operator は Kafka クラスターデプロイメントの namespace で KafkaUser
リソースを監視します。User Operator spec
で watchedNamespace
を使用して namespace を指定することもできます。1 つの User Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、User Operator 1 つのみとします。
AMQ Streams によって管理されない Kafka クラスターを User Operator と使用する場合は、User Operator をスタンドアロンコンポーネントとしてデプロイ する必要があります。
entityOperator
および userOperator
プロパティーの設定に関する詳細は、エンティティー Operator の設定 を参照してください。
手順
Kafka
リソースのentityOperator
プロパティーを編集し、userOperator
が含まれるようにします。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: #... entityOperator: topicOperator: {} userOperator: {}
EntityUserOperatorSpec
スキーマ参照 に記載されているプロパティーを使用して、User Operator のspec
を設定します。すべてのプロパティーにデフォルト値を使用する場合は、空のオブジェクト (
{}
) を使用します。リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
Pod 名と準備状況が表示される出力
NAME READY STATUS RESTARTS my-cluster-entity-operator 3/3 Running 0 # ...
my-cluster
は Kafka クラスターの名前です。READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。
6.3.5. Kafka クラスターリソースのリスト
以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。
共有リソース
cluster-name-cluster-ca
- クラスター通信の暗号化に使用されるクラスター CA プライベートキーのあるシークレット。
cluster-name-cluster-ca-cert
- クラスター CA 公開鍵のあるシークレット。このキーは、Kafka ブローカーのアイデンティティーの検証に使用できます。
cluster-name-clients-ca
- ユーザー証明書に署名するために使用されるクライアント CA 秘密鍵のあるシークレット。
cluster-name-clients-ca-cert
- クライアント CA 公開鍵のあるシークレット。このキーは、Kafka ユーザーのアイデンティティーの検証に使用できます。
cluster-name-cluster-operator-certs
- Kafka および ZooKeeper と通信するための Cluster Operator キーのあるシークレット。
ZooKeeper ノード
cluster-name-zookeeper
以下の ZooKeeper リソースに指定された名前。
- ZooKeeper ノード Pod を管理するための StrimziPodSet。
- ZooKeeper ノードで使用されるサービスアカウント。
- ZooKeeper ノードに設定された PodDisruptionBudget。
cluster-name-zookeeper-idx
- StrimziPodSet によって作成された Pod。
cluster-name-zookeeper-nodes
- DNS が ZooKeeper Pod の IP アドレスを直接解決するのに必要なヘッドレスサービス。
cluster-name-zookeeper-client
- Kafka ブローカーがクライアントとして ZooKeeper ノードに接続するために使用するサービス。
cluster-name-zookeeper-config
- ZooKeeper 補助設定が含まれ、ZooKeeper ノード Pod によってボリュームとしてマウントされる ConfigMap。
cluster-name-zookeeper-nodes
- ZooKeeper ノードキーがあるシークレット。
cluster-name-network-policy-zookeeper
- ZooKeeper サービスへのアクセスを管理するネットワークポリシー。
data-cluster-name-zookeeper-idx
-
ZooKeeper ノード Pod
idx
のデータを保存するために使用されるボリュームの永続ボリューム要求です。このリソースは、データを保存するために永続ボリュームのプロビジョニングに永続ストレージが選択された場合のみ作成されます。
Kafka ブローカー
cluster-name-kafka
以下の Kafka リソースに指定された名前。
- Kafka ブローカー Pod を管理するための StrimziPodSet。
- Kafka Pod によって使用されるサービスアカウント。
- Kafka ブローカーに設定された PodDisruptionBudget。
cluster-name-kafka-idx
以下の Kafka リソースに指定された名前。
- StrimziPodSet によって作成された Pod。
- Kafka ブローカー設定を使用した ConfigMap。
cluster-name-kafka-brokers
- DNS が Kafka ブローカー Pod の IP アドレスを直接解決するのに必要なサービス。
cluster-name-kafka-bootstrap
- サービスは、OpenShift クラスター内から接続する Kafka クライアントのブートストラップサーバーとして使用できます。
cluster-name-kafka-external-bootstrap
-
OpenShift クラスター外部から接続するクライアントのブートストラップサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。リスナー名が
external
でポートが9094
の場合、後方互換性のために古いサービス名が使用されます。 cluster-name-kafka-pod-id
-
トラフィックを OpenShift クラスターの外部から個別の Pod にルーティングするために使用されるサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。リスナー名が
external
でポートが9094
の場合、後方互換性のために古いサービス名が使用されます。 cluster-name-kafka-external-bootstrap
-
OpenShift クラスターの外部から接続するクライアントのブートストラップルート。このリソースは、外部リスナーが有効でタイプが
route
に設定されている場合にのみ作成されます。リスナー名がexternal
でポートが9094
の場合、後方互換性のために古いルート名が使用されます。 cluster-name-kafka-pod-id
-
OpenShift クラスターの外部から個別の Pod へのトラフィックに対するルート。このリソースは、外部リスナーが有効でタイプが
route
に設定されている場合にのみ作成されます。リスナー名がexternal
でポートが9094
の場合、後方互換性のために古いルート名が使用されます。 cluster-name-kafka-listener-name-bootstrap
- OpenShift クラスター外部から接続するクライアントのブートストラップサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。新しいサービス名はその他すべての外部リスナーに使用されます。
cluster-name-kafka-listener-name-pod-id
- トラフィックを OpenShift クラスターの外部から個別の Pod にルーティングするために使用されるサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。新しいサービス名はその他すべての外部リスナーに使用されます。
cluster-name-kafka-listener-name-bootstrap
-
OpenShift クラスターの外部から接続するクライアントのブートストラップルート。このリソースは、外部リスナーが有効でタイプが
route
に設定されている場合にのみ作成されます。新しいルート名はその他すべての外部リスナーに使用されます。 cluster-name-kafka-listener-name-pod-id
-
OpenShift クラスターの外部から個別の Pod へのトラフィックに対するルート。このリソースは、外部リスナーが有効でタイプが
route
に設定されている場合にのみ作成されます。新しいルート名はその他すべての外部リスナーに使用されます。 cluster-name-kafka-config
-
Kafka の補助設定を含む ConfigMap。
UseStrimziPodSets
フィーチャーゲートが無効な場合、ブローカー Pod によってボリュームとしてマウントされます。 cluster-name-kafka-brokers
- Kafka ブローカーキーのあるシークレット。
cluster-name-network-policy-kafka
- Kafka サービスへのアクセスを管理するネットワークポリシー。
strimzi-namespace-name-cluster-name-kafka-init
- Kafka ブローカーによって使用されるクラスターロールバインディング。
cluster-name-jmx
- Kafka ブローカーポートのセキュア化に使用される JMX ユーザー名およびパスワードのあるシークレット。このリソースは、Kafka で JMX が有効になっている場合にのみ作成されます。
data-cluster-name-kafka-idx
-
Kafka ブローカー Pod
idx
のデータを保存するために使用されるボリュームの永続ボリューム要求です。このリソースは、データを保存するために永続ボリュームのプロビジョニングに永続ストレージが選択された場合のみ作成されます。 data-id-cluster-name-kafka-idx
-
Kafka ブローカー Pod
idx
のデータを保存するために使用されるボリュームid
の永続ボリューム要求です。このリソースは、永続ボリュームをプロビジョニングしてデータを保存するときに、JBOD ボリュームに永続ストレージが選択された場合のみ作成されます。
Entitiy Operator
これらのリソースは、Cluster Operator を使用して Entity Operator がデプロイされる場合にのみ作成されます。
cluster-name-entity-operator
以下の Entity Operator リソースに指定された名前:
- Topic および User Operator とのデプロイメント。
- Entity Operator によって使用されるサービスアカウント。
- Entity Operator メトリックへのアクセスを管理するネットワークポリシー。
cluster-name-entity-operator-random-string
- Entity Operator デプロイメントによって作成された Pod。
cluster-name-entity-topic-operator-config
- Topic Operator の補助設定のある ConfigMap。
cluster-name-entity-user-operator-config
- User Operator の補助設定のある ConfigMap。
cluster-name-entity-topic-operator-certs
- Kafka および ZooKeeper と通信するための Topic Operator キーのあるシークレット。
cluster-name-entity-user-operator-certs
- Kafka および ZooKeeper と通信するための User Operator キーのあるシークレット。
strimzi-cluster-name-entity-topic-operator
- Entity Topic Operator によって使用されるロールバインディング。
strimzi-cluster-name-entity-user-operator
- Entity User Operator によって使用されるロールバインディング。
Kafka Exporter
これらのリソースは、Cluster Operator を使用して Kafka Exporter がデプロイされる場合にのみ作成されます。
cluster-name-kafka-exporter
以下の Kafka Exporter リソースに指定された名前。
- Kafka Exporter でのデプロイメント。
- コンシューマーラグメトリックの収集に使用されるサービス。
- Kafka Exporter によって使用されるサービスアカウント。
- Kafka Exporter メトリックへのアクセスを管理するネットワークポリシー。
cluster-name-kafka-exporter-random-string
- Kafka Exporter デプロイメントによって作成された Pod。
Cruise Control
これらのリソースは、Cluster Operator を使用して Cruise Control がデプロイされた場合のみ作成されます。
cluster-name-cruise-control
以下の Cruise Control リソースに指定された名前。
- Cruise Control でのデプロイメント。
- Cruise Control との通信に使用されるサービス。
- Cruise Control によって使用されるサービスアカウント。
cluster-name-cruise-control-random-string
- Cruise Control デプロイメントによって作成された Pod。
cluster-name-cruise-control-config
- Cruise Control の補助設定が含まれ、Cruise Control Pod によってボリュームとしてマウントされる ConfigMap。
cluster-name-cruise-control-certs
- Kafka および ZooKeeper と通信するための Cruise Control キーのあるシークレット。
cluster-name-network-policy-cruise-control
- Cruise Control サービスへのアクセスを管理するネットワークポリシー。
6.4. Kafka Connect のデプロイ
Kafka Connect は、コネクタープラグインを使用して Kafka ブローカーと他のシステムの間でデータをストリーミングする統合ツールです。Kafka Connect は、Kafka と、データベースやメッセージングシステムなどの外部データソースまたはターゲットを統合するためのフレームワークを提供し、コネクターを使用してデータをインポートまたはエクスポートします。コネクターは、必要な接続設定を提供するプラグインです。
AMQ Streams では、Kafka Connect は分散 (distributed) モードでデプロイされます。Kafka Connect はスタンドアロンモードでも動作しますが、AMQ Streams ではサポートされません。
Kafka Connect は、コネクター の概念を使用し、スケーラビリティーと信頼性を維持しながら Kafka クラスターで大量のデータを移動するフレームワークを提供します。
Cluster Operator は、KafkaConnect
リソースを使用してデプロイされた Kafka Connect クラスターと、KafkaConnector
リソースを使用して作成されたコネクターを管理します。
Kafka Connect を使用するには、次のことを行う必要があります。
コネクター という用語は、Kafka Connect クラスター内で実行されているコネクターインスタンスや、コネクタークラスと同じ意味で使用されます。本ガイドでは、本文の内容で意味が明確である場合に コネクター という用語を使用します。
6.4.1. Kafka Connect の OpenShift クラスターへのデプロイ
この手順では、Cluster Operator を使用して Kafka Connect クラスターを OpenShift クラスターにデプロイする方法を説明します。
Kafka Connect クラスターのデプロイメントは、コネクターのワークロードを タスク として分散する設定可能な数のノード (ワーカー とも呼ばれます) を使用して実装されるため、メッセージフローのスケーラビリティと信頼性が高くなります。
デプロイメントでは、YAML ファイルの仕様を使用して KafkaConnect
リソースが作成されます。
AMQ Streams には、設定ファイルのサンプル が用意されています。この手順では、以下のサンプルファイルを使用します。
-
examples/connect/kafka-connect.yaml
手順
Kafka Connect を OpenShift クラスターにデプロイします。
examples/connect/kafka-connect.yaml
ファイルを使用して Kafka Connect をデプロイします。oc apply -f examples/connect/kafka-connect.yaml
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
デプロイメント名と準備状態が表示されている出力
NAME READY STATUS RESTARTS my-connect-cluster-connect-<pod_id> 1/1 Running 0
my-connect-cluster
は、Kafka Connect クラスターの名前です。Pod ID は、作成された各 Pod を識別します。
デフォルトのデプロイでは、単一の Kafka Connect Pod を作成します。
READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。
6.4.2. 複数のインスタンス用の Kafka Connect の設定
Kafka Connect のインスタンスを複数実行している場合は、以下の config
プロパティーのデフォルト設定を変更する必要があります。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect spec: # ... config: group.id: connect-cluster 1 offset.storage.topic: connect-cluster-offsets 2 config.storage.topic: connect-cluster-configs 3 status.storage.topic: connect-cluster-status 4 # ... # ...
group.id
が同じすべての Kafka Connect インスタンスで、これら 3 つのトピックの値を揃える必要があります。
デフォルト設定を変更しない限り、同じ Kafka クラスターに接続する Kafka Connect インスタンスはそれぞれ同じ値でデプロイされます。事実上、すべてのインスタンスが結合されてクラスターで実行されて同じトピックを使用するようになります。
複数の Kafka Connect クラスターが同じトピックの使用を試みると、Kafka Connect は想定どおりに動作せず、エラーが生成されます。
複数の Kafka Connect インスタンスを実行する場合は、インスタンスごとにこれらのプロパティーの値を変更してください。
6.4.3. コネクターの追加
Kafka Connect はコネクターを使用して他のシステムと統合し、データをストリーミングします。コネクターは Kafka Connector
クラスのインスタンスであり、次のいずれかのタイプになります。
- ソースコネクター
- ソースコネクターは、外部システムからデータを取得し、それをメッセージとして Kafka に提供するランタイムエンティティーです。
- シンクコネクター
- シンクコネクターは、Kafka トピックからメッセージを取得し、外部システムに提供するランタイムエンティティーです。
Kafka Connect はプラグインアーキテクチャーを使用して、コネクターの実装アーティファクトを提供します。プラグインは他のシステムへの接続を可能にし、データを操作するための追加の設定を提供します。プラグインには、コネクターや、データコンバーターや変換などの他のコンポーネントが含まれます。コネクターは、特定のタイプの外部システムで動作します。各コネクターは、その設定のスキーマを定義します。設定を Kafka Connect に指定して、Kafka Connect 内にコネクターインスタンス を作成します。次に、コネクターインスタンスは、システム間でデータを移動するための一連のタスクを定義します。
次のいずれかの方法で、コネクタープラグインを Kafka Connect に追加します。
コンテナーイメージにプラグインを追加したら、次の方法でコネクターインスタンスを開始、停止、および管理できます。
これらのオプションを使用して、新しいコネクターインスタンスを作成することもできます。
6.4.3.1. コネクタープラグインを使用して新しいコンテナーイメージを自動的に構築する
AMQ Streams が追加のコネクターを使用して新しいコンテナーイメージを自動的に構築するように、Kafka Connect を設定します。コネクタープラグインは、KafkaConnect
カスタムリソースの .spec.build.plugins
プロパティーを使用して定義します。AMQ Streams はコネクタープラグインを自動的にダウンロードし、新しいコンテナーイメージに追加します。コンテナーは、.spec.build.output
に指定されたコンテナーリポジトリーにプッシュされ、Kafka Connect デプロイメントで自動的に使用されます。
前提条件
- Cluster Operator がデプロイされている。
- コンテナーレジストリー。
イメージをプッシュ、保存、およびプルできる独自のコンテナーレジストリーを提供する必要があります。AMQ Streams は、プライベートコンテナーレジストリーだけでなく、Quay や Docker Hub などのパブリックレジストリーもサポートします。
手順
.spec.build.output
でコンテナーレジストリーを、.spec.build.plugins
で追加のコネクターを指定して、KafkaConnect
カスタムリソースを設定します。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: 1 #... build: output: 2 type: docker image: my-registry.io/my-org/my-connect-cluster:latest pushSecret: my-registry-credentials plugins: 3 - name: debezium-postgres-connector artifacts: - type: tgz url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/2.1.3.Final/debezium-connector-postgres-2.1.3.Final-plugin.tar.gz sha512sum: c4ddc97846de561755dc0b021a62aba656098829c70eb3ade3b817ce06d852ca12ae50c0281cc791a5a131cb7fc21fb15f4b8ee76c6cae5dd07f9c11cb7c6e79 - name: camel-telegram artifacts: - type: tgz url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.11.5/camel-telegram-kafka-connector-0.11.5-package.tar.gz sha512sum: d6d9f45e0d1dbfcc9f6d1c7ca2046168c764389c78bc4b867dab32d24f710bb74ccf2a007d7d7a8af2dfca09d9a52ccbc2831fc715c195a3634cca055185bd91 #...
リソースを作成または更新します。
$ oc apply -f <kafka_connect_configuration_file>
- 新しいコンテナーイメージがビルドされ、Kafka Connect クラスターがデプロイされるまで待ちます。
-
Kafka Connect REST API または
KafkaConnector
カスタムリソースを使用して、追加したコネクタープラグインを使用します。
6.4.3.2. Kafka Connect ベースイメージからコネクタープラグインを使用して新しいコンテナーイメージを構築する
Kafka Connect ベースイメージからコネクタープラグインを使用してカスタム Docker イメージを作成するカスタムイメージを /opt/kafka/plugins
ディレクトリーに追加します。
Red Hat Ecosystem Catalog の Kafka コンテナーイメージは、追加のコネクタープラグインで独自のカスタムイメージを作成するためのベースイメージとして使用できます。
AMQ Stream バージョンの Kafka Connect は起動時に、/opt/kafka/plugins
ディレクトリーに含まれるサードパーティーのコネクタープラグインをロードします。
手順
ベースイメージとして
registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
を使用して、新しいDockerfile
を作成します。FROM registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 USER root:root COPY ./my-plugins/ /opt/kafka/plugins/ USER 1001
プラグインファイルの例
$ tree ./my-plugins/ ./my-plugins/ ├── debezium-connector-mongodb │ ├── bson-<version>.jar │ ├── CHANGELOG.md │ ├── CONTRIBUTE.md │ ├── COPYRIGHT.txt │ ├── debezium-connector-mongodb-<version>.jar │ ├── debezium-core-<version>.jar │ ├── LICENSE.txt │ ├── mongodb-driver-core-<version>.jar │ ├── README.md │ └── # ... ├── debezium-connector-mysql │ ├── CHANGELOG.md │ ├── CONTRIBUTE.md │ ├── COPYRIGHT.txt │ ├── debezium-connector-mysql-<version>.jar │ ├── debezium-core-<version>.jar │ ├── LICENSE.txt │ ├── mysql-binlog-connector-java-<version>.jar │ ├── mysql-connector-java-<version>.jar │ ├── README.md │ └── # ... └── debezium-connector-postgres ├── CHANGELOG.md ├── CONTRIBUTE.md ├── COPYRIGHT.txt ├── debezium-connector-postgres-<version>.jar ├── debezium-core-<version>.jar ├── LICENSE.txt ├── postgresql-<version>.jar ├── protobuf-java-<version>.jar ├── README.md └── # ...
COPY コマンドは、コンテナーイメージにコピーするプラグインファイルを指します。
この例では、Debezium コネクター (MongoDB、MySQL、および PostgreSQL) のプラグインを追加しますが、簡潔にするためにすべてのファイルがリストされているわけではありません。Kafka Connect で実行されている Debezium は、他の Kafka Connect タスクと同じように表示されます。
- コンテナーイメージをビルドします。
- カスタムイメージをコンテナーレジストリーにプッシュします。
新しいコンテナーイメージを示します。
次のいずれかの方法でイメージを指定できます。
KafkaConnect
カスタムリソースのKafkaConnect.spec.image
プロパティーを編集します。設定されている場合、このプロパティーは Cluster Operator の
STRIMZI_KAFKA_CONNECT_IMAGES
環境変数をオーバーライドします。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: 1 #... image: my-new-container-image 2 config: 3 #...
-
install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
ファイルのSTRIMZI_KAFKA_CONNECT_IMAGES
環境変数を編集して、新しいコンテナーイメージを指すようにし、Cluster Operator を再インストールします。
6.4.3.3. KafkaConnector リソースのデプロイ
コネクターを管理するために KafkaConnector
リソースをデプロイします。KafkaConnector
カスタムリソースは、Cluster Operator によるコネクターの管理に OpenShift ネイティブのアプローチを提供します。Kafka Connect REST API のように、コネクターを管理するために HTTP 要求を送信する必要はありません。該当する KafkaConnector
リソースを更新して稼働中のコネクターインスタンスを管理した後、更新を適用します。Cluster Operator は、実行中のコネクターインスタンスの設定を更新します。該当する KafkaConnector
を削除して、コネクターを削除します。
KafkaConnector
リソースは、リンク先の Kafka Connect クラスターと同じ namespace にデプロイする必要があります。
この手順で示す設定では、autoRestart
プロパティーが true
に設定されています。失敗したコネクターとタスクの自動再起動を有効にします。再起動は最大 7 回試行され、その後は手動で再起動する必要があります。KafkaConnector
リソースにアノテーションを付けて、コネクターを 再起動する か コネクタータスク を手動で再起動します。
コネクターの例
独自のコネクターを使用するか、AMQ Streams が提供する例を試すことができます。Apache Kafka 3.1.0 までは、サンプルファイルコネクタープラグインが Apache Kafka に含まれていました。Apache Kafka の 3.1.1 および 3.2.0 リリースから、例を他のコネクターと同様にプラグインパスに追加する必要があります。
AMQ Streams は、サンプルファイルコネクタープラグイン用の サンプル KafkaConnector
設定ファイル (examples/connect/source-connector.yaml
) を提供します。これにより、次のコネクターインスタンスが KafkaConnector
リソースとして作成されます。
-
Kafka ライセンスファイル (ソース) から各行を読み取り、データをメッセージとして単一の Kafka トピックに書き込む
FileStreamSourceConnector
インスタンス。 -
Kafka トピックからメッセージを読み取り、メッセージを一時ファイル (シンク) に書き込む
FileStreamSinkConnector
インスタンス。
この手順では、サンプルファイルを使用してコネクターを作成します。
サンプルコネクターは、運用環境での使用を意図したものではありません。
前提条件
- Kafka Connect デプロイメント。
- Cluster Operator が稼働している。
手順
次のいずれかの方法で、
FileStreamSourceConnector
およびFileStreamSinkConnector
プラグインを Kafka Connect に追加します。Kafka Connect 設定で
strimzi.io/use-connector-resources annotation
をtrue
に設定します。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster annotations: strimzi.io/use-connector-resources: "true" spec: # ...
KafkaConnector
リソースを有効にすると、Cluster Operator はそれらを監視します。examples/connect/source-connector.yaml
ファイルを編集します。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-source-connector 1 labels: strimzi.io/cluster: my-connect-cluster 2 spec: class: org.apache.kafka.connect.file.FileStreamSourceConnector 3 tasksMax: 2 4 autoRestart: 5 enabled: true config: 6 file: "/opt/kafka/LICENSE" 7 topic: my-topic 8 # ...
- 1
- コネクターの名前として使用される
KafkaConnector
リソースの名前。OpenShift リソースで有効な名前を使用します。 - 2
- コネクターインスタンスを作成する Kafka Connect クラスターの名前。コネクターは、リンク先の Kafka Connect クラスターと同じ namespace にデプロイする必要があります。
- 3
- コネクタークラスのフルネームまたはエイリアス。これは、Kafka Connect クラスターによって使用されているイメージに存在するはずです。
- 4
- コネクターが作成できる Kafka Connect タスクの最大数。
- 5
- 失敗したコネクターとタスクの自動再起動を有効にします。
- 6
- キーと値のペアとしての コネクター設定。
- 7
- このサンプルソースコネクター設定では、
/opt/kafka/LICENSE
ファイルからデータが読み取られます。 - 8
- ソースデータのパブリッシュ先となる Kafka トピック。
OpenShift クラスターでソース
KafkaConnector
を作成します。oc apply -f examples/connect/source-connector.yaml
examples/connect/sink-connector.yaml
ファイルを作成します。touch examples/connect/sink-connector.yaml
以下の YAML を
sink-connector.yaml
ファイルに貼り付けます。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-sink-connector labels: strimzi.io/cluster: my-connect spec: class: org.apache.kafka.connect.file.FileStreamSinkConnector 1 tasksMax: 2 config: 2 file: "/tmp/my-file" 3 topics: my-topic 4
OpenShift クラスターにシンク
KafkaConnector
を作成します。oc apply -f examples/connect/sink-connector.yaml
コネクターリソースが作成されたことを確認します。
oc get kctr --selector strimzi.io/cluster=<my_connect_cluster> -o name my-source-connector my-sink-connector
<my_connect_cluster> を Kafka Connect クラスターの名前に置き換えます。
コンテナーで、
kafka -console-consumer.sh
を実行して、ソースコネクターによってトピックに書き込まれたメッセージを読み取ります。oc exec <my_kafka_cluster>-kafka-0 -i -t -- bin/kafka-console-consumer.sh --bootstrap-server <my_kafka_cluster>-kafka-bootstrap.NAMESPACE.svc:9092 --topic my-topic --from-beginning
<my_kafka_cluster> を Kafka クラスターの名前に置き換えます。
ソースおよびシンクコネクターの設定オプション
コネクター設定は、KafkaConnector
リソースの spec.config
プロパティーで定義されます。
FileStreamSourceConnector
クラスおよび FileStreamSinkConnector
クラスは、Kafka Connect REST API と同じ設定オプションをサポートします。他のコネクターは異なる設定オプションをサポートします。
名前 | タイプ | デフォルト値 | 説明 |
---|---|---|---|
| 文字列 | Null | メッセージを書き込むソースファイル。指定のない場合は、標準入力が使用されます。 |
| List | Null | データのパブリッシュ先となる Kafka トピック。 |
名前 | タイプ | デフォルト値 | 説明 |
---|---|---|---|
| 文字列 | Null | メッセージを書き込む宛先ファイル。指定のない場合は標準出力が使用されます。 |
| List | Null | データの読み取り元となる 1 つ以上の Kafka トピック。 |
| 文字列 | Null | データの読み取り元となる 1 つ以上の Kafka トピックと一致する正規表現。 |
6.4.3.4. コネクターの手動再起動
KafkaConnector
リソースを使用してコネクターを管理している場合は、restart
アノテーションを使用してコネクターの再起動を手動でトリガーします。
前提条件
- Cluster Operator が稼働中である。
手順
再起動する Kafka コネクターを制御する
KafkaConnector
カスタムリソースの名前を見つけます。oc get KafkaConnector
OpenShift で
KafkaConnector
リソースにアノテーションを付けて、コネクターを再起動します。oc annotate KafkaConnector <kafka_connector_name> strimzi.io/restart=true
restart
アノテーションはtrue
に設定されています。次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。
アノテーションが調整プロセスで検出されれば、Kafka コネクターは再起動されます。Kafka Connect が再起動リクエストを受け入れると、アノテーションは
KafkaConnector
カスタムリソースから削除されます。
6.4.3.5. Kafka コネクタータスクを手動で再起動する
KafkaConnector
リソースを使用してコネクターを管理している場合は、restart-task
アノテーションを使用して、コネクタータスクの再起動を手動でトリガーします。
前提条件
- Cluster Operator が稼働中である。
手順
再起動する Kafka コネクタータスクを制御する
KafkaConnector
カスタムリソースの名前を見つけます。oc get KafkaConnector
KafkaConnector
カスタムリソースから再起動するタスクの ID を検索します。タスク ID は、0 から始まる非負の整数です。oc describe KafkaConnector <kafka_connector_name>
OpenShift で
KafkaConnector
リソースにアノテーションを付けて、ID を使用してコネクタータスクを再開します。oc annotate KafkaConnector <kafka_connector_name> strimzi.io/restart-task=0
この例では、タスク
0
が再起動されます。次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。
アノテーションが調整プロセスで検出されれば、Kafka コネクタータスクは再起動されます。Kafka Connect が再起動リクエストを受け入れると、アノテーションは
KafkaConnector
カスタムリソースから削除されます。
6.4.3.6. Kafka Connect API の公開
KafkaConnector
リソースを使用してコネクターを管理する代わりに、Kafka Connect REST API を使用します。Kafka Connect REST API は、<connect_cluster_name>-connect-api:8083
で実行しているサービスとして利用できます。ここで、<connect_cluster_name> は、お使いの Kafka Connect クラスターの名前になります。サービスは、Kafka Connect インスタンスの作成時に作成されます。
Kafka Connect REST API でサポートされる操作は、Apache Kafka Connect API のドキュメント で説明されています。
strimzi.io/use-connector-resources
アノテーションは KafkaConnectors を有効にします。アノテーションを KafkaConnect
リソース設定に適用した場合、そのアノテーションを削除して Kafka Connect API を使用する必要があります。それ以外の場合、Kafka Connect REST API を使用して直接行われた手動による変更は、 Cluster Operator によって元に戻されます。
コネクター設定を JSON オブジェクトとして追加できます。
コネクター設定を追加するための curl 要求の例
curl -X POST \ http://my-connect-cluster-connect-api:8083/connectors \ -H 'Content-Type: application/json' \ -d '{ "name": "my-source-connector", "config": { "connector.class":"org.apache.kafka.connect.file.FileStreamSourceConnector", "file": "/opt/kafka/LICENSE", "topic":"my-topic", "tasksMax": "4", "type": "source" } }'
API には OpenShift クラスター内でのみアクセスできます。OpenShift クラスター外部で実行しているアプリケーションに Kafka Connect API がアクセスできるようにする場合は、以下の機能のいずれかを使用して Kafka Connect API を手動で公開できます。
-
LoadBalancer
またはNodePort
タイプのサービス -
Ingress
リソース (Kubernetes のみ) - OpenShift ルート (OpenShift のみ)
接続はセキュアではないため、外部からのアクセスはよく考えてから許可してください。
サービスを作成する場合には、<connect_cluster_name>-connect-api
サービスの selector
からラベルを使用して、サービスがトラフィックをルーティングする Pod を設定します。
サービスのセレクター設定
# ... selector: strimzi.io/cluster: my-connect-cluster 1 strimzi.io/kind: KafkaConnect strimzi.io/name: my-connect-cluster-connect 2 #...
また、外部クライアントからの HTTP 要求を許可する NetworkPolicy
を作成する必要もあります。
Kafka Connect API への要求を許可する NetworkPolicy の例
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: my-custom-connect-network-policy
spec:
ingress:
- from:
- podSelector: 1
matchLabels:
app: my-connector-manager
ports:
- port: 8083
protocol: TCP
podSelector:
matchLabels:
strimzi.io/cluster: my-connect-cluster
strimzi.io/kind: KafkaConnect
strimzi.io/name: my-connect-cluster-connect
policyTypes:
- Ingress
- 1
- API への接続が許可される Pod のラベル。
クラスター外でコネクター設定を追加するには、curl コマンドで API を公開するリソースの URL を使用します。
6.4.3.7. Kafka Connect API へのアクセスの制限
Kafka Connect API へのアクセスを信頼できるユーザーのみに制限して、不正なアクションや潜在的なセキュリティーの問題を防ぐことが重要です。Kafka Connect API は、コネクター設定を変更するための広範な機能を提供するため、セキュリティー対策を講じることがさらに重要になります。管理者によりセキュアであると想定されている機密情報が、Kafka Connect API にアクセスできるユーザーに取得されてしまう可能性があります。
Kafka Connect REST API には、OpenShift クラスターへのアクセスが認証されており、ホスト名/IP アドレス、ポート番号など、エンドポイント URL を知っている場合には、アクセスできます。
たとえば、組織が Kafka Connect クラスターとコネクターを使用して、機密データを顧客データベースから中央データベースにストリーミングするとします。管理者は設定プロバイダープラグインを使用して、顧客データベースと中央データベースへの接続に関連する機密情報 (データベース接続の詳細や認証情報など) を保存します。設定プロバイダーは、この機密情報が許可されていないユーザーに公開されるのを防ぎます。ただし、Kafka Connect API にアクセスできるユーザーは、管理者の同意なしに顧客データベースにアクセスできます。これを行うには、偽のデータベースをセットアップし、それに接続するコネクターを設定します。次に、顧客データベースを参照するようにコネクター設定を変更しますが、データを中央データベースに送信する代わりに、偽のデータベースに送信します。偽のデータベースに接続するようにコネクターを設定すると、設定プロバイダーにセキュアに保存されているにもかかわらず、顧客データベースに接続するためのログインの詳細と認証情報が傍受されます。
KafkaConnector
カスタムリソースを使用している場合、デフォルトでは、OpenShift RBAC ルールにより、OpenShift クラスター管理者のみがコネクターに変更を加えることが許可されます。AMQ Streams リソースを管理するクラスター管理者以外のユーザーを指定 することもできます。Kafka Connect 設定で KafkaConnector
リソースを有効にすると、Kafka Connect REST API を使用して直接行われた変更は Cluster Operator によって元に戻されます。KafkaConnector
リソースを使用していない場合、デフォルトの RBAC ルールは Kafka Connect API へのアクセスを制限しません。OpenShift RBAC を使用して Kafka Connect REST API への直接アクセスを制限する場合は、KafkaConnector
リソースを有効にして使用する必要があります。
セキュリティーを強化するために、Kafka Connect API の次のプロパティーを設定することを推奨します。
org.apache.kafka.disallowed.login.modules
(Kafka 3.4 以降)
org.apache.kafka.disallowed.login.modules
Java システムプロパティーを設定して、セキュアではないログインモジュールの使用を防止します。たとえば、com.sun.security.auth.module.JndiLoginModule
を指定すると、KafkaJndiLoginModule
が使用できなくなります。ログインモジュールを禁止する設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster annotations: strimzi.io/use-connector-resources: "true" spec: # ... jvmOptions: javaSystemProperties: - name: org.apache.kafka.disallowed.login.modules value: com.sun.security.auth.module.JndiLoginModule, org.apache.kafka.common.security.kerberos.KerberosLoginModule # ...
信頼できるログインモジュールのみを許可し、使用しているバージョンに対する Kafka からの最新のアドバイスに従ってください。ベストプラクティスとして、
org.apache.kafka.disallowed.login.modules
システムプロパティーを使用して、Kafka Connect 設定でセキュアではないログインモジュールを明示的に禁止する必要があります。connector.client.config.override.policy
connector.client.config.override.policy
プロパティーをNone
に設定して、コネクター設定が Kafka Connect 設定とそれが使用するコンシューマーおよびプロデューサーをオーバーライドしないようにします。コネクターオーバーライドポリシーを指定する設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster annotations: strimzi.io/use-connector-resources: "true" spec: # ... config: connector.client.config.override.policy: None # ...
6.4.3.8. Kafka Connect API の使用から KafkaConnector カスタムリソースの使用への切り替え
Kafka Connect API の使用から KafkaConnector
カスタムリソースの使用に切り替えて、コネクターを管理できます。スイッチの作成は、次の作業を以下の順序で行います。
-
設定で
KafkaConnector
リソースをデプロイし、コネクターインスタンスを作成します。 -
strimzi.io/use-connector-resources
アノテーションをtrue
に設定して、Kafka Connect 設定でKafkaConnector
リソースを有効にします。
作成する前に KafkaConnector
リソースを有効にすると、すべてのコネクターが削除されます。
KafkaConnector
リソースの使用から Kafka Connect API の使用に切り替えるには、最初に KafkaConnector
リソースを有効にするアノテーションを Kafka Connect 設定から削除します。それ以外の場合、Kafka Connect REST API を使用して直接行われた手動による変更は、 Cluster Operator によって元に戻されます。
切り替えを行うときは、KafkaConnect
リソースのステータスを確認 してください。metadata.generation
(デプロイの現在のバージョン) の値は、status.observedGeneration
(リソースの最新の調整) と一致する必要があります。Kafka Connect クラスターが Ready
になったら、KafkaConnector
リソースを削除できます。
6.4.4. Kafka Connect クラスターリソースのリスト
以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。
- connect-cluster-name-connect
次の Kafka Connect リソースに付けられた名前:
-
Kafka Connect ワーカーノード Pod を作成するデプロイメント (
StableConnectIdentities
フィーチャーゲートが無効な場合)。 -
Kafka Connect ワーカーノード Pod を作成する StrimziPodSet (
StableConnectIdentities
フィーチャーゲートが有効な場合)。 -
安定した DNS 名を Connect Pod に提供するヘッドレスサービス (
StableConnectIdentities
フィーチャーゲートが有効な場合)。 - Kafka Connect ワーカーノードに設定された Pod の Disruption Budget。
-
Kafka Connect ワーカーノード Pod を作成するデプロイメント (
- connect-cluster-name-connect-idx
-
Kafka Connect StrimziPodSet によって作成された Pod (
StableConnectIdentities
フィーチャーゲートが有効な場合)。 - connect-cluster-name-connect-api
- Kafka Connect クラスターを管理するために REST インターフェイスを公開するサービス。
- connect-cluster-name-config
- Kafka Connect 補助設定が含まれ、Kafka ブローカー Pod によってボリュームとしてマウントされる ConfigMap。
6.5. Kafka MirrorMaker のデプロイ
Kafka MirrorMaker は、データセンター内またはデータセンター全体の 2 台以上の Kafka クラスター間でデータをレプリケーションします。Kafka パーティションレプリケーションの概念との混同を避けるために、このプロセスはミラーリングと呼ばれます。MirrorMaker は、ソースクラスターからのメッセージを消費し、それらのメッセージをターゲットクラスターに再パブリッシュします。
クラスター間のデータレプリケーションは、以下を必要とするシナリオをサポートします。
- システム障害時のデータの復旧
- 集中分析のための複数のソースクラスターからのデータの統合
- 特定のクラスターへのデータアクセスの制限
- レイテンシーを改善するための特定場所でのデータのプロビジョニング
6.5.1. Kafka MirrorMaker の OpenShift クラスターへのデプロイ
この手順では、Cluster Operator を使用して Kafka MirrorMaker クラスターを OpenShift クラスターにデプロイする方法を説明します。
デプロイメントでは、YAML ファイルの仕様を使用して、デプロイされた MirrorMaker のバージョンに応じて KafkaMirrorMaker
または KafkaMirrorMaker2
リソースが作成されます。
Kafka MirrorMaker 1 (ドキュメントでは単に MirrorMaker と呼ばれる) は Apache Kafka 3.0.0 で非推奨となり、Apache Kafka 4.0.0 で削除されます。そのため、Kafka MirrorMaker 1 のデプロイに使用される KafkaMirrorMaker
カスタムリソースも、AMQ Streams で非推奨となりました。Apache Kafka 4.0.0 を導入すると、KafkaMirrorMaker
リソースは AMQ Streams から削除されます。代わりに、IdentityReplicationPolicy
で KafkaMirrorMaker2
カスタムリソースを使用します。
AMQ Streams には、設定ファイルのサンプル が用意されています。この手順では、以下のサンプルファイルを使用します。
-
examples/mirror-maker/kafka-mirror-maker.yaml
-
examples/mirror-maker/kafka-mirror-maker-2.yaml
手順
Kafka MirrorMaker を OpenShift クラスターにデプロイします。
MirrorMaker の場合
oc apply -f examples/mirror-maker/kafka-mirror-maker.yaml
MirrorMaker 2 の場合:
oc apply -f examples/mirror-maker/kafka-mirror-maker-2.yaml
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
デプロイメント名と準備状態が表示されている出力
NAME READY STATUS RESTARTS my-mirror-maker-mirror-maker-<pod_id> 1/1 Running 1 my-mm2-cluster-mirrormaker2-<pod_id> 1/1 Running 1
my-mirror-maker
は、Kafka MirrorMaker クラスターの名前です。my-mm2-cluster
は、Kafka MirrorMaker 2 クラスターの名前です。Pod ID は、作成された各 Pod を識別します。
デフォルトのデプロイメントでは、単一の MirrorMaker または MirrorMaker 2 Pod をインストールします。
READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。
6.5.2. Kafka MirrorMaker クラスターリソースのリスト
以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。
- <mirror-maker-name>-mirror-maker
- Kafka MirrorMaker Pod の作成を担当するデプロイメント。
- <mirror-maker-name>-config
- Kafka MirrorMaker の補助設定が含まれ、Kafka ブローカー Pod によってボリュームとしてマウントされる ConfigMap。
- <mirror-maker-name>-mirror-maker
- Kafka MirrorMaker ワーカーノードに設定された Pod の Disruption Budget。
6.6. Kafka ブリッジのデプロイ
Kafka Bridge には、HTTP ベースのクライアントと Kafka クラスターを統合する API が含まれています。
6.6.1. Kafka Bridge を OpenShift クラスターへデプロイ
この手順では、Cluster Operator を使用して Kafka Bridge クラスターを OpenShift クラスターにデプロイする方法を説明します。
デプロイメントでは、YAML ファイルの仕様を使用して KafkaBridge
リソースが作成されます。
AMQ Streams には、設定ファイルのサンプル が用意されています。この手順では、以下のサンプルファイルを使用します。
-
examples/bridge/kafka-bridge.yaml
手順
Kafka Bridge を OpenShift クラスターにデプロイします。
oc apply -f examples/bridge/kafka-bridge.yaml
デプロイメントのステータスを確認します。
oc get pods -n <my_cluster_operator_namespace>
デプロイメント名と準備状態が表示されている出力
NAME READY STATUS RESTARTS my-bridge-bridge-<pod_id> 1/1 Running 0
my-bridge
は、Kafka Bridge クラスターの名前です。Pod ID は、作成された各 Pod を識別します。
デフォルトのデプロイメントでは、単一の Kafka Bridge Pod をインストールします。
READY
は、Ready/expected 状態のレプリカ数を表示します。STATUS
がRunning
と表示されれば、デプロイメントは成功です。
6.6.2. Kafka Bridge サービスのローカルマシンへの公開
ポート転送を使用して AMQ Streams の Kafka Bridge サービスを http://localhost:8080 上でローカルマシンに公開します。
ポート転送は、開発およびテストの目的でのみ適切です。
手順
OpenShift クラスターの Pod の名前をリストします。
oc get pods -o name pod/kafka-consumer # ... pod/my-bridge-bridge-<pod_id>
ポート
8080
で Kafka Bridge Pod に接続します。oc port-forward pod/my-bridge-bridge-<pod_id> 8080:8080 &
注記ローカルマシンのポート 8080 がすでに使用中の場合は、代わりの HTTP ポート (
8008
など) を使用します。
これで、API リクエストがローカルマシンのポート 8080 から Kafka Bridge Pod のポート 8080 に転送されるようになります。
6.6.3. OpenShift 外部の Kafka Bridge へのアクセス
デプロイメント後、AMQ Streams Kafka Bridge には同じ OpenShift クラスターで実行しているアプリケーションのみがアクセスできます。これらのアプリケーションは、<kafka_bridge_name>-bridge-service
サービスを使用して API にアクセスします。
OpenShift クラスター外部で実行しているアプリケーションに Kafka Bridge がアクセスできるようにする場合は、以下の機能のいずれかを作成して Kafka Bridge を手動で公開できます。
-
LoadBalancer
またはNodePort
タイプのサービス -
Ingress
リソース (Kubernetes のみ) - OpenShift ルート (OpenShift のみ)
サービスを作成する場合には、<kafka_bridge_name>-bridge-service
サービスの selector
からラベルを使用して、サービスがトラフィックをルーティングする Pod を設定します。
# ...
selector:
strimzi.io/cluster: kafka-bridge-name 1
strimzi.io/kind: KafkaBridge
#...
- 1
- OpenShift クラスターでの Kafka Bridge カスタムリソースの名前。
6.6.4. Kafka Bridge クラスターリソースのリスト
以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。
- bridge-cluster-name-bridge
- Kafka Bridge ワーカーノード Pod の作成を担当するデプロイメント。
- bridge-cluster-name-bridge-service
- Kafka Bridge クラスターの REST インターフェイスを公開するサービス。
- bridge-cluster-name-bridge-config
- Kafka Bridge の補助設定が含まれ、Kafka ブローカー Pod によってボリュームとしてマウントされる ConfigMap。
- bridge-cluster-name-bridge
- Kafka Bridge ワーカーノードに設定された Pod の Disruption Budget。
6.7. AMQ Streams Operator の代替のスタンドアロンデプロイメントオプション
Topic Operator および User Operator のスタンドアロンデプロイメントを実行できます。Cluster Operator によって管理されない Kafka クラスターを使用している場合は、これらの Operator のスタンドアロンデプロイメントを検討してください。
Operator を OpenShift にデプロイします。Kafka は OpenShift 外で実行できます。たとえば、Kafka をマネージドサービスとして使用する場合があります。スタンドアロン Operator のデプロイメント設定を調整し、Kafka クラスターのアドレスと一致するようにします。
6.7.1. スタンドアロン Topic Operator のデプロイ
この手順では、Topic Operator をトピック管理のスタンドアロンコンポーネントとしてデプロイする方法を説明します。スタンドアロン Topic Operator を Cluster Operator によって管理されない Kafka クラスターと使用できます。
スタンドアロンデプロイメントは、任意の Kafka クラスターで操作できます。
スタンドアロンデプロイメントファイルは AMQ Streams で提供されます。05-Deployment-strimzi-topic-operator.yaml
デプロイメントファイルを使用して、Topic Operator をデプロイします。Kafka クラスターへの接続に必要な環境変数を追加または設定します。
Topic Operator は、単一の namespace で KafkaTopic
リソースを監視します。Topic Operator 設定で、監視する namespace と Kafka クラスターへの接続を指定します。1 つの Topic Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、Top Operator 1 つのみとします。複数の Topic Operator を使用する場合は、それぞれが異なる namespace を監視するように設定します。このようにして、Topic Operator を複数の Kafka クラスターで使用できます。
前提条件
Topic Operator の接続先となる Kafka クラスターを実行している。
スタンドアロンの Topic Operator が接続用に正しく設定されている限り、Kafka クラスターはベアメタル環境、仮想マシン、またはマネージドクラウドアプリケーションサービスで実行できます。
手順
install/topic-operator/05-Deployment-strimzi-topic-operator.yaml
スタンドアロンデプロイメントファイルのenv
プロパティーを編集します。スタンドアロンの Topic Operator デプロイメント設定の例
apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-topic-operator labels: app: strimzi spec: # ... template: # ... spec: # ... containers: - name: strimzi-topic-operator # ... env: - name: STRIMZI_NAMESPACE 1 valueFrom: fieldRef: fieldPath: metadata.namespace - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS 2 value: my-kafka-bootstrap-address:9092 - name: STRIMZI_RESOURCE_LABELS 3 value: "strimzi.io/cluster=my-cluster" - name: STRIMZI_ZOOKEEPER_CONNECT 4 value: my-cluster-zookeeper-client:2181 - name: STRIMZI_ZOOKEEPER_SESSION_TIMEOUT_MS 5 value: "18000" - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS 6 value: "120000" - name: STRIMZI_TOPIC_METADATA_MAX_ATTEMPTS 7 value: "6" - name: STRIMZI_LOG_LEVEL 8 value: INFO - name: STRIMZI_TLS_ENABLED 9 value: "false" - name: STRIMZI_JAVA_OPTS 10 value: "-Xmx=512M -Xms=256M" - name: STRIMZI_JAVA_SYSTEM_PROPERTIES 11 value: "-Djavax.net.debug=verbose -DpropertyName=value" - name: STRIMZI_PUBLIC_CA 12 value: "false" - name: STRIMZI_TLS_AUTH_ENABLED 13 value: "false" - name: STRIMZI_SASL_ENABLED 14 value: "false" - name: STRIMZI_SASL_USERNAME 15 value: "admin" - name: STRIMZI_SASL_PASSWORD 16 value: "password" - name: STRIMZI_SASL_MECHANISM 17 value: "scram-sha-512" - name: STRIMZI_SECURITY_PROTOCOL 18 value: "SSL"
- 1
KafkaTopic
リソースを監視する Topic Operator の OpenShift namespace。Kafka クラスターの namespace を指定します。- 2
- Kafka クラスターのすべてのブローカーを検出し、接続するブートストラップブローカーアドレスのホストとポートのペア。サーバーがダウンした場合に備えて、コンマ区切りリストを使用して 2 つまたは 3 つのブローカーアドレスを指定します。
- 3
- Topic Operator によって管理される
KafkaTopic
リソースを識別するラベル。これは、Kafka クラスターの名前である必要はありません。KafkaTopic
リソースに割り当てられたラベルにすることができます。複数の Topic Operator をデプロイする場合、ラベルはそれぞれに一意である必要があります。つまり、Operator は同じリソースを管理できません。 - 4
- (ZooKeeper) ZooKeeper クラスターに接続するためのアドレスのホストおよびポートのペア。これは、Kafka クラスターが使用する ZooKeeper クラスターと同じである必要があります。
- 5
- (ZooKeeper) ZooKeeper セッションのタイムアウト (ミリ秒単位)。デフォルトは
18000
(18 秒) です。 - 6
- 定期的な調整の間隔 (秒単位)。デフォルトは
120000
(2 分) です。 - 7
- Kafka からトピックメタデータの取得を試行する回数。各試行の間隔は、指数バックオフとして定義されます。パーティションまたはレプリカの数が原因で、トピックの作成に時間がかかる場合は、この値を大きくすることを検討してください。デフォルトの試行回数は
6
回です。 - 8
- ロギングメッセージの出力レベル。レベルを、
ERROR
、WARNING
、INFO
、DEBUG
、またはTRACE
に設定できます。 - 9
- Kafka ブローカーとの暗号化された通信の TLS サポートを有効にします。
- 10
- (任意) Topic Operator を実行する JVM に使用される Java オプション。
- 11
- (任意) Topic Operator に設定されたデバッグ (
-D
) オプション。 - 12
- (オプション)TLS が
STRIMZI_TLS_ENABLED
によって有効になっている場合、トラストストア証明書の生成を省略します。この環境変数が有効になっている場合、ブローカーは TLS 証明書に公的に信頼できる認証局を使用する必要があります。デフォルトはfalse
です。 - 13
- (オプション) mTLS 認証用のキーストア証明書を生成します。これを
false
に設定すると、mTLS を使用した Kafka ブローカーへのクライアント認証が無効になります。デフォルトはtrue
です。 - 14
- (オプション)Kafka ブローカーに接続するときにクライアント認証の SASL サポートを有効にします。デフォルトは
false
です。 - 15
- (任意) クライアント認証用の SASL ユーザー名。SASL が
STRIMZI_SASL_ENABLED
によって有効化された場合のみ必須です。 - 16
- (任意) クライアント認証用の SASL パスワード。SASL が
STRIMZI_SASL_ENABLED
によって有効化された場合のみ必須です。 - 17
- (任意) クライアント認証用の SASL メカニズム。SASL が
STRIMZI_SASL_ENABLED
によって有効化された場合のみ必須です。この値はplain
、scram-sha-256
、またはscram-sha-512
に設定できます。 - 18
- (任意)Kafka ブローカーとの通信に使用されるセキュリティープロトコル。デフォルト値は PLAINTEXT です。値は
PLAINTEXT
、SSL
、SASL_PLAINTEXT
、またはSASL_SSL
に設定できます。
-
公開認証局から証明書を使用している Kafka ブ ローカーに接続する場合は、
STRIMZI_PUBLIC_CA
をtrue
に設定します。たとえば、Amazon AWS MSK サービスを使用している場合は、このプロパティーをtrue
に設定します。 STRIMZI_TLS_ENABLED
環境変数で mTLS を有効にした場合は、Kafka クラスターへの接続認証に使用されるキーストアおよびトラストストアを指定します。mTLS 設定の例
# .... env: - name: STRIMZI_TRUSTSTORE_LOCATION 1 value: "/path/to/truststore.p12" - name: STRIMZI_TRUSTSTORE_PASSWORD 2 value: "TRUSTSTORE-PASSWORD" - name: STRIMZI_KEYSTORE_LOCATION 3 value: "/path/to/keystore.p12" - name: STRIMZI_KEYSTORE_PASSWORD 4 value: "KEYSTORE-PASSWORD" # ...
Topic Operator をデプロイします。
oc create -f install/topic-operator
デプロイメントのステータスを確認します。
oc get deployments
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE strimzi-topic-operator 1/1 1 1
READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に1
が表示されれば、デプロイメントは成功しています。
6.7.1.1. (プレビュー) 一方向トピック管理のためのスタンドアロン Topic Operator のデプロイ
一方向トピック管理では、KafkaTopic
リソースのみを通じてトピックを維持します。一方向トピック管理の詳細は、「トピック管理モード」 を参照してください。
一方向トピック管理のプレビューを試したい場合は、次の手順に従ってスタンドアロンの Topic Operator をデプロイメントします。
手順
現在のスタンドアロン Topic Operator のデプロイを解除します。
KafkaTopic
リソースを保持します。これは、Topic Operator が再度デプロイされるときに Toppic Operator によって選択されます。スタンドアロン Topic Operator の
Deployment
設定を編集して、ZooKeeper 関連の環境変数を削除します。-
STRIMZI_ZOOKEEPER_CONNECT
-
STRIMZI_ZOOKEEPER_SESSION_TIMEOUT_MS
-
TC_ZK_CONNECTION_TIMEOUT_MS
STRIMZI_USE_ZOOKEEPER_TOPIC_STORE
一方向 Topic Operator が使用されるかどうかを定義するのは、ZooKeeper 変数の有無です。一方向のトピック管理は ZooKeeper を使用しません。ZooKeeper 環境変数が存在しない場合は、一方向の Topic Operator が使用されます。それ以外の場合は、双方向の Topic Operator が使用されます。
その他の未使用の環境変数が存在する場合は削除できます。
-
STRIMZI_REASSIGN_THROTTLE
-
STRIMZI_REASSIGN_VERIFY_INTERVAL_MS
-
STRIMZI_TOPIC_METADATA_MAX_ATTEMPTS
-
STRIMZI_TOPICS_PATH
-
STRIMZI_STORE_TOPIC
-
STRIMZI_STORE_NAME
-
STRIMZI_APPLICATION_ID
-
STRIMZI_STALE_RESULT_TIMEOUT_MS
-
(オプション)
STRIMZI_USE_FINALIZERS
環境変数をfalse
に設定します。一方向トピック管理のための追加設定
# ... env: - name: STRIMZI_USE_FINALIZERS value: "false"
topic deletion を制御するためにファイナライザーを使用したくない場合は、この環境変数を
false
に設定します。一方向トピック管理のためのスタンドアロン Topic Operator デプロイメント設定の例
apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-topic-operator labels: app: strimzi spec: # ... template: # ... spec: # ... containers: - name: strimzi-topic-operator # ... env: - name: STRIMZI_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS value: my-kafka-bootstrap-address:9092 - name: STRIMZI_RESOURCE_LABELS value: "strimzi.io/cluster=my-cluster" - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS value: "120000" - name: STRIMZI_LOG_LEVEL value: INFO - name: STRIMZI_TLS_ENABLED value: "false" - name: STRIMZI_JAVA_OPTS value: "-Xmx=512M -Xms=256M" - name: STRIMZI_JAVA_SYSTEM_PROPERTIES value: "-Djavax.net.debug=verbose -DpropertyName=value" - name: STRIMZI_PUBLIC_CA value: "false" - name: STRIMZI_TLS_AUTH_ENABLED value: "false" - name: STRIMZI_SASL_ENABLED value: "false" - name: STRIMZI_SASL_USERNAME value: "admin" - name: STRIMZI_SASL_PASSWORD value: "password" - name: STRIMZI_SASL_MECHANISM value: "scram-sha-512" - name: STRIMZI_SECURITY_PROTOCOL value: "SSL" - name: STRIMZI_USE_FINALIZERS value: "true"
- スタンドアロンの Topic Operator を標準の方法でデプロイします。
6.7.2. スタンドアロン User Operator のデプロイ
この手順では、ユーザー管理のスタンドアロンコンポーネントとして User Operator をデプロイする方法を説明します。Cluster Operator の管理対象外となっている Kafka クラスターでは、スタンドアロンの User Operator を使用します。
スタンドアロンデプロイメントは、任意の Kafka クラスターで操作できます。
スタンドアロンデプロイメントファイルは AMQ Streams で提供されます。05-Deployment-strimzi-user-operator.yaml
デプロイメントファイルを使用して、User Operator をデプロイします。Kafka クラスターへの接続に必要な環境変数を追加または設定します。
User Operator は、単一の namespace で KafkaUser
リソースを監視します。User Operator 設定で、監視する namespace と Kafka クラスターへの接続を指定します。1 つの User Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、User Operator 1 つのみとします。複数の User Operator を使用する場合は、それぞれが異なる namespace を監視するように設定します。このようにして、User Operator を複数の Kafka クラスターで使用できます。
前提条件
User Operator の接続先となる Kafka クラスターを実行している。
スタンドアロンの User Operator が接続用に正しく設定されている限り、Kafka クラスターはベアメタル環境、仮想マシン、またはマネージドクラウドアプリケーションサービスで実行できます。
手順
以下の
env
プロパティーをinstall/user-operator/05-Deployment-strimzi-user-operator.yaml
スタンドアロンデプロイメントファイルで編集します。スタンドアロン User Operator デプロイメント設定の例
apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-user-operator labels: app: strimzi spec: # ... template: # ... spec: # ... containers: - name: strimzi-user-operator # ... env: - name: STRIMZI_NAMESPACE 1 valueFrom: fieldRef: fieldPath: metadata.namespace - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS 2 value: my-kafka-bootstrap-address:9092 - name: STRIMZI_CA_CERT_NAME 3 value: my-cluster-clients-ca-cert - name: STRIMZI_CA_KEY_NAME 4 value: my-cluster-clients-ca - name: STRIMZI_LABELS 5 value: "strimzi.io/cluster=my-cluster" - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS 6 value: "120000" - name: STRIMZI_WORK_QUEUE_SIZE 7 value: 10000 - name: STRIMZI_CONTROLLER_THREAD_POOL_SIZE 8 value: 10 - name: STRIMZI_USER_OPERATIONS_THREAD_POOL_SIZE 9 value: 4 - name: STRIMZI_LOG_LEVEL 10 value: INFO - name: STRIMZI_GC_LOG_ENABLED 11 value: "true" - name: STRIMZI_CA_VALIDITY 12 value: "365" - name: STRIMZI_CA_RENEWAL 13 value: "30" - name: STRIMZI_JAVA_OPTS 14 value: "-Xmx=512M -Xms=256M" - name: STRIMZI_JAVA_SYSTEM_PROPERTIES 15 value: "-Djavax.net.debug=verbose -DpropertyName=value" - name: STRIMZI_SECRET_PREFIX 16 value: "kafka-" - name: STRIMZI_ACLS_ADMIN_API_SUPPORTED 17 value: "true" - name: STRIMZI_MAINTENANCE_TIME_WINDOWS 18 value: '* * 8-10 * * ?;* * 14-15 * * ?' - name: STRIMZI_KAFKA_ADMIN_CLIENT_CONFIGURATION 19 value: | default.api.timeout.ms=120000 request.timeout.ms=60000
- 1
KafkaUser
リソースを監視する User Operator の OpenShift namespace。指定できる namespace は 1 つだけです。- 2
- Kafka クラスターのすべてのブローカーを検出し、接続するブートストラップブローカーアドレスのホストとポートのペア。サーバーがダウンした場合に備えて、コンマ区切りリストを使用して 2 つまたは 3 つのブローカーアドレスを指定します。
- 3
- mTLS 認証用の新しいユーザー証明書に署名する認証局の公開鍵 (
ca.crt
) 値を含む OpenShiftSecret
。 - 4
- mTLS 認証用の新しいユーザー証明書に署名する CA の秘密鍵 (
ca.key
) 値を含む OpenShiftSecret
。 - 5
- User Operator によって管理される
KafkaUser
リソースを識別するラベル。これは、Kafka クラスターの名前である必要はありません。KafkaUser
リソースに割り当てられたラベルにすることができます。複数の User Operator をデプロイする場合、ラベルはそれぞれに一意である必要があります。つまり、Operator は同じリソースを管理できません。 - 6
- 定期的な調整の間隔 (秒単位)。デフォルトは
120000
(2 分) です。 - 7
- コントローラーイベントキューのサイズ。キューのサイズは、User Operator が操作すると予想されるユーザーの最大数と少なくとも同じ大きさにする必要があります。デフォルトは
1024
です。 - 8
- ユーザーを調整するためのワーカープールのサイズ。プールを大きくすると、より多くのリソースが必要になる可能性がありますが、より多くの
KafkaUser
リソースも処理されます。デフォルトは50
です。 - 9
- Kafka Admin API および OpenShift 操作のワーカープールのサイズ。プールを大きくすると、より多くのリソースが必要になる可能性がありますが、より多くの
KafkaUser
リソースも処理されます。デフォルトは4
です。 - 10
- ロギングメッセージの出力レベル。レベルを、
ERROR
、WARNING
、INFO
、DEBUG
、またはTRACE
に設定できます。 - 11
- ガベッジコレクション (GC) ロギングを有効にします。デフォルトは
true
です。 - 12
- CA の有効期間。デフォルトは
365
日です。 - 13
- CA の更新期間。更新期間は、現在の証明書の有効期日から逆算されます。デフォルトでは、古い証明書が期限切れになる前の証明書の更新期間は
30
日です。 - 14
- (任意) User Operator を実行する JVM に使用される Java オプション。
- 15
- (任意) User Operator に設定されたデバッグ (
-D
) オプション。 - 16
- (オプション)User Operator によって作成される OpenShift シークレットの名前の接頭辞。
- 17
- (任意)Kafka クラスターが Kafka Admin API を使用した承認 ACL ルールの管理をサポートするかどうかを示します。
false
に設定すると、User Operator はsimple
承認 ACL ルールを持つすべてのリソースを拒否します。これは、Kafka クラスターログで不要な例外を回避するのに役立ちます。デフォルトはtrue
です。 - 18
- (オプション) 期限切れのユーザー証明書が更新されるメンテナンス時間枠を定義する Cron 式のセミコロンで区切られたリスト。
- 19
- (オプション) プロパティー形式で User Operator が使用する Kafka Admin クライアントを設定するための設定オプション。
mTLS を使用して Kafka クラスターに接続する場合は、接続の認証に使用されるシークレットを指定します。それ以外の場合は、次のステップに進みます。
mTLS 設定の例
# .... env: - name: STRIMZI_CLUSTER_CA_CERT_SECRET_NAME 1 value: my-cluster-cluster-ca-cert - name: STRIMZI_EO_KEY_SECRET_NAME 2 value: my-cluster-entity-operator-certs # ..."
User Operator をデプロイします。
oc create -f install/user-operator
デプロイメントのステータスを確認します。
oc get deployments
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE strimzi-user-operator 1/1 1 1
READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に1
が表示されれば、デプロイメントは成功しています。
第7章 AMQ Streams フィーチャーゲートの有効化
AMQ Streams Operator はフィーチャーゲートを使用して特定の機能を有効または無効にします。フィーチャーゲートを有効にすると、対応する Operator の動作が変更され、この機能が AMQ Streams デプロイメントに導入されます。
フィーチャーゲートは、成熟度のレベルに応じて、デフォルトで有効または無効になる可能性があります。
フィーチャーゲートのデフォルト状態を変更するには、Operator の設定で STRIMZI_FEATURE_GATES
環境変数を使用します。この 1 つの環境変数を使用して、複数のフィーチャーゲートを変更することができます。フィーチャーゲート名と接頭辞のコンマ区切りリストを指定します。+
接頭辞はフィーチャーゲートを有効にし、-
接頭辞を無効にします。
FeatureGate1
を有効にし、FeatureGate2
を無効にするフィーチャーゲートの設定例
env: - name: STRIMZI_FEATURE_GATES value: +FeatureGate1,-FeatureGate2
7.1. ControlPlaneListener フィーチャーゲート
ControlPlaneListener
フィーチャーゲートは GA に移動されたので、完全に有効になり、無効にすることはできません。ControlPlaneListener
が有効にされている場合、Kafka コントローラーとブローカー間の接続はポート 9090 の内部 コントロールプレーンリスナー を使用します。ブローカー間のデータのレプリケーション、および AMQ Streams Operator、Cruise Control、または Kafka Exporter からの内部接続では、ポート 9091 で レプリケーションリスナー を使用します。
ControlPlaneListener
フィーチャーゲートを永続的に有効にすると、AMQ Streams 1.7 以前と AMQ Streams 2.3 以降の間で直接的にアップグレードまたはダウングレードができなくなります。まず、中間の AMQ Streams バージョンのいずれかを介してアップグレードまたはダウングレードし、ControlPlaneListener
フィーチャーゲートを無効にしてから、ターゲットバージョンにダウングレードまたはアップグレードする (フィーチャーゲートを有効にして) 必要があります。
7.2. ServiceAccountPatching フィーチャーゲート
ServiceAccountPatching
フィーチャーゲートは GA に移行しました。つまり、永続的に有効になり、無効にすることはできません。ServiceAccountPatching
を有効にすると、Cluster Operator は常にサービスアカウントを調整し、必要に応じて更新します。たとえば、カスタムリソースの template
プロパティーを使用してサービスアカウントのラベルまたはアノテーションを変更すると、Operator はそれらを既存のサービスアカウントリソースで自動的に更新します。
7.3. UseStrimziPodSets フィーチャーゲート
UseStrimziPodSets
フィーチャーゲートは一般公開され (GA に移行)、永続的に有効になり、無効にすることはできません。StatefulSet
のサポートは削除され、AMQ Streams は常に StrimziPodSets
を使用して Kafka Pod および ZooKeeper Pod を管理するようになりました。
UseStrimziPodSets
フィーチャーゲートが永続的に有効になったため、AMQ Streams 2.4 以降から AMQ Streams 2.0 以前に直接ダウングレードすることはできなくなりました。まず、中間の AMQ Streams バージョンのいずれかを介してダウングレードし、UseStrimziPodSets
フィーチャーゲートを無効にしてから、AMQ Streams 2.0 以前にダウングレードする必要があります。
7.4. (プレビュー) UseKRaft フィーチャーゲート
UseKRaft
フィーチャーゲートのデフォルト状態は disabled です。
UseKRaft
フィーチャーゲートは、ZooKeeper なしで KRaft (Kafka Raft メタデータ) モードで Kafka クラスターをデプロイします。ZooKeeper と KRaft は、Kafka クラスター内のメタデータを管理し、操作を調整するために使用されるメカニズムです。KRaft モードでは、ZooKeeper などの外部調整サービスが必要なくなります。KRaft モードでは、Kafka ノードはブローカー、コントローラー、またはその両方のロールを引き受けます。これらは、パーティション間でレプリケートされるメタデータを集合的に管理します。コントローラーは、操作を調整し、クラスターの状態を維持する責任があります。
このフィーチャーゲートは現在、開発とテストのみを目的としています。
KRaft モードは、Apache Kafka または AMQ Streams での運用の準備ができていません。
UseKRaft
フィーチャーゲートを有効にするには、KafkaNodePools
フィーチャーゲートも有効にする必要があります。Kafka クラスターを KRaft モードでデプロイするには、KafkaNodePool
リソースを使用する必要があります。詳細と例は、「(プレビュー) Kafka ノードプールのデプロイ」 を参照してください。
UseKRaft
フィーチャーゲートが有効になっている場合、Kafka クラスターは ZooKeeper なしでデプロイされます。Kafka
カスタムリソースの .spec.zookeeper
プロパティーは無視されますが、存在する必要があります。UseKRaft
フィーチャーゲートは、Kafka クラスターノードとそのロールを設定する API を提供します。API はまだ開発中であり、KRaft モードが本番環境に対応する前に変更される予定です。
現在、AMQ Streams の KRaft モードには、次の主要な制限があります。
- ZooKeeper を使用する Kafka クラスターから KRaft クラスターへの移動、またはその逆の移動はサポートされていません。
- コントローラー専用ノードは、ローリング更新を実行したり、個別に更新したりすることはできません。
- Apache Kafka バージョンまたは AMQ Streams Operator のアップグレードとダウングレードはサポートされていません。ユーザーは、クラスターを削除し、Operator をアップグレードして、新しい Kafka クラスターをデプロイする必要がある場合があります。
-
KRaft モードでは Unidirectional Topic Operator のみがサポートされます。これは、
UnidirectionTopicOperator
フィーチャーゲートを使用して有効にすることができます。Bidirectional Topic Operator はサポートされていないため、UnidirectionTopicOperator
フィーチャーゲートが有効になっていない場合は、spec.entityOperator.topicOperator
プロパティーをKafka
カスタムリソースから削除する必要があります。 -
JBOD ストレージはサポートされていません。
type: jbod
ストレージを使用できますが、JBOD アレイに含めることができるディスクは 1 つだけです。
UseKRaft フィーチャーゲートの有効化
UseKRaft
フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES
環境変数に +UseKRaft,+KafkaNodePools
を指定します。
7.5. StableConnectIdentities フィーチャーゲート
StableConnectIdentities
フィーチャーゲートのデフォルト状態は 無効 です。
StableConnectIdentities
フィーチャーゲートは、OpenShift Deployment
リソースを使用する代わりに、StrimziPodSet
リソースを使用して Kafka Connect および Kafka MirrorMaker 2 Pod を管理します。StrimziPodSet
は Pod に安定した名前と安定したアドレスを与えます。これらはローリングアップグレード中に変更されません。これは、コネクタータスクの再バランスの数を最小限に抑えるのに役立ちます。
StableConnectIdentities
フィーチャーゲートの有効化
StableConnectIdentities
フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES
環境変数に +StableConnectIdentities
を指定します。
AMQ Streams 2.3 以前のバージョンにダウングレードする場合は、StableConnectIdentities
フィーチャーゲートを無効にする必要があります。
7.6. (プレビュー) KafkaNodePools フィーチャーゲート
KafkaNodePools
フィーチャーゲートのデフォルト状態は disabled です。
KafkaNodePools
フィーチャーゲートでは、Apache Kafka ノードのさまざまな プール の設定を可能にする新しい KafkaNodePool
カスタムリソースが導入されています。
ノードプールは、Kafka クラスター内の Kafka ノードの個別のグループを指します。各プールには独自の固有の設定があり、これにはレプリカの数、ストレージ設定、割り当てられたロールのリストなどの必須設定が含まれます。.spec.roles
フィールドで、コントローラー ロール、ブローカー ロール、または両方のロールをプール内のすべてのノードに割り当てることができます。ZooKeeper ベースの Apache Kafka クラスターで使用する場合は、broker
ロールに設定する必要があります。UseKRaft
フィーチャーゲートと一緒に使用する場合は、Broker
、Controller
、またはその両方に設定できます。
さらに、ノードプールは、リソースのリクエストと制限、Java JVM オプション、およびリソーステンプレートの独自の設定を持つことができます。KafkaNodePool
リソースに設定されていない設定オプションは、Kafka
カスタムリソースから継承されます。
KafkaNodePool
リソースは、strimzi.io/cluster
ラベルを使用して、どの Kafka クラスターに属しているかを示します。ラベルは、Kafka
カスタムリソースの名前に設定する必要があります。
KafkaNodePool
リソースの例は、AMQ Streams によって提供される サンプル設定ファイル にあります。
KafkaNodePools フィーチャーゲートの有効化
KafkaNodePools
フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES
環境変数に +KafkaNodePools
を指定します。ノードプールを使用する Kafka
カスタムリソースには、strimzi.io/node-pools: Enabled
アノテーションも必要です。
7.7. (プレビュー) UnidirectionorTopicOperator フィーチャーゲート
UnidirectionalTopicOperator
フィーチャーゲートのデフォルト状態は disabled になっています。
UnidirectionalTopicOperator
フィーチャーゲートは、KafkaTopic
リソースを使用して Kafka トピックを作成するための単方向トピック管理モードを導入します。一方向モードは、クラスター管理での KRaft の使用と互換性があります。一方向モードでは、KafkaTopic
リソースを使用して Kafka トピックを作成し、トピックオペレーターによって管理されます。KafkaTopic
リソース外のトピックに対する設定変更はすべて元に戻されます。トピック管理の詳細は、「トピック管理モード」 を参照してください。
UnidirectionalTopicOperator フィーチャーゲートの有効化
UnidirectionalTopicOperator
フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES
環境変数に +UnidirectionTopicOperator
を指定します。KafkaTopic
カスタムリソースがこの機能を使用するには、strimzi.io/managed
アノテーションがデフォルトで true
に設定されます。
7.8. フィーチャーゲートリリース
フィーチャーゲートには、3 段階の成熟度があります。
- Alpha: 通常はデフォルトで無効
- Beta: 通常はデフォルトで有効
- General Availability(GA): 通常は常に有効
Alpha ステージの機能は実験的で不安定である可能性があり、変更される可能性があり、実稼働用に十分にテストされていない可能性があります。Beta ステージの機能は、十分にテストされており、その機能は変更されない可能性が高くなります。GA ステージの機能は安定しており、今後変更されることはありません。Alpha または Bata ステージの機能は、有用であることが証明されない場合は削除されます。
-
ControlPlaneListener
フィーチャーゲートは AMQ Streams 2.3 の GA 段階に移動しました。現在は永続的に有効になっており、無効にすることはできません。 -
ServiceAccountPatching
フィーチャーゲートは AMQ Streams 2.3 の GA 段階に移行しました。現在は永続的に有効になっており、無効にすることはできません。 -
UseStrimziPodSets
フィーチャーゲートは AMQ Streams 2.5 の GA 段階に移動され、StatefulSet のサポートは完全に削除されました。現在は永続的に有効になっており、無効にすることはできません。 -
UseKRaft
フィーチャーゲートは開発用にのみ利用可能であり、現在、ベータフェーズに移行する予定のリリースはありません。 -
StableConnectIdentities
フィーチャーゲートはアルファ段階にあり、デフォルトでは無効になっています。 -
KafkaNodePools
フィーチャーゲートはアルファ段階にあり、デフォルトでは無効になっています。 -
UnidirectionalTopicOperator
機能ゲートはアルファ段階にあり、デフォルトでは無効になっています。
フィーチャーゲートは、GA に達した時点で削除される可能性があります。これは、この機能が AMQ Streams コア機能に組み込まれ、無効にできないことを意味します。
フィーチャーゲート | Alpha | Beta | GA |
---|---|---|---|
| 1.8 | 2.0 | 2.3 |
| 1.8 | 2.0 | 2.3 |
| 2.1 | 2.3 | 2.5 |
| 2.2 | - | - |
| 2.4 | - | - |
| 2.5 | - | - |
| 2.5 | - | - |
フィーチャーゲートが有効な場合は、特定の AMQ Streams バージョンからアップグレードまたはダウングレードを行う前に無効にする必要がある場合があります。以下の表は、AMQ Streams バージョンのアップグレードまたはダウングレード時に無効にする必要のあるフィーチャーゲートを示しています。
フィーチャーゲートの無効化 | AMQ Streams バージョンからのアップグレード | AMQ Streams バージョンへのダウングレード |
---|---|---|
| 1.7 以前 | 1.7 以前 |
| - | 2.0 以前 |
| - | 2.3 以前 |
第8章 デプロイメントの設定
AMQ Streams カスタムリソースを使用して、正確なニーズに合わせて AMQ Streams デプロイメントを設定および管理します。AMQ Streams では、各リリースにサンプルのカスタムリソースが提供されており、サポートされている Kafka コンポーネントのインスタンスを設定および作成できます。特定の要件に応じて追加機能を組み込むようにカスタムリソースを設定することで、デプロイメントを微調整します。設定の特定の領域、つまりメトリクス、ロギング、Kafka Connect コネクターの外部設定については、ConfigMap
リソースを使用することもできます。ConfigMap
リソースを使用して設定を組み込むことで、メンテナンスを一元化できます。設定プロバイダーを使用して外部ソースから設定をロードすることもできます。これは、Kafka Connect コネクター設定の認証情報を提供するために推奨されます。
カスタムリソースを使用して、次のコンポーネントのインスタンスを設定および作成します。
- Kafka クラスター
- Kafka Connect クラスター
- Kafka MirrorMaker
- Kafka Bridge
- Cruise Control
カスタムリソース設定を使用してインスタンスを管理したり、デプロイメントを変更して追加機能を導入したりすることもできます。これには、以下をサポートする設定が含まれる場合があります。
- (プレビュー) ノードプールの指定
- Kafka ブローカーへのクライアントアクセスの保護
- クラスター外からの Kafka ブローカーへのアクセス
- トピックの作成
- ユーザー (クライアント) の作成
- フィーチャーゲートの制御
- ロギングの頻度変更
- リソース制限とリクエストの割り当て
- AMQ Streams Drain Cleaner、Cruise Control、分散トレースなどの機能紹介
AMQ Streams Custom Resource API Reference では、設定で使用できるプロパティーを説明しています。
カスタムリソースに適用されるラベルは、クラスターを設定する OpenShift リソースにも適用されます。そのため、必要に応じてリソースに簡単にラベルを付けることができます。
カスタムリソース設定ファイルへの変更の適用
spec
プロパティーを使用してカスタムリソースに設定を追加します。設定を追加した後、oc
を使用して変更をカスタムリソース設定ファイルに適用できます。
oc apply -f <kafka_configuration_file>
8.1. サンプル設定ファイルの使用
追加のサポートされる設定を組み込むことで、デプロイメントをさらに強化します。サンプル設定ファイルは、AMQ Streams ソフトウェアダウンロードページからダウンロード可能なリリースアーティファクトとともに提供されます。
サンプルファイルには、デフォルトでカスタムリソースの必須のプロパティーと値のみが含まれています。oc
コマンドラインツールを使用してサンプルをダウンロードおよび適用できます。これらの例は、デプロイメントに独自の Kafka コンポーネント設定を構築する際の開始点として使用できます。
Operator を使用して AMQ Streams をインストールした場合でも、サンプルファイルをダウンロードして、そのファイルを使用して設定をアップロードできます。
リリースアーティファクトには、examples
ディレクトリーがあり、そこに設定例が含まれています。
設定ファイルとデプロイメントファイルの例
examples ├── user 1 ├── topic 2 ├── security 3 │ ├── tls-auth │ ├── scram-sha-512-auth │ └── keycloak-authorization ├── mirror-maker 4 ├── metrics 5 ├── kafka 6 │ └── nodepools 7 ├── cruise-control 8 ├── connect 9 └── bridge 10
- 1
- User Operator によって管理される
KafkaUser
カスタムリソース設定。 - 2
- Topic Operator によって管理される
KafkaTopic
カスタムリソースの設定。 - 3
- Kafka コンポーネントの認証および承認設定。TLS および SCRAM-SHA-512 認証の設定例が含まれています。Red Hat Single Sign-On の例には、
Kafka
カスタムリソース設定および Red Hat Single Sign-On レルム仕様が含まれています。この例を使用して、Red Hat Single Sign-On 承認サービスを試すことができます。また、oauth
認証とkeyloack
認証メトリクスを有効にした例もあります。 - 4
- Mirror Maker のデプロイメント用の
Kafka
カスタムリソース設定。レプリケーションポリシーおよび同期頻度の設定例が含まれます。 - 5
- Prometheus インストールおよび Grafana ダッシュボードファイルが含まれる メトリック設定。
- 6
- Kafka のデプロイメント用の
Kafka
カスタムリソース設定。一時的または永続的なシングルまたはマルチノードデプロイメントの設定例が含まれています。 - 7
- (プレビュー) Kafka クラスター内の Kafka ノードの
KafkaNodePool
設定。KRaft (Kafka Raft メタデータ) モードまたは ZooKeeper を使用するクラスター内のノードの設定例が含まれています。 - 8
- Cruise Control のデプロイ設定を含む
Kafka
カスタムリソース。デフォルトまたはユーザー最適化ゴールを使用する設定の例とともに、Cruise Control から最適化プロポーザルを生成するためのKafkaRebalance
カスタムリソースが含まれます。 - 9
- Kafka Connect をデプロイするための
KafkaConnect
およびKafkaConnector
カスタムリソース設定。シングルまたはマルチノードデプロイメントの設定例が含まれています。 - 10
- Kafka Bridge をデプロイするための
KafkaBridge
カスタムリソース設定。
8.2. Kafka の設定
Kafka
カスタムリソースの spec
プロパティーを更新して、Kafka デプロイメントを設定します。
Kafka の設定に加え、ZooKeeper および AMQ Streams Operator の設定を追加することもできます。ロギングやヘルスチェックなどの一般的な設定プロパティーは、コンポーネントごとに独立して設定されます。
特に重要な設定オプションには次のものがあります。
- リソース要求 (CPU/メモリー)
- 最大および最小メモリー割り当ての JVM オプション
- クライアントを Kafka ブローカーに接続するためのリスナー (およびクライアントの認証)
- 認証
- ストレージ
- ラックアウェアネス
- メトリック
- Cruise Control によるクラスターのリバランス
Kafka クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
Kafka バージョン
Kafka config
の inter.broker.protocol.version
プロパティーは、指定された Kafka バージョン (spec.kafka.version
) によってサポートされるバージョンである必要があります。このプロパティーは、Kafka クラスターで使用される Kafka プロトコルのバージョンを表します。
Kafka 3.0.0 以降、inter.broker.protocol.version
が 3.0
以上に設定されていると、log.message.format.version
オプションは無視されるため、設定する必要はありません。
Kafka バージョンのアップグレード時には、inter.broker.protocol.version
のアップグレードが必要です。詳細は、Upgrading Kafka を参照してください。
TLS 証明書の管理
Kafka をデプロイする場合、Cluster Operator は自動で TLS 証明書の設定および更新を行い、クラスター内での暗号化および認証を有効にします。必要な場合は、更新期間の開始前にクラスターおよびクライアント CA 証明書を手動で更新できます。クラスターおよびクライアント CA 証明書によって使用される鍵を置き換えることもできます。詳細は、CA 証明書の手動更新 および 秘密鍵の置換 を参照してください。
Kafka
カスタムリソース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: replicas: 3 1 version: 3.5.0 2 logging: 3 type: inline loggers: kafka.root.logger.level: INFO resources: 4 requests: memory: 64Gi cpu: "8" limits: memory: 64Gi cpu: "12" readinessProbe: 5 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 jvmOptions: 6 -Xms: 8192m -Xmx: 8192m image: my-org/my-image:latest 7 listeners: 8 - name: plain 9 port: 9092 10 type: internal 11 tls: false 12 configuration: useServiceDnsDomain: true 13 - name: tls port: 9093 type: internal tls: true authentication: 14 type: tls - name: external 15 port: 9094 type: route tls: true configuration: brokerCertChainAndKey: 16 secretName: my-secret certificate: my-certificate.crt key: my-key.key authorization: 17 type: simple config: 18 auto.create.topics.enable: "false" offsets.topic.replication.factor: 3 transaction.state.log.replication.factor: 3 transaction.state.log.min.isr: 2 default.replication.factor: 3 min.insync.replicas: 2 inter.broker.protocol.version: "3.5" storage: 19 type: persistent-claim 20 size: 10000Gi rack: 21 topologyKey: topology.kubernetes.io/zone metricsConfig: 22 type: jmxPrometheusExporter valueFrom: configMapKeyRef: 23 name: my-config-map key: my-key # ... zookeeper: 24 replicas: 3 25 logging: 26 type: inline loggers: zookeeper.root.logger: INFO resources: requests: memory: 8Gi cpu: "2" limits: memory: 8Gi cpu: "2" jvmOptions: -Xms: 4096m -Xmx: 4096m storage: type: persistent-claim size: 1000Gi metricsConfig: # ... entityOperator: 27 tlsSidecar: 28 resources: requests: cpu: 200m memory: 64Mi limits: cpu: 500m memory: 128Mi topicOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 logging: 29 type: inline loggers: rootLogger.level: INFO resources: requests: memory: 512Mi cpu: "1" limits: memory: 512Mi cpu: "1" userOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 logging: 30 type: inline loggers: rootLogger.level: INFO resources: requests: memory: 512Mi cpu: "1" limits: memory: 512Mi cpu: "1" kafkaExporter: 31 # ... cruiseControl: 32 # ...
- 1
- レプリカノードの数。
- 2
- Kafka バージョン。アップグレード手順に従うと、サポート対象のバージョンに変更できます。
- 3
- ConfigMap を介して直接 (
inline
) または間接 (external
) に追加された Kafka ロガーとログレベル。カスタム Log4j 設定は、ConfigMap のlog4j.properties
キーの下に配置する必要があります。Kafkakafka.root.logger.level
ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。 - 4
- 現在
cpu
およびmemory
である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。 - 5
- コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
- 6
- Kafka を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
- 7
- 高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
- 8
- リスナーは、ブートストラップアドレスでクライアントが Kafka クラスターに接続する方法を設定します。リスナーは、OpenShift クラスター内部または外部からの接続の 内部 または 外部 リスナーとして設定されます。
- 9
- リスナーを識別するための名前。Kafka クラスター内で一意である必要があります。
- 10
- Kafka 内でリスナーによって使用されるポート番号。ポート番号は指定の Kafka クラスター内で一意である必要があります。許可されるポート番号は 9092 以上ですが、すでに Prometheus および JMX によって使用されているポート 9404 および 9999 以外になります。リスナーのタイプによっては、ポート番号は Kafka クライアントに接続するポート番号と同じではない場合があります。
- 11
- リスナーのタイプは、
internal
またはcluster-ip
(ブローカーごとのClusterIP
サービスを使用して Kafka を公開するため) として指定されるか、外部リスナーの場合は、route
(OpenShift のみ)、loadbalancer
、nodeport
またはingress
(Kubernetes のみ) として指定されます。 - 12
- 各リスナーの TLS 暗号化を有効にします。デフォルトは
false
です。TLS 暗号化は、route
およびingress
タイプのリスナーに対してtrue
に設定して有効にする必要があります。 - 13
- クラスターサービス接尾辞 (通常は
cluster.local
) を含む完全修飾 DNS 名が割り当てられているかどうかを定義します。 - 14
- mTLS、SCRAM-SHA-512、またはトークンベースの OAuth 2.0 として指定されるリスナー認証メカニズム。
- 15
- 外部リスナー設定は、
route
、loadbalancer
、またはnodeport
からなど、Kafka クラスターが外部の OpenShift に公開される方法を指定します。 - 16
- 外部 CA (認証局) によって管理される Kafka リスナー証明書のオプションの設定。
brokerCertChainAndKey
は、サーバー証明書および秘密鍵が含まれるSecret
を指定します。TLS による暗号化が有効な任意のリスナーで Kafka リスナー証明書を設定できます。 - 17
- 承認は Kafka ブローカーで簡易、OAUTH2.0、または OPA 承認を有効化します。簡易承認では、
AclAuthorizer
Kafka プラグインが使用されます。 - 18
- ブローカー設定。標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
- 19
- 永続ボリュームのストレージサイズは拡張可能で、さらに JBOD ストレージへのボリューム追加が可能です。
- 20
- 永続ストレージには、動的ボリュームプロビジョニングのためのストレージ
id
やclass
など、追加の設定オプションがあります。 - 21
- 異なるラック、データセンター、または可用性ゾーンにレプリカを分散させるための Rack awareness 設定。
topologyKey
は、ラック ID を含むノードラベルと一致する必要があります。この設定で使用される例では、標準のtopology.kubernetes.io/zone
ラベルを使用するゾーンを指定します。 - 22
- Prometheus メトリックが有効になりました。この例では、メトリクスは Prometheus JMX Exporter (デフォルトのメトリクスエクスポーター) に対して設定されます。
- 23
- Prometheus JMX Exporter 経由で Prometheus 形式のメトリクスを Grafana ダッシュボードにエクスポートするルール。Prometheus JMX Exporter の設定が含まれる ConfigMap を参照することで有効になります。
metricsConfig.valueFrom.configMapKeyRef.key
配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリックを有効にできます。 - 24
- Kafka 設定と似たプロパティーが含まれる、ZooKeeper 固有の設定。
- 25
- ZooKeeper ノードの数。通常、ZooKeeper クラスターまたはアンサンブルは、一般的に 3、5、7 個の奇数個のノードで実行されます。効果的なクォーラムを維持するには、過半数のノードが利用可能である必要があります。ZooKeeper クラスターでクォーラムを失うと、クライアントへの応答が停止し、Kafka ブローカーが機能しなくなります。AMQ Streams では、ZooKeeper クラスターの安定性および高可用性が重要になります。
- 26
- ZooKeeper ロガーとログレベル。
- 27
- Topic Operator および User Operator の設定を指定する Entity Operator 設定。
- 28
- Entity Operator の TLS サイドカー設定。Entity Operator は、ZooKeeper とのセキュアな通信に TLS サイドカーを使用します。
- 29
- 指定された Topic Operator ロガーおよびログレベル。この例では、
inline
ロギングを使用します。 - 30
- 指定された User Operator ロガーおよびログレベル。
- 31
- Kafka Exporter の設定。Kafka Exporter は、Kafka ブローカーからメトリックデータ、特にコンシューマーラグデータを抽出するためのオプションのコンポーネントです。Kafka Exporter が適切に機能できるようにするには、コンシューマーグループを使用する必要があります。
- 32
- Kafka クラスターの再バランスに使用される Cruise Control のオプションの設定。
8.2.1. Kafka Static Quota プラグインを使用したブローカーへの制限の設定
Kafka Static Quota プラグインを使用して、Kafka クラスターのブローカーにスループットおよびストレージの制限を設定します。Kafka
リソースを設定して、プラグインを有効にし、制限を設定します。バイトレートのしきい値およびストレージクォータを設定して、ブローカーと対話するクライアントに制限を設けることができます。
プロデューサーおよびコンシューマー帯域幅にバイトレートのしきい値を設定できます。制限の合計は、ブローカーにアクセスするすべてのクライアントに分散されます。たとえば、バイトレートのしきい値として 40 MBps ををプロデューサーに設定できます。2 つのプロデューサーが実行されている場合、それぞれのスループットは 20MBps に制限されます。
ストレージクォータは、Kafka ディスクストレージの制限をソフト制限とハード制限間で調整します。この制限は、利用可能なすべてのディスク容量に適用されます。プロデューサーは、ソフト制限とハード制限の間で徐々に遅くなります。制限により、ディスクの使用量が急激に増加しないようにし、容量を超えないようにします。ディスクがいっぱいになると、修正が難しい問題が発生する可能性があります。ハード制限は、ストレージの上限です。
JBOD ストレージの場合、制限はすべてのディスクに適用されます。ブローカーが 2 つの 1 TB ディスクを使用し、クォータが 1.1 TB の場合は、1 つのディスクにいっぱいになり、別のディスクがほぼ空になることがあります。
前提条件
- Kafka クラスターを管理する Cluster Operator が稼働している。
手順
Kafka
リソースのconfig
にプラグインのプロパティーを追加します。プラグインプロパティーは、この設定例のとおりです。
Kafka Static Quota プラグインの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... config: client.quota.callback.class: io.strimzi.kafka.quotas.StaticQuotaCallback 1 client.quota.callback.static.produce: 1000000 2 client.quota.callback.static.fetch: 1000000 3 client.quota.callback.static.storage.soft: 400000000000 4 client.quota.callback.static.storage.hard: 500000000000 5 client.quota.callback.static.storage.check-interval: 5 6
リソースを更新します。
oc apply -f <kafka_configuration_file>
8.2.2. ZooKeeper のデフォルト設定値
AMQ Streams を使用して ZooKeeper をデプロイする場合、AMQ Streams によって設定されるデフォルト設定の一部は、標準の ZooKeeper デフォルトとは異なります。これは、AMQ Streams が、OpenShift 環境内で ZooKeeper を実行するために最適化された値を使用して、多数の ZooKeeper プロパティーを設定するためです。
AMQ Streams の主要な ZooKeeper プロパティーのデフォルト設定は次のとおりです。
プロパティー | デフォルト値 | 説明 |
---|---|---|
| 2000 | 1 ティックの長さ (ミリ秒単位)。これによってセッションタイムアウトの長さが決まります。 |
| 5 | ZooKeeper クラスター内で、フォロワーがリーダーに遅れることを許可される最大ティック数。 |
| 2 | ZooKeeper クラスター内でフォロワーがリーダーと同期していなくても許容される最大ティック数。 |
| 1 |
|
| false | ZooKeeper 管理サーバーを無効にするフラグ。管理サーバーは AMQ Streams では使用されません。 |
Kafka
カスタムリソースの Zookeeper.config
としてこれらのデフォルト値を変更すると、ZooKeeper クラスターの動作とパフォーマンスに影響を与える可能性があります。
8.3. (プレビュー) ノードプールの設定
KafkaNodePool
カスタムリソースの spec
プロパティーを更新して、ノードプールデプロイメントを設定します。
ノードプール機能はプレビューとして利用できます。ノードプールはデフォルトでは有効になっていないため、使用する前に KafkaNodePools
フィーチャーゲートを有効にする 必要があります。
ノードプールは、Kafka クラスター内の Kafka ノードの個別のグループを指します。各プールには独自の固有の設定があり、これにはレプリカの数、ロール、ストレージ割り当ての必須設定が含まれます。
オプションで、次のプロパティーの値を指定することもできます。
-
メモリーと CPU のリクエストと制限を指定する
resources
-
Pod およびその他の OpenShift リソースのカスタム設定を指定する
template
-
jvmOptions :
ヒープサイズ、ランタイム、その他のオプションのカスタム JVM 設定を指定します。
Kafka
リソースは、Kafka クラスター内のすべてのノードの設定を表します。KafkaNodePool
リソースは、ノードプール内のノードのみの設定を表します。設定プロパティーが KafkaNodePool
で指定されていない場合は、Kafka
リソースから継承されます。両方のリソースで設定されている場合は、KafkaNodePool
リソースで指定された設定が優先されます。たとえば、ノードプールと Kafka 設定の両方に jvmOptions
が含まれている場合、ノードプール設定で指定された値が使用されます。-Xmx: 1024m
が KafkaNodePool.spec.jvmOptions
に設定され、-Xms: 512m
が Kafka.spec.kafka.jvmOptions
に設定されている場合、ノードはノードプール設定の値を使用します。
Kafka
と KafkaNodePool
スキーマのプロパティーは組みわせることができません。明確にするために、KafkaNodePool.spec.template
に podSet.metadata.labels
のみが含まれており、Kafka.spec.kafka.template
に podSet.metadata.annotations
および pod.metadata.labels
が含まれている場合、ノードプール設定内のテンプレート値があるため、Kafka 設定のテンプレート値は無視されます。
ノードプールは、KRaft モード (Kafka Raft メタデータを使用) で動作する Kafka クラスターで使用することも、クラスター管理に ZooKeeper を使用することもできます。KRaft モードを使用している場合は、ノードプール内のすべてのノードがブローカー、コントローラー、またはその両方として動作するようにロールを指定できます。ZooKeeper を使用している場合は、ノードをブローカーのみとして設定する必要があります。
KRaft モードは、Apache Kafka または AMQ Streams での運用の準備ができていません。
ノードプールの設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
ノードプールを有効にする KafkaNodePools
フィーチャーゲートはアルファ段階にありますが、KafkaNodePool
リソースのレプリカおよびストレージ設定プロパティーも Kafka
リソースに存在する必要があります。ノードプールが使用されている場合、Kafka
リソースの設定は無視されます。同様に、KRaft モードを使用する場合は、ZooKeeper 設定プロパティーも Kafka
リソースに存在する必要があります。これらのプロパティーも無視されます。
ZooKeeper を使用したクラスター内のノードプールの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaNodePool metadata: name: pool-a 1 labels: strimzi.io/cluster: my-cluster 2 spec: replicas: 3 3 roles: - broker 4 storage: 5 type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false resources: 6 requests: memory: 64Gi cpu: "8" limits: memory: 64Gi cpu: "12"
KRaft モードを使用したクラスター内のノードプールの設定例
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaNodePool
metadata:
name: kraft-dual-role
labels:
strimzi.io/cluster: my-cluster
spec:
replicas: 3
roles: 1
- controller
- broker
storage:
type: jbod
volumes:
- id: 0
type: persistent-claim
size: 20Gi
deleteClaim: false
resources:
requests:
memory: 64Gi
cpu: "8"
limits:
memory: 64Gi
cpu: "12"
- 1
- ノードプール内のノードのロール。この例では、ノードにはコントローラーとブローカーとしての二重のロールがあります。
Kafka
リソースの設定は、KRaft モードに適している必要があります。現在、KRaft モードには 多くの制限 があります。
8.3.1. (プレビュー) スケーリング操作のためのノードプールへの ID の割り当て
この手順では、ノードプールでスケーリング操作を実行するときに、Cluster Operator による高度なノード ID 処理にアノテーションを使用する方法について説明します。Cluster Operator が順番に次の ID を使用するのではなく、使用するノード ID を指定します。この方法でノード ID を管理すると、より詳細な制御が可能になります。
ID の範囲を追加するには、以下のアノテーションを KafkaNodePool
リソースに割り当てます。
-
新しいブローカーに使用される ID の範囲を追加する
strimzi.io/next-node-ids
-
既存のブローカーを削除するための ID の範囲を追加する
strimzi.io/remove-node-ids
個別のノード ID、ID 範囲、または両方の組み合わせを指定できます。たとえば、Kafka ノードプールをスケールアップするために [0, 1, 2, 10-20, 30]
の ID の範囲を指定できます。この形式では、個々のノード ID (0
、1
、2
、30
) の組み合わせと ID の範囲 (10-20
) を指定できます。
一般的なシナリオでは、スケールアップする場合は ID の範囲を指定し、スケールダウンする場合は特定のノードを削除する場合は単一のノード ID を指定します。
この手順では、次のようにスケーリングアノテーションをノードプールに追加します。
-
pool-a
にはスケールアップ用の ID 範囲が割り当てられます -
pool-b
には、スケールダウン用の ID 範囲が割り当てられます
スケーリング操作中、ID は次のように使用されます。
- スケールアップでは、新しいノードの範囲内で使用可能な最小の ID が選択されます。
- スケールダウンすると、範囲内で使用可能な最大の ID を持つノードが削除されます。
ノードプールに割り当てられたノード ID のシーケンスにギャップがある場合、次に追加されるノードにはギャップを埋める ID が割り当てられます。
アノテーションは、スケーリング操作のたびに更新する必要はありません。未使用の ID は、次のスケーリングイベントでも引き続き有効です。
Cluster Operator を使用すると、ID の範囲を昇順または降順で指定できるため、ノードがスケーリングされる順序で ID を定義できます。たとえば、スケールアップする場合、1000-1999
などの範囲を指定すると、新しいノードには次に低い ID (1000
、1001
、1002
、1003
など) が割り当てられます。逆に、スケールダウンする場合は、1999-1000
のような範囲を指定して、次に高い ID (1003
、1002
、1001
、1000
など) を持つノードが確実に削除されるようにすることができます。
アノテーションを使用して ID 範囲を指定しない場合、Cluster Operator はスケーリング操作中に ID を処理するデフォルトの動作に従います。ノード ID は 0 (ゼロ) から始まり、Kafka クラスター全体で順番に実行されます。次に小さい ID が新しいノードに割り当てられます。ノード ID とのギャップはクラスター全体で埋められます。これは、ノードプール内で順番に実行できない可能性があることを意味します。スケールアップのデフォルトの動作では、クラスター全体で次に小さい使用可能なノード ID を追加します。スケールダウンの場合は、ノードプール内の使用可能なノード ID が最も大きいノードを削除します。デフォルトのアプローチは、割り当てられた ID 範囲の形式が間違っている場合、スケールアップ範囲で ID が不足する場合、またはスケールダウン範囲が使用中のノードに適用されない場合にも適用されます。
手順
次の例に示すように、スケールアップまたはスケールダウン時に使用する ID でノードプールにアノテーションを付けます。
スケールアップ用の ID は、ノードプール
pool-a
に割り当てられます。スケールアップ用の ID の割り当て
oc annotate kafkanodepool pool-a strimzi.io/next-node-ids="[0,1,2,10-20,30]"
ノードを
pool-a
に追加するときに、この範囲内で使用可能な最小の ID が使用されます。スケールダウン用の ID はノードプール
pool-b
に割り当てられます。スケールダウン用の ID の割り当て
oc annotate kafkanodepool pool-b strimzi.io/remove-node-ids="[60-50,9,8,7]"
pool-b
をスケールダウンすると、この範囲内で使用可能な最大の ID が削除されます。ノードプールをスケーリングできるようになりました。
詳細は、以下を参照してください。
調整時に、アノテーションの形式が間違っている場合は警告が表示されます。
8.3.2. (プレビュー) ノードプールへのノードの追加
この手順では、ノードプールをスケールアップして新しいノードを追加する方法について説明します。
この手順では、ノードプール pool-a
の 3 つのノードから始めます。
ノードプール内の Kafka ノード
NAME READY STATUS RESTARTS my-cluster-pool-a-kafka-0 1/1 Running 0 my-cluster-pool-a-kafka-1 1/1 Running 0 my-cluster-pool-a-kafka-2 1/1 Running 0
ノード ID は、作成時にノードの名前に追加されます。ノード ID が 3
であるノード my-cluster-pool-a-kafka-3
を追加します。
このプロセス中に、パーティションのレプリカを保持するノードの ID が変更されます。ノード ID を参照する依存関係を考慮してください。
前提条件
- Cluster Operator がデプロイされている。
(オプション) スケールアップ操作の場合は、使用するノード ID の範囲を指定できます。
操作にノード ID の範囲を割り当てた場合、追加されるノードの ID は、指定されたノードの順序によって決まります。それ以外の場合は、クラスター全体で使用可能な最小のノード ID が使用されます。
手順
ノードプールに新しいノードを作成します。
たとえば、ノードプール
pool-a
には 3 つのレプリカがあります。レプリカの数を増やしてノードを追加します。oc scale kafkanodepool pool-a --replicas=4
デプロイメントのステータスを確認し、ノードプール内の Pod が作成され、ステータスが
READY
になるまで待ちます。oc get pods -n <my_cluster_operator_namespace>
出力には、ノードプール内の 4 つの Kafka ノードが表示されます
NAME READY STATUS RESTARTS my-cluster-pool-a-kafka-0 1/1 Running 0 my-cluster-pool-a-kafka-1 1/1 Running 0 my-cluster-pool-a-kafka-2 1/1 Running 0 my-cluster-pool-a-kafka-3 1/1 Running 0
ノードプール内のノードの数を増やした後、パーティションを再割り当てします。
ノードプールをスケールアップした後、Cruise Control の
add-brokers
モードを使用して、パーティションレプリカを既存のブローカーから新しく追加したブローカーに移動できます。
8.3.3. (プレビュー) ノードプールからのノードの削除
この手順では、ノードプールをスケールダウンしてノードを削除する方法について説明します。
この手順では、ノードプール pool-a
の 4 つのノードから開始します。
ノードプール内の Kafka ノード
NAME READY STATUS RESTARTS my-cluster-pool-a-kafka-0 1/1 Running 0 my-cluster-pool-a-kafka-1 1/1 Running 0 my-cluster-pool-a-kafka-2 1/1 Running 0 my-cluster-pool-a-kafka-3 1/1 Running 0
ノード ID は、作成時にノードの名前に追加されます。ノード ID が 3
であるノード my-cluster-pool-a-kafka-3
を削除します。
このプロセス中に、パーティションのレプリカを保持するノードの ID が変更されます。ノード ID を参照する依存関係を考慮してください。
前提条件
- Cluster Operator がデプロイされている。
(オプション) スケールダウン操作の場合、操作で使用するノード ID の範囲を指定できます。
操作にノード ID の範囲を割り当てた場合、削除されるノードの ID は、指定されたノードの順序によって決まります。それ以外の場合は、ノードプール内で使用可能な ID が最も大きいノードが削除されます。
手順
ノードプール内のノードの数を減らす前に、パーティションを再割り当てします。
ノードプールをスケールダウンする前に、Cruise Control
remove-brokers
モードを使用して、削除されるブローカーからパーティションレプリカを移動できます。再割り当てプロセスが完了し、削除されるノードにライブパーティションがなくなったら、ノードプール内の Kafka ノードの数を減らします。
たとえば、ノードプール
pool-b
には 4 つのレプリカがあります。レプリカの数を減らしてノードを削除します。oc scale kafkanodepool pool-a --replicas=3
出力には、ノードプール内の 3 つの Kafka ノードが表示されます
NAME READY STATUS RESTARTS my-cluster-pool-b-kafka-0 1/1 Running 0 my-cluster-pool-b-kafka-1 1/1 Running 0 my-cluster-pool-b-kafka-2 1/1 Running 0
8.3.4. (プレビュー) ノードプール間でのノードの移動
この手順では、ダウンタイムなしでソース Kafka ノードプールとターゲット Kafka ノードプール間でノードを移動する方法について説明します。ターゲットノードプールに新しいノードを作成し、パーティションを再割り当てして、ソースノードプールの古いノードからデータを移動します。新しいノード上のレプリカが同期している場合、古いノードを削除できます。
この手順では、2 つのノードプールから始めます。
-
3 つのレプリカを持つ
pool-a
がターゲットノードプールです -
4 つのレプリカを持つ
pool-b
がソースノードプールです
pool-a
をスケールアップし、パーティションを再割り当てして pool-b
をスケールダウンします。その結果、次のようになります。
-
4 つのレプリカを持つ
pool-a
-
3 つのレプリカを持つ
pool-b
このプロセス中に、パーティションのレプリカを保持するノードの ID が変更されます。ノード ID を参照する依存関係を考慮してください。
前提条件
- Cluster Operator がデプロイされている。
(オプション) スケールアップおよびスケールダウン操作の場合は、使用するノード ID の範囲を指定できます。
操作にノード ID を割り当てた場合、追加または削除されるノードの ID は、指定されたノードの順序によって決まります。それ以外の場合は、ノードを追加するときにクラスター全体で使用可能な最小のノード ID が使用されます。そして、ノードプール内で使用可能な ID が最も大きいノードが削除されます。
手順
ターゲットノードプールに新しいノードを作成します。
たとえば、ノードプール
pool-a
には 3 つのレプリカがあります。レプリカの数を増やしてノードを追加します。oc scale kafkanodepool pool-a --replicas=4
デプロイメントのステータスを確認し、ノードプール内の Pod が作成され、ステータスが
READY
になるまで待ちます。oc get pods -n <my_cluster_operator_namespace>
出力には、ターゲットノードプール内の 4 つの Kafka ノードが表示されます
NAME READY STATUS RESTARTS my-cluster-pool-a-kafka-0 1/1 Running 0 my-cluster-pool-a-kafka-1 1/1 Running 0 my-cluster-pool-a-kafka-4 1/1 Running 0 my-cluster-pool-a-kafka-5 1/1 Running 0
ノード ID は、作成時にノードの名前に追加されます。ノード ID が
5
であるノードmy-cluster-pool-a-kafka-5
を追加します。パーティションを古いノードから新しいノードに再割り当てします。
ソースノードプールをスケールダウンする前に、Cruise Control の
remove-broker
モードを使用して、削除されるブローカーからパーティションレプリカを移動できます。再割り当てプロセスが完了したら、ソースノードプール内の Kafka ノードの数を減らします。
たとえば、ノードプール
pool-b
には 4 つのレプリカがあります。レプリカの数を減らしてノードを削除します。oc scale kafkanodepool pool-b --replicas=3
プール内で最も数値の大きい ID を持つノードが削除されます。
出力には、ソースノードプール内の 3 つの Kafka ノードが表示されます
NAME READY STATUS RESTARTS my-cluster-pool-b-kafka-2 1/1 Running 0 my-cluster-pool-b-kafka-3 1/1 Running 0 my-cluster-pool-b-kafka-6 1/1 Running 0
8.3.5. (プレビュー) Kafka ノードプールを使用するための既存の Kafka クラスターの移行
この手順では、既存の Kafka クラスターを移行して Kafka ノードプールを使用する方法について説明します。Kafka クラスターを更新した後、ノードプールを使用して各プール内のノードの設定を管理できます。
ノードプールを有効にする KafkaNodePools
フィーチャーゲートはアルファ段階にありますが、KafkaNodePool
リソース内のレプリカとストレージ設定も Kafka
リソース内に存在する必要があります。ノードプールが使用されている場合、設定は無視されます。
手順
新しい
KafkaNodePool
リソースを作成します。-
リソースに
kafka
という名前を付けます。 -
strimzi.io/cluster
ラベルが既存のKafka
リソースを指すようにします。 - 現在の Kafka クラスターと一致するようにレプリカ数とストレージ設定を設定します。
-
ロールを
Broker
に設定します。
Kafka クラスターの移行で使用されるノードプールの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaNodePool metadata: name: kafka labels: strimzi.io/cluster: my-cluster spec: replicas: 3 roles: - broker storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false
-
リソースに
KafkaNodePool
リソースを適用します。oc apply -f <node_pool_configuration_file>
このリソースを適用すると、Kafka がノードプールの使用に切り替わります。
変更やローリングアップデートはなく、リソースは以前と同じです。
Cluster Operator 設定の
STRIMZI_FEATURE_GATES
環境変数を更新して、+KafkaNodePools
を含めます。env: - name: STRIMZI_FEATURE_GATES value: +KafkaNodePools
strimzi.io/node-pools:enabled
アノテーションを使用して、Kafka
リソースでKafkaNodePools
フィーチャーゲートを有効にします。ZooKeeper を使用したクラスター内のノードプールの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster annotations: strimzi.io/node-pools: enabled spec: kafka: version: 3.5.0 replicas: 3 # ... storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false
Kafka
リソースを適用します。oc apply -f <kafka_configuration_file>
8.4. Entity Operator の設定
Kafka.spec
の entityOperator
プロパティーを使用して Entity Operator を設定します。Entity Operator は、実行中の Kafka クラスターで Kafka 関連のエンティティーを管理します。これは次の Operator で設定されます。
- Kafka トピックを管理する Topic Operator
- Kafka ユーザーを管理する User Operator
Kafka
リソースを設定することにより、クラスターオペレーターは、一方または両方の Operator を含むエンティティーオペレーターをデプロイできます。デプロイが完了すると、Kafka クラスターのトピックとユーザーを処理するように Operator が自動的に設定されます。
各オペレーターは 1 つの名前空間のみを監視できます。詳細は、「OpenShift namespace での AMQ Streams リソースの監視」 を参照してください。
entityOperator
プロパティーでは複数のサブプロパティーがサポートされます。
-
tlsSidecar
-
topicOperator
-
userOperator
-
template
tlsSidecar
プロパティーには、ZooKeeper との通信に使用される TLS サイドカーコンテナーの設定が含まれます。
template
プロパティーには、ラベル、アノテーション、アフィニティー、および容認 (Toleration) などの Entity Operator Pod の設定が含まれます。テンプレートの設定に関する詳細は、「OpenShift リソースのカスタマイズ」 を参照してください。
topicOperator
プロパティーには、Topic Operator の設定が含まれます。このオプションがないと、Entity Operator は Topic Operator なしでデプロイされます。
userOperator
プロパティーには、User Operator の設定が含まれます。このオプションがないと、Entity Operator は User Operator なしでデプロイされます。
Entity Operator の設定に使用されるプロパティーに関する詳細は EntityUserOperatorSpec
schema reference を参照してください。
両方の Operator を有効にする基本設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: topicOperator: {} userOperator: {}
topicOperator
および userOperator
に空のオブジェクト ({}
) が使用された場合、すべてのプロパティーでデフォルト値が使用されます。
topicOperator
および userOperator
プロパティーの両方がない場合、Entity Operator はデプロイされません。
8.4.1. Topic Operator の設定
Kafka.spec.entityOperator
の topicOperator
プロパティーを使用して、Topic Operator を設定します。
単方向トピック管理のプレビューを使用している場合、次のプロパティーは使用されず、無視されます: Kafka.spec.entityOperator.topicOperator.zookeeperSessionTimeoutSeconds
および Kafka.spec.entityOperator.topicOperator.topicMetadataMaxAttempts
。一方向のトピック管理に関する詳細は、「トピック管理モード」 を参照してください。
以下のプロパティーがサポートされます。
watchedNamespace
-
Topic Operator が
KafkaTopic
リソースを監視する OpenShift 名前空間。デフォルトは、Kafka クラスターがデプロイされた namespace です。 reconciliationIntervalSeconds
-
定期的な調整 (reconciliation) の間隔 (秒単位)。デフォルトは
120
です。 zookeeperSessionTimeoutSeconds
-
ZooKeeper セッションのタイムアウト (秒単位)。デフォルトは
18
です。 topicMetadataMaxAttempts
-
Kafka からトピックメタデータの取得を試行する回数。各試行の間隔は、指数バックオフとして定義されます。パーティションまたはレプリカの数によって、トピックの作成に時間がかかる可能性がある場合は、この値を大きくすることを検討してください。デフォルトは
6
です。 image
-
image
プロパティーを使用すると、使用されるコンテナーイメージを設定できます。詳細は、image
プロパティーの設定 に関する情報を参照してください。 resources
-
resources
プロパティーを使用すると、Topic Operator に割り当てられるリソースの量を設定できます。メモリー
およびcpu
リソースの要求および制限を指定できます。この要求は、Operator のパフォーマンスの安定性を確保するには十分なはずです。 logging
-
logging
プロパティーは、Topic Operator のロギングを設定します。詳細は、Topic Operator のログ に関する情報を参照してください。
Topic Operator の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: # ... topicOperator: watchedNamespace: my-topic-namespace reconciliationIntervalSeconds: 60 resources: requests: cpu: "1" memory: 500Mi limits: cpu: "1" memory: 500Mi # ...
8.4.2. User Operator の設定
Kafka.spec.entityOperator
の userOperator
プロパティーを使用して、User Operator を設定します。以下のプロパティーがサポートされます。
watchedNamespace
-
User Operator が
KafkaUser
リソースを監視する OpenShift 名前空間。デフォルトは、Kafka クラスターがデプロイされた namespace です。 reconciliationIntervalSeconds
-
定期的な調整 (reconciliation) の間隔 (秒単位)。デフォルトは
120
です。 image
-
image
プロパティーを使用すると、使用されるコンテナーイメージを設定できます。詳細は、image
プロパティーの設定 に関する情報を参照してください。 resources
-
resources
プロパティーを使用すると、User Operator に割り当てられるリソースの量を設定できます。メモリー
およびcpu
リソースの要求および制限を指定できます。この要求は、Operator のパフォーマンスの安定性を確保するには十分なはずです。 logging
-
logging
プロパティーは、User Operator のロギングを設定します。詳細は、User Operator のログ に関する情報を参照してください。 secretPrefix
-
secretPrefix
プロパティーは、KafkaUser リソースから作成されたすべての Secret の名前に接頭辞を追加します。たとえば、secretPrefix: kafka-
は、すべてのシークレット名の前にkafka-
を付けます。そのため、my-user
という名前の KafkaUser は、kafka-my-user
という名前の Secret を作成します。
User Operator の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: # ... userOperator: watchedNamespace: my-user-namespace reconciliationIntervalSeconds: 60 resources: requests: cpu: "1" memory: 500Mi limits: cpu: "1" memory: 500Mi # ...
8.5. Cluster Operator の設定
環境変数を使用して Cluster Operator を設定します。Cluster Operator のコンテナーイメージの環境変数を Deployment
設定ファイルに指定します。
AMQ Streams リリースアーティファクトで提供される Deployment
設定ファイルは install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
です。
以下の環境変数を使用して Cluster Operator を設定できます。Cluster Operator レプリカをスタンバイモードで実行している場合、リーダーの選択を有効にする追加の環境変数 があります。
STRIMZI_NAMESPACE
Operator が操作する namespace のコンマ区切りリスト。設定されていない場合や、空の文字列や
*
に設定されている場合には、Cluster Operator はすべての namespace で動作します。Cluster Operator デプロイメントでは downward API を使用して、これを Cluster Operator がデプロイされる namespace に自動設定することがあります。
Cluster Operator namespace の設定例
env: - name: STRIMZI_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace
STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
- オプションです。デフォルトは 120000 ミリ秒です。定期的な調整の間隔 (秒単位)。
STRIMZI_OPERATION_TIMEOUT_MS
- オプションです。デフォルトは 300000 ミリ秒です。内部操作のタイムアウト (ミリ秒単位)。標準の OpenShift 操作の時間が通常よりも長いクラスターで (Docker イメージのダウンロードが遅い場合など) AMQ Streams を使用する場合に、この値を増やします。
STRIMZI_ZOOKEEPER_ADMIN_SESSION_TIMEOUT_MS
-
オプションです。デフォルトは 10000 ミリ秒です。Cluster Operator の ZooKeeper 管理クライアントのセッションタイムアウト (ミリ秒単位)。タイムアウトの問題が原因で Cluster Operator からの ZooKeeper 要求が定期的に失敗する場合は、この値を増やします。
maxSessionTimeout
設定で ZooKeeper サーバー側に最大許容セッション時間が設定されます。デフォルトでは、最大セッションタイムアウト値はデフォルトのtickTime
(デフォルトは 2000) の 20 倍、つまり 40000 ミリ秒です。タイムアウト時間を伸ばす必要がある場合は、maxSessionTimeout
ZooKeeper サーバー設定値を変更する必要があります。 STRIMZI_OPERATIONS_THREAD_POOL_SIZE
- オプションです。デフォルトは 10 です。Cluster Operator によって実行されるさまざまな非同期およびブロッキング操作に使用されるワーカースレッドのプールサイズです。
STRIMZI_OPERATOR_NAME
- オプションです。デフォルトは Pod のホスト名です。Operator 名は、OpenShift イベントを発行 するときに AMQ Streams インスタンスを識別します。
STRIMZI_OPERATOR_NAMESPACE
Cluster Operator が稼働している namespace の名前。この変数は手動で設定しないでください。Downward API を使用します。
env: - name: STRIMZI_OPERATOR_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace
STRIMZI_OPERATOR_NAMESPACE_LABELS
オプション:AMQ Streams Cluster Operator が稼働している namespace のラベル。namespace ラベルを使用して、ネットワークポリシー で namespace セレクターを設定します。ネットワークポリシーを使用すると、AMQ Streams Cluster Operator はこれらのラベルを持つ namespace からのオペランドにのみアクセスできます。設定されていない場合、ネットワークポリシーの namespace セレクターは、OpenShift クラスターのすべての namespace から Cluster Operator にアクセスできるように設定されます。
env: - name: STRIMZI_OPERATOR_NAMESPACE_LABELS value: label1=value1,label2=value2
STRIMZI_LABELS_EXCLUSION_PATTERN
オプションです。デフォルトの正規表現パターンは
^app.kubernetes.io/(?!part-of).*
です。メインのカスタムリソースからサブリソースへのラベル伝搬をフィルターするために使用される正規表現除外パターン。ラベル除外フィルターは、spec.kafka.template.pod.metadata.labels
などのテンプレートセクションのラベルには適用されません。env: - name: STRIMZI_LABELS_EXCLUSION_PATTERN value: "^key1.*"
STRIMZI_CUSTOM_{COMPONENT_NAME}_LABELS
オプション:
{COMPONENT_NAME}
カスタムリソースで作成されるすべての Pod に適用する 1 つ以上のカスタムラベル。Cluster Operator は、カスタムリソースの作成時か、次の調整時に Pod にラベルを付けます。ラベルは以下のコンポーネントに適用できます。
-
KAFKA
-
KAFKA_CONNECT
-
KAFKA_CONNECT_BUILD
-
ZOOKEEPER
-
ENTITY_OPERATOR
-
KAFKA_MIRROR_MAKER2
-
KAFKA_MIRROR_MAKER
-
CRUISE_CONTROL
-
KAFKA_BRIDGE
-
KAFKA_EXPORTER
-
STRIMZI_CUSTOM_RESOURCE_SELECTOR
オプション:Cluster Operator によって処理されるカスタムリソースをフィルターするラベルセレクター。Operator は、指定されたラベルが設定されているカスタムリソースでのみ動作します。これらのラベルのないリソースは Operator によって認識されません。ラベルセレクターは、
Kafka
、KafkaConnect
、KafkaBridge
、KafkaMirrorMaker
、およびKafkaMirrorMaker2
リソースに適用されます。KafkaRebalance
とKafkaConnector
リソースは、対応する Kafka および Kafka Connect クラスターに一致するラベルがある場合にのみ操作されます。env: - name: STRIMZI_CUSTOM_RESOURCE_SELECTOR value: label1=value1,label2=value2
STRIMZI_KAFKA_IMAGES
-
必須。Kafka バージョンから、そのバージョンの Kafka ブローカーが含まれる該当の Docker イメージへのマッピング。必要な構文は、空白またはコンマ区切りの
<version>=<image>
ペアです。例:3.4.0=registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1, 3.5.0=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
.これはKafka.spec.kafka.version
プロパティーが指定されていて、Kafka
リソースのKafka.spec.kafka.image
が指定されていない場合に使用されます。 STRIMZI_DEFAULT_KAFKA_INIT_IMAGE
-
オプションです。デフォルトは
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1
です。Kafka
リソースでkafka-init-image
としてイメージが指定されていない場合に、init コンテナーのデフォルトとして使用するイメージ名。init コンテナーは、ラックサポートなど、初期設定用のブローカーが動作する前に開始されます。 STRIMZI_KAFKA_CONNECT_IMAGES
-
必須。Kafka バージョンから、そのバージョンの Kafka Connect の該当の Docker イメージに対するマッピング。必要な構文は、空白またはコンマ区切りの
<version>=<image>
ペアです。例:3.4.0=registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1, 3.5.0=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
.これは、KafkaConnect.spec.version
プロパティーが指定され、KafkaConnect.spec.image
が指定されていない場合に使用されます。 STRIMZI_KAFKA_MIRROR_MAKER_IMAGES
-
必須。Kafka バージョンから、そのバージョンの MirrorMakerの該当の Docker イメージに対するマッピング。必要な構文は、空白またはコンマ区切りの
<version>=<image>
ペアです。例:3.4.0=registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1, 3.5.0=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
.これは、KafkaMirrorMaker.spec.version
プロパティーが指定されていてもKafkaMirrorMaker.spec.image
プロパティーが指定されていない場合に使用されます。 STRIMZI_DEFAULT_TOPIC_OPERATOR_IMAGE
-
オプションです。デフォルトは
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1
です。Kafka
リソースでイメージがKafka.spec.entityOperator.topicOperator.image
として指定されていない場合に、Topic Operator のデプロイ時にデフォルトとして使用するイメージ名。 STRIMZI_DEFAULT_USER_OPERATOR_IMAGE
-
オプションです。デフォルトは
registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1
です。Kafka
リソースのKafka.spec.entityOperator.userOperator.image
にイメージが指定されていない場合に、ユーザーオペレーターをデプロイする際にデフォルトで使用するイメージ名です。 STRIMZI_DEFAULT_TLS_SIDECAR_ENTITY_OPERATOR_IMAGE
-
オプションです。デフォルトは
registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
です。Kafka
リソースのKafka.spec.entityOperator.tlsSidecar.image
にイメージが指定されていない場合に、Entity Operator のサイドカーコンテナーをデプロイする際にデフォルトで使用するイメージ名です。サイドカーは TLS サポートを提供します。 STRIMZI_IMAGE_PULL_POLICY
-
オプション:Cluster Operator によって管理されるすべての Pod のコンテナーに適用される
ImagePullPolicy
。有効な値はAlways
、IfNotPresent
、およびNever
です。指定のない場合は、OpenShift のデフォルトが使用されます。ポリシーを変更すると、すべての Kafka、Kafka Connect、および Kafka MirrorMaker クラスターのローリング更新が実行されます。 STRIMZI_IMAGE_PULL_SECRETS
-
オプション:
Secret
名のコンマ区切りのリスト。ここで参照されるシークレットには、コンテナーイメージがプルされるコンテナーレジストリーへのクレデンシャルが含まれます。シークレットは、Cluster Operator によって作成されるすべての Pod のimagePullSecrets
プロパティーで指定されます。このリストを変更すると、Kafka、Kafka Connect、および Kafka MirrorMaker のすべてのクラスターのローリング更新が実行されます。 STRIMZI_KUBERNETES_VERSION
オプション:API サーバーから検出された OpenShift バージョン情報をオーバーライドします。
OpenShift バージョンオーバーライドの設定例
env: - name: STRIMZI_KUBERNETES_VERSION value: | major=1 minor=16 gitVersion=v1.16.2 gitCommit=c97fe5036ef3df2967d086711e6c0c405941e14b gitTreeState=clean buildDate=2019-10-15T19:09:08Z goVersion=go1.12.10 compiler=gc platform=linux/amd64
KUBERNETES_SERVICE_DNS_DOMAIN
オプション:デフォルトの OpenShift DNS 接尾辞を上書きします。
デフォルトでは、OpenShfit クラスターで割り当てられるサービスに、デフォルトの接尾辞
cluster.local
を使用する DNS ドメイン名があります。ブローカーが kafka-0 の場合の例は次のとおりです。
<cluster-name>-kafka-0.<cluster-name>-kafka-brokers.<namespace>.svc.cluster.local
DNS ドメイン名は、ホスト名の検証に使用される Kafka ブローカー証明書に追加されます。
クラスターで異なる DNS 接尾辞を使用している場合、Kafka ブローカーとの接続を確立するために、
KUBERNETES_SERVICE_DNS_DOMAIN
環境変数をデフォルトから現在使用中の DNS 接尾辞に変更します。STRIMZI_CONNECT_BUILD_TIMEOUT_MS
- オプションです。デフォルトは 300000 ミリ秒です。追加のコネクターで新しい Kafka Connect イメージをビルドする場合のタイムアウト (ミリ秒単位)。AMQ Streams を使用して多くのコネクターが含まれるコンテナーイメージをビルドする場合や、低速なコンテナーレジストリーを使用する場合は、この値を増やすことを検討してください。
STRIMZI_NETWORK_POLICY_GENERATION
オプションです。デフォルトは
true
です。リソースのネットワークポリシー。ネットワークポリシーにより、Kafka コンポーネント間の接続が許可されます。ネットワークポリシーの生成を無効にするには、この環境変数を
false
に設定します。たとえば、カスタムのネットワークポリシーを使用する場合は、これを行うことができます。カスタムネットワークポリシーを使用すると、コンポーネント間の接続をより詳細に制御できます。STRIMZI_DNS_CACHE_TTL
-
オプションです。デフォルトは
30
です。ローカル DNS リゾルバーで成功した名前のルックアップをキャッシュする秒数。負の値を指定すると、キャッシュの期限はありません。ゼロはキャッシュされないことを意味します。これは、長いキャッシュポリシーが適用されることが原因の接続エラーを回避する場合に便利です。 STRIMZI_POD_SET_RECONCILIATION_ONLY
-
オプションです。デフォルトは
false
です。true
に設定すると、Cluster Operator はStrimziPodSet
リソースのみを調整し、他のカスタムリソース (Kafka
、KafkaConnect
など) への変更は無視されます。このモードは、必要に応じて Pod が再作成されるようにするのに役立ちますが、クラスターに他の変更は加えられません。 STRIMZI_FEATURE_GATES
- オプション:フィーチャーゲートで制御される機能を有効または無効にします。
STRIMZI_POD_SECURITY_PROVIDER_CLASS
-
オプション:Pod とコンテナーのセキュリティーコンテキスト設定を提供するために使用できるプラグ可能な
PodSecurityProvider
クラスを設定します。
8.5.1. ネットワークポリシーを使用した Cluster Operator へのアクセス制限
STRIMZI_OPERATOR_NAMESPACE_LABELS
環境変数を使用して Cluster Operator のネットワークポリシーを確立するには、namespace ラベルを使用します。
Cluster Operator は、管理するリソースと同じ namespace または別の namespace で実行できます。デフォルトでは、STRIMZI_OPERATOR_NAMESPACE
環境変数は、Downward API を使用して、Cluster Operator がどの namespace で実行されているかを検索するように設定されています。Cluster Operator がリソースと同じ namespace で実行されている場合は、ローカルアクセスのみが必要で、AMQ Sreams によって許可されます。
Cluster Operator が管理するリソースとは別の namespace で実行されている場合、ネットワークポリシーが設定されている場合を除き、OpenShift クラスターのすべての namespace は Cluster Operator へのアクセスが許可されます。namespace ラベルを追加すると、Cluster Operator へのアクセスは指定された namespace に限定されます。
Cluster Operator デプロイメントに設定されたネットワークポリシー
#... env: # ... - name: STRIMZI_OPERATOR_NAMESPACE_LABELS value: label1=value1,label2=value2 #...
8.5.2. Cluster Operator による定期的な調整の設定
STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
変数を使用して、Cluster Operator による定期的な調整の時間間隔を設定します。この値は、指定する間隔 (ミリ秒単位) に置き換えます。
Cluster Operator デプロイメント用に設定された調整期間
#... env: # ... - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS value: "120000" #...
Cluster Operator は、OpenShift クラスターから受信した対象のクラスターリソースに関するすべての通知に反応します。Operator が実行されていない場合や、何らかの理由で通知を受信しない場合に、リソースは実行中の OpenShift クラスターの状態と同期しなくなります。フェイルオーバーを適切に処理するために、Cluster Operator によって定期的な調整プロセスが実行され、リソースの状態を現在のクラスターデプロイメントと比較して、すべてのリソースで一貫した状態を保つことができます。
関連情報
8.5.3. リーダーの選択による複数の Cluster Operator レプリカの実行
デフォルトの Cluster Operator 設定では、リーダーの選択が有効になっており、Cluster Operator の並列レプリカを複数実行します。1 つのレプリカがアクティブなリーダーとして選択され、デプロイされたリソースを操作します。他のレプリカはスタンバイモードで実行されます。リーダーが停止またはクラッシュすると、スタンバイレプリカの 1 つが新しいリーダーとして選出され、デプロイされたリソースの操作を開始します。
デフォルトでは、AMQ Streams は、常にリーダーレプリカである単一の Cluster Operator レプリカで実行されます。単一の Cluster Operator レプリカが停止または失敗すると、OpenShift は新しいレプリカを起動します。
複数のレプリカを使用した Cluster Operator の実行は必須ではありません。ただし、重大な障害による大規模な中断が発生した場合に備えて、レプリカをスタンバイにしておくと便利です。たとえば、複数のワーカーノードまたはアベイラビリティーゾーン全体に障害が発生したとします。このような障害が発生すると、Cluster Operator Pod と多くの Kafka Pod が同時にダウンする可能性があります。後続の Pod スケジューリングがリソース不足によって輻輳を引き起こす場合、単一の Cluster Operator を実行しているときに操作が遅延する可能性があります。
8.5.3.1. Cluster Operator レプリカのリーダー選択の有効化
追加の Cluster Operator レプリカを実行する場合は、リーダー選出環境変数を設定します。以下の環境変数がサポートされています。
STRIMZI_LEADER_ELECTION_ENABLED
-
デフォルトでは無効 (
false
) になります (任意)。リーダーの選出を有効または無効にし、追加の Cluster Operator レプリカをスタンバイで実行できます。
リーダーの選択はデフォルトで無効になっています。インストール時にこの環境変数を適用する場合にのみ有効になります。
STRIMZI_LEADER_ELECTION_LEASE_NAME
-
リーダー選出が有効な場合に必要です。リーダーの選出に使用される OpenShift
Lease
リソースの名前。 STRIMZI_LEADER_ELECTION_LEASE_NAMESPACE
リーダー選出が有効な場合に必要です。リーダー選出に使用される OpenShift
Lease
リソースが作成される namespace。Downward API を使用して、Cluster Operator がデプロイされている namespace に設定できます。env: - name: STRIMZI_LEADER_ELECTION_LEASE_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace
STRIMZI_LEADER_ELECTION_IDENTITY
リーダー選出が有効な場合に必要です。リーダーの選択中に使用される特定の Cluster Operator インスタンスのアイデンティティーを設定します。アイデンティティーは、Operator インスタンスごとに一意である必要があります。Downward API を使用して、Cluster Operator がデプロイされている Pod の名前に設定できます。
env: - name: STRIMZI_LEADER_ELECTION_IDENTITY valueFrom: fieldRef: fieldPath: metadata.name
STRIMZI_LEADER_ELECTION_LEASE_DURATION_MS
- オプションです。デフォルトは 15000 ミリ秒です。取得したリースの有効期間を設定します。
STRIMZI_LEADER_ELECTION_RENEW_DEADLINE_MS
- オプションです。デフォルトは 10000 ミリ秒です。リーダーがリーダーシップを維持しようと試行する期間を指定します。
STRIMZI_LEADER_ELECTION_RETRY_PERIOD_MS
- オプションです。デフォルトは 2000 ミリ秒です。リーダーによるリースロックへの更新頻度を指定します。
8.5.3.2. Cluster Operator レプリカの設定
追加の Cluster Operator レプリカをスタンバイモードで実行するには、レプリカ数を増やし、リーダーの選択を有効にする必要があります。リーダーの選択を設定するには、リーダー選択用の環境変数を使用します。
必要な変更を行うには、install/cluster-operator/
にある以下の Cluster Operator インストールファイルを設定します。
- 060-Deployment-strimzi-cluster-operator.yaml
- 022-ClusterRole-strimzi-cluster-operator-role.yaml
- 022-RoleBinding-strimzi-cluster-operator.yaml
リーダーの選出には、監視している namespace ではなく、Cluster Operator が実行されている namespace を対象とする独自の ClusterRole
および RoleBinding
RBAC リソースがあります。
デフォルトのデプロイメント設定は、strimzi-cluster-operator
という Lease
リソースを Cluster Operator と同じ namespace に作成します。Cluster Operator はリースを使用してリーダーの選択を管理します。RBAC リソースは、Lease
リソースを使用するためのパーミッションを提供します。別の Lease
名または namespace を使用する場合は、ClusterRole
および RoleBinding
ファイルを適宜更新します。
前提条件
-
CustomResourceDefinition
および RBAC (ClusterRole
およびRoleBinding
) リソースを作成および管理する権限を持つアカウント。
手順
Cluster Operator のデプロイに使用される Deployment
リソースを編集します。これは、060-Deployment-strimzi-cluster-operator.yaml
ファイルで定義します。
replicas
プロパティーの値は、デフォルトの (1) から、必要なレプリカ数に変更します。Cluster Operator レプリカの数の増加
apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-cluster-operator labels: app: strimzi spec: replicas: 3
リーダー選択の
env
プロパティーが設定されていることを確認します。設定されていない場合には、設定を行います。
リーダーの選出を有効にするには、
STRIMZI_LEADER_ELECTION_ENABLED
をtrue
(デフォルト) に設定する必要があります。この例では、リースの名前は
my-strimzi-cluster-operator
に変更されています。Cluster Operator のリーダー選択用の環境変数の設定
# ... spec containers: - name: strimzi-cluster-operator # ... env: - name: STRIMZI_LEADER_ELECTION_ENABLED value: "true" - name: STRIMZI_LEADER_ELECTION_LEASE_NAME value: "my-strimzi-cluster-operator" - name: STRIMZI_LEADER_ELECTION_LEASE_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace - name: STRIMZI_LEADER_ELECTION_IDENTITY valueFrom: fieldRef: fieldPath: metadata.name
利用可能な環境変数の説明は、「Cluster Operator レプリカのリーダー選択の有効化」 を参照してください。
リーダーの選択に使用する
Lease
リソースに別の名前または namespace を指定している場合は、RBAC リソースを更新します。(オプション)
022-ClusterRole-strimzi-cluster-operator-role.yaml
ファイルでClusterRole
リソースを編集します。resourceNames
は、Lease
リソースの名前に更新します。リースへの ClusterRole 参照の更新
apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: strimzi-cluster-operator-leader-election labels: app: strimzi rules: - apiGroups: - coordination.k8s.io resourceNames: - my-strimzi-cluster-operator # ...
(オプション)
022-RoleBinding-strimzi-cluster-operator.yaml
ファイルでRoleBinding
リソースを編集します。subjects.name
およびsubjects.namespace
はLease
リソースの名前と、そのリソースが作成された namespace に更新します。RoleBinding 参照のリースへの更新
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: strimzi-cluster-operator-leader-election labels: app: strimzi subjects: - kind: ServiceAccount name: my-strimzi-cluster-operator namespace: myproject # ...
Cluster Operator をデプロイします。
oc create -f install/cluster-operator -n myproject
デプロイメントのステータスを確認します。
oc get deployments -n myproject
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE strimzi-cluster-operator 3/3 3 3
READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に正しい数のレプリカが表示されると、デプロイは成功です。
8.5.4. Cluster Operator HTTP プロキシーの設定
HTTP プロキシーの背後で Kafka クラスターを実行している場合は、クラスターとの間でデータを出し入れできます。たとえば、プロキシー外からデータをプッシュおよびプルするコネクターで Kafka Connect を実行できます。または、プロキシーを使用して認可サーバーに接続できます。
プロキシー環境変数を指定するように Cluster Operator デプロイメントを設定します。クラスターオペレータは標準的なプロキシー設定 (HTTP_PROXY
、HTTPS_PROXY
、NO_PROXY
) を環境変数として受け入れます。プロキシー設定はすべての AMQ Streams コンテナーに適用されます。
プロキシーアドレスの形式は http://<ip_address>:<port_number> です。名前とパスワードを使用してプロキシーを設定する場合、形式は http://<username>:<password>@<ip-address>:<port_number> です。
前提条件
-
CustomResourceDefinition
および RBAC (ClusterRole
およびRoleBinding
) リソースを作成および管理する権限を持つアカウント。
手順
クラスターオペレータにプロキシー環境変数を追加するには、その
Deployment
設定 (install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
) を更新します。Cluster Operator のプロキシー設定の例
apiVersion: apps/v1 kind: Deployment spec: # ... template: spec: serviceAccountName: strimzi-cluster-operator containers: # ... env: # ... - name: "HTTP_PROXY" value: "http://proxy.com" 1 - name: "HTTPS_PROXY" value: "https://proxy.com" 2 - name: "NO_PROXY" value: "internal.com, other.domain.com" 3 # ...
または、
Deployment
を直接編集します。oc edit deployment strimzi-cluster-operator
Deployment
を直接編集せずに YAML ファイルを更新する場合は、変更を適用します。oc create -f install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
8.5.5. Cluster Operator 設定を使用した FIPS モードの無効化
AMQ Streams は、FIPS 対応の OpenShift クラスターで実行されている場合、自動的に FIPS モードに切り替わります。Cluster Operator のデプロイメント設定で FIPS_MODE
環境変数を disabled
に設定して、FIPS モードを無効にします。FIPS モードを無効にすると、AMQ Streams はすべてのコンポーネントの OpenJDK で FIPS を自動的に無効にします。FIPS モードを無効にすると、AMQ Streams は FIPS に準拠しません。AMQ Streams オペレーターは、すべてのオペランドと同様に、FIPS が有効になっていない OpenShift クラスターで実行されている場合と同じように実行されます。
手順
Cluster Operator で FIPS モードを無効にするには、
Deployment
設定 (install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
) を更新し、FIPS_MODE
環境変数を追加します。Cluster Operator の FIPS 設定例
apiVersion: apps/v1 kind: Deployment spec: # ... template: spec: serviceAccountName: strimzi-cluster-operator containers: # ... env: # ... - name: "FIPS_MODE" value: "disabled" 1 # ...
- 1
- FIPS モードを無効にします。
または、
Deployment
を直接編集します。oc edit deployment strimzi-cluster-operator
Deployment
を直接編集せずに YAML ファイルを更新する場合は、変更を適用します。oc apply -f install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
8.6. Kafka Connect の設定
KafkaConnect
カスタムリソースの spec
プロパティーを更新して、Kafka Connect デプロイメントを設定します。
Kafka Connect を使用して、Kafka クラスターへの外部データ接続を設定します。KafkaConnect
リソースのプロパティーを使用して、Kafka Connect デプロイメントを設定します。
Kafka Connect クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
KafkaConnector の設定
KafkaConnect
リソースを使用すると、Kafka Connect のコネクターインスタンスを OpenShift ネイティブに作成および管理できます。
Kafka Connect 設定では、strimzi.io/use-connector-resources
アノテーションを追加して、Kafka Connect クラスターの KafkaConnectors を有効にします。また、build
設定を追加して、データ接続に必要なコネクタープラグインを備えたコンテテナーイメージを AMQ Streams が自動的にビルドするようにすることもできます。Kafka Connect コネクターの外部設定は、externalConfiguration
プロパティーで指定します。
コネクターを管理するには、KafkaConnector
カスタムリソースまたは Kafka Connect REST API を使用できます。KafkaConnector
リソースは、リンク先の Kafka Connect クラスターと同じ namespace にデプロイする必要があります。これらの方法を使用してコネクターを作成、再設定、または削除する方法の詳細については、コネクターの追加 を参照してください。
コネクター設定は、HTTP リクエストの一部として Kafka Connect に渡され、Kafka 自体に保存されます。ConfigMap およびシークレットは、設定やデータの保存に使用される標準的な OpenShift リソースです。ConfigMap およびシークレットを使用してコネクターの特定の要素を設定できます。その後、HTTP REST コマンドで設定値を参照できます。これにより、必要な場合は設定が分離され、よりセキュアになります。この方法は、ユーザー名、パスワード、証明書などの機密性の高いデータに適用されます。
大量のメッセージ処理
設定を調整して、大量のメッセージを処理できます。詳細は、大量のメッセージの処理 を参照してください。
KafkaConnect
カスタムリソース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect 1 metadata: name: my-connect-cluster annotations: strimzi.io/use-connector-resources: "true" 2 spec: replicas: 3 3 authentication: 4 type: tls certificateAndKey: certificate: source.crt key: source.key secretName: my-user-source bootstrapServers: my-cluster-kafka-bootstrap:9092 5 tls: 6 trustedCertificates: - secretName: my-cluster-cluster-cert certificate: ca.crt - secretName: my-cluster-cluster-cert certificate: ca2.crt config: 7 group.id: my-connect-cluster offset.storage.topic: my-connect-cluster-offsets config.storage.topic: my-connect-cluster-configs status.storage.topic: my-connect-cluster-status key.converter: org.apache.kafka.connect.json.JsonConverter value.converter: org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable: true value.converter.schemas.enable: true config.storage.replication.factor: 3 offset.storage.replication.factor: 3 status.storage.replication.factor: 3 build: 8 output: 9 type: docker image: my-registry.io/my-org/my-connect-cluster:latest pushSecret: my-registry-credentials plugins: 10 - name: debezium-postgres-connector artifacts: - type: tgz url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/2.1.3.Final/debezium-connector-postgres-2.1.3.Final-plugin.tar.gz sha512sum: c4ddc97846de561755dc0b021a62aba656098829c70eb3ade3b817ce06d852ca12ae50c0281cc791a5a131cb7fc21fb15f4b8ee76c6cae5dd07f9c11cb7c6e79 - name: camel-telegram artifacts: - type: tgz url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.11.5/camel-telegram-kafka-connector-0.11.5-package.tar.gz sha512sum: d6d9f45e0d1dbfcc9f6d1c7ca2046168c764389c78bc4b867dab32d24f710bb74ccf2a007d7d7a8af2dfca09d9a52ccbc2831fc715c195a3634cca055185bd91 externalConfiguration: 11 env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: aws-creds key: awsAccessKey - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: aws-creds key: awsSecretAccessKey resources: 12 requests: cpu: "1" memory: 2Gi limits: cpu: "2" memory: 2Gi logging: 13 type: inline loggers: log4j.rootLogger: INFO readinessProbe: 14 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 metricsConfig: 15 type: jmxPrometheusExporter valueFrom: configMapKeyRef: name: my-config-map key: my-key jvmOptions: 16 "-Xmx": "1g" "-Xms": "1g" image: my-org/my-image:latest 17 rack: topologyKey: topology.kubernetes.io/zone 18 template: 19 pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: application operator: In values: - postgresql - mongodb topologyKey: "kubernetes.io/hostname" connectContainer: 20 env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry 21
- 1
KafkaConnect
を使用します。- 2
- Kafka Connect クラスターの KafkaConnectors を有効にします。
- 3
- タスクを実行するワーカーのレプリカノード数。
- 4
- mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定された Kafka Connect クラスターの認証。デフォルトでは、Kafka Connect はプレーンテキスト接続を使用して Kafka ブローカーに接続します。
- 5
- Kafka クラスターに接続するためのブートストラップサーバー。
- 6
- クラスターの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
- 7
- ワーカーの Kafka Connect 設定 (コネクターではない)。標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
- 8
- コネクタープラグインで自動的にコンテナーイメージをビルドするためのビルド設定プロパティー。
- 9
- (必須) 新しいイメージがプッシュされるコンテナーレジストリーの設定。
- 10
- (必須) 新しいコンテナーイメージに追加するコネクタープラグインとそれらのアーティファクトのリスト。各プラグインは、1 つ以上の
artifact
を使用して設定する必要があります。 - 11
- ここで示す環境変数や、ボリュームを使用したコネクターの外部設定。設定プロバイダープラグインを使用して、外部ソースから設定値を読み込むこともできます。
- 12
- 現在
cpu
およびmemory
である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。 - 13
- 指定された Kafka ロガーおよびログレベルが ConfigMap を介して直接的に (
inline
) または間接的に (external
) に追加されます。カスタム Log4j 設定は、ConfigMap のlog4j.properties
キーまたはlog4j2.properties
キーの下に配置する必要があります。Kafka Connectlog4j.rootLogger
ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。 - 14
- コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
- 15
- Prometheus メトリクス。この例では、Prometheus JMX エクスポーターの設定が含まれる ConfigMap を参照して有効になります。
metricsConfig.valueFrom.configMapKeyRef.key
配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリックを有効にできます。 - 16
- Kafka Connect を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
- 17
- 高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
- 18
- 特別なオプション: 展開のための Rack awareness 設定。これは、リージョン間ではなく、同じロケーション内でのデプロイメントを目的とした特殊なオプションです。このオプションは、コネクターがリーダーレプリカではなく、最も近いレプリカから消費する場合に使用できます。場合によっては、最も近いレプリカから消費することで、ネットワークの使用率を改善したり、コストを削減したりできます。
topologyKey
は、ラック ID を含むノードラベルと一致する必要があります。この設定で使用される例では、標準のtopology.kubernetes.io/zone
ラベルを使用するゾーンを指定します。最も近いレプリカから消費するには、Kafka ブローカー設定でRackAwareReplicaSelector
を有効にします。 - 19
- テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
- 20
- 分散トレース用に環境変数が設定されます。
- 21
- 分散トレーシングは、OpenTelemetry を使用して有効になります。
8.6.1. Kafka Connect のユーザー承認の設定
この手順では、Kafka Connect のユーザーアクセスを承認する方法を説明します。
Kafka でいずれかのタイプの承認が使用される場合、Kafka Connect ユーザーは Kafka Connect のコンシューマーグループおよび内部トピックへの読み書きアクセス権限が必要になります。
コンシューマーグループおよび内部トピックのプロパティーは AMQ Streams によって自動設定されますが、KafkaConnect
リソースの spec
で明示的に指定することもできます。
KafkaConnect
リソースの設定プロパティーの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect spec: # ... config: group.id: my-connect-cluster 1 offset.storage.topic: my-connect-cluster-offsets 2 config.storage.topic: my-connect-cluster-configs 3 status.storage.topic: my-connect-cluster-status 4 # ... # ...
この手順では、simple
承認の使用時にアクセス権限が付与される方法を説明します。
簡易承認では、Kafka AclAuthorizer
プラグインによって処理される ACL ルールを使用し、適切なレベルのアクセス権限が提供されます。KafkaUser
リソースに簡易認証を使用するように設定する方法については、AclRule
スキーマリファレンスを参照してください。
複数のインスタンスを実行 している場合、コンシューマーグループとトピックのデフォルト値は異なります。
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
手順
KafkaUser
リソースのauthorization
プロパティーを編集し、アクセス権限をユーザーに付与します。以下の例では、
literal
の名前の値を使用して Kafka Connect トピックおよびコンシューマーグループにアクセス権限が設定されます。プロパティー 名前 offset.storage.topic
connect-cluster-offsets
status.storage.topic
connect-cluster-status
config.storage.topic
connect-cluster-configs
group
connect-cluster
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: # ... authorization: type: simple acls: # access to offset.storage.topic - resource: type: topic name: connect-cluster-offsets patternType: literal operations: - Create - Describe - Read - Write host: "*" # access to status.storage.topic - resource: type: topic name: connect-cluster-status patternType: literal operations: - Create - Describe - Read - Write host: "*" # access to config.storage.topic - resource: type: topic name: connect-cluster-configs patternType: literal operations: - Create - Describe - Read - Write host: "*" # consumer group - resource: type: group name: connect-cluster patternType: literal operations: - Read host: "*"
リソースを作成または更新します。
oc apply -f KAFKA-USER-CONFIG-FILE
8.7. Kafka MirrorMaker 2 の設定
KafkaMirrorMaker2
カスタムリソースの spec
プロパティーを更新して、MirrorMaker 2 デプロイメントを設定します。MirrorMaker 2 は、データ消費にソースクラスター設定を使用し、データ出力にターゲットクラスター設定を使用します。
MirrorMaker 2 は、クラスター間のデータ転送を管理する コネクター である Kafka Connect フレームワークに基づいています。
MirrorMaker 2 を設定して、ソースクラスターとターゲットクラスターの接続の詳細を含む Kafka Connect デプロイメントを定義し、一連の MirrorMaker 2 コネクターを実行して接続を確立します。
MirrorMaker 2 は、ソースクラスターとターゲットクラスター間のトピック設定の同期をサポートします。MirrorMaker 2 設定でソーストピックを指定します。MirrorMaker 2 はソーストピックを監視します。MirrorMaker 2 は、ソーストピックへの変更を検出し、リモートトピックに伝達します。変更には、欠けているトピックおよびパーティションの自動作成が含まれる場合があります。
ほとんどの場合、ローカルトピックに書き込み、リモートトピックから読み取ります。リモートトピックでは書き込み操作ができないわけではありませんが、使用しないようにしてください。
設定では以下を指定する必要があります。
- 各 Kafka クラスター
- 認証を含む各クラスターの接続情報
レプリケーションのフローおよび方向
- クラスターからクラスターへ
- トピックからトピックへ
Kafka MirrorMaker 2 クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
MirrorMaker 2 のリソース設定は、現在非推奨になっている以前のバージョンの MirrorMaker とは異なります。現在、レガシーサポートはないため、リソースは手動で新しい形式に変換する必要があります。
デフォルト設定
MirrorMaker 2 は、レプリケーション係数などのプロパティーのデフォルト設定値を提供します。デフォルトに変更がない最小設定の例は以下のようになります。
MirrorMaker 2 の最小設定
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker2 spec: version: 3.5.0 connectCluster: "my-cluster-target" clusters: - alias: "my-cluster-source" bootstrapServers: my-cluster-source-kafka-bootstrap:9092 - alias: "my-cluster-target" bootstrapServers: my-cluster-target-kafka-bootstrap:9092 mirrors: - sourceCluster: "my-cluster-source" targetCluster: "my-cluster-target" sourceConnector: {}
mTLS または SASL 認証を使用して、ソースおよびターゲットクラスターのアクセス制御を設定できます。この手順では、ソースおよびターゲットクラスターに対して mTLS による暗号化および認証を使用する設定を説明します。
KafkaMirrorMaker2
リソースのソースクラスターからレプリケートするトピックとコンシューマーグループを指定できます。これを行うには、topicsPattern
および groupsPattern
プロパティーを使用します。名前のリストを指定したり、正規表現を使用したりできます。デフォルトでは、topicsPattern
および groupsPattern
プロパティーを設定しない場合、すべてのトピックとコンシューマーグループがレプリケートされます。.*
を正規表現として使用して、すべてのトピックとコンシューマーグループを複製することもできます。ただし、クラスターに不要な負荷が余分にかかるのを避けるため、必要なトピックとコンシューマーグループのみを指定するようにしてください。
大量のメッセージ処理
設定を調整して、大量のメッセージを処理できます。詳細は、大量のメッセージの処理 を参照してください。
KafkaMirrorMaker2
カスタムリソース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker2 spec: version: 3.5.0 1 replicas: 3 2 connectCluster: "my-cluster-target" 3 clusters: 4 - alias: "my-cluster-source" 5 authentication: 6 certificateAndKey: certificate: source.crt key: source.key secretName: my-user-source type: tls bootstrapServers: my-cluster-source-kafka-bootstrap:9092 7 tls: 8 trustedCertificates: - certificate: ca.crt secretName: my-cluster-source-cluster-ca-cert - alias: "my-cluster-target" 9 authentication: 10 certificateAndKey: certificate: target.crt key: target.key secretName: my-user-target type: tls bootstrapServers: my-cluster-target-kafka-bootstrap:9092 11 config: 12 config.storage.replication.factor: 1 offset.storage.replication.factor: 1 status.storage.replication.factor: 1 tls: 13 trustedCertificates: - certificate: ca.crt secretName: my-cluster-target-cluster-ca-cert mirrors: 14 - sourceCluster: "my-cluster-source" 15 targetCluster: "my-cluster-target" 16 sourceConnector: 17 tasksMax: 10 18 autoRestart: 19 enabled: true config: replication.factor: 1 20 offset-syncs.topic.replication.factor: 1 21 sync.topic.acls.enabled: "false" 22 refresh.topics.interval.seconds: 60 23 replication.policy.class: "org.apache.kafka.connect.mirror.IdentityReplicationPolicy" 24 heartbeatConnector: 25 autoRestart: enabled: true config: heartbeats.topic.replication.factor: 1 26 replication.policy.class: "org.apache.kafka.connect.mirror.IdentityReplicationPolicy" checkpointConnector: 27 autoRestart: enabled: true config: checkpoints.topic.replication.factor: 1 28 refresh.groups.interval.seconds: 600 29 sync.group.offsets.enabled: true 30 sync.group.offsets.interval.seconds: 60 31 emit.checkpoints.interval.seconds: 60 32 replication.policy.class: "org.apache.kafka.connect.mirror.IdentityReplicationPolicy" topicsPattern: "topic1|topic2|topic3" 33 groupsPattern: "group1|group2|group3" 34 resources: 35 requests: cpu: "1" memory: 2Gi limits: cpu: "2" memory: 2Gi logging: 36 type: inline loggers: connect.root.logger.level: INFO readinessProbe: 37 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 jvmOptions: 38 "-Xmx": "1g" "-Xms": "1g" image: my-org/my-image:latest 39 rack: topologyKey: topology.kubernetes.io/zone 40 template: 41 pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: application operator: In values: - postgresql - mongodb topologyKey: "kubernetes.io/hostname" connectContainer: 42 env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry 43 externalConfiguration: 44 env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: aws-creds key: awsAccessKey - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: aws-creds key: awsSecretAccessKey
- 1
- 常に同じになる Kafka Connect と Mirror Maker 2.0 のバージョン。
- 2
- タスクを実行するワーカーのレプリカノード数。
- 3
- Kafka Connect の Kafka クラスターエイリアス。ターゲット Kafka クラスターを指定する必要があります。Kafka クラスターは、その内部トピックのために Kafka Connect によって使用されます。
- 4
- 同期される Kafka クラスターの指定。
- 5
- ソースの Kafka クラスターのクラスターエイリアス。
- 6
- ソースクラスターの認証。mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定します。
- 7
- ソース Kafka クラスターに接続するためのブートストラップサーバー。
- 8
- ソース Kafka クラスターの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
- 9
- ターゲット Kafka クラスターのクラスターエイリアス。
- 10
- ターゲット Kafka クラスターの認証は、ソース Kafka クラスターと同様に設定されます。
- 11
- ターゲット Kafka クラスターに接続するためのブートストラップサーバー。
- 12
- Kafka Connect の設定。標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
- 13
- ターゲット Kafka クラスターの TLS による暗号化は、ソース Kafka クラスターと同様に設定されます。
- 14
- MirrorMaker 2 コネクター。
- 15
- MirrorMaker 2 コネクターによって使用されるソースクラスターのクラスターエイリアス。
- 16
- MirrorMaker 2 コネクターによって使用されるターゲットクラスターのクラスターエイリアス。
- 17
- リモートトピックを作成する
MirrorSourceConnector
の設定。デフォルトの設定オプションはconfig
によって上書きされます。 - 18
- コネクターによる作成が可能なタスクの最大数。タスクは、データのレプリケーションを処理し、並行して実行されます。インフラストラクチャーが処理のオーバーヘッドをサポートする場合、この値を大きくするとスループットが向上されます。Kafka Connect は、クラスターのメンバー間でタスクを分散します。ワーカーよりも多くのタスクがある場合は、ワーカーには複数のタスクが割り当てられます。シンクコネクターでは、消費される各トピックパーティションに 1 つタスクがあるようになることを目指します。ソースコネクターでは、並行して実行できるタスクの数は外部システムによって異なる場合もあります。並列処理を実現できない場合、コネクターは最大数より少ないタスクを作成します。
- 19
- 失敗したコネクターとタスクの自動再起動を有効にします。再起動は最大 7 回試行され、その後は手動で再起動する必要があります。
- 20
- ターゲットクラスターで作成されるミラーリングされたトピックのレプリケーション係数。
- 21
- ソースおよびターゲットクラスターのオフセットをマップする
MirrorSourceConnector
offset-syncs
内部トピックのレプリケーション係数。 - 22
- ACL ルールの同期が有効になっていると、同期されたトピックに ACL が適用されます。デフォルトは
true
です。この機能は User Operator と互換性がありません。User Operator を使用している場合は、このプロパティーをfalse
に設定します。 - 23
- 新規トピックのチェック頻度を変更する任意設定。デフォルトでは 10 分毎にチェックされます。
- 24
- リモートトピック名の自動変更をオーバーライドするポリシーを追加します。その名前の前にソースクラスターの名前を追加する代わりに、トピックが元の名前を保持します。このオプションの設定は、active/passive バックアップおよびデータ移行に役立ちます。このプロパティーはすべてのコネクターに指定する必要があります。双方向 (アクティブ/アクティブ) レプリケーションの場合、
DefaultReplicationPolicy
クラスを使用してリモートトピックの名前を自動的に変更し、すべてのコネクターにreplication.policy.separator
プロパティーを指定してカスタムセパレーターを追加します。 - 25
- 接続チェックを実行する
MirrorHeartbeatConnector
の設定。デフォルトの設定オプションはconfig
によって上書きされます。 - 26
- ターゲットクラスターで作成されたハートビートトピックのレプリケーション係数。
- 27
- オフセットを追跡する
MirrorCheckpointConnector
の設定。デフォルトの設定オプションはconfig
によって上書きされます。 - 28
- ターゲットクラスターで作成されたチェックポイントトピックのレプリケーション係数。
- 29
- 新規コンシューマーグループのチェック頻度を変更する任意設定。デフォルトでは 10 分毎にチェックされます。
- 30
- コンシューマーグループのオフセットを同期する任意設定。これは、active/passive 設定でのリカバリーに便利です。同期はデフォルトでは有効になっていません。
- 31
- コンシューマーグループオフセットの同期が有効な場合は、同期の頻度を調整できます。
- 32
- オフセット追跡のチェック頻度を調整します。オフセット同期の頻度を変更する場合は、これらのチェックの頻度も調整することを推奨します。
- 33
- コンマ区切りリストまたは正規表現パターンとして定義されたソースクラスターからのトピックレプリケーション。ソースコネクターは指定のトピックをレプリケーションします。チェックポイントコネクターは、指定されたトピックのオフセットを追跡します。ここでは、3 つのトピックを名前でリクエストします。
- 34
- コンマ区切りリストまたは正規表現パターンとして定義されたソースクラスターからのコンシューマーグループのレプリケーション。チェックポイントコネクターは、指定されたコンシューマーグループをレプリケーションします。ここで、3 つのコンシューマーグループを名前で要求します。
- 35
- 現在
cpu
およびmemory
である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。 - 36
- 指定された Kafka ロガーおよびログレベルが ConfigMap を介して直接的に (
inline
) または間接的に (external
) に追加されます。カスタム Log4j 設定は、ConfigMap のlog4j.properties
キーまたはlog4j2.properties
キーの下に配置する必要があります。Kafka Connectlog4j.rootLogger
ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。 - 37
- コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
- 38
- Kafka MirrorMaker を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
- 39
- 高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
- 40
- 特別なオプション: 展開のための Rack awareness 設定。これは、リージョン間ではなく、同じロケーション内でのデプロイメントを目的とした特殊なオプションです。このオプションは、コネクターがリーダーレプリカではなく、最も近いレプリカから消費する場合に使用できます。場合によっては、最も近いレプリカから消費することで、ネットワークの使用率を改善したり、コストを削減したりできます。
topologyKey
は、ラック ID を含むノードラベルと一致する必要があります。この設定で使用される例では、標準のtopology.kubernetes.io/zone
ラベルを使用するゾーンを指定します。最も近いレプリカから消費するには、Kafka ブローカー設定でRackAwareReplicaSelector
を有効にします。 - 41
- テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
- 42
- 分散トレース用に環境変数が設定されます。
- 43
- 分散トレーシングは、OpenTelemetry を使用して有効になります。
- 44
- 環境変数として Kafka MirrorMaker にマウントされた OpenShift Secret の外部設定。設定プロバイダープラグインを使用して、外部ソースから設定値を読み込むこともできます。
8.7.1. アクティブ/アクティブまたはアクティブ/パッシブモードの設定
MirrorMaker 2 は、active/passive または active/active クラスター設定で使用できます。
- アクティブ/アクティブのクラスター設定
- アクティブ/アクティブ設定には、双方向でデータをレプリケーションするアクティブなクラスターが 2 つあります。アプリケーションはいずれかのクラスターを使用できます。各クラスターは同じデータを提供できます。これにより、地理的に異なる場所で同じデータを利用できるようにします。コンシューマーグループは両方のクラスターでアクティブであるため、レプリケーションされたトピックのコンシューマーオフセットはソースクラスターに同期されません。
- active/passive クラスター設定
- active/passive 設定には、passive クラスターにデータをレプリケーションする active クラスターがあります。passive クラスターはスタンバイのままになります。システムに障害が発生した場合に、データ復旧に passive クラスターを使用できます。
プロデューサーとコンシューマーがアクティブなクラスターのみに接続することを前提とします。MirrorMaker 2 クラスターはターゲットごとに必要です。
8.7.1.1. 双方向レプリケーション (active/active)
MirrorMaker 2 アーキテクチャーは、アクティブ/アクティブ クラスター設定での双方向レプリケーションをサポートします。
各クラスターは、source および remote トピックの概念を使用して、別のクラスターのデータをレプリケーションします。同じトピックが各クラスターに保存されるため、リモートトピックの名前は MirrorMaker 2 によってソースクラスターを表すように自動的に変更されます。元のクラスターの名前の先頭には、トピックの名前が追加されます。
図8.1 トピック名の変更

ソースクラスターにフラグを付けると、トピックはそのクラスターにレプリケーションされません。
remote トピックを介したレプリケーションの概念は、データの集約が必要なアーキテクチャーの設定に役立ちます。コンシューマーは、同じクラスター内でソースおよびリモートトピックにサブスクライブできます。これに個別の集約クラスターは必要ありません。
8.7.1.2. 一方向レプリケーション (active/passive)
MirrorMaker 2 アーキテクチャーは、active/passive クラスター設定での一方向レプリケーションをサポートします。
active/passive のクラスター設定を使用してバックアップを作成したり、データを別のクラスターに移行したりできます。この場合、リモートトピックの名前の自動変更は推奨しません。
IdentityReplicationPolicy
をソースコネクター設定に追加することで、名前の自動変更をオーバーライドできます。この設定が適用されると、トピックには元の名前が保持されます。
8.7.2. MirrorMaker 2 コネクターの設定
Kafka クラスター間のデータの同期を調整する内部コネクターには、MirrorMaker 2 コネクター設定を使用します。
MirrorMaker 2 は次のコネクターで設定されます。
MirrorSourceConnector
-
ソースコネクターは、トピックをソースクラスターからターゲットクラスターにレプリケーションします。また、ACL をレプリケーションし、
MirrorCheckpointConnector
を実行する必要があります。 MirrorCheckpointConnector
- チェックポイントコネクターは定期的にオフセットを追跡します。有効にすると、ソースクラスターとターゲットクラスター間のコンシューマーグループオフセットも同期されます。
MirrorHeartbeatConnector
- ハートビートコネクターは、ソースクラスターとターゲットクラスター間の接続を定期的にチェックします。
以下の表は、コネクタープロパティーと、これらを使用するために設定するコネクターについて説明しています。
プロパティー | sourceConnector | checkpointConnector | heartbeatConnector |
---|---|---|---|
| ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ |
| ✓ | ✓ | ✓ |
| ✓ | ✓ | |
| ✓ | ✓ | |
| ✓ | ✓ | |
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ | ||
| ✓ |
8.7.2.1. コンシューマーグループオフセットの場所の変更トピック
MirrorMaker 2 は、内部トピックを使用してコンシューマーグループのオフセットを追跡します。
offset-syncs
トピック-
offset-syncs
トピックは、レプリケーションされたトピックパーティションのソースおよびターゲットオフセットをレコードメタデータからマッピングします。 checkpoints
トピック-
checkpoints
トピックは、各コンシューマーグループでレプリケーションされたトピックパーティションのソースおよびターゲットクラスターで、最後にコミットされたオフセットをマッピングします。
これらは MirrorMaker 2 によって内部的に使用されるため、これらのトピックと直接対話することはありません。
MirrorCheckpointConnector
は、オフセット追跡用の チェックポイント を発行します。checkpoints
トピックのオフセットは、設定によって事前に決定された間隔で追跡されます。両方のトピックは、フェイルオーバー時に正しいオフセットの位置からレプリケーションの完全復元を可能にします。
offset-syncs
トピックの場所は、デフォルトで source
クラスターです。offset-syncs.topic.location
コネクター設定を使用して、これを target
クラスターに変更することができます。トピックが含まれるクラスターへの読み取り/書き込みアクセスが必要です。ターゲットクラスターを offset-syncs
トピックの場所として使用すると、ソースクラスターへの読み取りアクセス権しかない場合でも、MirrorMaker 2 を使用できるようになります。
8.7.2.2. コンシューマーグループオフセットの同期
__consumer_offsets
トピックには、各コンシューマーグループのコミットされたオフセットに関する情報が保存されます。オフセットの同期は、ソースクラスターのコンシューマーグループのコンシューマーオフセットをターゲットクラスターのコンシューマーオフセットに定期的に転送します。
オフセットの同期は、特に active/passive 設定で便利です。アクティブなクラスターがダウンした場合、コンシューマーアプリケーションを passive (スタンバイ) クラスターに切り替え、最後に転送されたオフセットの位置からピックアップできます。
トピックオフセットの同期を使用するには、sync.group.offsets.enabled
を checkpoint コネクター設定に追加し、プロパティーを true
に設定して、同期を有効にします。同期はデフォルトで無効になっています。
ソースコネクターで IdentityReplicationPolicy
を使用する場合は、チェックポイントコネクター設定でも設定する必要があります。これにより、ミラーリングされたコンシューマーオフセットが正しいトピックに適用されます。
コンシューマーオフセットは、ターゲットクラスターでアクティブではないコンシューマーグループに対してのみ同期されます。コンシューマーグループがターゲットクラスターにある場合、Synchronization を実行できず、UNKNOWN_MEMBER_ID
エラーが返されます。
同期を有効にすると、ソースクラスターからオフセットの同期が定期的に行われます。この頻度は、sync.group.offsets.interval.seconds
および emit.checkpoints.interval.seconds
をチェックポイントコネクター設定に追加することで変更できます。これらのプロパティーは、コンシューマーグループのオフセットが同期される頻度 (秒単位) と、オフセットを追跡するためにチェックポイントが生成される頻度を指定します。両方のプロパティーのデフォルトは 60 秒です。refresh.groups.interval.seconds
プロパティーを使用して、新規コンシューマーグループのチェック頻度を変更することもできます。デフォルトでは 10 分ごとに実行されます。
同期は時間ベースであるため、コンシューマーによって passive クラスターへ切り替えられると、一部のメッセージが重複する可能性があります。
Java で作成されたアプリケーションがある場合は、RemoteClusterUtils.java
ユーティリティーを使用して、アプリケーションを通じてオフセットを同期できます。ユーティリティーは、checkpoints
トピックからコンシューマーグループのリモートオフセットを取得します。
8.7.2.3. ハートビートコネクターを使用するタイミングの決定
ハートビートコネクターはハートビートを出力して、ソース Kafka クラスターとターゲット Kafka クラスター間の接続を確認します。内部 heartbeat
トピックはソースクラスターからレプリケートされます。つまり、ハートビートコネクターがソースクラスターに接続されている必要があります。heartbeat
トピックはターゲットクラスターに配置されているため、次のことが可能になります。
- データのミラーリング元のすべてのソースクラスターを特定します。
- ミラーリングプロセスの稼働状況と遅延を確認する
これは、プロセスが何らかの理由でスタックしたり停止したりしていないことを確認するのに役立ちます。ハートビートコネクターは、Kafka クラスター間のミラーリングプロセスを監視するための貴重なツールですが、必ずしも使用する必要があるわけではありません。たとえば、デプロイメントのネットワーク遅延が低い場合、またはトピックの数が少ない場合は、ログメッセージやその他の監視ツールを使用してミラーリングプロセスを監視することが推奨されます。ハートビートコネクターを使用しない場合は、MirrorMaker 2 設定からハートビートコネクターを省略してください。
8.7.2.4. MirrorMaker 2 コネクターの設定の調整
MirrorMaker 2 コネクターが正しく動作することを確認するには、コネクター全体で特定の設定を調整してください。具体的には、次のプロパティーが該当するすべてのコネクターで同じ値であることを確認してください。
-
replication.policy.class
-
replication.policy.separator
-
offset-syncs.topic.location
-
topic.filter.class
たとえば、replication.policy.class
の値は、ソース、チェックポイント、およびハートビートコネクターで同じである必要があります。設定が一致していないか欠落していると、データレプリケーションやオフセット同期で問題が発生するため、関連するすべてのコネクターを同じ設定で設定しておくことが重要です。
8.7.3. MirrorMaker 2 コネクターのプロデューサとコンシューマーの設定
MirrorMaker 2 コネクターは、内部プロデューサーとコンシューマーを使用します。必要に応じて、これらのプロデューサーおよびコンシューマーを設定して、デフォルト設定を上書きできます。
たとえば、トピックをターゲットの Kafka クラスターに送信するソースプロデューサーの batch.size
を増やして、大量のデータをより適切に対応できます。
プロデューサおよびコンシューマーの設定オプションは MirrorMaker 2 の実装に依存しており、変更される可能性があります。
次の表では、各コネクターのプロデューサーとコンシューマー、および設定を追加できる場所について説明します。
タイプ | 説明 | 設定 |
---|---|---|
producer | トピックメッセージをターゲット Kafka クラスターに送信します。大量のデータを処理する場合は、このプロデューサーの設定を調整することを検討してください。 |
|
producer |
レプリケートされたトピックパーティションのソースオフセットとターゲットオフセットをマップする、 |
|
コンシューマー | ソース Kafka クラスターからトピックメッセージを取得します。 |
|
タイプ | 説明 | 設定 |
---|---|---|
producer | コンシューマーオフセットチェックポイントを発行します。 |
|
コンシューマー |
|
|
offset-syncs.topic.location
を target
に設定して、ターゲット Kafka クラスターを offset-syncs
トピックの場所として使用できます。
タイプ | 説明 | 設定 |
---|---|---|
producer | ハートビートを生成します。 |
|
次の例は、プロデューサーとコンシューマーを設定する方法を示しています。
コネクターのプロデューサーとコンシューマーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker2 spec: version: 3.5.0 # ... mirrors: - sourceCluster: "my-cluster-source" targetCluster: "my-cluster-target" sourceConnector: tasksMax: 5 config: producer.override.batch.size: 327680 producer.override.linger.ms: 100 producer.request.timeout.ms: 30000 consumer.fetch.max.bytes: 52428800 # ... checkpointConnector: config: producer.override.request.timeout.ms: 30000 consumer.max.poll.interval.ms: 300000 # ... heartbeatConnector: config: producer.override.request.timeout.ms: 30000 # ...
8.7.4. データ複製タスクの最大数の指定
コネクターは、Kafka にデータを出し入れするタスクを作成します。各コネクターは、タスクを実行するワーカー Pod のグループ全体に分散される 1 つ以上のタスクで設定されます。タスクの数を増やすと、多数のパーティションをレプリケーションするとき、または多数のコンシューマーグループのオフセットを同期するときのパフォーマンスの問題に役立ちます。
タスクは並行して実行されます。ワーカーには 1 つ以上のタスクが割り当てられます。1 つのタスクが 1 つのワーカー Pod によって処理されるため、タスクよりも多くのワーカー Pod は必要ありません。ワーカーよりも多くのタスクがある場合、ワーカーは複数のタスクを処理します。
tasksMax
プロパティーを使用して、MirrorMaker 設定でコネクタータスクの最大数を指定できます。タスクの最大数を指定しない場合、デフォルト設定のタスク数は 1 つです。
ハートビートコネクターは常に単一のタスクを使用します。
ソースおよびチェックポイントコネクターに対して開始されるタスクの数は、可能なタスクの最大数と tasksMax
の値の間の低い値です。ソースコネクターの場合、可能なタスクの最大数は、ソースクラスターからレプリケーションされるパーティションごとに 1 つです。チェックポイントコネクターの場合、可能なタスクの最大数は、ソースクラスターからレプリケーションされるコンシューマーグループごとに 1 つです。タスクの最大数を設定するときは、プロセスをサポートするパーティションの数とハードウェアリソースを考慮してください。
インフラストラクチャーが処理のオーバーヘッドをサポートしている場合、タスクの数を増やすと、スループットと待機時間が向上する可能性があります。たとえば、タスクを追加すると、多数のパーティションまたはコンシューマーグループがある場合に、ソースクラスターのポーリングにかかる時間が短縮されます。
ソースコネクターのタスク数を増やすと、多数のパーティションがある場合に役立ちます。
ソースコネクターのタスク数を増やす
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker2 spec: # ... mirrors: - sourceCluster: "my-cluster-source" targetCluster: "my-cluster-target" sourceConnector: tasksMax: 10 # ...
多数のコンシューマーグループがある場合は、チェックポイントコネクターのタスク数を増やすと便利です。
チェックポイントコネクターのタスク数の増加
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker2 spec: # ... mirrors: - sourceCluster: "my-cluster-source" targetCluster: "my-cluster-target" checkpointConnector: tasksMax: 10 # ...
デフォルトでは、MirrorMaker 2 は 10 分ごとに新しいコンシューマーグループをチェックします。refresh.groups.interval.seconds
設定を調整して、頻度を変更できます。低く調整するときは注意してください。より頻繁なチェックは、パフォーマンスに悪影響を及ぼす可能性があります。
8.7.4.1. コネクタータスクの動作の確認
Prometheus と Grafana を使用してデプロイメントを監視している場合は、MirrorMaker 2 のパフォーマンスをチェックできます。AMQ Streams で提供される MirrorMaker 2 Grafana ダッシュボードの例には、タスクとレイテンシーに関連する次のメトリックが表示されます。
- タスクの数
- レプリケーションのレイテンシー
- オフセット同期のレイテンシー
8.7.5. リモートトピックの ACL ルールの同期
MirrorMaker 2 を AMQ Streams とともに使用すると、リモートトピックの ACL ルールを同期できます。ただし、この機能はユーザーオペレーターを使用していない場合にのみ使用できます。
User Operator を使用せずに type: simple
認可を使用している場合、ブローカーへのアクセスを管理する ACL ルールはリモートトピックにも適用されます。これは、ソーストピックへの読み取りアクセス権を持つユーザーが、リモートの同等のトピックを読み取ることもできることを意味します。
OAuth 2.0 での承認は、このようなリモートトピックへのアクセスをサポートしません。
8.7.6. Kafka MirrorMaker 2 デプロイメントの保護
この手順では、MirrorMaker 2 デプロイメントを保護するために必要な設定の概要を説明します。
ソース Kafka クラスターとターゲット Kafka クラスターには別々の設定が必要です。また、MirrorMaker がソースおよびターゲットの Kafka クラスターに接続するために必要な認証情報を提供するために、個別のユーザー設定が必要です。
Kafka クラスターの場合、OpenShift クラスター内のセキュア接続用の内部リスナーと、OpenShift クラスター外の接続用の外部リスナーを指定します。
認証および許可メカニズムを設定できます。ソースおよびターゲットの Kafka クラスターに実装されたセキュリティーオプションは、MirrorMaker 2 に実装されたセキュリティーオプションと互換性がある必要があります。
クラスターとユーザー認証情報を作成したら、セキュアな接続のために MirrorMaker 設定でそれらを指定します。
この手順では、Cluster Operator によって生成された証明書が使用されますが、独自の証明書をインストール してそれらを置き換えることができます。外部 CA (認証局) によって管理される Kafka リスナー証明書を使用 するようにリスナーを設定することもできます。
作業を開始する前の注意事項
この手順を開始する前に、AMQ Streams が提供する 設定ファイルの例 を確認してください。これらには、mTLS または SCRAM-SHA-512 認証を使用して MirrorMaker 2 のデプロイメントを保護するための例が含まれています。例では、OpenShift クラスター内で接続するための内部リスナーを指定しています。
この例では、ソースおよびターゲットの Kafka クラスターでの操作を許可するために MirrorMaker 2 で必要なすべての ACL を含む、完全な承認の設定を提供します。
前提条件
- AMQ Streams が実行されている
- ソースクラスターとターゲットクラスターの namespace が分離されている
この手順では、ソースとターゲットの Kafka クラスターが別々の namespace にインストールされていることを前提としています。Topic Operator を使用する場合は、これを行う必要があります。Topoic Operator は、指定された namespace 内の単一クラスターのみをモニタリングします。
クラスターを namespace に分割することにより、クラスターシークレットをコピーして、namespace の外部からアクセスできるようにする必要があります。MirrorMaker 設定でシークレットを参照する必要があります。
手順
2 つの
Kafka
リソースを設定します。1 つはソース Kafka クラスターを保護するためのもので、もう 1 つはターゲット Kafka クラスターを保護するためのものです。認証用のリスナー設定を追加し、認可を有効にすることができます。
この例の場合、内部リスナーは mTLS 暗号化と認証を使用して Kafka クラスター用に設定されています。Kafka の
simple
認証が有効になっています。TLS 暗号化と mTLS 認証を使用したソース Kafka クラスター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-source-cluster spec: kafka: version: 3.5.0 replicas: 1 listeners: - name: tls port: 9093 type: internal tls: true authentication: type: tls authorization: type: simple config: offsets.topic.replication.factor: 1 transaction.state.log.replication.factor: 1 transaction.state.log.min.isr: 1 default.replication.factor: 1 min.insync.replicas: 1 inter.broker.protocol.version: "3.5" storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false zookeeper: replicas: 1 storage: type: persistent-claim size: 100Gi deleteClaim: false entityOperator: topicOperator: {} userOperator: {}
TLS 暗号化と mTLS 認証を使用したターゲット Kafka クラスター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-target-cluster spec: kafka: version: 3.5.0 replicas: 1 listeners: - name: tls port: 9093 type: internal tls: true authentication: type: tls authorization: type: simple config: offsets.topic.replication.factor: 1 transaction.state.log.replication.factor: 1 transaction.state.log.min.isr: 1 default.replication.factor: 1 min.insync.replicas: 1 inter.broker.protocol.version: "3.5" storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false zookeeper: replicas: 1 storage: type: persistent-claim size: 100Gi deleteClaim: false entityOperator: topicOperator: {} userOperator: {}
別の namespace で
Kafka
リソースを作成または更新します。oc apply -f <kafka_configuration_file> -n <namespace>
Cluster Operator はリスナーを作成し、クラスターおよびクライアント認証局 (CA) 証明書を設定して Kafka クラスター内で認証を有効にします。
証明書は、シークレット
<cluster_name>-cluster-ca-cert
に作成されます。2 つの
KafkaUser
リソースを設定します。1 つはソース Kafka クラスターのユーザー用で、もう 1 つはターゲット Kafka クラスターのユーザー用です。-
対応するソースおよびターゲットの Kafka クラスターと同じ認証および認可タイプを設定します。たとえば、ソース Kafka クラスターの
Kafka
設定でtls
認証とsimple
認可タイプを使用した場合は、KafkaUser
設定でも同じものを使用します。 MirrorMaker 2 に必要な ACL を設定して、ソースおよびターゲットの Kafka クラスターでの操作を許可します。
ACL は、内部 MirrorMaker コネクター、および基盤となる Kafka Connect フレームワークによって使用されます。
mTLS 認証のソースユーザー設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-source-user labels: strimzi.io/cluster: my-source-cluster spec: authentication: type: tls authorization: type: simple acls: # MirrorSourceConnector - resource: # Not needed if offset-syncs.topic.location=target type: topic name: mm2-offset-syncs.my-target-cluster.internal operations: - Create - DescribeConfigs - Read - Write - resource: # Needed for every topic which is mirrored type: topic name: "*" operations: - DescribeConfigs - Read # MirrorCheckpointConnector - resource: type: cluster operations: - Describe - resource: # Needed for every group for which offsets are synced type: group name: "*" operations: - Describe - resource: # Not needed if offset-syncs.topic.location=target type: topic name: mm2-offset-syncs.my-target-cluster.internal operations: - Read
mTLS 認証のターゲットユーザー設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-target-user labels: strimzi.io/cluster: my-target-cluster spec: authentication: type: tls authorization: type: simple acls: # Underlying Kafka Connect internal topics to store configuration, offsets, or status - resource: type: group name: mirrormaker2-cluster operations: - Read - resource: type: topic name: mirrormaker2-cluster-configs operations: - Create - Describe - DescribeConfigs - Read - Write - resource: type: topic name: mirrormaker2-cluster-status operations: - Create - Describe - DescribeConfigs - Read - Write - resource: type: topic name: mirrormaker2-cluster-offsets operations: - Create - Describe - DescribeConfigs - Read - Write # MirrorSourceConnector - resource: # Needed for every topic which is mirrored type: topic name: "*" operations: - Create - Alter - AlterConfigs - Write # MirrorCheckpointConnector - resource: type: cluster operations: - Describe - resource: type: topic name: my-source-cluster.checkpoints.internal operations: - Create - Describe - Read - Write - resource: # Needed for every group for which the offset is synced type: group name: "*" operations: - Read - Describe # MirrorHeartbeatConnector - resource: type: topic name: heartbeats operations: - Create - Describe - Write
注記type
をtls-external
に設定することにより、User Operator の外部で発行された証明書を使用できます。詳細は、KafkaUserSpec
スキーマリファレンス を参照してください。-
対応するソースおよびターゲットの Kafka クラスターと同じ認証および認可タイプを設定します。たとえば、ソース Kafka クラスターの
ソースおよびターゲットの Kafka クラスター用に作成した各 namespace で、
KafkaUser
リソースを作成または更新します。oc apply -f <kafka_user_configuration_file> -n <namespace>
User Operator はクライアント (MirrorMaker) に対応するユーザーを作成すると共に、選択した認証タイプに基づいて、クライアント認証に使用されるセキュリティークレデンシャルを作成します。
User Operator は、
KafkaUser
リソースと同じ名前の新しいシークレットを作成します。シークレットには、mTLS 認証用の秘密鍵と公開鍵が含まれています。公開鍵は、クライアント CA によって署名されたユーザー証明書に含まれます。ソースおよびターゲットの Kafka クラスターに接続するための認証の詳細を使用して
KafkaMirrorMaker2
リソースを設定します。TLS 暗号化と mTLS 認証を使用した MirrorMaker 2 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker-2 spec: version: 3.5.0 replicas: 1 connectCluster: "my-target-cluster" clusters: - alias: "my-source-cluster" bootstrapServers: my-source-cluster-kafka-bootstrap:9093 tls: 1 trustedCertificates: - secretName: my-source-cluster-cluster-ca-cert certificate: ca.crt authentication: 2 type: tls certificateAndKey: secretName: my-source-user certificate: user.crt key: user.key - alias: "my-target-cluster" bootstrapServers: my-target-cluster-kafka-bootstrap:9093 tls: 3 trustedCertificates: - secretName: my-target-cluster-cluster-ca-cert certificate: ca.crt authentication: 4 type: tls certificateAndKey: secretName: my-target-user certificate: user.crt key: user.key config: # -1 means it will use the default replication factor configured in the broker config.storage.replication.factor: -1 offset.storage.replication.factor: -1 status.storage.replication.factor: -1 mirrors: - sourceCluster: "my-source-cluster" targetCluster: "my-target-cluster" sourceConnector: config: replication.factor: 1 offset-syncs.topic.replication.factor: 1 sync.topic.acls.enabled: "false" heartbeatConnector: config: heartbeats.topic.replication.factor: 1 checkpointConnector: config: checkpoints.topic.replication.factor: 1 sync.group.offsets.enabled: "true" topicsPattern: "topic1|topic2|topic3" groupsPattern: "group1|group2|group3"
ターゲット Kafka クラスターと同じ namespace で
KafkaMirrorMaker2
リソースを作成または更新します。oc apply -f <mirrormaker2_configuration_file> -n <namespace_of_target_cluster>
8.8. Kafka MirrorMaker の設定 (非推奨)
KafkaMirrorMaker
カスタムリソースの spec
プロパティーを更新して、Kafka MirrorMaker デプロイメントを設定します。
TLS または SASL 認証を使用して、プロデューサーおよびコンシューマーのアクセス制御を設定できます。この手順では、コンシューマーおよびプロデューサー側で mTLS による暗号化および認証を使用する設定を説明します。
Kafka MirrorMaker クラスター設定オプションの詳細については、AMQ Streams Custom Resource API Reference を参照してください。
Kafka MirrorMaker 1 (ドキュメントでは単に MirrorMaker と呼ばれる) は Apache Kafka 3.0.0 で非推奨となり、Apache Kafka 4.0.0 で削除されます。そのため、Kafka MirrorMaker 1 のデプロイに使用される KafkaMirrorMaker
カスタムリソースも、AMQ Streams で非推奨となりました。Apache Kafka 4.0.0 を導入すると、KafkaMirrorMaker
リソースは AMQ Streams から削除されます。代わりに、IdentityReplicationPolicy
で KafkaMirrorMaker2
カスタムリソースを使用します。
KafkaMirrorMaker
カスタムリソース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker metadata: name: my-mirror-maker spec: replicas: 3 1 consumer: bootstrapServers: my-source-cluster-kafka-bootstrap:9092 2 groupId: "my-group" 3 numStreams: 2 4 offsetCommitInterval: 120000 5 tls: 6 trustedCertificates: - secretName: my-source-cluster-ca-cert certificate: ca.crt authentication: 7 type: tls certificateAndKey: secretName: my-source-secret certificate: public.crt key: private.key config: 8 max.poll.records: 100 receive.buffer.bytes: 32768 producer: bootstrapServers: my-target-cluster-kafka-bootstrap:9092 abortOnSendFailure: false 9 tls: trustedCertificates: - secretName: my-target-cluster-ca-cert certificate: ca.crt authentication: type: tls certificateAndKey: secretName: my-target-secret certificate: public.crt key: private.key config: compression.type: gzip batch.size: 8192 include: "my-topic|other-topic" 10 resources: 11 requests: cpu: "1" memory: 2Gi limits: cpu: "2" memory: 2Gi logging: 12 type: inline loggers: mirrormaker.root.logger: INFO readinessProbe: 13 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 metricsConfig: 14 type: jmxPrometheusExporter valueFrom: configMapKeyRef: name: my-config-map key: my-key jvmOptions: 15 "-Xmx": "1g" "-Xms": "1g" image: my-org/my-image:latest 16 template: 17 pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: application operator: In values: - postgresql - mongodb topologyKey: "kubernetes.io/hostname" mirrorMakerContainer: 18 env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: 19 type: opentelemetry
- 1
- レプリカノードの数。
- 2
- コンシューマーおよびプロデューサーのブートストラップサーバー。
- 3
- コンシューマーのグループ ID。
- 4
- コンシューマーストリームの数。
- 5
- オフセットの自動コミット間隔 (ミリ秒単位)。
- 6
- コンシューマーまたはプロデューサーの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
- 7
- mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定されたコンシューマーまたはプロデューサーの認証。
- 8
- コンシューマーおよびプロデューサーの Kafka 設定オプション。
- 9
abortOnSendFailure
プロパティーがtrue
に設定されている場合、メッセージの送信に失敗した後、Kafka MirrorMaker は終了し、コンテナーは再起動します。- 10
- ソースからターゲット Kafka クラスターにミラーリングされた含まれるトピックの一覧。
- 11
- 現在
cpu
およびmemory
である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。 - 12
- ConfigMap より直接的 (
inline
) または間接的 (external
) に追加されたロガーおよびログレベルを指定します。カスタム Log4j 設定は、ConfigMap のlog4j.properties
キーまたはlog4j2.properties
キーの下に配置する必要があります。MirrorMaker にはmirrormaker.root.logger
と呼ばれる単一のロガーがあります。ログレベルは INFO、ERROR、WARN、TRACE、DEBUG、FATAL、または OFF に設定できます。 - 13
- コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
- 14
- Prometheus メトリクス。この例では、Prometheus JMX エクスポーターの設定が含まれる ConfigMap を参照して有効になります。
metricsConfig.valueFrom.configMapKeyRef.key
配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリックを有効にできます。 - 15
- Kafka MirrorMaker を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
- 16
- 高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
- 17
- テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
- 18
- 分散トレース用に環境変数が設定されます。
- 19
- 分散トレーシングは、OpenTelemetry を使用して有効になります。警告
abortOnSendFailure
プロパティーがfalse
に設定されると、プロデューサーはトピックの次のメッセージを送信しようとします。失敗したメッセージは再送されないため、元のメッセージが失われる可能性があります。
8.9. Kafka Bridge の設定
KafkaBridge
カスタムリソースの spec
プロパティーを更新して、Kafka Bridge デプロイメントを設定します。
クライアントのコンシューマーリクエストが異なる Kafka Bridge インスタンスによって処理された場合に発生する問題を防ぐには、アドレスベースのルーティングを利用して、要求が適切な Kafka Bridge インスタンスにルーティングされるようにする必要があります。また、独立した各 Kafka Bridge インスタンスにレプリカが必要です。Kafka Bridge インスタンスには、別のインスタンスと共有されない独自の状態があります。
Kafka Bridge クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
KafkaBridge
カスタムリソース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: replicas: 3 1 bootstrapServers: <cluster_name>-cluster-kafka-bootstrap:9092 2 tls: 3 trustedCertificates: - secretName: my-cluster-cluster-cert certificate: ca.crt - secretName: my-cluster-cluster-cert certificate: ca2.crt authentication: 4 type: tls certificateAndKey: secretName: my-secret certificate: public.crt key: private.key http: 5 port: 8080 cors: 6 allowedOrigins: "https://strimzi.io" allowedMethods: "GET,POST,PUT,DELETE,OPTIONS,PATCH" consumer: 7 config: auto.offset.reset: earliest producer: 8 config: delivery.timeout.ms: 300000 resources: 9 requests: cpu: "1" memory: 2Gi limits: cpu: "2" memory: 2Gi logging: 10 type: inline loggers: logger.bridge.level: INFO # enabling DEBUG just for send operation logger.send.name: "http.openapi.operation.send" logger.send.level: DEBUG jvmOptions: 11 "-Xmx": "1g" "-Xms": "1g" readinessProbe: 12 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 image: my-org/my-image:latest 13 template: 14 pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: application operator: In values: - postgresql - mongodb topologyKey: "kubernetes.io/hostname" bridgeContainer: 15 env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry 16
- 1
- レプリカノードの数。
- 2
- ターゲット Kafka クラスターに接続するためのブートストラップサーバー。Kafka クラスターの名前は <cluster_name> を使用します。
- 3
- ソース Kafka クラスターの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
- 4
- mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定された Kafka Bridge クラスターの認証。デフォルトでは、Kafka Bridge は認証なしで Kafka ブローカーに接続します。
- 5
- Kafka ブローカーへの HTTP アクセス。
- 6
- 選択されたリソースおよびアクセスメソッドを指定する CORS アクセス。要求に別の HTTP ヘッダーを追加して、Kafka クラスターへのアクセスが許可されるオリジンが記述されます。
- 7
- コンシューマー設定オプション。
- 8
- プロデューサー設定オプション。
- 9
- 現在
cpu
およびmemory
である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。 - 10
- 指定された Kafka Bridge ロガーおよびログレベルが ConfigMap を介して直接的に (
inline
) または間接的に (external
) に追加されます。カスタム Log4j 設定は、ConfigMap のlog4j.properties
キーまたはlog4j2.properties
キーの下に配置する必要があります。Kafka Bridge ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。 - 11
- Kafka Bridge を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
- 12
- コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
- 13
- オプション: コンテナーイメージの設定。これは、特別な状況でのみ推奨されます。
- 14
- テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
- 15
- 分散トレース用に環境変数が設定されます。
- 16
- 分散トレーシングは、OpenTelemetry を使用して有効になります。
8.10. Kafka および ZooKeeper ストレージの設定
Kafka および ZooKeeper はステートフルなアプリケーションであるため、データをディスクに格納します。AMQ Streams では、3 つのタイプのストレージがサポートされます。
- 一時データストレージ (開発用のみで推奨されます)
- 永続ストレージ
- JBOD (ZooKeeper ではなく Kafka のみ)
Kafka
リソースを設定する場合、Kafka ブローカーおよび対応する ZooKeeper ノードで使用されるストレージのタイプを指定できます。以下のリソースの storage
プロパティーを使用して、ストレージタイプを設定します。
-
Kafka.spec.kafka
-
Kafka.spec.zookeeper
ストレージタイプは type
フィールドで設定されます。
ストレージ設定プロパティーの詳細は、スキーマリファレンスを参照してください。
Kafka クラスターをデプロイした後に、ストレージタイプを変更することはできません。
8.10.1. データストレージに関する留意事項
AMQ Streams がうまく機能するには、効率的なデータストレージインフラストラクチャーが不可欠です。ブロックストレージを使用することを強く推奨します。AMQ Streams は、ブロックストレージでの使用についてのみテストされています。NFS などのファイルストレージはテストされておらず、動作するという保証はありません。
ブロックストレージには、以下のいずれかのオプションを選択します。
- Amazon Elastic Block Store (EBS) などのクラウドベースのブロックストレージソリューション。
- ローカル永続ボリューム を使用した永続ストレージ
- ファイバーチャネル や iSCSI などのプロトコルがアクセスする SAN (ストレージエリアネットワーク) ボリューム
AMQ Streams には OpenShift の raw ブロックボリュームは必要ありません。
8.10.1.1. ファイルシステム
Kafka は、メッセージの保存にファイルシステムを使用します。AMQ Streams は、Kafka で一般的に使用される XFS および ext4 ファイルシステムと互換性があります。ファイルシステムを選択して設定するときは、デプロイメントの基盤となるアーキテクチャーと要件を考慮してください。
詳細については、Kafka ドキュメントの Filesystem Selection を参照してください。
8.10.1.2. ディスク使用量
Apache Kafka と ZooKeeper には別々のディスクを使用します。
ソリッドステートドライブ (SSD) は必須ではありませんが、複数のトピックに対してデータが非同期的に送受信される大規模なクラスターで Kafka のパフォーマンスを向上させることができます。SSD は、高速で低レイテンシーのデータアクセスが必要な ZooKeeper で特に有効です。
Kafka と ZooKeeper の両方にデータレプリケーションが組み込まれているため、レプリケーションされたストレージのプロビジョニングは必要ありません。
8.10.2. 一時ストレージ
一時データストレージは一時的なものです。ノード上のすべての Pod は、ローカルの一時ストレージスペースを共有します。データは、それを使用する Pod が実行されている限り保持されます。Pod が削除されると、データは失われます。ただし、Pod は高可用性環境でデータを回復できます。
その一時的な性質のため、一時ストレージは開発とテストにのみ推奨されます。
一時ストレージは emptyDir
ボリュームを使用してデータを保存します。Pod がノードに割り当てられると、emptyDir
ボリュームが作成されます。sizeLimit
プロパティーを使用して、emptyDir
のストレージの合計量を設定できます。
一時ストレージは、単一ノードの ZooKeeper クラスターやレプリケーション係数が 1 の Kafka トピックでの使用には適していません。
一時ストレージを使用するには、Kafka
または ZooKeeper
リソースのストレージタイプ設定を ephemeral
に設定します。
一時ストレージ設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... storage: type: ephemeral # ... zookeeper: # ... storage: type: ephemeral # ...
8.10.2.1. Kafka ログディレクトリーのマウントパス
一時ボリュームは、以下のパスにマウントされるログディレクトリーとして Kafka ブローカーによって使用されます。
/var/lib/kafka/data/kafka-logIDX
IDX
は、Kafka ブローカー Pod インデックスです。たとえば、/var/lib/kafka/data/kafka-log0
のようになります。
8.10.3. 永続ストレージ
永続的なデータストレージは、システムが中断した場合でもデータを保持します。永続的なデータストレージを使用する Pod の場合、データは Pod の障害や再起動後も保持されます。
動的プロビジョニングフレームワークにより、永続的なストレージを使用してクラスターを作成できます。Pod 設定では、永続ボリューム要求 (PVC) を使用して、永続ボリューム (PV) でストレージ要求を行います。PV は、ストレージボリュームを表すストレージリソースです。PV は、それを使用する Pod から独立しています。PVC は、Pod の作成時に必要なストレージの量を要求します。PV の基盤となるストレージインフラストラクチャーを理解する必要はありません。PV がストレージ基準に一致する場合、PVC は PV にバインドされます。
永続的な性質のため、本番環境には永続ストレージを推奨します。
PVC は、StorageClass を指定することにより、さまざまなタイプの永続ストレージを要求できます。ストレージクラスはストレージプロファイルを定義し、PV を動的にプロビジョニングします。ストレージクラスが指定されていない場合、デフォルトのストレージクラスが使用されます。永続ストレージオプションには、SAN ストレージタイプまたは ローカル永続ボリューム が含まれる場合があります。
永続ストレージを使用するには、Kafka
または ZooKeeper
リソースのストレージタイプ設定を persistent-claim
に設定します。
本番環境では、次の設定が推奨されます。
-
Kafka の場合、
type: jbod
を 1 つ以上のtype: persistent-claim
ボリュームで設定します -
ZooKeeper の場合は、
type: persistent-claim
を設定します。
永続ストレージには、次の設定オプションもあります。
id
(任意)-
ストレージ ID 番号。このオプションは、JBOD ストレージ宣言で定義されるストレージボリュームには必須です。デフォルトは
0
です。 size
(必須)- 永続ボリューム要求のサイズ (例: 1000Gi)。
class
(任意)-
動的ボリュームプロビジョニングに使用する OpenShift の ストレージクラス。ストレージ
class
の設定には、ボリュームのプロファイルを詳細に記述するパラメーターが含まれます。 selector
(任意)- 特定の PV を指定する設定。選択したボリュームのラベルを表す key:value ペアを提供します。
deleteClaim
(任意)-
クラスターのアンインストール時に PVC を削除するかどうかを指定するブール値。デフォルトは
false
です。
既存の AMQ Streams クラスターで永続ボリュームのサイズを増やすことは、永続ボリュームのサイズ変更をサポートする OpenShift バージョンでのみサポートされます。サイズを変更する永続ボリュームには、ボリューム拡張をサポートするストレージクラスを使用する必要があります。ボリューム拡張をサポートしないその他のバージョンの OpenShift およびストレージクラスでは、クラスターをデプロイする前に必要なストレージサイズを決定する必要があります。既存の永続ボリュームのサイズを縮小することはできません。
Kafka と ZooKeeper の永続ストレージ設定の例
# ... spec: kafka: # ... storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false - id: 1 type: persistent-claim size: 100Gi deleteClaim: false - id: 2 type: persistent-claim size: 100Gi deleteClaim: false # ... zookeeper: storage: type: persistent-claim size: 1000Gi # ...
ストレージクラスを指定しない場合、デフォルトが使用されます。次の例では、ストレージクラスを指定します。
特定のストレージクラスを使用した永続ストレージ設定の例
# ... storage: type: persistent-claim size: 1Gi class: my-storage-class # ...
selector
を使用して、SSD などの特定の機能を提供するラベル付き永続ボリュームを指定します。
セレクターを使用した永続ストレージ設定の例
# ... storage: type: persistent-claim size: 1Gi selector: hdd-type: ssd deleteClaim: true # ...
8.10.3.1. ストレージクラスのオーバーライド
デフォルトのストレージクラスを使用する代わりに、1 つ以上の Kafka ブローカー または ZooKeeper ノードに異なるストレージクラスを指定できます。これは、ストレージクラスが、異なるアベイラビリティーゾーンやデータセンターに制限されている場合などに便利です。この場合、overrides
フィールドを使用できます。
以下の例では、デフォルトのストレージクラスの名前は my-storage-class
になります。
ストレージクラスのオーバーライドを使用した AMQ Streams クラスターの例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: labels: app: my-cluster name: my-cluster namespace: myproject spec: # ... kafka: replicas: 3 storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false class: my-storage-class overrides: - broker: 0 class: my-storage-class-zone-1a - broker: 1 class: my-storage-class-zone-1b - broker: 2 class: my-storage-class-zone-1c # ... # ... zookeeper: replicas: 3 storage: deleteClaim: true size: 100Gi type: persistent-claim class: my-storage-class overrides: - broker: 0 class: my-storage-class-zone-1a - broker: 1 class: my-storage-class-zone-1b - broker: 2 class: my-storage-class-zone-1c # ...
overrides
プロパティーが設定され、ボリュームによって以下のストレージクラスが使用されます。
-
ZooKeeper ノード 0 の永続ボリュームでは
my-storage-class-zone-1a
が使用されます。 -
ZooKeeper ノード 1 の永続ボリュームでは
my-storage-class-zone-1b
が使用されます。 -
ZooKeeepr ノード 2 の永続ボリュームでは
my-storage-class-zone-1c
が使用されます。 -
Kafka ブローカー 0 の永続ボリュームでは
my-storage-class-zone-1a
が使用されます。 -
Kafka ブローカー 1 の永続ボリュームでは
my-storage-class-zone-1b
が使用されます。 -
Kafka ブローカー 2 の永続ボリュームでは
my-storage-class-zone-1c
が使用されます。
現在、overrides
プロパティーは、ストレージクラスの設定をオーバーライドするためのみに使用されます。他のストレージ設定プロパティーのオーバーライドは現在サポートされていません。他のストレージ設定プロパティーは現在サポートされていません。
8.10.3.2. 永続ストレージ用の PVC リソース
永続ストレージを使用すると、次の名前で PVC が作成されます。
data-cluster-name-kafka-idx
-
Kafka ブローカー Pod
idx
のデータを格納するために使用されるボリュームの PVC。 data-cluster-name-zookeeper-idx
-
ZooKeeper ノード Pod
idx
のデータを格納するために使用されるボリュームの PVC。
8.10.3.3. Kafka ログディレクトリーのマウントパス
永続ボリュームは、以下のパスにマウントされるログディレクトリーとして Kafka ブローカーによって使用されます。
/var/lib/kafka/data/kafka-logIDX
IDX
は、Kafka ブローカー Pod インデックスです。たとえば、/var/lib/kafka/data/kafka-log0
のようになります。
8.10.4. 永続ボリュームのサイズ変更
クラスターで使用される永続ボリュームは、ストレージインフラストラクチャーがサポートしている限り、データ損失のリスクなしにサイズ変更できます。ストレージのサイズを変更するための設定更新に続いて、AMQ Streams はストレージインフラストラクチャーに変更を行うように指示します。ストレージ拡張は、persistent-claim ボリュームを使用する AMQ Streams クラスターでサポートされています。
ストレージの削減は、ブローカーごとに複数のディスクを使用する場合にのみ可能です。ディスク上のすべてのパーティションを同じブローカー内の他のボリューム (ブローカー内) または同じクラスター内の他のブローカー (クラスター内) に移動した後、ディスクを削除できます。
永続ボリュームのサイズは OpenShift で現在サポートされていないため、減らすことはできません。
前提条件
- ボリュームのサイズ変更をサポートする OpenShift クラスター。
- Cluster Operator が稼働中である。
- ボリューム拡張をサポートするストレージクラスを使用して作成された永続ボリュームを使用する Kafka クラスター。
手順
クラスターの
Kafka
リソースを編集します。size
プロパティーを変更して、Kafka クラスター、ZooKeeper クラスター、またはその両方に割り当てられた永続ボリュームのサイズを増やします。-
Kafka クラスターの場合は、
spec.kafka.storage
の下にあるsize
プロパティーを更新します。 -
ZooKeeper クラスターの場合は、
spec.zookeeper.storage
の下にあるsize
プロパティーを更新します。
ボリュームサイズを
2000Gi
に増やす Kafka 設定apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... storage: type: persistent-claim size: 2000Gi class: my-storage-class # ... zookeeper: # ...
-
Kafka クラスターの場合は、
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
OpenShift では、Cluster Operator からの要求に応じて、選択された永続ボリュームの容量が増やされます。サイズ変更が完了すると、サイズ変更された永続ボリュームを使用するすべての Pod が Cluster Operator によって再起動されます。これは自動的に行われます。
クラスター上の関連する Pod のストレージ容量が増加したことを確認します。
oc get pv
ストレージが増加した Kafka ブローカー Pod
NAME CAPACITY CLAIM pvc-0ca459ce-... 2000Gi my-project/data-my-cluster-kafka-2 pvc-6e1810be-... 2000Gi my-project/data-my-cluster-kafka-0 pvc-82dc78c9-... 2000Gi my-project/data-my-cluster-kafka-1
出力には、ブローカー Pod に関連付けられた各 PVC の名前が表示されます。
関連情報
- OpenShift での永続ボリュームのサイズ変更に関する詳細は、Resizing Persistent Volumes using Kubernetes を参照してください。
8.10.5. JBOD ストレージ
AMQ Streams で、複数のディスクやボリュームのデータストレージ設定である JBOD を使用するように設定できます。JBOD は、Kafka ブローカーのデータストレージを増やす方法の 1 つです。また、パフォーマンスを向上することもできます。
JBOD ストレージは Kafka でのみ サポートされ、ZooKeeper ではサポートされません。
JBOD 設定は 1 つ以上のボリュームによって記述され、各ボリュームは 一時 または 永続 ボリュームのいずれかになります。JBOD ボリューム宣言のルールおよび制約は、一時および永続ストレージのルールおよび制約と同じです。たとえば、プロビジョニング後に永続ストレージのボリュームのサイズを縮小することはできません。また、タイプが ephemeral
の場合は、sizeLimit
の値を変更することはできません。
JBOD ストレージを使用するには、Kafka
リソースのストレージタイプ設定を jbod
に設定します。volumes
プロパティーを使用すると、JBOD ストレージアレイまたは設定を設定するディスクを記述できます。
JBOD ストレージ設定の例
# ... storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false - id: 1 type: persistent-claim size: 100Gi deleteClaim: false # ...
JBOD ボリュームが作成されると、ID を変更することはできません。JBOD 設定からボリュームを追加または削除できます。
8.10.5.1. JBOD ストレージの PVC リソース
永続ストレージを使用して JBOD ボリュームを宣言すると、次の名前の PVC が作成されます。
data-id-cluster-name-kafka-idx
-
Kafka ブローカー Pod
idx
のデータを格納するために使用されるボリュームの PVC。id
は、Kafka ブローカー Pod のデータを格納するために使用されるボリュームの ID になります。
8.10.5.2. Kafka ログディレクトリーのマウントパス
JBOD ボリュームは、以下のパスにマウントされるログディレクトリーとして Kafka ブローカーによって使用されます。
/var/lib/kafka/data-id/kafka-logidx
id
は、Kafka ブローカー Pod idx
のデータを保存するために使用されるボリュームの ID に置き換えます。たとえば、/var/lib/kafka/data-0/kafka-log0
のようになります。
8.10.6. JBOD ストレージへのボリュームの追加
この手順では、JBOD ストレージを使用するように設定されている Kafka クラスターにボリュームを追加する方法を説明します。この手順は、他のストレージタイプを使用するように設定されている Kafka クラスターには適用できません。
以前使用され、削除された id
の下に新規ボリュームを追加する場合、以前使用された PersistentVolumeClaims
が必ず削除されているよう確認する必要があります。
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
- JBOD ストレージのある Kafka クラスター。
手順
Kafka
リソースのspec.kafka.storage.volumes
プロパティーを編集します。新しいボリュームをvolumes
アレイに追加します。たとえば、id が2
の新しいボリュームを追加します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false - id: 1 type: persistent-claim size: 100Gi deleteClaim: false - id: 2 type: persistent-claim size: 100Gi deleteClaim: false # ... zookeeper: # ...
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
新しいトピックを作成するか、既存のパーティションを新しいディスクに再度割り当てます。
ヒントCruise Control は、パーティションを再割り当てするための効果的なツールです。ブローカー内のディスク分散を実行するには、
KafkaRebalance.spec
でrebalanceDisk
をtrue
に設定します。
8.10.7. JBOD ストレージからのボリュームの削除
この手順では、JBOD ストレージを使用するように設定されている Kafka クラスターからボリュームを削除する方法を説明します。この手順は、他のストレージタイプを使用するように設定されている Kafka クラスターには適用できません。JBOD ストレージには、常に 1 つのボリュームが含まれている必要があります。
データの損失を避けるには、ボリュームを削除する前にすべてのパーティションを移動する必要があります。
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
- 複数のボリュームがある JBOD ストレージのある Kafka クラスター
手順
削除するディスクからすべてのパーティションを再度割り当てます。削除するディスクに割り当てられたままになっているパーティションのデータは削除される可能性があります。
ヒントkafka-reassign-partitions.sh
ツールを使用してパーティションを再割り当てできます。Kafka
リソースのspec.kafka.storage.volumes
プロパティーを編集します。volumes
アレイから 1 つまたは複数のボリュームを削除します。たとえば、ID が1
と2
のボリュームを削除します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... storage: type: jbod volumes: - id: 0 type: persistent-claim size: 100Gi deleteClaim: false # ... zookeeper: # ...
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
8.11. CPU およびメモリーのリソース制限とリクエストの設定
デフォルトでは、AMQ Streams Cluster Operator は、デプロイされたオペランドの CPU およびメモリーリソースのリクエストと制限を指定しません。Kafka の安定性を維持し、最適なパフォーマンスを達成するには、リソースの適切な割り当てを確保することが重要です。理想的なリソース割り当ては、特定の要件とユースケースによって異なります。
適切なリクエストと制限を設定 して、各コンテナーの CPU およびメモリーリソースを設定することを推奨します。
8.12. Pod スケジューリングの設定
同じ OpenShift ノード上でスケジュールされたアプリケーション間のリソース競合によるパフォーマンスの低下を回避するために、Kafka Pod を重要なワークロードとは別にスケジュールできます。これは、特定のノードを選択するか、ノードのセットを Kafka 専用にすることで実現できます。
8.12.1. アフィニティー、容認 (Toleration)、およびトポロジー分散制約の指定
アフィニティー、容認 (Toleration)、およびトポロジー分散制約を使用して、kafka リソースの Pod をノードにスケジュールします。アフィニティー、容認 (Toleration)、およびトポロジー分散制約は、以下のリソースの affinity
、tolerations
、および topologySpreadConstraint
プロパティーを使用して設定されます。
-
Kafka.spec.kafka.template.pod
-
Kafka.spec.zookeeper.template.pod
-
Kafka.spec.entityOperator.template.pod
-
KafkaConnect.spec.template.pod
-
KafkaBridge.spec.template.pod
-
KafkaMirrorMaker.spec.template.pod
-
KafkaMirrorMaker2.spec.template.pod
affinity
、tolerations
、および topologySpreadConstraint
プロパティーの形式は、OpenShift の仕様に準拠します。アフィニティー設定には、さまざまなタイプのアフィニティーを含めることができます。
- Pod のアフィニティーおよび非アフィニティー
- ノードのアフィニティー
関連情報
8.12.1.1. Pod の非アフィニティーを使用して重要なアプリケーションがノードを共有しないようにする
Pod の非アフィニティーを使用して、重要なアプリケーションが同じディスクにスケジュールされないようにします。Kafka クラスターの実行時に、Pod の非アフィニティーを使用して、Kafka ブローカーがデータベースなどの他のワークロードとノードを共有しないようにすることが推奨されます。
8.12.1.2. ノードのアフィニティーを使用したワークロードの特定ノードへのスケジュール
OpenShift クラスターは、通常多くの異なるタイプのワーカーノードで設定されます。ワークロードが非常に大きい環境の CPU に対して最適化されたものもあれば、メモリー、ストレージ (高速のローカル SSD)、または ネットワークに対して最適化されたものもあります。異なるノードを使用すると、コストとパフォーマンスの両面で最適化しやすくなります。最適なパフォーマンスを実現するには、AMQ Streams コンポーネントのスケジューリングで適切なノードを使用できるようにすることが重要です。
OpenShift はノードのアフィニティーを使用してワークロードを特定のノードにスケジュールします。ノードのアフィニティーにより、Pod がスケジュールされるノードにスケジューリングの制約を作成できます。制約はラベルセレクターとして指定されます。beta.kubernetes.io/instance-type
などの組み込みノードラベルまたはカスタムラベルのいずれかを使用してラベルを指定すると、適切なノードを選択できます。
8.12.1.3. 専用ノードへのノードのアフィニティーと容認 (Toleration) の使用
テイントを使用して専用ノードを作成し、ノードのアフィニティーおよび容認 (Toleration) を設定して専用ノードに Kafka Pod をスケジュールします。
クラスター管理者は、選択した OpenShift ノードをテイントとしてマーク付けできます。テイントのあるノードは、通常のスケジューリングから除外され、通常の Pod はそれらのノードでの実行はスケジュールされません。ノードに設定されたテイントを許容できるサービスのみをスケジュールできます。このようなノードで実行されるその他のサービスは、ログコレクターやソフトウェア定義のネットワークなどのシステムサービスのみです。
専用のノードで Kafka とそのコンポーネントを実行する利点は多くあります。障害の原因になったり、Kafka に必要なリソースを消費するその他のアプリケーションが同じノードで実行されません。これにより、パフォーマンスと安定性が向上します。
8.12.2. それぞれの Kafka ブローカーを別のワーカーノードでスケジュールするための Pod の非アフィニティーの設定
多くの Kafka ブローカーまたは ZooKeeper ノードは、同じ OpenShift ワーカーノードで実行できます。ワーカーノードが失敗すると、それらはすべて同時に利用できなくなります。信頼性を向上させるために、podAntiAffinity
設定を使用して、各 Kafka ブローカーまたは ZooKeeper ノードを異なる OpenShift ワーカーノードにスケジュールすることができます。
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
手順
クラスターデプロイメントを指定するリソースの
affinity
プロパティーを編集します。ワーカーノードが Kafka ブローカーまたは ZooKeeper ノードで共有されないようにするには、strimzi.io/name
ラベルを使用します。topologyKey
をkubernetes.io/hostname
に設定して、選択した Pod が同じホスト名のノードでスケジュールされないように指定します。これにより、同じワーカーノードを単一の Kafka ブローカーと単一の ZooKeeper ノードで共有できます。以下に例を示します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... template: pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: strimzi.io/name operator: In values: - CLUSTER-NAME-kafka topologyKey: "kubernetes.io/hostname" # ... zookeeper: # ... template: pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: strimzi.io/name operator: In values: - CLUSTER-NAME-zookeeper topologyKey: "kubernetes.io/hostname" # ...
CLUSTER-NAME
は、Kafka カスタムリソースの名前です。Kafka ブローカーと ZooKeeper ノードが同じワーカーノードを共有しないようにする場合は、
strimzi.io/cluster
ラベルを使用します。以下に例を示します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... template: pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: strimzi.io/cluster operator: In values: - CLUSTER-NAME topologyKey: "kubernetes.io/hostname" # ... zookeeper: # ... template: pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: strimzi.io/cluster operator: In values: - CLUSTER-NAME topologyKey: "kubernetes.io/hostname" # ...
CLUSTER-NAME
は、Kafka カスタムリソースの名前です。リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
8.12.3. Kafka コンポーネントでの Pod の非アフィニティーの設定
Pod の非アフィニティー設定は、Kafka ブローカーの安定性とパフォーマンスに役立ちます。podAntiAffinity
を使用すると、OpenShift は他のワークロードと同じノードで Kafka ブローカーをスケジュールしません。通常、Kafka が他のネットワークと同じワーカーノードで実行されないようにし、データベース、ストレージ、その他のメッセージングプラットフォームなどのストレージを大量に消費するアプリケーションで実行されないようにします。
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
手順
クラスターデプロイメントを指定するリソースの
affinity
プロパティーを編集します。ラベルを使用して、同じノードでスケジュールすべきでない Pod を指定します。topologyKey
をkubernetes.io/hostname
に設定し、選択した Pod が同じホスト名のノードでスケジュールされてはならないことを指定する必要があります。以下に例を示します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... template: pod: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: application operator: In values: - postgresql - mongodb topologyKey: "kubernetes.io/hostname" # ... zookeeper: # ...
リソースを作成または更新します。
oc apply
を使用して、これを行うことができます。oc apply -f <kafka_configuration_file>
8.12.4. Kafka コンポーネントでのノードのアフィニティーの設定
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
手順
AMQ Streams コンポーネントをスケジュールする必要のあるノードにラベルを付けます。
oc label
を使用してこれを行うことができます。oc label node NAME-OF-NODE node-type=fast-network
または、既存のラベルによっては再利用が可能です。
クラスターデプロイメントを指定するリソースの
affinity
プロパティーを編集します。以下に例を示します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... template: pod: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: node-type operator: In values: - fast-network # ... zookeeper: # ...
リソースを作成または更新します。
oc apply
を使用して、これを行うことができます。oc apply -f <kafka_configuration_file>
8.12.5. 専用ノードの設定と Pod のスケジューリング
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
手順
- 専用ノードとして使用するノードを選択します。
- これらのノードにスケジュールされているワークロードがないことを確認します。
選択したノードにテイントを設定します。
oc adm taint
を使用してこれを行うことができます。oc adm taint node NAME-OF-NODE dedicated=Kafka:NoSchedule
さらに、選択したノードにラベルも追加します。
oc label
を使用してこれを行うことができます。oc label node NAME-OF-NODE dedicated=Kafka
クラスターデプロイメントを指定するリソースの
affinity
およびtolerations
プロパティーを編集します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... template: pod: tolerations: - key: "dedicated" operator: "Equal" value: "Kafka" effect: "NoSchedule" affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: dedicated operator: In values: - Kafka # ... zookeeper: # ...
リソースを作成または更新します。
oc apply
を使用して、これを行うことができます。oc apply -f <kafka_configuration_file>
8.13. ロギングレベルの設定
Kafka コンポーネントおよび AMQ Streams Operator のカスタムリソースでロギングレベルを設定します。ログレベルは、カスタムリソースの spec.logging
プロパティーに直接指定できます。あるいは、configMapKeyRef
プロパティーを使用してカスタムリソースで参照される ConfigMap でロギングプロパティーを定義することもできます。
ConfigMap を使用する利点は、ロギングプロパティーが 1 カ所で維持され、複数のリソースにアクセスできることです。複数のリソースに ConfigMap を再利用することもできます。ConfigMap を使用して AMQ Streams Operator のロガーを指定する場合は、ロギング仕様を追加してフィルターを追加することもできます。
ロギング仕様でロギング type
を指定します。
-
ロギングレベルを直接指定する場合は
inline
-
ConfigMap を参照する場合は
external
inline
ロギングの設定例
spec: # ... logging: type: inline loggers: kafka.root.logger.level: INFO
external
設定の例
spec: # ... logging: type: external valueFrom: configMapKeyRef: name: my-config-map key: my-config-map-key
ConfigMap の name
と key
の値は必須です。name
や key
が設定されていない場合は、デフォルトのロギングが使用されます。
8.13.1. Kafka コンポーネントおよび Operator のロギングオプション
特定の Kafka コンポーネントまたは Operator のログ設定の詳細は、次のセクションを参照してください。
Kafka コンポーネントのロギング
Operator のロギング
8.13.2. ロギングの ConfigMap の作成
ConfigMap を使用してロギングプロパティーを定義するには、ConfigMap を作成してから、リソースの spec
にあるロギング定義の一部としてそれを参照します。
ConfigMap には適切なロギング設定が含まれる必要があります。
-
Kafka コンポーネント、ZooKeeper、および Kafka Bridge の
log4j.properties
。 -
Topic Operator および User Operator の
log4j2.properties
設定はこれらのプロパティーの配下に配置する必要があります。
この手順では、ConfigMap は Kafka リソースのルートロガーを定義します。
手順
ConfigMap を作成します。
ConfigMap を YAML ファイルとして作成するか、プロパティーファイルから Config Map を作成します。
Kafka のルートロガー定義が含まれる ConfigMap の例:
kind: ConfigMap apiVersion: v1 metadata: name: logging-configmap data: log4j.properties: kafka.root.logger.level="INFO"
プロパティーファイルを使用している場合は、コマンドラインでファイルを指定します。
oc create configmap logging-configmap --from-file=log4j.properties
プロパティーファイルではロギング設定が定義されます。
# Define the logger kafka.root.logger.level="INFO" # ...
リソースの
spec
にexternal ロギングを定義し、logging.valueFrom.configMapKeyRef.name
に ConfigMap の名前を、logging.valueFrom.configMapKeyRef.key
にこの ConfigMap のキーを設定します。spec: # ... logging: type: external valueFrom: configMapKeyRef: name: logging-configmap key: log4j.properties
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
8.13.3. Cluster Operator のロギングの設定
Cluster Operator のロギングは、strimzi-cluster-operator
という名前の ConfigMap
を使用して設定されます。ロギング設定が含まれる ConfigMap
は、Cluster Operator のインストール時に作成されます。この ConfigMap
は、install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml
ファイルに記述されます。この ConfigMap
のデータフィールド data.log4j2.properties
を変更することで、Cluster Operator のロギングを設定します。
ロギング設定を更新するには、050-ConfigMap-strimzi-cluster-operator.yaml
ファイルを編集し、以下のコマンドを実行します。
oc create -f install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml
または、ConfigMap
を直接編集することもできます。
oc edit configmap strimzi-cluster-operator
この ConfigMap を使用すると、ルートロガーレベル、ログ出力形式、さまざまなコンポーネントのログレベルなど、ログのさまざまな側面を制御できます。monitorInterval
設定は、ログ設定をリロードする頻度を決定します。Kafka AdminClient
、ZooKeeper ZKTrustManager
、Netty、および OkHttp クライアントのログレベルを制御することもできます。Netty は AMQ Streams でネットワーク通信に使用されるフレームワークで、OkHttp は HTTP リクエストの作成に使用されるライブラリーです。
クラスターオペレータのデプロイ時に ConfigMap
がない場合、デフォルトのロギング値が使用されます。
Cluster Operator のデプロイ後に ConfigMap
が誤って削除される場合、最後に読み込まれたロギング設定が使用されます。新規のロギング設定を読み込むために新規 ConfigMap
を作成します。
ConfigMap
から monitorInterval
オプションを削除しないでください。
8.13.4. AMQ Streams Operator へのロギングフィルターの追加
ConfigMap を使用して AMQ Streams Operator のロギングレベル (log4j2) ロギングレベルを設定する場合、ロギングフィルターを定義して、ログに返される内容も制限できます。
ロギングフィルターは、ロギングメッセージが多数ある場合に役に立ちます。ロガーのログレベルを DEBUG(rootLogger.level="DEBUG"
) に設定すると仮定します。ロギングフィルターは、このレベルでロガーに対して返されるログ数を減らし、特定のリソースに集中できるようにします。フィルターが設定されると、フィルターに一致するログメッセージのみがログに記録されます。
フィルターはマーカーを使用して、ログに含まれる内容を指定します。マーカーの種類、namespace、および名前を指定します。たとえば、Kafka クラスターで障害が発生した場合、種類を Kafka
に指定してログを分離し、障害が発生しているクラスターの namespace および名前を使用します。
以下の例は、my-kafka-cluster
という名前の Kafka クラスターのマーカーフィルターを示しています。
基本的なロギングフィルターの設定
rootLogger.level="INFO" appender.console.filter.filter1.type=MarkerFilter 1 appender.console.filter.filter1.onMatch=ACCEPT 2 appender.console.filter.filter1.onMismatch=DENY 3 appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster) 4
フィルターは 1 つまたは複数作成できます。ここでは、ログは 2 つの Kafka クラスターに対してフィルターされます。
複数のロギングフィルターの設定
appender.console.filter.filter1.type=MarkerFilter appender.console.filter.filter1.onMatch=ACCEPT appender.console.filter.filter1.onMismatch=DENY appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster-1) appender.console.filter.filter2.type=MarkerFilter appender.console.filter.filter2.onMatch=ACCEPT appender.console.filter.filter2.onMismatch=DENY appender.console.filter.filter2.marker=Kafka(my-namespace/my-kafka-cluster-2)
フィルターの Cluster Operator への追加
フィルターを Cluster Operator に追加するには、そのロギング ConfigMap YAML ファイルを更新します (install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml
)。
手順
050-ConfigMap-strimzi-cluster-operator.yaml
ファイルを更新して、フィルタープロパティーを ConfigMap に追加します。この例では、フィルタープロパティーは
my-kafka-cluster
Kafka クラスターのログのみを返します。kind: ConfigMap apiVersion: v1 metadata: name: strimzi-cluster-operator data: log4j2.properties: #... appender.console.filter.filter1.type=MarkerFilter appender.console.filter.filter1.onMatch=ACCEPT appender.console.filter.filter1.onMismatch=DENY appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster)
または、
ConfigMap
を直接編集することもできます。oc edit configmap strimzi-cluster-operator
ConfigMap
を直接編集せずに YAML ファイルを更新する場合は、ConfigMap をデプロイして変更を適用します。oc create -f install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml
Topic Operator または User Operator へのフィルターの追加
フィルターを Topic Operator または User Operator に追加するには、ロギング ConfigMap を作成または編集します。
この手順では、ロギング ConfigMap は、Topic Operator のフィルターで作成されます。User Operator に同じアプローチが使用されます。
手順
ConfigMap を作成します。
ConfigMap を YAML ファイルとして作成するか、プロパティーファイルから Config Map を作成します。
この例では、フィルタープロパティーは
my-topic
トピックに対してのみログを返します。kind: ConfigMap apiVersion: v1 metadata: name: logging-configmap data: log4j2.properties: rootLogger.level="INFO" appender.console.filter.filter1.type=MarkerFilter appender.console.filter.filter1.onMatch=ACCEPT appender.console.filter.filter1.onMismatch=DENY appender.console.filter.filter1.marker=KafkaTopic(my-namespace/my-topic)
プロパティーファイルを使用している場合は、コマンドラインでファイルを指定します。
oc create configmap logging-configmap --from-file=log4j2.properties
プロパティーファイルではロギング設定が定義されます。
# Define the logger rootLogger.level="INFO" # Set the filters appender.console.filter.filter1.type=MarkerFilter appender.console.filter.filter1.onMatch=ACCEPT appender.console.filter.filter1.onMismatch=DENY appender.console.filter.filter1.marker=KafkaTopic(my-namespace/my-topic) # ...
リソースの
spec
にexternal ロギングを定義し、logging.valueFrom.configMapKeyRef.name
に ConfigMap の名前を、logging.valueFrom.configMapKeyRef.key
にこの ConfigMap のキーを設定します。Topic Operator については、
Kafka
リソースのtopicOperator
設定でロギングを指定します。spec: # ... entityOperator: topicOperator: logging: type: external valueFrom: configMapKeyRef: name: logging-configmap key: log4j2.properties
- Cluster Operator をデプロイして変更を適用します。
create -f install/cluster-operator -n my-cluster-operator-namespace
8.14. ConfigMap を使用した設定の追加
ConfigMap
リソースを使用して、特定の設定を AMQ Streams デプロイメントに追加します。ConfigMap はキーと値のペアを使用して機密ではないデータを保存します。ConfigMap に追加された設定データは 1 か所に保持され、コンポーネント間で再利用できます。
ConfigMap は、次のタイプの設定データのみを保存できます。
- ロギングの設定
- メトリックの設定
- Kafka Connect コネクターの外部設定
設定の他の領域に ConfigMap を使用することはできません。
コンポーネントを設定する場合、configMapKeyRef
プロパティーを使用して ConfigMap への参照を追加できます。
たとえば、configMapKeyRef
を使用してロギングの設定を提供する ConfigMap を参照できます。ConfigMap を使用して Log4j 設定ファイルを渡すことができます。参照を logging
設定に追加します。
ロギングの ConfigMap の例
spec: # ... logging: type: external valueFrom: configMapKeyRef: name: my-config-map key: my-config-map-key
メトリクス設定に ConfigMap を使用するには、同じ方法でコンポーネントの metricsConfig
設定への参照を追加します。
ExternalConfiguration
プロパティーは、Pod にマウントされた ConfigMap (またはシークレット) からのデータを環境変数またはボリュームとして使用できるようにします。Kafka Connect によって使用されるコネクターの外部設定データを使用できます。データは外部データソースに関連する可能性があり、コネクターがそのデータソースと通信するために必要な値を指定します。
たとえば、configMapKeyRef
プロパティーを使用して、ConfigMap から設定データを環境変数として渡すことができます。
環境変数の値を提供する ConfigMap の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect spec: # ... externalConfiguration: env: - name: MY_ENVIRONMENT_VARIABLE valueFrom: configMapKeyRef: name: my-config-map key: my-key
外部で管理される ConfigMap を使用している場合は、設定プロバイダーを使用して ConfigMap にデータを読み込みます。
8.14.1. カスタム ConfigMap の命名
AMQ Streams は、OpenShift にデプロイされると、独自の ConfigMap およびその他のリソースを作成 します。ConfigMap には、コンポーネントの実行に必要なデータが含まれます。AMQ Streams によって作成された ConfigMap は編集しないでください。
作成するカスタム ConfigMap にはこれらのデフォルト ConfigMap と同じ名前がないことを確認します。名前が同じ場合は上書きされます。たとえば、ConfigMap が Kafka クラスターの ConfigMap と同じ名前である場合、Kafka クラスターの更新がある場合に上書きされます。
関連情報
8.15. 外部ソースからの設定値の読み込み
設定プロバイダーを使用して、外部ソースから設定データを読み込みます。プロバイダーは AMQ Streams とは独立して動作します。これを使用して、プロデューサーやコンシューマーを含む、すべての Kafka コンポーネントの設定データを読み込むことができます。コンポーネントの設定で外部ソースを参照し、アクセス権を提供します。プロバイダーは、新しい外部ソースを参照する場合でも、Kafka コンポーネントの再起動やファイルの抽出を必要とせずにデータを読み込みます。たとえば、プロバイダーを使用して、Kafka Connect コネクター設定の認証情報を提供します。設定には、外部ソースへのアクセス権が含まれている必要があります。
8.15.1. 設定プロバイダーの有効化
コンポーネントの spec
設定で config.providers
プロパティーを使用して、1 つ以上の設定プロバイダーを有効にできます。
設定プロバイダーを有効にするための設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect annotations: strimzi.io/use-connector-resources: "true" spec: # ... config: # ... config.providers: env config.providers.env.class: io.strimzi.kafka.EnvVarConfigProvider # ...
- KubernetesSecretConfigProvider
- OpenShift シークレットから設定データを読み込みます。シークレットの名前と、設定データが保存されるシークレット内のキーを指定します。このプロバイダーは、パスワードやその他のユーザー認証情報などの機密設定データを保存するのに役立ちます。
- KubernetesConfigMapConfigProvider
- OpenShift config map から設定データを読み込みます。config map の名前と、設定データが保存される config map 内のキーを指定します。このプロバイダーは、機密性のない設定データを保存するのに役立ちます。
- EnvVarConfigProvider
- 環境変数から設定データを読み込みます。設定データが保存される環境変数の名前を指定します。このプロバイダーは、コンテナー内で実行されるアプリケーションを設定する場合、たとえば、シークレットからマップされた環境変数から証明書や JAAS 設定をロードする場合に役立ちます。
- FileConfigProvider
- ファイルから設定データを読み込みます。設定データが保存されているファイルへのパスを指定します。このプロバイダーは、コンテナーにマウントされたファイルから設定データをロードする場合に役立ちます。
- DirectoryConfigProvider
- ディレクトリー内のファイルから設定データを読み込みます。設定ファイルが保存されているディレクトリーへのパスを指定します。このプロバイダーは、複数の設定ファイルを読み込んだり、設定データを個別のファイルに整理したりする場合に役立ちます。
OpenShift Configuration Provider プラグインの一部である KubernetesSecretConfigProvider
および KubernetesConfigMapConfigProvider
を使用するには、設定ファイルを含む namespace へのアクセス権を設定する必要があります。
アクセス権を設定せずに他のプロバイダーを使用できます。次の手順を実行することで、この方法で Kafka Connect または MirrorMaker 2 のコネクター設定を提供できます。
- config map またはシークレットを環境変数またはボリュームとして Kafka Connect Pod にマウントします
-
Kafka Connect または MirrorMaker 2 設定で
EnvVarConfigProvider
、FileConfigProvider
、またはDirectoryConfigProvider
を有効にする -
KafkaConnect
またはKafkaMirrorMaker2
リソースのspec
のexternalConfiguration
プロパティーを使用してコネクター設定を渡します。
プロバイダーを使用すると、Kafka Connect REST インターフェイスを介して制限された情報が渡されるのを防ぐことができます。このアプローチは次のシナリオで使用できます。
- コネクターがデータソースとの接続と通信に使用する値を使用して環境変数をマウントする
- Kafka Connect コネクターの設定に使用される値を含むプロパティーファイルをマウントする
- コネクターが使用する TLS トラストストアとキーストアの値を含むディレクトリーにファイルをマウントする
コネクターに新しい Secret
または ConfigMap
を使用する場合は再起動が必要であり、他のコネクターが中断される可能性があります。
8.15.2. シークレットまたは config map から設定値を読み込む
KubernetesSecretConfigProvider
を使用してシークレットから設定プロパティーを提供するか、KubernetesConfigMapConfigProvider
を使用して config map から設定プロパティーを提供します。
この手順では、config map はコネクターの設定プロパティーを提供します。プロパティーは、config map のキー値として指定されます。config map は、Kafka Connect Pod にボリュームとしてマウントされます。
前提条件
- 稼働中の Kafka クラスター
- Cluster Operator が稼働中である。
- コネクター設定を含む config map がある。
コネクタープロパティーを含む config map の例
apiVersion: v1 kind: ConfigMap metadata: name: my-connector-configuration data: option1: value1 option2: value2
手順
KafkaConnect
リソースを設定します。-
KubernetesConfigMapConfigProvider
を有効にする
ここに示す仕様は、config map およびシークレットからの値のロードをサポートできます。
config map とシークレットを使用するための Kafka Connect 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect annotations: strimzi.io/use-connector-resources: "true" spec: # ... config: # ... config.providers: secrets,configmaps 1 config.providers.configmaps.class: io.strimzi.kafka.KubernetesConfigMapConfigProvider 2 config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider 3 # ...
-
リソースを作成または更新してプロバイダーを有効にします。
oc apply -f <kafka_connect_configuration_file>
外部の設定マップの値へのアクセスを許可するロールを作成します。
設定マップから値にアクセスするロールの例
apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: connector-configuration-role rules: - apiGroups: [""] resources: ["configmaps"] resourceNames: ["my-connector-configuration"] verbs: ["get"] # ...
このルールは、
my-connector-configuration
設定マップにアクセスするためのロールパーミッションを付与します。ロールバインディングを作成し、設定マップが含まれる namespace へのアクセスを許可します。
設定マップが含まれる namespace にアクセスするためのロールバインディングの例
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: connector-configuration-role-binding subjects: - kind: ServiceAccount name: my-connect-connect namespace: my-project roleRef: kind: Role name: connector-configuration-role apiGroup: rbac.authorization.k8s.io # ...
ロールバインディングは、ロールに
my-project
名前空間へのアクセス許可を与えます。サービスアカウントは、Kafka Connect デプロイメントによって使用されるものと同じである必要があります。サービスアカウント名の形式は
<cluster_name>-connect
で、<cluster_name>
はKafkaConnect
のカスタムリソースの名前です。コネクター設定で設定マップを参照します。
設定マップを参照するコネクター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-connector labels: strimzi.io/cluster: my-connect spec: # ... config: option: ${configmaps:my-project/my-connector-configuration:option1} # ... # ...
プレースホルダー構造は、
configmaps:<path_and_file_name>:<property>
です。KubernetesConfigMapConfigProvider
は、外部の ConfigMap からoption1
プロパティーの値を読み込んで抽出します。
8.15.3. 環境変数から設定値の読み込み
EnvVarConfigProvider
を使用して、設定プロパティーを環境変数として提供します。環境変数には、config map またはシークレットの値を含めることができます。
この手順では、環境変数は、Amazon AWS と通信するためのコネクターの設定プロパティーを提供します。コネクターは AWS_ACCESS_KEY_ID
および AWS_SECRET_ACCESS_KEY
の読み取みを可能にする必要があります。環境変数の値は、Kafka Connect Pod にマウントされたシークレットから派生します。
ユーザー定義の環境変数に、KAFKA_
または STRIMZI_
で始まる名前を付けることはできません。
前提条件
- 稼働中の Kafka クラスター
- Cluster Operator が稼働中である。
- コネクター設定を含むシークレットがある。
環境変数の値を含むシークレットの例
apiVersion: v1 kind: Secret metadata: name: aws-creds type: Opaque data: awsAccessKey: QUtJQVhYWFhYWFhYWFhYWFg= awsSecretAccessKey: Ylhsd1lYTnpkMjl5WkE=
手順
KafkaConnect
リソースを設定します。-
EnvVarConfigProvider
を有効にする -
externalConfiguration
プロパティーを使用して環境変数を指定します。
外部環境変数を使用するための Kafka Connect 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect annotations: strimzi.io/use-connector-resources: "true" spec: # ... config: # ... config.providers: env 1 config.providers.env.class: io.strimzi.kafka.EnvVarConfigProvider 2 # ... externalConfiguration: env: - name: AWS_ACCESS_KEY_ID 3 valueFrom: secretKeyRef: name: aws-creds 4 key: awsAccessKey 5 - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: aws-creds key: awsSecretAccessKey # ...
注記SecretKeyRef
プロパティーは、シークレット内のキーを参照します。シークレットの代わりに config map を使用している場合は、configMapKeyRef
プロパティーを使用します。-
リソースを作成または更新してプロバイダーを有効にします。
oc apply -f <kafka_connect_configuration_file>
コネクター設定の環境変数を参照してください。
環境変数を参照するコネクター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-connector labels: strimzi.io/cluster: my-connect spec: # ... config: option: ${env:AWS_ACCESS_KEY_ID} option: ${env:AWS_SECRET_ACCESS_KEY} # ... # ...
プレースホルダー構造は
env:<environment_variable_name>
です。EnvVarConfigProvider
は、マウントされたシークレットから環境変数値を読み取り、抽出します。
8.15.4. ディレクトリー内のファイルから設定値を読み込む
FileConfigProvider
を使用して、ディレクトリー内のファイルから設定プロパティーを提供します。ファイルは config map またはシークレットにすることができます。
この手順では、ファイルによりコネクターの設定プロパティーが提供されます。データベース名とパスワードはシークレットのプロパティーとして指定されます。シークレットは、Kafka Connect Pod にボリュームとしてマウントされます。ボリュームはパス /opt/kafka/external-configuration/<volume-name>
にマウントされます。
前提条件
- 稼働中の Kafka クラスター
- Cluster Operator が稼働中である。
- コネクター設定を含むシークレットがある。
データベースプロパティーのあるシークレットの例
apiVersion: v1 kind: Secret metadata: name: mysecret type: Opaque stringData: connector.properties: |- 1 dbUsername: my-username 2 dbPassword: my-password
手順
KafkaConnect
リソースを設定します。-
FileConfigProvider
を有効にする -
externalConfiguration
プロパティーを使用してファイルを指定します。
外部プロパティーファイルを使用するための Kafka Connect 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect spec: # ... config: config.providers: file 1 config.providers.file.class: org.apache.kafka.common.config.provider.FileConfigProvider 2 #... externalConfiguration: volumes: - name: connector-config 3 secret: secretName: mysecret 4
-
リソースを作成または更新してプロバイダーを有効にします。
oc apply -f <kafka_connect_configuration_file>
コネクター設定内のファイルプロパティーをプレースホルダーとして参照します。
ファイルを参照するコネクター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-source-connector labels: strimzi.io/cluster: my-connect-cluster spec: class: io.debezium.connector.mysql.MySqlConnector tasksMax: 2 config: database.hostname: 192.168.99.1 database.port: "3306" database.user: "${file:/opt/kafka/external-configuration/connector-config/mysecret:dbUsername}" database.password: "${file:/opt/kafka/external-configuration/connector-config/mysecret:dbPassword}" database.server.id: "184054" #...
プレースホルダー構造は、
file:<path_and_file_name>:<property>
です。FileConfigProvider
は、マウントされたシークレットからデータベースのユーザー名とパスワードのプロパティー値を読み取り、抽出します。
8.15.5. ディレクトリー内の複数のファイルから設定値を読み込む
DirectoryConfigProvider
を使用して、ディレクトリー内の複数のファイルから設定プロパティーを提供します。ファイルは config map またはシークレットにすることができます。
この手順では、シークレットによって、コネクターの TLS キーストアとトラストストアのユーザー認証情報が提供されます。認証情報は別のファイルにあります。シークレットは、Kafka Connect Pod にボリュームとしてマウントされます。ボリュームはパス /opt/kafka/external-configuration/<volume-name>
にマウントされます。
前提条件
- 稼働中の Kafka クラスター
- Cluster Operator が稼働中である。
- ユーザー認証情報を含むシークレットを持っている。
ユーザー認証情報を含むシークレットの例
apiVersion: v1 kind: Secret metadata: name: my-user labels: strimzi.io/kind: KafkaUser strimzi.io/cluster: my-cluster type: Opaque data: ca.crt: <public_key> # Public key of the clients CA user.crt: <user_certificate> # Public key of the user user.key: <user_private_key> # Private key of the user user.p12: <store> # PKCS #12 store for user certificates and keys user.password: <password_for_store> # Protects the PKCS #12 store
my-user
シークレットは、コネクターのキーストア認証情報 (user.crt
および user.key
) を提供します。
Kafka クラスターのデプロイ時に生成される <cluster_name>-cluster-ca-cert
シークレットは、クラスター CA 証明書をトラストストア認証情報 (ca.crt
) として提供します。
手順
KafkaConnect
リソースを設定します。-
DirectoryConfigProvider
を有効にする -
externalConfiguration
プロパティーを使用してファイルを指定します。
外部プロパティーファイルを使用するための Kafka Connect 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect spec: # ... config: config.providers: directory 1 config.providers.directory.class: org.apache.kafka.common.config.provider.DirectoryConfigProvider 2 #... externalConfiguration: volumes: 3 - name: cluster-ca 4 secret: secretName: my-cluster-cluster-ca-cert 5 - name: my-user secret: secretName: my-user 6
-
リソースを作成または更新してプロバイダーを有効にします。
oc apply -f <kafka_connect_configuration_file>
コネクター設定内のファイルプロパティーをプレースホルダーとして参照します。
ファイルを参照するコネクター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-source-connector labels: strimzi.io/cluster: my-connect-cluster spec: class: io.debezium.connector.mysql.MySqlConnector tasksMax: 2 config: # ... database.history.producer.security.protocol: SSL database.history.producer.ssl.truststore.type: PEM database.history.producer.ssl.truststore.certificates: "${directory:/opt/kafka/external-configuration/cluster-ca:ca.crt}" database.history.producer.ssl.keystore.type: PEM database.history.producer.ssl.keystore.certificate.chain: "${directory:/opt/kafka/external-configuration/my-user:user.crt}" database.history.producer.ssl.keystore.key: "${directory:/opt/kafka/external-configuration/my-user:user.key}" #...
プレースホルダー構造は
directory:<path>:<file_name>
です。DirectoryConfigProvider
は、マウントされたシークレットから認証情報を読み取り、抽出します。
8.16. OpenShift リソースのカスタマイズ
AMQ Streams デプロイメントでは、Deployment
、Pod
、Service
リソースなどの OpenShift リソースが作成されます。これらのリソースは AMQ Streams Operator が管理します。特定の OpenShift リソースの管理を担当する operator のみがそのリソースを変更できます。operator によって管理される OpenShift リソースを手動で変更しようとすると、operator はその変更を元に戻します。
operator が管理する OpenShift リソースの変更は、以下のような特定のタスクを実行する場合に役立ちます。
-
Pod
が Istio またはその他のサービスによって処理される方法を制御するカスタムラベルまたはアノテーションの追加 -
Loadbalancer
-type サービスがクラスターによって作成される方法の管理
OpenShift リソースに変更を加えるには、さまざまな AMQ Streams カスタムリソースの spec
セクション内で template
プロパティーを使用できます。
変更を適用できるカスタムリソースのリストは次のとおりです。
-
Kafka.spec.kafka
-
Kafka.spec.zookeeper
-
Kafka.spec.entityOperator
-
Kafka.spec.kafkaExporter
-
Kafka.spec.cruiseControl
-
KafkaNodePool.spec
-
KafkaConnect.spec
-
KafkaMirrorMaker.spec
-
KafkaMirrorMaker2.spec
-
KafkaBridge.spec
-
KafkaUser.spec
これらのプロパティーの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
AMQ Streams Custom Resource API Reference には、カスタマイズ可能なフィールドの詳細が記載されています。
以下の例では、template
プロパティーを使用して Kafka ブローカーの Pod のラベルを変更します。
テンプレートのカスタマイズ例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster labels: app: my-cluster spec: kafka: # ... template: pod: metadata: labels: mylabel: myvalue # ...
8.16.1. イメージプルポリシーのカスタマイズ
AMQ Streams では、Cluster Operator によってデプロイされたすべての Pod のコンテナーのイメージプルポリシーをカスタマイズできます。イメージプルポリシーは、Cluster Operator デプロイメントの環境変数 STRIMZI_IMAGE_PULL_POLICY
を使用して設定されます。STRIMZI_IMAGE_PULL_POLICY
環境変数に設定できる値は 3 つあります。
Always
- Pod が起動または再起動されるたびにコンテナーイメージがレジストリーからプルされます。
IfNotPresent
- 以前プルされたことのないコンテナーイメージのみがレジストリーからプルされます。
Never
- コンテナーイメージはレジストリーからプルされることはありません。
現在、イメージプルポリシーは、すべての Kafka、Kafka Connect、および Kafka MirrorMaker クラスターに対して一度にのみカスタマイズできます。ポリシーを変更すると、すべての Kafka、Kafka Connect、および Kafka MirrorMaker クラスターのローリング更新が実行されます。
関連情報
- 中断。
8.16.2. 終了時の猶予期間の適用
終了時の猶予期間を適用し、Kafka クラスターが正常にシャットダウンされるように十分な時間を確保します。
terminationGracePeriodSeconds
プロパティーを使用して時間を指定します。プロパティーを Kafka
カスタムリソースの template.pod
設定に追加します。
追加する時間は Kafka クラスターのサイズによって異なります。終了猶予期間の OpenShift のデフォルト値は 30 秒です。クラスターが正常にシャットダウンしていないことが判明した場合には、終了までの猶予期間を増やすことができます。
終了時の猶予期間は、Pod が再起動されるたびに適用されます。この期間は、OpenShift が Pod で実行されているプロセスに term (中断) シグナルを送信すると開始します。この期間は、終了する Pod のプロセスを、停止する前に別の Pod に転送するのに必要な時間を反映する必要があります。期間の終了後、kill シグナルにより、Pod で実行中のプロセスはすべて停止します。
以下の例では、終了猶予期間 120 秒を Kafka
カスタムリソースに追加します。他の Kafka コンポーネントのカスタムリソースで設定を指定することもできます。
終了猶予期間の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... template: pod: terminationGracePeriodSeconds: 120 # ... # ...
第9章 Topic Operator を使用した Kafka トピックの管理
KafkaTopic
リソースは、パーティションやレプリケーション係数の設定などのトピックを設定します。KafkaTopic
を使用してトピックを作成、変更、または削除すると、Topic Operator はこれらの変更が Kafka クラスターに確実に反映されるようにします。
KafkaTopic
リソースの詳細については、KafkaTopic
スキーマ参照 を参照してください。
9.1. トピック管理モード
KafkaTopic
リソースは、Kafka クラスター内の単一トピックを管理します。Topic Operator は、KafkaTopic
リソースと Kafka トピックを管理するための 2 つのモードを提供します。
- 双方向モード
- 双方向モードでは、クラスター管理に ZooKeeper が必要です。KRaft モードでの AMQ Streams の使用とは互換性がありません。
- (プレビュー) 単方向モード
- 一方向モードでは、クラスター管理に ZooKeeper は必要ありません。KRaft モードでの AMQ Streams の使用と互換性があります。
一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには 、UnidirectionTopicOperator
フィーチャーゲートを有効にする 必要があります。
9.1.1. 双方向のトピック管理
双方向モードでは、Topic Operator は次のように動作します。
-
KafkaTopic
が作成、削除、または変更されると、Topic Operator は Kafka トピックに対して対応するアクションを実行します。 -
同様に、Kafka クラスター内でトピックが作成、削除、または変更されると、Topic Operator は
KafkaTopic
リソースに対して対応する操作を実行します。
KafkaTopic
リソースまたは Kafka で直接トピックを管理する方法を 1 つ保持してみてください。特定のトピックで、両方の方法を頻繁に切り替えないでください。
9.1.2. (プレビュー) 一方向のトピック管理
双方向モードでは、Topic Operator は次のように動作します。
-
KafkaTopic
が作成、削除、または変更されると、Topic Operator は Kafka トピックに対して対応するアクションを実行します。
対応する KafkaTopic
リソースが存在せずに、トピックが Kafka クラスター内で直接作成、削除、または変更された場合、Topic Operator はそのトピックを管理しません。Topic Operator は KafkaTopic
リソースに関連付けられた Kafka トピックのみを管理し、Kafka クラスター内で独立して管理されるトピックに干渉しません。Kafka トピックに KafkaTopic
が存在する場合は、リソースの外部で行われた設定変更はすべて元に戻されます。
9.2. トピックの命名規則
KafkaTopic
リソースには、トピックの名前と、そのトピックが属する Kafka クラスターの名前を識別するラベルが含まれます。
トピック処理用の Kafka クラスターの特定
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: topic-name-1 labels: strimzi.io/cluster: my-cluster spec: topicName: topic-name-1
ラベルは、Kafka
リソースのクラスター名を指定します。Topic Operator は、管理する KafkaTopic
リソースを決定するメカニズムとしてラベルを使用します。ラベルが Kafka クラスターと一致しない場合、トピックオペレーターは KafkaTopic を
認識できず、トピックは作成されません。
Kafka と OpenShift には独自の命名検証ルールがあり、Kafka トピック名は OpenShift では有効なリソース名ではない可能性があります。可能であれば、両方に有効な命名規則に従うようにしてください。
次のガイドラインを考慮してください。
- トピックの性質を反映したトピック名を使用
- 名前は簡潔にして 63 文字以内に
- すべて小文字とハイフンを使用
- 特殊文字、スペース、シンボルは避ける
KafkaTopic
リソースを使用すると、metadata.name
フィールドを使用して Kafka トピック名を指定できます。ただし、目的の Kafka トピック名が有効な OpenShift リソース名ではない場合は、spec.topicName
プロパティーを使用して実際の名前を指定できます。spec.topicName
フィールドはオプションであり、これが存在しない場合、Kafka トピック名はデフォルトでトピックの metadata.name
になります。トピックを作成すると、後でトピック名を変更することはできません。
有効な Kafka トピック名を指定する例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic-1 1 spec: topicName: My.Topic.1 2 # ...
複数の KafkaTopic
リソースが同じ Kafka トピックを参照している場合、最初に作成されたリソースがトピックを管理しているリソースとみなされます。新しいリソースのステータスが更新されて競合が示され、その Ready
ステータスが False
に変更されます。
Kafka Streams などの Kafka クライアントアプリケーションが無効な OpenShift リソース名を持つトピックを自動的に作成する場合、Topic Operator は双方向モードで使用すると有効な metadata.name
を生成します。無効な文字を置換し、名前にハッシュを追加します。ただし、この動作は (プレビュー) 単方向モードには適用されません。
無効なトピック名を置き換える例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic---c55e57fe2546a33f9e603caf57165db4072e827e # ...
クラスター内の識別子と名前の要件の詳細は、OpenShift ドキュメントの オブジェクト名と ID を参照してください。
9.3. トピック変更の処理
Topic Operator がトピックへの変更をどのように処理するかは、トピック管理のモード によって異なります。
-
双方向のトピック管理の場合、設定の変更は Kafka トピックと
KafkaTopic
リソースの間で両方向に同期されます。互換性のない変更では Kafka 設定が優先され、それに応じてKafkaTopic
リソースが調整されます。 -
単方向トピック管理 (現在プレビュー段階) の場合、設定変更は一方向 (
KafkaTopic
リソースから Kafka トピックへ) にのみ行われます。KafkaTopic
リソースの外部で管理される Kafka トピックへの変更はすべて元に戻されます。
9.3.1. 双方向トピック管理のためのトピックストア
双方向のトピック管理の場合、Topic Operator は、唯一の信頼できる情報源がない場合でもトピックへの変更を処理できます。KafkaTopic
リソースと Kafka トピックは独立して変更される可能性がありますが、特にトピックオペレーターが動作していない場合には、変更をリアルタイムに観察することが常に可能であるとは限りません。これに対処するために、Topic Operator は、各トピックに関するトピック設定情報を保存するトピックストアを維持します。Kafka クラスターと OpenShift の状態をトピックストアと比較して、同期に必要な変更を判断します。この評価は、起動中および Topic Operator がアクティブである間、定期的に行われます。
たとえば、Topic Operator が非アクティブで、my-topic という名前の新しい KafkaTopic
が作成された場合、再起動時に Topic Operator はトピックストアに my-topic が存在しないことを認識します。KafkaTopic
が最後の操作の後に作成されたことを認識します。その結果、Topic Operator は対応する Kafka トピックを生成し、メタデータをトピックストアに保存します。
トピックストアを使用すると、Topic Operator は、変更に互換性がある限り、Kafka トピックと KafkaTopic
リソースの両方でトピック設定が変更される状況を管理できます。Kafka トピック設定が更新されるか、KafkaTopic
カスタムリソースに変更が加えられると、変更に互換性がある限り、Kafka クラスターとの調整後にトピックストアが更新されます。
トピックストアは、Kafka トピックを使用して状態を永続化する Kafka Streams のキーバリューメカニズムを基にしています。トピックメタデータはインメモリーでキャッシュされ、Topic Operator 内にてローカルでアクセスされます。ローカルのインメモリーキャッシュに適用される操作からの更新は、ディスク上のバックアップトピックストアに永続化されます。トピックストアは、Kafka トピックまたは OpenShift KafkaTopic
カスタムリソースからの更新と継続的に同期されます。操作は、このような方法で設定されたトピックストアで迅速に処理されますが、インメモリーキャッシュがクラッシュした場合は、永続ストレージから自動的にデータが再入力されます。
内部トピックは、トピックストアでのトピックメタデータの処理をサポートします。
__strimzi_store_topic
- トピックメタデータを保存するための入力トピック
__strimzi-topic-operator-kstreams-topic-store-changelog
- 圧縮されたトピックストア値のログの維持
これらのトピックは、Topic Operator の実行に不可欠であるため、削除しないでください。
9.3.2. ZooKeeper からトピックストアへのトピックメタデータの移行
これまでのリリースの AMQ Streams では、トピックメタデータは ZooKeeper に保存されていました。トピックストアによってこの要件は除外されたため、メタデータは Kafka クラスターに取り込まれ、Topic Operator の制御下となります。
AMQ Streams 2.5 にアップグレードする場合は、Topic Operator によってトピックストアが制御されるようにシームレスに移行されます。メタデータは ZooKeeper から検出および移行され、古いストアは削除されます。
9.3.3. ZooKeeper を使用してトピックメタデータを保存する AMQ Streams バージョンへのダウングレード
トピックメタデータの保存に ZooKeeper を使用する 1.7 より前のバージョンの AMQ Streams に戻す場合でも、Cluster Operator を前のバージョンにダウングレードしてから、Kafka ブローカーおよびクライアントアプリケーションを前の Kafka バージョンにダウングレードします。
ただし、Kafka クラスターのブートストラップアドレスを指定して、kafka-topics
コマンドを使用してトピックストア用に作成されたトピックを削除する必要もあります。以下に例を示します。
oc run kafka-admin -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi-topic-operator-kstreams-topic-store-changelog --delete && ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi_store_topic --delete
このコマンドは、Kafka クラスターへのアクセスに使用されるリスナーおよび認証のタイプに対応している必要があります。
Topic Operator は、Kafka のトピックの状態から ZooKeeper トピックメタデータを再構築します。
9.3.4. トピックの自動作成
アプリケーションは、Kafka クラスター内のトピックの自動作成をトリガーできます。デフォルトでは、Kafka ブローカー設定 auto.create.topics.enable
は true
に設定されており、アプリケーションが存在しないトピックから生成または消費しようとしたときに、ブローカーがトピックを自動的に作成できるようになります。アプリケーションは、Kafka AdminClient
を使用してトピックを自動的に作成する場合もあります。アプリケーションが KafkaTopic
リソースとともにデプロイされる場合、トピックオペレーターが KafkaTopic
に反応する前に、クラスター内でトピックの自動作成が行われる可能性があります。
双方向のトピック管理の場合、Topic Operator はトピックと KafkaTopic
リソース間の変更を同期します。
単方向トピック管理プレビューを試している場合、これは、アプリケーションのデプロイメント用に作成されたトピックが、最初はデフォルトのトピック設定で作成されることを意味する可能性があります。トピックオペレーターがアプリケーションデプロイメントに含まれる KafkaTopic
リソース仕様に基づいてトピックを再設定しようとすると、必要な設定変更が許可されていないため、操作が失敗する可能性があります。たとえば、変更がトピックパーティションの数を減らすことを意味する場合です。このため、一方向トピック管理を使用する場合は、Kafka クラスター設定で auto.create.topics.enable
を無効にすることを推奨します。
9.4. Kafka トピックの設定
KafkaTopic
リソースのプロパティーを使用して、Kafka トピックを設定します。KafkaTopic
内のトピック設定に加えられた変更は、Kafka に伝播されます。
oc apply
を使用すると、トピックを作成または編集できます。oc delete
を使用すると、既存のトピックを削除できます。
以下に例を示します。
-
oc apply -f <topic_config_file>
-
oc delete KafkaTopic <topic_name>
トピックを削除できるようにするには、Kafka リソースの spec.kafka.config
で delete.topic.enable
を true
(デフォルト) に設定する必要があります。
この手順では、10 個のパーティションと 2 つのレプリカがあるトピックを作成する方法を説明します。
この手順は、トピック管理の双方向モードと (プレビュー) 単方向モードでも同じです。
作業を開始する前に
KafkaTopic リソースでは、次の変更は許可されません。
-
spec.topicName
で定義されたトピックの名前を変更します。spec.topicName
とstatus.topicName
の不一致が検出されます。 -
spec.partitions
を使用してパーティションの数を減らす (Kafka ではサポートされていません)。 -
spec.replicas
で指定されたレプリカの数を変更します。
キーを持つトピックの spec.partitions
を増やすと、レコードのパーティション分割が変更され、特にトピックでセマンティックパーティション分割が使用されている場合に問題が発生する可能性があります。
前提条件
- mTLS 認証と TLS 暗号化を使用する Kafka ブローカーリスナーで設定された実行中の Kafka クラスター。
- 実行中の Topic Operator (通常は、Entity Operator とともにデプロイされます)。
-
トピックを削除する場合は、
Kafka
リソースのspec.kafka.config
がdelete.topic.enable=true
(デフォルト) である必要があります。
手順
KafkaTopic
リソースを設定します。Kafka トピックの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic-1 labels: strimzi.io/cluster: my-cluster spec: partitions: 10 replicas: 2
ヒントトピックを変更する場合、
oc get kafkatopic my-topic-1 -o yaml
を使用してリソースの現在のバージョンを取得できます。OpenShift で
KafkaTopic
リソースを作成します。oc apply -f <topic_config_file>
トピックの準備完了ステータスが
True
に変わるまで待ちます。oc get kafkatopics -o wide -w -n <namespace>
Kafka トピックのステータス
NAME CLUSTER PARTITIONS REPLICATION FACTOR READY my-topic-1 my-cluster 10 3 True my-topic-2 my-cluster 10 3 my-topic-3 my-cluster 10 3 True
READY
出力がTrue
を示す場合、トピックの作成は成功です。READY
列が空白のままの場合は、リソース YAML または Topic Operator ログからステータスの詳細を取得してください。ステータスメッセージには、現在のステータスの理由の詳細が示されます。
oc get kafkatopics my-topic-2 -o yaml
NotReady
ステータスのトピックの詳細# ... status: conditions: - lastTransitionTime: "2022-06-13T10:14:43.351550Z" message: Number of partitions cannot be decreased reason: PartitionDecreaseException status: "True" type: NotReady
この例では、トピックの準備ができていない理由は、
KafkaTopic
設定で元のパーティション数が減ったためです。Kafka はこれをサポートしていません。トピック設定をリセットした後、ステータスはトピックの準備ができていることを示します。
oc get kafkatopics my-topic-2 -o wide -w -n <namespace>
トピックのステータス更新
NAME CLUSTER PARTITIONS REPLICATION FACTOR READY my-topic-2 my-cluster 10 3 True
詳細のフェッチではメッセージが表示されない
oc get kafkatopics my-topic-2 -o yaml
READY
ステータスのトピックの詳細# ... status: conditions: - lastTransitionTime: '2022-06-13T10:15:03.761084Z' status: 'True' type: Ready
9.5. レプリケーションとパーティション数のトピックの設定
Topic Operator によって管理されるトピックには、トピックレプリケーション係数を 3 に設定し、最低でも 2 つの In-Sync レプリカを設定することが推奨されます。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: my-cluster spec: partitions: 10 1 replicas: 3 2 config: min.insync.replicas: 2 3 #...
インシンクレプリカは、プロデューサーアプリケーションの acks
設定と組み合わせて使用します。acks
設定は、メッセージが正常に受信されたことを確認するまでに、メッセージを複製しなければならないフォロワーパーティションの数を決定します。双方向トピックオペレーターは、その内部トピックに対して acks=all
を指定して実行されます。これにより、メッセージはすべての同期レプリカによって確認応答される必要があります。
ブローカーを追加または削除して Kafka クラスターをスケーリングする場合、レプリケーション係数設定は変更されず、レプリカは自動的に再割り当てされません。しかし、kafka-reassign-partitions.sh
ツールを使用してレプリケーション係数を変更し、手動でレプリカをブローカーに再割り当てすることができます。
また、AMQ Streams の Cruise Control の統合ではトピックのレプリケーション係数を変更することはできませんが、Kafka をリバランスするために生成された最適化プロポーザルには、パーティションレプリカを転送し、パーティションリーダーを変更するコマンドが含まれます。
9.6. (プレビュー) Kafka トピックに影響を与えずに KafkaTopic リソースを管理する
この手順では、現在 KafkaTopic
リソースを通じて管理されている Kafka トピックを非管理トピックに変換する方法について説明します。この機能はさまざまなシナリオで役立ちます。たとえば、KafkaTopic
リソースの metadata.name
を更新したい場合があります。これを行うには、元の KafkaTopic
リソースを削除し、新しいリソースを再作成する必要があります。
KafkaTopic
リソースに strimzi.io/managed=false
のアノテーションを付けることにより、Topic Operator がその特定のトピックを管理すべきでないことを示します。これにより、リソースの設定やその他の管理タスクを変更しながら、Kafka トピックを保持できるようになります。
一方向トピック管理を使用している場合は、このタスクを実行できます。
一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには 、UnidirectionTopicOperator
フィーチャーゲートを有効にする 必要があります。
手順
OpenShift で
KafkaTopic
リソースにアノテーションを付け、strimzi.io/managed
をfalse
に設定します。oc annotate kafkatopic my-topic-1 strimzi.io/managed=false
KafkaTopic
リソース内のトピックのmetadata.name
を指定します。この例ではmy-topic-1
です。KafkaTopic
リソースのステータスをチェックして、リクエストが成功したことを確認します。oc get kafkatopics my-topic-1 -o yaml
Ready
ステータスのトピックの例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: generation: 124 name: my-topic-1 finalizer: strimzi.io/topic-operator labels: strimzi.io/cluster: my-cluster spec: partitions: 10 replicas: 2 # ... status: observedGeneration: 124 1 topicName: my-topic-1 conditions: - type: Ready status: True lastTransitionTime: 20230301T103000Z
- 1
- リソースの調整が成功すると、トピックは管理されなくなります。
metadata.generation
(デプロイの現在のバージョン) の値は、status.observedGeneration
(リソースの最新の調整) と一致する必要があります。これで、管理していた Kafka トピックに影響を与えることなく、
KafkaTopic
リソースを変更できるようになりました。たとえば、
metadata.name
を変更するには、次のように実行します。元の
KafkTopic
リソースを削除します。oc delete kafkatopic <kafka_topic_name>
-
別の
metadata.name
を使用してKafkTopic
リソースを再作成しますが、元のリソースで管理されていたのと同じトピックを参照するにはspec.topicName
を使用します。
-
元の
KafkaTopic
リソースを削除していないが、Kafka トピックの管理を再度再開したい場合は、strimzi.io/managed
アノテーションをtrue
に設定するか、アノテーションを削除します。
9.7. (プレビュー) 既存の Kafka トピックのトピック管理を有効にする
この手順では、現在 KafkaTopic
リソースを通じて管理されていないトピックのトピック管理を有効にする方法について説明します。これを行うには、一致する KafkaTopic
リソースを作成します。
一方向トピック管理を使用している場合は、このタスクを実行できます。
一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには 、UnidirectionTopicOperator
フィーチャーゲートを有効にする 必要があります。
手順
Kafka トピックと同じ
metadata.name
を使用してKafkaTopic
リソースを作成します。または、Kafka のトピック名が有効な OpenShift リソース名ではない場合は、
spec.topicName
を使用します。Kafka トピックの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic-1 labels: strimzi.io/cluster: my-cluster spec: partitions: 10 replicas: 2
この例では、Kafka トピックの名前は
my-topic-1
です。Topic Operator は、トピックが別の
KafkaTopic
リソースによって管理されているかどうかを確認します。そうである場合、古いリソースが優先され、新しいリソースのステータスでリソース競合エラーが返されます。KafkaTopic
リソースを適用します。oc apply -f <topic_configuration_file>
operator が Kafka のトピックを更新するまで待ちます。
operator は、同じ名前を持つ
KafkaTopic
のspec
で Kafka トピックを更新します。KafkaTopic
リソースのステータスをチェックして、リクエストが成功したことを確認します。oc get kafkatopics my-topic-1 -o yaml
Ready
ステータスのトピックの例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: generation: 1 name: my-topic-1 labels: strimzi.io/cluster: my-cluster spec: partitions: 10 replicas: 2 # ... status: observedGeneration: 1 1 topicName: my-topic-1 conditions: - type: Ready status: True lastTransitionTime: 20230301T103000Z
- 1
- リソースの調整が成功すると、トピックが管理されるようになりました。
metadata.generation
(デプロイの現在のバージョン) の値は、status.observedGeneration
(リソースの最新の調整) と一致する必要があります。
9.8. (プレビュー) 管理トピックの削除
一方向トピック管理は、OpenShift ファイナライザーの有無にかかわらず、KafkaTopic
リソースを通じて管理されるトピックの削除をサポートします。これは、STRIMZI_USE_FINALIZERS
Topic Operator 環境変数によって制御されます。デフォルトでは、これは true
に設定されます。ただし、Topic Operator でファイナライザーを追加する必要がない場合は、Topic Operator env
設定で false
に設定できます。
一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには 、UnidirectionTopicOperator
フィーチャーゲートを有効にする 必要があります。
ファイナライザーは、KafkaTopic
リソースを順番に削除および制御します。Topic Operator のファイナライザーが KafkaTopic
リソースのメタデータに追加されます。
トピックの削除を制御するファイナライザー
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: generation: 1 name: my-topic-1 finalizer: strimzi.io/topic-operator labels: strimzi.io/cluster: my-cluster
この例では、トピック my-topic-1
にファイナライザーが追加されます。ファイナライザーは、ファイナライズプロセスが完了するまでトピックが完全に削除されないようにします。次に、oc delete kafkatopic my-topic-1
を使用してトピックを削除すると、タイムスタンプがメタデータに追加されます。
削除時のファイナライザーのタイムスタンプ
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: generation: 1 name: my-topic-1 finalizer: strimzi.io/topic-operator labels: strimzi.io/cluster: my-cluster deletionTimestamp: 20230301T000000.000
リソースは引き続き存在します。削除に失敗した場合は、リソースのステータスにその旨が表示されます。
ファイナライゼーションタスクが正常に実行されると、ファイナライザーがメタデータから削除され、リソースが完全に削除されます。
ファイナライザーは、関連リソースが削除されることも防ぎます。一方向トピックオペレーターが実行されていない場合は、metadata.finalizer
を削除できません。したがって、KafkaTopic
リソースを含む namespace を削除する試みは、オペレーターが再起動されるか、ファイナライザーが削除されるまで (たとえば oc edit
を使用して) 完了しません。
第10章 User Operator を使用した Kafka ユーザーの管理
KafkaUser
リソースを使用してユーザーを作成、編集、または削除する場合、User Operator によって変更が確実に Kafka クラスターで反映されます。
KafkaUser
リソースの詳細は、KafkaUser
スキーマ参照 を参照してください。
10.1. Kafka ユーザーの設定
KafkaUser
リソースのプロパティーを使用して、Kafka ユーザーを設定します。
oc apply
を使用すると、ユーザーを作成または編集できます。oc delete
を使用すると、既存のユーザーを削除できます。
以下に例を示します。
-
oc apply -f <user_config_file>
-
oc delete KafkaUser <user_name>
ユーザーは Kafka クライアントを表します。Kafka ユーザーを設定するとき、クライアントが Kafka にアクセスするのに必要なユーザーの認証および承認メカニズムを有効にします。使用するメカニズムは、同等の Kafka
設定と一致する必要があります。Kafka
および KafkaUser
リソースを使用して Kafka ブローカーへのアクセスを保護する方法の詳細については、Kafka ブローカーへの アクセスの保護 を参照してください。
前提条件
- mTLS 認証と TLS 暗号化を使用する Kafka ブローカーリスナーで設定された実行中の Kafka クラスター。
- 実行中の User Operator (通常は Entity Operator とともにデプロイされます)。
手順
KafkaUser
リソースを設定します。この例では、mTLS 認証と、ACL を使用した単純な承認を指定します。
Kafka ユーザー設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user-1 labels: strimzi.io/cluster: my-cluster spec: authentication: type: tls authorization: type: simple acls: # Example consumer Acls for topic my-topic using consumer group my-group - resource: type: topic name: my-topic patternType: literal operations: - Describe - Read host: "*" - resource: type: group name: my-group patternType: literal operations: - Read host: "*" # Example Producer Acls for topic my-topic - resource: type: topic name: my-topic patternType: literal operations: - Create - Describe - Write host: "*"
OpenShift で
KafkaUser
リソースを作成します。oc apply -f <user_config_file>
ユーザーの Ready ステータスが
True
に変わるまで待ちます。oc get kafkausers -o wide -w -n <namespace>
Kafka ユーザーの状態
NAME CLUSTER AUTHENTICATION AUTHORIZATION READY my-user-1 my-cluster tls simple True my-user-2 my-cluster tls simple my-user-3 my-cluster tls simple True
READY
出力がTrue
を示す場合、ユーザーの作成は成功です。READY
列が空白のままの場合は、リソース YAML またはユーザー Operator ログからステータスの詳細を取得します。メッセージは、現在のステータスの理由に関する詳細を提供します。
oc get kafkausers my-user-2 -o yaml
NotReady
ステータスのユーザーの詳細# ... status: conditions: - lastTransitionTime: "2022-06-10T10:07:37.238065Z" message: Simple authorization ACL rules are configured but not supported in the Kafka cluster configuration. reason: InvalidResourceException status: "True" type: NotReady
この例では、ユーザーの準備ができていない理由は、
Kafka
設定で簡易認証が有効になっていないためです。簡単な承認のための Kafka 設定
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... authorization: type: simple
Kafka 設定を更新した後、ステータスはユーザーの準備ができていることを示します。
oc get kafkausers my-user-2 -o wide -w -n <namespace>
ユーザーのステータス更新
NAME CLUSTER AUTHENTICATION AUTHORIZATION READY my-user-2 my-cluster tls simple True
詳細を取得してもメッセージは表示されません。
oc get kafkausers my-user-2 -o yaml
READY
ステータスのユーザーの詳細# ... status: conditions: - lastTransitionTime: "2022-06-10T10:33:40.166846Z" status: "True" type: Ready
第11章 Apicurio Registry の Red Hat ビルドを使用したスキーマの検証
AMQ Streams で Apicurio Registry の Red Hat ビルドを使用できます。
Apicurio Registry は、API およびイベント駆動型アーキテクチャー全体で標準的なイベントスキーマおよび API 設計を共有するためのデータストアです。Apicurio Registry を使用して、クライアントアプリケーションからデータの構造を切り離し、REST インターフェイスを使用して実行時にデータ型と API の記述を共有および管理できます。
Apicurio Registry では、メッセージをシリアライズおよびデシリアライズするために使用されるスキーマが保存されます。その後、クライアントアプリケーションからスキーマを参照して、送受信されるメッセージとこれらのスキーマの互換性を維持するようにします。Apicurio Registry によって、Kafka プロデューサーおよびコンシューマーアプリケーションの Kafka クライアントシリアライザーおよびデシリアライザーが提供されます。Kafka プロデューサーアプリケーションは、シリアライザーを使用して、特定のイベントスキーマに準拠するメッセージをエンコードします。Kafka コンシューマーアプリケーションはデシリアライザーを使用して、特定のスキーマ ID に基づいてメッセージが適切なスキーマを使用してシリアライズされたことを検証します。
アプリケーションがレジストリーからスキーマを使用できるようにすることができます。これにより、スキーマが一貫して使用されるようにし、実行時にデータエラーが発生しないようにします。
関連情報
- Red Hat ビルドの Apicurio Registry 製品ドキュメント
- Apicurio Registry の Red Hat ビルドは、GitHub の Apicurio/apicurio-registry で利用可能な Apicurio Registry オープンソースコミュニティープロジェクトをもとに構築されています。
第12章 変更データキャプチャーのための Debezium の Red Hat ビルドとの統合
Red Hat build of Debezium は、分散型の変更データキャプチャープラットフォームです。データベースの行レベルの変更をキャプチャーして、変更イベントレコードを作成し、Kafka トピックにレコードをストリーミングします。Debezium は Apache Kafka に構築されます。AMQ Streams で Red Hat build of Debezium をデプロイおよび統合できます。AMQ Streams のデプロイ後に、Kafka Connect で Debezium をコネクター設定としてデプロイします。Debezium は変更イベントレコードを AMQ Streams on OpenShift に渡します。アプリケーションは 変更イベントストリーム を読み取りでき、変更イベントが発生した順にアクセスできます。
Debezium には、以下を含む複数の用途があります。
- データレプリケーション
- キャッシュの更新およびインデックスの検索
- モノリシックアプリケーションの簡素化
- データ統合
- ストリーミングクエリーの有効化
データベースの変更をキャプチャーするには、Debezium データベースコネクターで Kafka Connect をデプロイします。KafkaConnector
リソースを設定し、コネクターインスタンスを定義します。
AMQ Streams で Debezium の Red Hat ビルドをデプロイする方法の詳細は、製品ドキュメント を参照してください。ドキュメントには、Debezium スタートガイド が含まれています。このガイドでは、データベース更新の変更イベントレコードの表示に必要なサービスおよびコネクターの設定方法を説明しています。
第13章 Kafka クラスターへのクライアントアクセスの設定
AMQ Streams をデプロイ した後、Kafka クラスターへのクライアントアクセスをセットアップできます。デプロイメントを検証するために、サンプルのプロデューサークライアントとコンシューマークライアントをデプロイできます。それ以外の場合は、OpenShift クラスター内またはクラスター外でクライアントアクセスを提供するリスナーを作成します。
13.1. サンプルクライアントのデプロイ
サンプルのプロデューサークライアントとコンシューマークライアントをデプロイして、メッセージを送受信します。これらのクライアントを使用して、AMQ Streams のデプロイメントを検証できます。
前提条件
- クライアントが Kafka クラスターを使用できる。
手順
Kafka プロデューサーをデプロイします。
oc run kafka-producer -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- bin/kafka-console-producer.sh --bootstrap-server cluster-name-kafka-bootstrap:9092 --topic my-topic
- プロデューサーが稼働しているコンソールにメッセージを入力します。
- Enter を押してメッセージを送信します。
Kafka コンシューマーをデプロイします。
oc run kafka-consumer -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- bin/kafka-console-consumer.sh --bootstrap-server cluster-name-kafka-bootstrap:9092 --topic my-topic --from-beginning
- コンシューマーコンソールに受信メッセージが表示されることを確認します。
13.2. Kafka ブローカーに接続するためのリスナー設定
Kafka ブローカーへのクライアント接続にはリスナーを使用します。AMQ Streams は、Kafka
リソースを介してリスナーを設定するためのプロパティーを備えたジェネリックな GenericKafkaListener
スキーマを提供しています。GenericKafkaListener
は、リスナー設定に柔軟なアプローチを提供します。プロパティーを指定して、OpenShift クラスター内で接続する 内部 リスナーを設定したり、OpenShift クラスター外部で接続する 外部 リスナーを設定したりできます。
リスナー設定で Kafka を公開するための接続 type
を指定します。要件ならびにお使いの環境およびインフラストラクチャーに応じて、選択するタイプは異なります。次のリスナータイプがサポートされています。
- 内部リスナー
-
同じ OpenShift クラスター内で接続する
internal
-
ブローカーごとの
ClusterIP
サービスを使用して Kafka を公開するcluster-ip
-
同じ OpenShift クラスター内で接続する
- 外部リスナー
-
OpenShift ノードのポートを使用する
nodeport
-
ロードバランサーサービスを使用する
loadbalancer
-
Kubernetes
Ingress
および Kubernetes 用 Ingress NGINX コントローラー を使用するingress
(Kubernetes のみ) -
OpenShift
Route
とデフォルトの HAProxy ルーターを使用するroute
(OpenShift のみ)
-
OpenShift ノードのポートを使用する
OpenShift では ingress
を使用せず、代わりに route
タイプを使用してください。Ingress NGINX コントローラーは、Kubernetes でのみ使用することを目的としています。route
タイプは OpenShift でのみサポートされます。
internal
タイプのリスナー設定は、ヘッドレスサービスと、ブローカー Pod に指定された DNS 名を使用します。OpenShift ネットワークを外部ネットワークに参加させたい場合があります。その場合、OpenShift サービスの DNS ドメイン (通常は .cluster.local
) が使用されないように、内部
タイプのリスナーを (useServiceDnsDomain
プロパティーを使用して) 設定できます。ブローカーごとの ClusterIP
サービスに基づいて Kafka クラスターを公開する cluster-ip
タイプのリスナーを設定することもできます。これは、ヘッドレスサービスを介してルーティングできない場合や、カスタムアクセスメカニズムを組み込みたい場合に便利なオプションです。たとえば、特定の Ingress コントローラーまたは OpenShift Gateway API 用に独自のタイプの外部リスナーを構築するときに、このリスナーを使用できます。
外部リスナーは、さまざまな認証メカニズムを必要とするネットワークから Kafka クラスターへのアクセスを処理します。ロードバランサーやルートなどの指定された接続メカニズムを使用して、OpenShift 環境外部のクライアントアクセスに対して外部リスナーを設定できます。たとえば、ロードバランサーは、ベアメタルなどの特定のインフラストラクチャーには適さない場合があります。ベアメタルでは、ノードポートがより適したオプションを提供します。
各リスナーは、Kafka
リソース内の配列として定義されます。
リスナーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... listeners: - name: plain port: 9092 type: internal tls: false configuration: useServiceDnsDomain: true - name: tls port: 9093 type: internal tls: true authentication: type: tls - name: external port: 9094 type: route tls: true configuration: brokerCertChainAndKey: secretName: my-secret certificate: my-certificate.crt key: my-key.key # ...
名前とポートが一意であれば、必要なリスナーをいくつでも設定できます。認証を使用してセキュアな接続を行うようにリスナーを設定することもできます。
各接続タイプの長所と短所については、Strimzi での Apache Kafka へのアクセスを参照してください。
外部リスナーの使用時に Kafka クラスターをスケーリングする場合、すべての Kafka ブローカーのローリング更新がトリガーされる可能性があります。これは設定によって異なります。
13.3. リスナーを使用した Kafka クラスターへのクライアントアクセス設定
Kafka クラスターのアドレスを使用して、同じ OpenShift クラスター内のクライアントへのアクセスを提供できます。または、別の OpenShift namespace または完全に OpenShift の外部にあるクライアントへの外部アクセスを提供できます。この手順では、OpenShift の外部または別の OpenShift クラスターから、Kafka クラスターへのクライアントアクセスを設定する方法を示します。
Kafka リスナーは、Kafka クラスターへのアクセスを提供します。クライアントアクセスは、次の設定を使用して保護されます。
-
mTLS 暗号化および認証、ならびに Kafka
simple
承認を有効にして、Kafka クラスターに外部リスナーが設定されます。 -
simple
承認用に mTLS 認証および アクセス制御リスト (ACL) を定義して、クライアントにKafkaUser
が作成されます。
相互 tls
、scram-sha-512
、または oauth
認証を使用するようにリスナーを設定できます。mTLS は常に暗号化を使用しますが、SCRAM-SHA-512 および OAuth 2.0 認証を使用する場合は暗号化も推奨されます。
Kafka ブローカーに simple
、oauth
、opa
、または custom
承認を設定できます。承認を有効にすると、承認は有効なすべてのリスナーに適用されます。
KafkaUser
認証および承認メカニズムを設定する場合は、必ず同等の Kafka 設定と一致させてください。
-
KafkaUser.spec.authentication
はKafka.spec.kafka.listeners[*].authentication
と一致します。 -
KafkaUser.spec.authorization
はKafka.spec.kafka.authorization
と一致します。
KafkaUser
に使用する認証をサポートするリスナーが少なくとも 1 つ必要です。
Kafka ユーザーと Kafka ブローカー間の認証は、それぞれの認証設定によって異なります。たとえば、mTLS が Kafka 設定で有効になっていない場合は、mTLS でユーザーを認証できません。
AMQ Streams Operator は設定プロセスを自動化し、認証に必要な証明書を作成します。
- Cluster Operator はリスナーを作成し、クラスターとクライアント認証局 (CA) 証明書を設定して、Kafka クラスターでの認証を有効にします。
- User Operator はクライアントに対応するユーザーを作成すると共に、選択した認証タイプに基づいて、クライアント認証に使用されるセキュリティークレデンシャルを作成します。
証明書をクライアント設定に追加します。
この手順では、Cluster Operator によって生成された CA 証明書が使用されますが、独自の証明書をインストール して証明書を置き換えることもできます。外部 CA (認証局) によって管理される Kafka リスナー証明書を使用 するようにリスナーを設定することもできます。
証明書は、PEM (.crt) および PKCS #12 (.p12) 形式で利用できます。この手順では、PEM 証明書を使用します。X.509 形式の証明書を使用するクライアントで PEM 証明書を使用します。
同じ OpenShift クラスターおよび namespace の内部クライアントの場合、Pod 仕様でクラスター CA 証明書をマウントできます。詳細については、クラスター CA を信頼するように内部クライアントを設定する を参照してください。
前提条件
- OpenShift クラスターの外部で実行されているクライアントによる接続に、Kafka クラスターを使用できる。
- Cluster Operator および User Operator がクラスターで実行されている。
手順
Kafka リスナーを使用して Kafka クラスターを設定します。
- リスナーを通じて Kafka ブローカーにアクセスするために必要な認証を定義します。
Kafka ブローカーで承認を有効にします。
リスナーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... listeners: 1 - name: external 2 port: 9094 3 type: <listener_type> 4 tls: true 5 authentication: type: tls 6 configuration: 7 #... authorization: 8 type: simple superUsers: - super-user-name 9 # ...
- 1
- 外部リスナーを有効にする設定オプションは、汎用 Kafka リスナースキーマ参照 に記載されています。
- 2
- リスナーを識別するための名前。Kafka クラスター内で一意である必要があります。
- 3
- Kafka 内でリスナーによって使用されるポート番号。ポート番号は指定の Kafka クラスター内で一意である必要があります。許可されるポート番号は 9092 以上ですが、すでに Prometheus および JMX によって使用されているポート 9404 および 9999 以外になります。リスナーのタイプによっては、ポート番号は Kafka クライアントに接続するポート番号と同じではない場合があります。
- 4
- 外部リスナーのタイプは、
route
(OpenShift のみ)、loadbalancer
、nodeport
またはingress
(Kubernetes のみ) として指定されます。内部リスナーはinternal
またはcluster-ip
として指定されます。 - 5
- 必須。リスナーでの TLS 暗号化。
route
およびingress
タイプのリスナーの場合は、true
に設定する必要があります。mTLS 認証の場合は、authentication
プロパティーも使用します。 - 6
- リスナーでのクライアント認証メカニズム。mTLS を使用したサーバーおよびクライアント認証の場合、
tls: true
およびauthentication.type: tls
を指定します。 - 7
- (オプション) リスナータイプの要件に応じて、追加の リスナー設定 を指定できます。
- 8
simple
と指定された承認 (AclAuthorizer
Kafka プラグインを使用する)。- 9
- (任意設定) スーパーユーザーは、ACL で定義されたアクセス制限に関係なく、すべてのブローカーにアクセスできます。
警告OpenShift Route アドレスは、Kafka クラスターの名前、リスナーの名前、および作成される namespace の名前で設定されます。たとえば、
my-cluster-kafka-listener1-bootstrap-myproject
(CLUSTER-NAME-kafka-LISTENER-NAME-bootstrap-NAMESPACE) となります。route
リスナータイプを使用している場合、アドレス全体の長さが上限の 63 文字を超えないように注意してください。
Kafka
リソースを作成または更新します。oc apply -f <kafka_configuration_file>
Kafka クラスターは、mTLS 認証を使用する Kafka ブローカーリスナーと共に設定されます。
Kafka ブローカー Pod ごとにサービスが作成されます。
サービスが作成され、Kafka クラスターに接続するための ブートストラップアドレス として機能します。
サービスは、
nodeport
リスナーを使用した Kafka クラスターへの外部接続用 外部ブートストラップアドレス としても作成されます。kafka ブローカーのアイデンティティーを検証するクラスター CA 証明書もシークレット
<cluster_name>-cluster-ca-cert
に作成されます。注記外部リスナーの使用時に Kafka クラスターをスケーリングする場合、すべての Kafka ブローカーのローリング更新がトリガーされる可能性があります。これは設定によって異なります。
Kafka
リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。oc get kafka <kafka_cluster_name> -o=jsonpath='{.status.listeners[?(@.name=="<listener_name>")].bootstrapServers}{"\n"}'
以下に例を示します。
oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}'
Kafka クライアントのブートストラップアドレスを使用して、Kafka クラスターに接続します。
Kafka クラスターにアクセスする必要があるクライアントに対応するユーザーを作成または変更します。
-
Kafka
リスナーと同じ認証タイプを指定します。 simple
承認の承認 ACL を指定します。ユーザー設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster 1 spec: authentication: type: tls 2 authorization: type: simple acls: 3 - resource: type: topic name: my-topic patternType: literal operations: - Describe - Read - resource: type: group name: my-group patternType: literal operations: - Read
-
KafkaUser
リソースを作成または変更します。oc apply -f USER-CONFIG-FILE
KafkaUser
リソースと同じ名前のシークレットと共に、ユーザーが作成されます。シークレットには、mTLS 認証用の公開鍵と秘密鍵が含まれています。シークレットの例
apiVersion: v1 kind: Secret metadata: name: my-user labels: strimzi.io/kind: KafkaUser strimzi.io/cluster: my-cluster type: Opaque data: ca.crt: <public_key> # Public key of the clients CA user.crt: <user_certificate> # Public key of the user user.key: <user_private_key> # Private key of the user user.p12: <store> # PKCS #12 store for user certificates and keys user.password: <password_for_store> # Protects the PKCS #12 store
Kafka クラスターの
<cluster_name>-cluster-ca-cert
シークレットからクラスター CA 証明書を抽出します。oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
<user_name>
シークレットからユーザー CA 証明書を抽出します。oc get secret <user_name> -o jsonpath='{.data.user\.crt}' | base64 -d > user.crt
<user_name>
シークレットからユーザーの秘密鍵を抽出します。oc get secret <user_name> -o jsonpath='{.data.user\.key}' | base64 -d > user.key
Kafka クラスターに接続するためのブートストラップアドレスのホスト名とポートを使用してクライアントを設定します。
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "<hostname>:<port>");
Kafka クラスターの ID を検証するために、トラストストア認証情報を使用してクライアントを設定します。
パブリッククラスター CA 証明書を指定します。
トラストストア設定の例
props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SSL"); props.put(SslConfigs.SSL_TRUSTSTORE_TYPE_CONFIG, "PEM"); props.put(SslConfigs.SSL_TRUSTSTORE_CERTIFICATES_CONFIG, "<ca.crt_file_content>");
SSL は、mTLS 認証用に指定されたセキュリティープロトコルです。TLS を介した SCRAM-SHA-512 認証には
SASL_SSL
を指定します。PEM はトラストストアのファイル形式です。Kafka クラスターに接続する際にユーザーを検証するために、キーストア認証情報を使用してクライアントを設定します。
公開証明書と秘密鍵を指定します。
キーストア設定の例
props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SSL"); props.put(SslConfigs.SSL_KEYSTORE_TYPE_CONFIG, "PEM"); props.put(SslConfigs.SSL_KEYSTORE_CERTIFICATE_CHAIN_CONFIG, "<user.crt_file_content>"); props.put(SslConfigs.SSL_KEYSTORE_KEY_CONFIG, "<user.key_file_content>");
キーストア証明書と秘密鍵を設定に直接追加します。1 行形式で追加します。
BEGIN CERTIFICATE
とEND CERTIFICATE
区切り文字の間は、改行文字 (\n
) で始まります。元の証明書の各行も\n
で終了します。キーストア設定の例
props.put(SslConfigs.SSL_KEYSTORE_CERTIFICATE_CHAIN_CONFIG, "-----BEGIN CERTIFICATE----- \n<user_certificate_content_line_1>\n<user_certificate_content_line_n>\n-----END CERTIFICATE---"); props.put(SslConfigs.SSL_KEYSTORE_KEY_CONFIG, "----BEGIN PRIVATE KEY-----\n<user_key_content_line_1>\n<user_key_content_line_n>\n-----END PRIVATE KEY-----");
関連情報
- 「リスナー認証」
- 「Kafka の承認」
認可サーバーを使用している場合は、トークンベースの認証と承認を使用できます。
13.4. ノードポートを使用した Kafka へのアクセス
ノードポートを使用して、OpenShift クラスターの外部の外部クライアントから AMQ Streams Kafka クラスターにアクセスします。
ブローカーに接続するには、Kafka ブートストラップアドレスのホスト名とポート番号、および TLS 暗号化に使用される証明書を指定します。
この手順では、基本的な nodeport
リスナーの設定を示します。リスナープロパティーを使用して、TLS 暗号化 (tls
) を有効にし、クライアント認証メカニズム (authentication
) を指定できます。configuration
プロパティーを使用して追加の設定を追加します。たとえば、nodeport
リスナーで次の設定プロパティーを使用できます。
preferredNodePortAddressType
- ノードアドレスとしてチェックされる最初のアドレスタイプを指定します。
externalTrafficPolicy
- サービスによって外部トラフィックがローカルノードのエンドポイントまたはクラスター全体のエンドポイントにルーティングされるかどうかを指定します。
nodePort
- ブートストラップおよびブローカーサービスに割り当てられたノードポート番号をオーバーライドします。
リスナー設定の詳細は、GenericKafkaListener
スキーマ参照 を参照してください。
前提条件
- 稼働中の Cluster Operator
この手順では、Kafka クラスター名は my-cluster
です。リスナーの名前は external
です。
手順
外部リスナーを
nodeport
タイプに設定してKafka
リソースを設定します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: labels: app: my-cluster name: my-cluster namespace: myproject spec: kafka: # ... listeners: - name: external port: 9094 type: nodeport tls: true authentication: type: tls # ... # ... zookeeper: # ...
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
kafka ブローカーの ID を確認するためのクラスター CA 証明書は、シークレットの
my-cluster-cluster-ca-cert
に作成されます。NodePort
タイプのサービスは、外部ブートストラップサービスと同様に、Kafka ブローカーごとに作成されます。ブートストラップおよびブローカー用に作成されたノードポートサービス
NAME TYPE CLUSTER-IP PORT(S) my-cluster-kafka-external-0 NodePort 172.30.55.13 9094:31789/TCP my-cluster-kafka-external-1 NodePort 172.30.250.248 9094:30028/TCP my-cluster-kafka-external-2 NodePort 172.30.115.81 9094:32650/TCP my-cluster-kafka-external-bootstrap NodePort 172.30.30.23 9094:32650/TCP
クライアント接続に使用されるブートストラップアドレスは、
Kafka
リソースのstatus
に伝播されます。ブートストラップアドレスのステータスの例
status: clusterId: Y_RJQDGKRXmNF7fEcWldJQ conditions: - lastTransitionTime: '2023-01-31T14:59:37.113630Z' status: 'True' type: Ready listeners: # ... - addresses: - host: ip-10-0-224-199.us-west-2.compute.internal port: 32650 bootstrapServers: 'ip-10-0-224-199.us-west-2.compute.internal:32650' certificates: - | -----BEGIN CERTIFICATE----- -----END CERTIFICATE----- name: external type: external observedGeneration: 2 # ...
Kafka
リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}' ip-10-0-224-199.us-west-2.compute.internal:32650
クラスター CA 証明書を抽出します。
oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
ブローカーに接続するようにクライアントを設定します。
-
Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、
ip-10-0-224-199.us-west-2.compute.internal:32650
です。 抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。
クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。
-
Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、
独自のリスナー証明書を使用している場合は、CA 証明書をクライアントのトラストストア設定に追加する必要があるかどうかを確認してください。パブリック (外部) CA の場合、通常は追加する必要はありません。
13.5. ロードバランサーを使用した Kafka へのアクセス
ロードバランサーを使用して、OpenShift クラスターの外部の外部クライアントから AMQ Streams Kafka クラスターにアクセスします。
ブローカーに接続するには、Kafka ブートストラップアドレスのホスト名とポート番号、および TLS 暗号化に使用される証明書を指定します。
この手順では、基本的な loadbalancer
リスナーの設定を示します。リスナープロパティーを使用して、TLS 暗号化 (tls
) を有効にし、クライアント認証メカニズム (authentication
) を指定できます。configuration
プロパティーを使用して追加の設定を追加します。たとえば、loadbalancer
リスナーで次の設定プロパティーを使用できます。
loadBalancerSourceRanges
- トラフィックを CIDR (クラスレスドメイン間ルーティング) 範囲の指定されたリストに制限します。
externalTrafficPolicy
- サービスによって外部トラフィックがローカルノードのエンドポイントまたはクラスター全体のエンドポイントにルーティングされるかどうかを指定します。
loadBalancerIP
- ロードバランサーの作成時に特定の IP アドレスを要求します。
リスナー設定の詳細は、GenericKafkaListener
スキーマ参照 を参照してください。
前提条件
- 稼働中の Cluster Operator
この手順では、Kafka クラスター名は my-cluster
です。リスナーの名前は external
です。
手順
外部リスナーを
loadbalancer
タイプに設定してKafka
リソースを設定します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: labels: app: my-cluster name: my-cluster namespace: myproject spec: kafka: # ... listeners: - name: external port: 9095 type: loadbalancer tls: true authentication: type: tls # ... # ... zookeeper: # ...
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
Kafka ブローカーの ID を検証するためのクラスター CA 証明書も、シークレット
my-cluster-cluster-ca-cert
に作成されます。loadbalancer
タイプのサービスとロードバランサーは、外部ブートストラップサービスと同様に、Kafka ブローカーごとに作成されます。ロードバランサーサービス、ブートストラップおよびブローカー用に作成されたロードバランサー
NAME TYPE CLUSTER-IP PORT(S) my-cluster-kafka-external-0 LoadBalancer 172.30.204.234 9095:30011/TCP my-cluster-kafka-external-1 LoadBalancer 172.30.164.89 9095:32544/TCP my-cluster-kafka-external-2 LoadBalancer 172.30.73.151 9095:32504/TCP my-cluster-kafka-external-bootstrap LoadBalancer 172.30.30.228 9095:30371/TCP NAME EXTERNAL-IP (loadbalancer) my-cluster-kafka-external-0 a8a519e464b924000b6c0f0a05e19f0d-1132975133.us-west-2.elb.amazonaws.com my-cluster-kafka-external-1 ab6adc22b556343afb0db5ea05d07347-611832211.us-west-2.elb.amazonaws.com my-cluster-kafka-external-2 a9173e8ccb1914778aeb17eca98713c0-777597560.us-west-2.elb.amazonaws.com my-cluster-kafka-external-bootstrap a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
クライアント接続に使用されるブートストラップアドレスは、
Kafka
リソースのstatus
に伝播されます。ブートストラップアドレスのステータスの例
status: clusterId: Y_RJQDGKRXmNF7fEcWldJQ conditions: - lastTransitionTime: '2023-01-31T14:59:37.113630Z' status: 'True' type: Ready listeners: # ... - addresses: - host: >- a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com port: 9095 bootstrapServers: >- a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095 certificates: - | -----BEGIN CERTIFICATE----- -----END CERTIFICATE----- name: external type: external observedGeneration: 2 # ...
クライアント接続に使用される DNS アドレスは、各ロードバランサーサービスの
status
に伝達されます。ブートストラップロードバランサーのステータスの例
status: loadBalancer: ingress: - hostname: >- a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com # ...
Kafka
リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}' a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095
クラスター CA 証明書を抽出します。
oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
ブローカーに接続するようにクライアントを設定します。
-
Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、
a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095
です。 抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。
クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。
-
Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、
独自のリスナー証明書を使用している場合は、CA 証明書をクライアントのトラストストア設定に追加する必要があるかどうかを確認してください。パブリック (外部) CA の場合、通常は追加する必要はありません。
13.6. OpenShift ルートを使用した Kafka へのアクセス
OpenShift ルートを使用して、OpenShift クラスター外のクライアントから AMQ Streams Kafka クラスターにアクセスします。
ルートを使用できるようにするには、Kafka
カスタムリソースに route
タイプリスナーの設定を追加します。適用すると、設定により、外部ブートストラップとクラスター内の各ブローカーに専用のルートとサービスが作成されます。クライアントはブートストラップルートに接続し、ブートストラップサービスを経由してクライアントをルーティングし、ブローカーに接続します。その後、ブローカーごとの接続が DNS 名を使用して確立されます。DNS 名は、ブローカー固有のルートとサービスを介してクライアントからブローカーにトラフィックをルーティングします。
ブローカーに接続するには、ルートブートストラップアドレスのホスト名と、TLS 暗号化に使用される証明書を指定します。ルートを使用したアクセスでは、ポートは常に 443 になります。
OpenShift ルートアドレスは、Kafka クラスターの名前、リスナーの名前、および作成されるプロジェクトの名前で構成されます。たとえば、my-cluster-kafka-external-bootstrap-myproject
(<cluster_name>-kafka-<listener_name>-bootstrap-<namespace>) です。アドレスの全体の長さが上限の 63 文字を超えないように注意してください。
この手順では、基本的なリスナー設定を示します。TLS 暗号化 (tls
) を有効にする必要があります。クライアント認証メカニズム (authentication
) を指定することもできます。configuration
プロパティーを使用して追加の設定を追加します。たとえば、route
リスナーで host
設定プロパティーを使用して、ブートストラップサービスおよびブローカーごとのサービスで使用されるホスト名を指定できます。
リスナー設定の詳細は、GenericKafkaListener
スキーマ参照 を参照してください。
TLS パススルー
AMQ Streams によって作成されたルートに対して TLS パススルーが有効になります。Kafka は TCP 経由でバイナリープロトコルを使用しますが、ルートは HTTP プロトコルで動作するように設計されています。ルートを介して TCP トラフィックをルーティングできるようにするために、AMQ Streams は Server Name Indication (SNI) で TLS パススルーを使用します。
SNI は、Kafka ブローカーへの接続を識別して渡すのに役立ちます。パススルーモードでは、TLS 暗号化が常に使用されます。接続はブローカーに渡されるため、リスナーは、ingress 証明書ではなく、内部クラスター CA によって署名された TLS 証明書を使用します。独自のリスナー証明書を使用するようにリスナーを設定するには、brokerCertChainAndKey
プロパティーを使用します。
前提条件
- 稼働中の Cluster Operator
この手順では、Kafka クラスター名は my-cluster
です。リスナーの名前は external
です。
手順
外部リスナーを
route
タイプに設定したKafka
リソースを設定します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: labels: app: my-cluster name: my-cluster namespace: myproject spec: kafka: # ... listeners: - name: external port: 9094 type: route tls: true 1 authentication: type: tls # ... # ... zookeeper: # ...
- 1
route
タイプリスナーの場合、TLS 暗号化を有効にする必要があります (true
)。
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
kafka ブローカーの ID を確認するためのクラスター CA 証明書は、シークレットの
my-cluster-cluster-ca-cert
に作成されます。ClusterIP
タイプサービスは、各 Kafka ブローカーと、外部のブートストラップサービスに対して作成されます。デフォルトの OpenShift HAProxy ルーターを使用してサービスを公開するための DNS アドレス (ホスト/ポート) を使用して、サービスごとに
route
も作成されます。ルートは、TLS パススルーで事前設定されています。
ブートストラップとブローカー用に作成されたルート
NAME HOST/PORT SERVICES PORT TERMINATION my-cluster-kafka-external-0 my-cluster-kafka-external-0-my-project.router.com my-cluster-kafka-external-0 9094 passthrough my-cluster-kafka-external-1 my-cluster-kafka-external-1-my-project.router.com my-cluster-kafka-external-1 9094 passthrough my-cluster-kafka-external-2 my-cluster-kafka-external-2-my-project.router.com my-cluster-kafka-external-2 9094 passthrough my-cluster-kafka-external-bootstrap my-cluster-kafka-external-bootstrap-my-project.router.com my-cluster-kafka-external-bootstrap 9094 passthrough
クライアント接続に使用される DNS アドレスは、各ルートの
status
に伝播されます。ブートストラップルートのステータスの例
status: ingress: - host: >- my-cluster-kafka-external-bootstrap-my-project.router.com # ...
ターゲットブローカーを使用して、OpenSSL
s_client
を使用するポート 443 でクライアントサーバーの TLS 接続を確認します。openssl s_client -connect my-cluster-kafka-external-0-my-project.router.com:443 -servername my-cluster-kafka-external-0-my-project.router.com -showcerts
サーバー名は、接続をブローカーに渡すための SNI です。
接続が成功すると、ブローカーの証明書が返されます。
ブローカーの証明書
Certificate chain 0 s:O = io.strimzi, CN = my-cluster-kafka i:O = io.strimzi, CN = cluster-ca v0
Kafka
リソースのステータスからブートストラップサービスのアドレスを取得します。oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}' my-cluster-kafka-external-bootstrap-my-project.router.com:443
アドレスは、クラスター名、リスナー名、プロジェクト名、およびルーターのドメイン (この例では
router.com
) で構成されます。クラスター CA 証明書を抽出します。
oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
ブローカーに接続するようにクライアントを設定します。
- Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントでブートストラップサービスのアドレスとポート 443 を指定します。
抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。
クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。
独自のリスナー証明書を使用している場合は、CA 証明書をクライアントのトラストストア設定に追加する必要があるかどうかを確認してください。パブリック (外部) CA の場合、通常は追加する必要はありません。
第14章 Kafka へのセキュアなアクセスの管理
クライアントが Kafka ブローカーに対して持つアクセスを管理することで、Kafka クラスターを保護します。Kafka ブローカーとクライアントをセキュリティー保護するための設定オプションを指定する
Kafka ブローカーとクライアント間のセキュアな接続には、次のものが含まれます。
- データ交換の暗号化
- アイデンティティー証明に使用する認証
- ユーザーが実行するアクションを許可または拒否する認可
クライアントに指定された認証および認可メカニズムは、Kafka ブローカーに指定されたものと一致する必要があります。AMQ Streams Operator は設定プロセスを自動化し、認証に必要な証明書を作成します。Cluster Operator は、クラスター内のデータ暗号化と認証に対して TLS 証明書を自動設定します。
14.1. Kafka のセキュリティーオプション
Kafka
リソースを使用して、Kafka の認証および承認に使用されるメカニズムを設定します。
14.1.1. リスナー認証
リスナーの作成時に、Kafka ブローカーのクライアント認証を設定します。Kafka
リソースの Kafka.spec.kafka.listeners.authentication
プロパティーを使用して、リスナー認証タイプを指定します。
OpenShift クラスター内のクライアントの場合は、plain
(暗号化なし) または tls
internal リスナーを作成できます。internal
リスナータイプは、ヘッドレスサービスと、ブローカー Pod に指定された DNS 名を使用します。ヘッドレスサービスの代わりに、内部リスナーの cluster-ip
タイプを作成して、ブローカーごとの ClusterIP
サービスを使用して Kafka を公開することもできます。OpenShift クラスターの外部にあるクライアントの場合は、外部 リスナーを作成し、接続メカニズム (nodeport
、loadbalancer
、ingress
(Kubernetes のみ)、または route
(OpenShift のみ)) を指定します。
外部クライアントを接続するための設定オプションの詳細については、13章Kafka クラスターへのクライアントアクセスの設定 を参照してください。
サポートされる認証オプションは次のとおりです。
- mTLS 認証 (TLS が有効な暗号化を使用するリスナーのみ)
- SCRAM-SHA-512 認証
- OAuth 2.0 のトークンベースの認証
- カスタム認証
選択する認証オプションは、Kafka ブローカーへのクライアントアクセスを認証する方法によって異なります。
カスタム認証を使用する前に、標準の認証オプションを試してみてください。カスタム認証では、kafka でサポートされているあらゆるタイプの認証が可能です。柔軟性を高めることができますが、複雑さも増します。
図14.1 Kafka リスナーの認証オプション

リスナーの authentication
プロパティーは、そのリスナーに固有の認証メカニズムを指定するために使用されます。
authentication
プロパティーが指定されていない場合、リスナーはそのリスナー経由で接続するクライアントを認証しません。認証がないと、リスナーではすべての接続が許可されます。
認証は、User Operator を使用して KafkaUsers
を管理する場合に設定する必要があります。
以下の例で指定されるものは次のとおりです。
-
SCRAM-SHA-512 認証に設定された
plain
リスナー -
mTLS
認証を使用する TLS リスナー -
mTLS 認証を使用する
external
リスナー
各リスナーは、Kafka クラスター内で一意の名前およびポートで設定されます。
ブローカーへのクライアントアクセス用にリスナーを設定する場合、いくつかの例外を除き、ポート 9092 以降 (9093、9094 など) を使用できます。ブローカー間通信 (9090 および 9091)、Prometheus メトリック (9404)、および JMX (Java Management Extensions) モニタリング (9999) 用に予約されているポートを使用するようにリスナーを設定できません。
リスナー認証の設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... listeners: - name: plain port: 9092 type: internal tls: true authentication: type: scram-sha-512 - name: tls port: 9093 type: internal tls: true authentication: type: tls - name: external port: 9094 type: loadbalancer tls: true authentication: type: tls # ...
14.1.1.1. mTLS 認証
mTLS 認証は、Kafka ブローカーと ZooKeeper Pod 間の通信で常に使用されます。
AMQ Streams では、Kafka が TLS (Transport Layer Security) を使用して、相互認証の有無を問わず、Kafka ブローカーとクライアントとの間で暗号化された通信が行われるよう設定できます。相互 (双方向) 認証の場合、サーバーとクライアントの両方が証明書を提示します。mTLS 認証を設定すると、ブローカーはクライアントを認証し (クライアント認証)、クライアントはブローカーを認証します (サーバー認証)。
Kafka
リソースの mTLS リスナー設定には、次のものが必要です。
-
TLS 暗号化とサーバー認証を指定する場合は
tls: true
-
クライアント認証を指定する場合は
authentication.type: tls
Cluster Operator によって Kafka クラスターが作成されると、<cluster_name>-cluster-ca-cert
という名前の新しいシークレットが作成されます。シークレットには CA 証明書が含まれています。CA 証明書は PEM および PKCS #12 形式 です。Kafka クラスターを検証するには、CA 証明書をクライアント設定のトラストストアに追加します。クライアントを確認するには、クライアント設定のキーストアにユーザー証明書とキーを追加します。mTLS 用のクライアントの設定の詳細については、「ユーザー認証」 を参照してください。
TLS 認証は一般的には一方向で、一方が他方のアイデンティティーを認証します。たとえば、Web ブラウザーと Web サーバーの間で HTTPS が使用される場合、ブラウザーは Web サーバーのアイデンティティーの証明を取得します。
14.1.1.2. SCRAM-SHA-512 認証
SCRAM (Salted Challenge Response Authentication Mechanism) は、パスワードを使用して相互認証を確立できる認証プロトコルです。AMQ Streams では、Kafka が SASL (Simple Authentication and Security Layer) SCRAM-SHA-512 を使用するよう設定し、暗号化されていないクライアントの接続と暗号化されたクライアントの接続の両方で認証を提供できます。
SCRAM-SHA-512 認証が TLS 接続で使用される場合、TLS プロトコルは暗号化を提供しますが、認証には使用されません。
SCRAM の以下のプロパティーは、暗号化されていない接続でも SCRAM-SHA-512 を安全に使用できるようにします。
- 通信チャネル上では、パスワードはクリアテキストで送信されません。代わりに、クライアントとサーバーはお互いにチャレンジを生成し、認証するユーザーのパスワードを認識していることを証明します。
- サーバーとクライアントは、認証を交換するたびに新しいチャレンジを生成します。よって、この交換はリレー攻撃に対する回復性を備えています。
KafkaUser.spec.authentication.type
が scram-sha-512
で設定されている場合、User Operator は大文字と小文字の ASCII 文字と数字で設定されるランダムな 12 文字のパスワードを生成します。
14.1.1.3. ネットワークポリシー
デフォルトでは、AMQ Streams では、Kafka ブローカーで有効になっているリスナーごとに NetworkPolicy
リソースが自動的に作成されます。この NetworkPolicy
により、アプリケーションはすべての namespace のリスナーに接続できます。リスナー設定の一部としてネットワークポリシーを使用します。
ネットワークレベルでのリスナーへのアクセスを指定のアプリケーションまたは namespace のみに制限するには、networkPolicyPeers
プロパティーを使用します。各リスナーは異なる networkPolicyPeers
設定 を持つことができます。ネットワークポリシーピアの詳細は、NetworkPolicyPeer API reference を参照してください。
カスタムネットワークポリシーを使用する場合は、Cluster Operator 設定で STRIMZI_NETWORK_POLICY_GENERATION
環境変数を false
に設定できます。詳細は、「Cluster Operator の設定」 を参照してください。
AMQ Streams でネットワークポリシーを使用するためには、OpenShift の設定が ingress NetworkPolicies
をサポートしている必要があります。
14.1.1.4. リスナー証明書の提供
TLS 暗号化が有効になっている TLS リスナーまたは外部リスナーの、Kafka リスナー証明書 と呼ばれる独自のサーバー証明書を提供できます。詳細は、「TLS 暗号化用の独自の Kafka リスナー証明書を提供する」 を参照してください。
14.1.2. Kafka の承認
Kafka
リソースの Kafka.spec.kafka.authorization
プロパティーを使用して、Kafka ブローカーの承認を設定します。authorization
プロパティーがないと、承認が有効になりず、クライアントには制限がありません。承認を有効にすると、承認は有効なすべてのリスナーに適用されます。承認方法は type
フィールドで定義されます。
サポートされる承認オプションは次のとおりです。
- 簡易承認
- OAuth 2.0 での承認 (OAuth 2.0 トークンベースの認証を使用している場合)
- Open Policy Agent (OPA) での承認
- カスタム承認
図14.2 Kafka クラスター承認オプション

14.1.2.1. スーパーユーザー
スーパーユーザーは、アクセスの制限に関係なく Kafka クラスターのすべてのリソースにアクセスでき、すべての承認メカニズムでサポートされます。
Kafka クラスターのスーパーユーザーを指定するには、superUsers
プロパティーにユーザープリンシパルのリストを追加します。ユーザーが mTLS 認証を使用する場合、ユーザー名は CN=
で始まる TLS 証明書サブジェクトの共通名です。User Operator を使用せず、mTLS に独自の証明書を使用している場合、ユーザー名は完全な証明書サブジェクトです。完全な証明書サブジェクトには次のフィールドを含めることができます。CN=user,OU=my_ou,O=my_org,L=my_location,ST=my_state,C=my_country_code
存在しないフィールドは省略します。
スーパーユーザーを使用した設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... authorization: type: simple superUsers: - CN=client_1 - user_2 - CN=client_3 - CN=client_4,OU=my_ou,O=my_org,L=my_location,ST=my_state,C=US - CN=client_5,OU=my_ou,O=my_org,C=GB - CN=client_6,O=my_org # ...
14.2. Kafka クライアントのセキュリティーオプション
KafkaUser
リソースを使用して、Kafka クライアントの認証メカニズム、承認メカニズム、およびアクセス権限を設定します。セキュリティーの設定では、クライアントはユーザーとして表されます。
Kafka ブローカーへのユーザーアクセスを認証および承認できます。認証によってアクセスが許可され、承認によって許容されるアクションへのアクセスが制限されます。
Kafka ブローカーへのアクセスが制限されない スーパーユーザー を作成することもできます。
認証および承認メカニズムは、Kafka ブローカーへのアクセスに使用されるリスナーの仕様 と一致する必要があります。
Kafka ブローカーにセキュアにアクセスするための KafkaUser
リソースの設定の詳細については、「リスナーを使用した Kafka クラスターへのクライアントアクセス設定」 を参照してください。
14.2.1. ユーザー処理用の Kafka クラスターの特定
KafkaUser
リソースには、このリソースが属する Kafka クラスターに適した名前 (Kafka
リソースの名前から派生) を定義するラベルが含まれています。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster
このラベルは、KafkaUser
リソースを特定し、新しいユーザーを作成するために、User Operator によって使用されます。また、以降のユーザーの処理でも使用されます。
ラベルが Kafka クラスターと一致しない場合、User Operator は KafkaUser
を識別できず、ユーザーは作成されません。
KafkaUser
リソースの状態が空のままの場合は、ラベルを確認します。
14.2.2. ユーザー認証
KafkaUser
カスタムリソースを使用して、Kafka クラスターへのアクセスを必要とするユーザー (クライアント) の認証認証情報を設定します。KafkaUser.spec
の authentication
プロパティーを使用して認証情報を設定します。type
を指定することで、生成される認証情報を制御します。
サポートされる認証タイプ
-
mTLS 認証用の
tls
-
外部証明書を使用した mTLS 認証用の
tls-external
-
scram-sha-512
(SCRAM-SHA-512 認証用)
tls
または scram-sha-512
が指定された場合、User Operator がユーザーを作成する際に、認証用のクレデンシャルを作成します。tls-external
が指定されている場合、ユーザーは引き続き mTLS を使用しますが、認証認証情報は作成されません。独自の証明書を指定する場合は、このオプションを使用します。認証タイプが指定されていない場合、User Operator はユーザーまたはそのクレデンシャルを作成しません。
tls-external
を使用して、User Operator の外部で発行された証明書を使用して mTLS で認証できます。User Operator は TLS 証明書またはシークレットを生成しません。tls
メカニズムを使用する場合と同様に、User Operator を使用して ACL ルールおよびクォータを管理できます。これは、ACL ルールおよびクォータを指定する際に CN=USER-NAME
形式を使用することを意味します。USER-NAME は、TLS 証明書で指定したコモンネームです。
14.2.2.1. mTLS 認証
mTLS 認証を使用するには、KafkaUser
リソースの type
フィールドを tls
に設定します。
mTLS 認証が有効になっているユーザーの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: type: tls # ...
認証タイプは、Kafka クラスターへのアクセスに使用される Kafka
リスナーの同等の設定と一致する必要があります。
ユーザーが User Operator によって作成されると、KafkaUser
リソースと同じ名前で新しいシークレットが作成されます。シークレットには、mTLS の秘密鍵と公開鍵が含まれています。公開鍵はユーザー証明書に含まれており、作成時にクライアント CA (認証局) によって署名されます。すべての鍵は X.509 形式です。
Cluster Operator によって生成されたクライアント CA を使用している場合、Cluster Operator によってクライアント CA が更新されると、User Operator によって生成されたユーザー証明書も更新されます。
ユーザーシークレットは、キーと証明書を PEM および PKCS #12 形式で提供します。
ユーザー認証情報を含むシークレットの例
apiVersion: v1 kind: Secret metadata: name: my-user labels: strimzi.io/kind: KafkaUser strimzi.io/cluster: my-cluster type: Opaque data: ca.crt: <public_key> # Public key of the clients CA user.crt: <user_certificate> # Public key of the user user.key: <user_private_key> # Private key of the user user.p12: <store> # PKCS #12 store for user certificates and keys user.password: <password_for_store> # Protects the PKCS #12 store
クライアントを設定するときは、次を指定します。
- Kafka クラスターの ID を検証するためのパブリッククラスター CA 証明書の トラストストア プロパティー
- クライアントを検証するためのユーザー認証クレデンシャルの キーストア プロパティー
設定は、ファイル形式 (PEM または PKCS #12) によって異なります。この例では、PKCS #12 ストアと、ストア内の認証情報にアクセスするために必要なパスワードを使用しています。
PKCS #12 形式の mTLS を使用したクライアント設定の例
bootstrap.servers=<kafka_cluster_name>-kafka-bootstrap:9093 1 security.protocol=SSL 2 ssl.truststore.location=/tmp/ca.p12 3 ssl.truststore.password=<truststore_password> 4 ssl.keystore.location=/tmp/user.p12 5 ssl.keystore.password=<keystore_password> 6
- 1
- Kafka クラスターに接続するためのブートストラップサーバーアドレス。
- 2
- 暗号化に TLS を使用する場合のセキュリティープロトコルオプション。
- 3
- トラストストアの場所には、Kafka クラスターの公開鍵証明書 (
ca.p12
) が含まれます。クラスター CA 証明書とパスワードは、Kafka クラスターの作成時に<cluster_name>-cluster-ca-cert
シークレットで Cluster Operator によって生成されます。 - 4
- トラストストアにアクセスするためのパスワード (
ca.password
)。 - 5
- キーストアの場所には、Kafka ユーザーの公開鍵証明書 (
user.p12
) が含まれます。 - 6
- キーストアにアクセスするためのパスワード (
user.password
)。
14.2.2.2. User Operator の外部で発行された証明書を使用した mTLS 認証
User Operator の外部で発行された証明書を使用して mTLS 認証を使用するには、KafkaUser
リソースの type
フィールドを tls-external
に設定します。シークレットおよび認証情報はユーザー用には作成されません。
User Operator 以外で発行された証明書を使用する mTLS 認証を使用するユーザーの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: type: tls-external # ...
14.2.2.3. SCRAM-SHA-512 認証
SCRAM-SHA-512 認証メカニズムを使用するには、KafkaUser
リソースの type
フィールドを scram-sha-512
に設定します。
SCRAM-SHA-512 認証が有効になっているユーザーの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: type: scram-sha-512 # ...
ユーザーが User Operator によって作成されると、KafkaUser
リソースと同じ名前で新しいシークレットが作成されます。シークレットの password
キーには、生成されたパスワードが含まれ、base64 でエンコードされます。パスワードを使用するにはデコードする必要があります。
ユーザー認証情報を含むシークレットの例
apiVersion: v1 kind: Secret metadata: name: my-user labels: strimzi.io/kind: KafkaUser strimzi.io/cluster: my-cluster type: Opaque data: password: Z2VuZXJhdGVkcGFzc3dvcmQ= 1 sasl.jaas.config: b3JnLmFwYWNoZS5rYWZrYS5jb21tb24uc2VjdXJpdHkuc2NyYW0uU2NyYW1Mb2dpbk1vZHVsZSByZXF1aXJlZCB1c2VybmFtZT0ibXktdXNlciIgcGFzc3dvcmQ9ImdlbmVyYXRlZHBhc3N3b3JkIjsK 2
生成されたパスワードをデコードします。
echo "Z2VuZXJhdGVkcGFzc3dvcmQ=" | base64 --decode
14.2.2.3.1. カスタムパスワード設定
ユーザーが作成されると、AMQ Streams は無作為にパスワードを生成します。AMQ Streams によって生成されたパスワードの代わりに、独自のパスワードを使用できます。これを行うには、パスワードでシークレットを作成し、KafkaUser
リソースでこれを参照します。
SCRAM-SHA-512 認証に設定されたパスワードを持つユーザーの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: type: scram-sha-512 password: valueFrom: secretKeyRef: name: my-secret 1 key: my-password 2 # ...
14.2.3. ユーザーの承認
KafkaUser
カスタムリソースを使用して、Kafka クラスターへのアクセスを必要とするユーザー (クライアント) の承認規則を設定します。KafkaUser.spec
の authorization
プロパティーを使用してルールを設定します。type
を指定することで、使用するルールを制御します。
簡易承認を使用するには、KafkaUser.spec.authorization
で type
プロパティーを simple
に設定します。簡易承認は、Kafka Admin API を使用して Kafka クラスター内で ACL ルールを管理します。User Operator の ACL 管理が有効であるかどうかは、Kafka クラスターの承認設定によって異なります。
- 簡易承認では、ACL 管理が常に有効になります。
- OPA 承認の場合、ACL 管理は常に無効になります。承認ルールは OPA サーバーで設定されます。
- Red Hat Single Sign-On の承認では、Red Hat Single Sign-On で ACL ルールを直接管理できます。設定のフォールバックオプションとして、承認を簡単なオーソライザーに委譲することもできます。簡単なオーソライザーへの委譲が有効になっている場合、User Operator は ACL ルールの管理も有効にします。
-
カスタム承認プラグインを使用したカスタム承認では、
Kafka
カスタムリソースの.spec.kafka.authorization
設定のsupportsAdminApi
プロパティーを使用して、サポートを有効または無効にする必要があります。
承認はクラスター全体です。認証タイプは、Kafka
カスタムリソースの同等の設定と一致する必要があります。
ACL 管理が有効になっていない場合は、AMQ Streams に ACL ルールが含まれる場合はリソースを拒否します。
User Operator のスタンドアロンデプロイメントを使用している場合、ACL 管理はデフォルトで有効にされます。STRIMZI_ACLS_ADMIN_API_SUPPORTED
環境変数を使用してこれを無効にすることができます。
承認が指定されていない場合は、User Operator によるユーザーのアクセス権限のプロビジョニングは行われません。このような KafkaUser
がリソースにアクセスできるかどうかは、使用されているオーソライザーによって異なります。たとえば、AclAuthorizer
の場合、これは allow.everyone.if.no.acl.found
設定によって決定されます。
14.2.3.1. ACL ルール
AclAuthorizer
は ACL ルールを使用して Kafka ブローカーへのアクセスを管理します。
ACL ルールによって、acls
プロパティーで指定したユーザーにアクセス権限が付与されます。
AclRule
オブジェクトの詳細は、AclRule
スキーマ参照 を参照してください。
14.2.3.2. Kafka ブローカーへのスーパーユーザーアクセス
ユーザーを Kafka ブローカー設定のスーパーユーザーのリストに追加すると、KafkaUser
の ACL で定義された承認制約に関係なく、そのユーザーにはクラスターへのアクセスが無制限に許可されます。
ブローカーへのスーパーユーザーアクセスの設定に関する詳細は Kafka の承認 を参照してください。
14.2.3.3. ユーザークォータ
KafkaUser
リソースの spec
を設定してクォータを強制し、ユーザーが Kafka ブローカーへの設定されたアクセスレベルを超えないようにします。サイズベースのネットワーク使用量と時間ベースの CPU 使用率のしきい値を設定できます。また、パーティション mutation (変更) クォータを追加して、ユーザー要求に対して受け入れられるパーティション変更のリクエストのレートを制御することもできます。
ユーザークォータをともなう KafkaUser
の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: # ... quotas: producerByteRate: 1048576 1 consumerByteRate: 2097152 2 requestPercentage: 55 3 controllerMutationRate: 10 4
これらのプロパティーの詳細は、KafkaUserQuotas
スキーマ参照 を参照してください。
14.3. Kafka ブローカーへのアクセスのセキュア化
Kafka ブローカーへのセキュアなアクセスを確立するには、以下を設定し、適用します。
以下を行う
Kafka
リソース。- 指定された認証タイプでリスナーを作成します。
- Kafka クラスター全体の承認を設定します。
-
Kafka ブローカーにリスナー経由でセキュアにアクセスするための
KafkaUser
リソース。
Kafka
リソースを設定して以下を設定します。
- リスナー認証
- Kafka リスナーへのアクセスを制限するネットワークポリシー
- Kafka の承認
- ブローカーへのアクセスが制限されないスーパーユーザー
認証は、リスナーごとに独立して設定されます。承認は、常に Kafka クラスター全体に対して設定されます。
Cluster Operator はリスナーを作成し、クラスターおよびクライアント認証局 (CA) 証明書を設定して Kafka クラスター内で認証を有効にします。
独自の証明書をインストール することで、Cluster Operator によって生成された証明書を置き換えることができます。
TLS 暗号化が有効になっているリスナーに対して独自のサーバー証明書と秘密鍵を提供することもできます。これらのユーザー提供による証明書は、Kafka リスナー証明書 と呼ばれます。Kafka リスナー証明書を提供すると、組織のプライベート CA やパブリック CA などの既存のセキュリティーインフラストラクチャーを利用できます。Kafka クライアントは、リスナー証明書の署名に使用された CA を信頼する必要があります。Kafka リスナー証明書の更新が必要な場合は、手作業で更新する必要があります。PKCS #12 形式 (.p12) および PEM 形式 (.crt) の証明書を利用できます。
KafkaUser
を使用して、特定のクライアントが Kafka にアクセスするために使用する認証および承認メカニズムを有効にします。
KafkaUser
リソースを設定して以下を設定します。
- 有効なリスナー認証と一致する認証
- 有効な Kafka 承認と一致する承認
- クライアントによるリソースの使用を制御するクォータ
User Operator はクライアントに対応するユーザーを作成すると共に、選択した認証タイプに基づいて、クライアント認証に使用されるセキュリティークレデンシャルを作成します。
アクセス設定プロパティーの詳細は、スキーマ参照を参照してください。
14.3.1. Kafka ブローカーのセキュア化
この手順では、AMQ Streams の実行時に Kafka ブローカーをセキュアにするためのステップを説明します。
Kafka ブローカーに実装されたセキュリティーは、アクセスを必要とするクライアントに実装されたセキュリティーとの互換性を維持する必要があります。
-
Kafka.spec.kafka.listeners[*].authentication
matchesKafkaUser.spec.authentication
-
Kafka.spec.kafka.authorization
はKafkaUser.spec.authorization
と一致します。
この手順では、mTLS 認証を使用した簡易承認とリスナーの設定を説明します。リスナー設定の詳細は、GenericKafkaListener
スキーマ参照 を参照してください。
代わりに、リスナー認証 には SCRAM-SHA または OAuth 2.0、Kafka 承認 には OAuth 2.0 または OPA を使用することができます。
手順
Kafka
リソースを設定します。-
承認には
authorization
プロパティーを設定します。 listeners
プロパティーを設定し、認証でリスナーを作成します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... authorization: 1 type: simple superUsers: 2 - CN=client_1 - user_2 - CN=client_3 listeners: - name: tls port: 9093 type: internal tls: true authentication: type: tls 3 # ... zookeeper: # ...
- 1
- Authorization は、
AclAuthorizer
Kafka プラグインを使用して、Kafka ブローカーでのsimple
な承認を可能にします。 - 2
- Kafka へのアクセスを制限されないユーザープリンシパルのリスト。CN は、mTLS による認証が使用される場合のクライアント証明書のコモンネームです。
- 3
- リスナーの認証メカニズムは各リスナーに対して設定でき、mTLS、SCRAM-SHA-512、またはトークンベース OAuth 2.0 として指定 できます。
外部リスナーを設定している場合、設定は選択した接続のメカニズムによって異なります。
-
承認には
Kafka
リソースを作成または更新します。oc apply -f <kafka_configuration_file>
Kafka クラスターは、mTLS 認証を使用する Kafka ブローカーリスナーと共に設定されます。
Kafka ブローカー Pod ごとにサービスが作成されます。
サービスが作成され、Kafka クラスターに接続するための ブートストラップアドレス として機能します。
kafka ブローカーのアイデンティティーを検証するクラスター CA 証明書もシークレット
<cluster_name>-cluster-ca-cert
に作成されます。
14.3.2. Kafka へのユーザーアクセスのセキュア化
KafkaUser
を作成または変更して、Kafka クラスターへのセキュアなアクセスを必要とするクライアントを表します。
KafkaUser
認証および承認メカニズムを設定する場合、必ず同等の Kafka
設定と一致するようにしてください。
-
KafkaUser.spec.authentication
はKafka.spec.kafka.listeners[*].authentication
と一致します。 -
KafkaUser.spec.authorization
はKafka.spec.kafka.authorization
と一致します。
この手順は、mTLS 認証を使用してユーザーを作成する方法を示しています。SCRAM-SHA 認証でユーザーを作成することも可能です。
必要な認証は、Kafka ブローカーリスナーに設定された認証のタイプ によって異なります。
Kafka ユーザーと Kafka ブローカー間の認証は、それぞれの認証設定によって異なります。たとえば、mTLS が Kafka 設定で有効になっていない場合は、mTLS でユーザーを認証できません。
前提条件
- mTLS 認証と TLS 暗号化を使用する Kafka ブローカーリスナーで設定された 実行中の Kafka クラスター。
- 実行中の User Operator (通常は Entity Operator とともにデプロイされます)。
KafkaUser
の認証タイプは、Kafka
ブローカーに設定された認証と一致する必要があります。
手順
KafkaUser
リソースを設定します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: 1 type: tls authorization: type: simple 2 acls: - resource: type: topic name: my-topic patternType: literal operations: - Describe - Read - resource: type: group name: my-group patternType: literal operations: - Read
KafkaUser
リソースを作成または更新します。oc apply -f <user_config_file>
KafkaUser
リソースと同じ名前の Secret と共に、ユーザーが作成されます。Secret には、mTLS 認証用の秘密鍵と公開鍵が含まれています。
Kafka ブローカーへのセキュアな接続のためのプロパティーを使用して Kafka クライアントを設定する方法については、「リスナーを使用した Kafka クラスターへのクライアントアクセス設定」 を参照してください。
14.3.3. ネットワークポリシーを使用した Kafka リスナーへのアクセス制限
networkPolicyPeers
プロパティーを使用すると、リスナーへのアクセスを指定のアプリケーションのみに制限できます。
前提条件
- Ingress NetworkPolicies をサポートする OpenShift クラスター。
- Cluster Operator が稼働中である。
手順
-
Kafka
リソースを開きます。 networkPolicyPeers
プロパティーで、Kafka クラスターへのアクセスが許可されるアプリケーション Pod または namespace を定義します。以下は、ラベル
app
がkafka-client
に設定されているアプリケーションからの接続のみを許可するようtls
リスナーを設定する例になります。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: kafka: # ... listeners: - name: tls port: 9093 type: internal tls: true authentication: type: tls networkPolicyPeers: - podSelector: matchLabels: app: kafka-client # ... zookeeper: # ...
リソースを作成または更新します。
次のように
oc apply
を使用します。oc apply -f your-file
14.3.4. TLS 暗号化用の独自の Kafka リスナー証明書を提供する
リスナーは、Kafka ブローカーへのクライアントアクセスを提供します。TLS を使用したクライアントアクセスに必要な設定を含め、Kafka
リソースでリスナーを設定します。
デフォルトでは、リスナーは、AMQ Streams によって生成された内部 CA (認証局) 証明書によって署名された証明書を使用します。CA 証明書は、Kafka クラスターを作成するときに Cluster Operator によって生成されます。クライアントを TLS 用に設定するときは、CA 証明書をそのトラストストア設定に追加して、Kafka クラスターを検証します。独自の CA 証明書をインストールして使用する こともできます。または、brokerCertChainAndKey
プロパティーを使用してリスナーを設定し、カスタムサーバー証明書を使用することもできます。
brokerCertChainAndKey
プロパティーを使用すると、リスナーレベルで独自のカスタム証明書を使用して Kafka ブローカーにアクセスできます。独自のプライベートキーとサーバー証明書を使用してシークレットを作成し、リスナーの brokerCertChainAndKey
設定でキーと証明書を指定します。パブリック (外部) CA またはプライベート CA によって署名された証明書を使用できます。パブリック CA によって署名されている場合、通常、それをクライアントのトラストストア設定に追加する必要はありません。カスタム証明書は AMQ Streams によって管理されないため、手動で更新する必要があります。
リスナー証明書は、TLS 暗号化とサーバー認証のみに使用されます。これらは TLS クライアント認証には使用されません。TLS クライアント認証にも独自の証明書を使用する場合は、独自のクライアント CA をインストールして使用する 必要があります。
前提条件
- Cluster Operator が稼働中である。
各リスナーには次のものが必要です。
外部 CA によって署名された互換性のあるサーバー証明書。(X.509 証明書を PEM 形式で提供します。)
複数のリスナーに対して 1 つのリスナー証明書を使用できます。
- サブジェクト代替名 (SAN) は、各リスナーの証明書で指定されます。詳細は、「Kafka リスナーのサーバー証明書の SAN」 を参照してください。
自己署名証明書を使用していない場合は、証明書に CA チェーン全体を含む証明書を提供できます。
リスナーに対して TLS 暗号化 (tls: true
) が設定されている場合は、brokerCertChainAndKey
プロパティーのみを使用できます。
AMQ Streams は、TLS の暗号化された秘密鍵の使用をサポートしていません。これが機能するには、シークレットに保存されている秘密鍵が暗号化されていない必要があります。
手順
秘密鍵およびサーバー証明書が含まれる
Secret
を作成します。oc create secret generic my-secret --from-file=my-listener-key.key --from-file=my-listener-certificate.crt
クラスターの
Kafka
リソースを編集します。Secret
、証明書ファイル、および秘密鍵ファイルを使用するように、リスナーをconfiguration.brokerCertChainAndKey
プロパティーで設定します。TLS 暗号化が有効な
loadbalancer
外部リスナーの設定例# ... listeners: - name: plain port: 9092 type: internal tls: false - name: external port: 9094 type: loadbalancer tls: true configuration: brokerCertChainAndKey: secretName: my-secret certificate: my-listener-certificate.crt key: my-listener-key.key # ...
TLS リスナーの設定例
# ... listeners: - name: plain port: 9092 type: internal tls: false - name: tls port: 9093 type: internal tls: true configuration: brokerCertChainAndKey: secretName: my-secret certificate: my-listener-certificate.crt key: my-listener-key.key # ...
新しい設定を適用してリソースを作成または更新します。
oc apply -f kafka.yaml
Cluster Operator は、Kafka クラスターのローリング更新を開始し、これによりリスナーの設定が更新されます。
注記リスナーによってすでに使用されている
Secret
の Kafka リスナー証明書を更新した場合でも、ローリング更新が開始されます。
14.3.5. Kafka リスナーのサーバー証明書の SAN
独自の Kafka リスナー証明書 で TLS ホスト名検証を使用するには、リスナーごとに正しいサブジェクト代替名 (SAN) を使用する必要があります。証明書 SAN では、次のホスト名を指定する必要があります。
- クラスターのすべての Kafka ブローカー
- Kafka クラスターブートストラップサービス
ワイルドカード証明書は、CA でサポートされれば使用できます。
14.3.5.1. 内部リスナー用の SAN の例
次の例は、内部リスナーの証明書で SAN のホスト名を指定するのに役立ちます。
<cluster-name>
を Kafka クラスターの名前に置き換え、<namespace>
をクラスターが実行されている OpenShift namespace に置き換えます。
type: internal
リスナーのワイルドカードの例
//Kafka brokers *.<cluster-name>-kafka-brokers *.<cluster-name>-kafka-brokers.<namespace>.svc // Bootstrap service <cluster-name>-kafka-bootstrap <cluster-name>-kafka-bootstrap.<namespace>.svc
type: internal
リスナーのワイルドカード以外の例
// Kafka brokers <cluster-name>-kafka-0.<cluster-name>-kafka-brokers <cluster-name>-kafka-0.<cluster-name>-kafka-brokers.<namespace>.svc <cluster-name>-kafka-1.<cluster-name>-kafka-brokers <cluster-name>-kafka-1.<cluster-name>-kafka-brokers.<namespace>.svc # ... // Bootstrap service <cluster-name>-kafka-bootstrap <cluster-name>-kafka-bootstrap.<namespace>.svc
type: cluster-ip
リスナーのワイルドカード以外の例
// Kafka brokers <cluster-name>-kafka-<listener-name>-0 <cluster-name>-kafka-<listener-name>-0.<namespace>.svc <cluster-name>-kafka-<listener-name>-1 <cluster-name>-kafka-<listener-name>-1.<namespace>.svc # ... // Bootstrap service <cluster-name>-kafka-<listener-name>-bootstrap <cluster-name>-kafka-<listener-name>-bootstrap.<namespace>.svc
14.3.5.2. 外部リスナー用の SAN の例
TLS 暗号化が有効になっている外部リスナーの場合、証明書に指定する必要があるホスト名は、外部リスナーの type
によって異なります。
外部リスナータイプ | SAN で指定する内容 |
---|---|
|
すべての Kafka ブローカー 一致するワイルドカード名を使用できます。 |
|
すべての Kafka ブローカー 一致するワイルドカード名を使用できます。 |
|
すべての Kafka ブローカー 一致するワイルドカード名を使用できます。 |
| Kafka ブローカー Pod がスケジュールされるすべての OpenShift ワーカーノードのアドレス。 一致するワイルドカード名を使用できます。 |
14.4. OAuth 2.0 トークンベース認証の使用
AMQ Streams は、OAUTHBEARER および PLAIN メカニズムを使用して、OAuth 2.0 認証 の使用をサポートします。
OAuth 2.0 は、アプリケーション間で標準的なトークンベースの認証および認可を有効にし、中央の認可サーバーを使用してリソースに制限されたアクセス権限を付与するトークンを発行します。
OAuth 2.0 認証を設定した後に OAuth 2.0 認可 を設定できます。
Kafka ブローカーおよびクライアントの両方が OAuth 2.0 を使用するように設定する必要があります。OAuth 2.0 認証は、simple
または OPA ベースの Kafka authorization と併用することもできます。
OAuth 2.0 のトークンベースの認証を使用すると、アプリケーションクライアントはアカウントのクレデンシャルを公開せずにアプリケーションサーバー (リソースサーバー と呼ばれる) のリソースにアクセスできます。
アプリケーションクライアントは、アクセストークンを認証の手段として渡します。アプリケーションサーバーはこれを使用して、付与するアクセス権限のレベルを決定することもできます。認可サーバーは、アクセスの付与とアクセスに関する問い合わせを処理します。
AMQ Streams のコンテキストでは以下が行われます。
- Kafka ブローカーは OAuth 2.0 リソースサーバーとして動作します。
- Kafka クライアントは OAuth 2.0 アプリケーションクライアントとして動作します。
Kafka クライアントは Kafka ブローカーに対して認証を行います。ブローカーおよびクライアントは、必要に応じて OAuth 2.0 認可サーバーと通信し、アクセストークンを取得または検証します。
AMQ Streams のデプロイメントでは、OAuth 2.0 インテグレーションは以下を提供します。
- Kafka ブローカーのサーバー側 OAuth 2.0 サポート
- Kafka MirrorMaker、Kafka Connect、および Kafka Bridge のクライアント側 OAuth 2.0 サポート。
14.4.1. OAuth 2.0 認証メカニズム
AMQ Streams は、OAuth 2.0 認証で OAUTHBEARER および PLAIN メカニズムをサポートします。どちらのメカニズムも、Kafka クライアントが Kafka ブローカーで認証されたセッションを確立できるようにします。クライアント、認可サーバー、および Kafka ブローカー間の認証フローは、メカニズムごとに異なります。
可能な限り、OAUTHBEARER を使用するようにクライアントを設定することが推奨されます。OAUTHBEARER では、クライアントクレデンシャルは Kafka ブローカーと 共有されることがない ため、PLAIN よりも高レベルのセキュリティーが提供されます。OAUTHBEARER をサポートしない Kafka クライアントの場合のみ、PLAIN の使用を検討してください。
クライアントの接続に OAuth 2.0 認証を使用するように Kafka ブローカーリスナーを設定します。必要な場合は、同じ oauth
リスナーで OAUTHBEARER および PLAIN メカニズムを使用できます。各メカニズムをサポートするプロパティーは、oauth
リスナー設定で明示的に指定する必要があります。
OAUTHBEARER の概要
OAUTHBEARER は、Kafka ブローカーの oauth
リスナー設定で自動的に有効になります。enableOauthBearer
プロパティーを true
に設定できますが、これは必須ではありません。
# ... authentication: type: oauth # ... enableOauthBearer: true
また、多くの Kafka クライアントツールでは、プロトコルレベルで OAUTHBEARER の基本サポートを提供するライブラリーを使用します。AMQ Streams では、アプリケーションの開発をサポートするために、アップストリームの Kafka Client Java ライブラリーに OAuth コールバックハンドラー が提供されます (ただし、他のライブラリーは対象外)。そのため、独自のコールバックハンドラーを作成する必要はありません。アプリケーションクライアントはコールバックハンドラーを使用してアクセストークンを提供できます。Go などの他言語で書かれたクライアントは、カスタムコードを使用して認可サーバーに接続し、アクセストークンを取得する必要があります。
OAUTHBEARER を使用する場合、クライアントはクレデンシャルを交換するために Kafka ブローカーでセッションを開始します。ここで、クレデンシャルはコールバックハンドラーによって提供されるベアラートークンの形式を取ります。コールバックを使用して、以下の 3 つの方法のいずれかでトークンの提供を設定できます。
- クライアント ID および Secret (OAuth 2.0 クライアントクレデンシャルメカニズム を使用)
- 設定時に手動で取得された有効期限の長いアクセストークン
- 設定時に手動で取得された有効期限の長い更新トークン
OAUTHBEARER 認証は、プロトコルレベルで OAUTHBEARER メカニズムをサポートする Kafka クライアントでのみ使用できます。
PLAIN の概要
PLAIN を使用するには、Kafka ブローカーの oauth
リスナー設定で有効にする必要があります。
以下の例では、デフォルトで有効になっている OAUTHBEARER に加え、PLAIN も有効になっています。PLAIN のみを使用する場合は、enableOauthBearer
を false
に設定して OAUTHBEARER を無効にすることができます。
# ...
authentication:
type: oauth
# ...
enablePlain: true
tokenEndpointUri: https://OAUTH-SERVER-ADDRESS/auth/realms/external/protocol/openid-connect/token
PLAIN は、すべての Kafka クライアントツールによって使用される簡単な認証メカニズムです。PLAIN を OAuth 2.0 認証で使用できるようにするために、AMQ Streams では OAuth 2.0 over PLAIN サーバー側のコールバックが提供されます。
PLAIN の AMQ Streams 実装では、クライアントのクレデンシャルは ZooKeeper に保存されません。代わりに、OAUTHBEARER 認証が使用される場合と同様に、クライアントのクレデンシャルは準拠した認可サーバーの背後で一元的に処理されます。
OAuth 2.0 over PLAIN コールバックを併用する場合、以下のいずれかの方法を使用して Kafka クライアントは Kafka ブローカーで認証されます。
- クライアント ID およびシークレット (OAuth 2.0 クライアントクレデンシャルメカニズムを使用)
- 設定時に手動で取得された有効期限の長いアクセストークン
どちらの方法でも、クライアントは Kafka ブローカーにクレデンシャルを渡すために、PLAIN username
および password
プロパティーを提供する必要があります。クライアントはこれらのプロパティーを使用してクライアント ID およびシークレット、または、ユーザー名およびアクセストークンを渡します。
クライアント ID およびシークレットは、アクセストークンの取得に使用されます。
アクセストークンは、password
プロパティーの値として渡されます。$accessToken:
接頭辞の有無に関わらずアクセストークンを渡します。
-
リスナー設定でトークンエンドポイント (
tokenEndpointUri
) を設定する場合は、接頭辞が必要です。 -
リスナー設定でトークンエンドポイント (
tokenEndpointUri
) を設定しない場合は、接頭辞は必要ありません。Kafka ブローカーは、パスワードを raw アクセストークンとして解釈します。
アクセストークンとして password
が設定されている場合、username
は Kafka ブローカーがアクセストークンから取得するプリンシパル名と同じものを設定する必要があります。userNameClaim
、fallbackUserNameClaim
、fallbackUsernamePrefix
、および userInfoEndpointUri
プロパティーを使用すると、リスナーにユーザー名抽出オプションを指定できます。ユーザー名の抽出プロセスも、認可サーバーによって異なります。特に、クライアント ID をアカウント名にマッピングする方法により異なります。
OAuth over PLAIN は、password grant
メカニズムをサポートしていません。上記のように、SASL PLAIN メカニズムを介して、client credentials
(clientId + シークレット) またはアクセストークンをプロキシーすることしかできません。
14.4.2. OAuth 2.0 Kafka ブローカーの設定
OAuth 2.0 の Kafka ブローカー設定には、以下が関係します。
- 認可サーバーでの OAuth 2.0 クライアントの作成
- Kafka カスタムリソースでの OAuth 2.0 認証の設定
認可サーバーに関連する Kafka ブローカーおよび Kafka クライアントはどちらも OAuth 2.0 クライアントと見なされます。
14.4.2.1. 認可サーバーの OAuth 2.0 クライアント設定
セッションの開始中に受信されたトークンを検証するように Kafka ブローカーを設定するには、認可サーバーで OAuth 2.0 の クライアント 定義を作成し、以下のクライアントクレデンシャルが有効な状態で 機密情報 として設定することが推奨されます。
-
kafka
のクライアント ID (例) - 認証メカニズムとしてのクライアント ID およびシークレット
認可サーバーのパブリックでないイントロスペクションエンドポイントを使用する場合のみ、クライアント ID およびシークレットを使用する必要があります。高速のローカル JWT トークンの検証と同様に、パブリック認可サーバーのエンドポイントを使用する場合は通常、クレデンシャルは必要ありません。
14.4.2.2. Kafka クラスターでの OAuth 2.0 認証設定
Kafka クラスターで OAuth 2.0 認証を使用するには、たとえば、認証方法が oauth
の Kafka クラスターカスタムリソースの tls
リスナー設定を指定します。
OAuth 2.0 の認証方法タイプの割り当て
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
kafka:
# ...
listeners:
- name: tls
port: 9093
type: internal
tls: true
authentication:
type: oauth
#...
リスナーで OAuth 2.0 認証を設定できます。OAuth 2.0 認証と TLS 暗号化 (tls: true
) を併用することを推奨します。暗号化を行わないと、ネットワークの盗聴やトークンの盗難による不正アクセスに対して接続が脆弱になります。
external
リスナーを type: oauth
で設定し、セキュアなトランスポート層がクライアントと通信するようにします。
OAuth 2.0 の外部リスナーとの使用
# ...
listeners:
- name: external
port: 9094
type: loadbalancer
tls: true
authentication:
type: oauth
#...
tls
プロパティーはデフォルトで false に設定されているため、有効にする必要があります。
認証のタイプを OAuth 2.0 として定義した場合、検証のタイプに基づいて、 高速のローカル JWT 検証 または イントロスペクションエンドポイントを使用したトークンの検証 のいずれかとして、設定を追加します。
説明や例を用いてリスナー向けに OAuth 2.0 を設定する手順は、Kafka ブローカーの OAuth 2.0 サポートの設定 を参照してください。
14.4.2.3. 高速なローカル JWT トークン検証の設定
高速なローカル JWT トークンの検証では、JWT トークンの署名がローカルでチェックされます。
ローカルチェックでは、トークンに対して以下が確認されます。
-
アクセストークンに
Bearer
の (typ) 要求値が含まれ、トークンがタイプに準拠することを確認します。 - 有効 (期限切れでない) かどうかを確認します。
-
トークンに
validIssuerURI
と一致する発行元があることを確認します。
リスナーの設定時に validIssuerURI
属性を指定することで、認証サーバーから発行されていないトークンは拒否されます。
高速のローカル JWT トークン検証の実行中に、認可サーバーの通信は必要はありません。OAuth 2.0 の認可サーバーによって公開されるエンドポイントの jwksEndpointUri
属性を指定して、高速のローカル JWT トークン検証をアクティベートします。エンドポイントには、署名済み JWT トークンの検証に使用される公開鍵が含まれます。これらは、Kafka クライアントによってクレデンシャルとして送信されます。
認可サーバーとの通信はすべて TLS による暗号化を使用して実行する必要があります。
証明書トラストストアを AMQ Streams プロジェクト namespace の OpenShift シークレットとして設定し、tlsTrustedCertificates
属性を使用してトラストストアファイルが含まれる OpenShift シークレットを示すことができます。
JWT トークンからユーザー名を適切に取得するため、userNameClaim
の設定を検討してください。必要に応じて、'user.info'.'user.id'
のような JsonPath 式を使用して、トークン内のネストされた JSON 属性からユーザー名を取得できます。
Kafka ACL 承認を使用する場合は、認証中にユーザー名でユーザーを特定する必要があります。JWT トークンの sub
要求は、通常は一意な ID でユーザー名ではありません。
高速なローカル JWT トークン検証の設定例
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
kafka:
#...
listeners:
- name: tls
port: 9093
type: internal
tls: true
authentication:
type: oauth
validIssuerUri: <https://<auth_server_address>/auth/realms/tls>
jwksEndpointUri: <https://<auth_server_address>/auth/realms/tls/protocol/openid-connect/certs>
userNameClaim: preferred_username
maxSecondsWithoutReauthentication: 3600
tlsTrustedCertificates:
- secretName: oauth-server-cert
certificate: ca.crt
#...
14.4.2.4. OAuth 2.0 イントロスペクションエンドポイントの設定
OAuth 2.0 のイントロスペクションエンドポイントを使用したトークンの検証では、受信したアクセストークンは不透明として対処されます。Kafka ブローカーは、アクセストークンをイントロスペクションエンドポイントに送信します。このエンドポイントは、検証に必要なトークン情報を応答として返します。ここで重要なのは、特定のアクセストークンが有効である場合は最新情報を返すことで、トークンの有効期限に関する情報も返します。
OAuth 2.0 のイントロスペクションベースの検証を設定するには、高速のローカル JWT トークン検証に指定された jwksEndpointUri
属性ではなく、introspectionEndpointUri
属性を指定します。通常、イントロスペクションエンドポイントは保護されているため、認可サーバーに応じて clientId
および clientSecret
を指定する必要があります。
イントロスペクションエンドポイントの設定例
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
kafka:
listeners:
- name: tls
port: 9093
type: internal
tls: true
authentication:
type: oauth
clientId: kafka-broker
clientSecret:
secretName: my-cluster-oauth
key: clientSecret
validIssuerUri: <https://<auth_server_-_address>/auth/realms/tls>
introspectionEndpointUri: <https://<auth_server_address>/auth/realms/tls/protocol/openid-connect/token/introspect>
userNameClaim: preferred_username
maxSecondsWithoutReauthentication: 3600
tlsTrustedCertificates:
- secretName: oauth-server-cert
certificate: ca.crt
14.4.3. Kafka ブローカーの再認証の設定
Kafka クライアントと Kafka ブローカー間の OAuth 2.0 セッションに Kafka session re-authentication を使用するように、oauth
リスナーを設定できます。このメカニズムは、定義された期間後に、クライアントとブローカー間の認証されたセッションを期限切れにします。セッションの有効期限が切れると、クライアントは既存の接続を破棄せずに再使用して、新しいセッションを即座に開始します。
セッションの再認証はデフォルトで無効になっています。これを有効にするには、oauth
リスナー設定で maxSecondsWithoutReauthentication
の時間値を設定します。OAUTHBEARER および PLAIN 認証では、同じプロパティーを使用してセッションの再認証が設定されます。設定例については、「Kafka ブローカーの OAuth 2.0 サポートの設定」 を参照してください。
セッションの再認証は、クライアントによって使用される Kafka クライアントライブラリーによってサポートされる必要があります。
セッションの再認証は、高速ローカル JWT または イントロスペクションエンドポイント のトークン検証と共に使用できます。
クライアントの再認証
ブローカーの認証されたセッションが期限切れになると、クライアントは接続を切断せずに新しい有効なアクセストークンをブローカーに送信し、既存のセッションを再認証する必要があります。
トークンの検証に成功すると、既存の接続を使用して新しいクライアントセッションが開始されます。クライアントが再認証に失敗した場合、さらにメッセージを送受信しようとすると、ブローカーは接続を閉じます。ブローカーで再認証メカニズムが有効になっていると、Kafka クライアントライブラリー 2.2 以降を使用する Java クライアントが自動的に再認証されます。
更新トークンが使用される場合、セッションの再認証は更新トークンにも適用されます。セッションが期限切れになると、クライアントは更新トークンを使用してアクセストークンを更新します。その後、クライアントは新しいアクセストークンを使用して既存のセッションに再認証されます。
OAUTHBEARER および PLAIN のセッションの有効期限
セッションの再認証が設定されている場合、OAUTHBEARER と PLAIN 認証ではセッションの有効期限は異なります。
クライアント ID とシークレットによる方法を使用する OAUTHBEARER および PLAIN の場合:
-
ブローカーの認証されたセッションは、設定された
maxSecondsWithoutReauthentication
で期限切れになります。 - アクセストークンが設定期間前に期限切れになると、セッションは設定期間前に期限切れになります。
有効期間の長いアクセストークンによる方法を使用する PLAIN の場合:
-
ブローカーの認証されたセッションは、設定された
maxSecondsWithoutReauthentication
で期限切れになります。 - アクセストークンが設定期間前に期限切れになると、再認証に失敗します。セッションの再認証は試行されますが、PLAIN にはトークンを更新するメカニズムがありません。
maxSecondsWithoutReauthentication
が 設定されていない 場合、OAUTHBEARER および PLAIN クライアントは、再認証しなくてもブローカーへの接続を無限に保持できます。認証されたセッションは、アクセストークンの期限が切れても終了しません。ただし、keycloak
認可を使用したり、カスタム authorizer をインストールして、認可を設定する場合に考慮できます。
14.4.4. OAuth 2.0 Kafka クライアントの設定
Kafka クライアントは以下のいずれかで設定されます。
- 認可サーバーから有効なアクセストークンを取得するために必要なクレデンシャル (クライアント ID およびシークレット)。
- 認可サーバーから提供されたツールを使用して取得された、有効期限の長い有効なアクセストークンまたは更新トークン。
アクセストークンは、Kafka ブローカーに送信される唯一の情報です。アクセストークンを取得するために認可サーバーでの認証に使用されるクレデンシャルは、ブローカーに送信されません。
クライアントによるアクセストークンの取得後、認可サーバーと通信する必要はありません。
クライアント ID とシークレットを使用した認証が最も簡単です。有効期間の長いアクセストークンまたは更新トークンを使用すると、認可サーバーツールに追加の依存関係があるため、より複雑になります。
有効期間が長いアクセストークンを使用している場合は、認可サーバーでクライアントを設定し、トークンの最大有効期間を長くする必要があります。
Kafka クライアントが直接アクセストークンで設定されていない場合、クライアントは認可サーバーと通信して Kafka セッションの開始中にアクセストークンのクレデンシャルを交換します。Kafka クライアントは以下のいずれかを交換します。
- クライアント ID およびシークレット
- クライアント ID、更新トークン、および (任意の) シークレット
- ユーザー名とパスワード、およびクライアント ID と (オプションで) シークレット
14.4.5. OAuth 2.0 クライアント認証フロー
OAuth 2.0 認証フローは、基礎となる Kafka クライアントおよび Kafka ブローカー設定によって異なります。フローは、使用する認可サーバーによってもサポートされる必要があります。
Kafka ブローカーリスナー設定は、クライアントがアクセストークンを使用して認証する方法を決定します。クライアントはクライアント ID およびシークレットを渡してアクセストークンをリクエストできます。
リスナーが PLAIN 認証を使用するように設定されている場合、クライアントはクライアント ID およびシークレット、または、ユーザー名およびアクセストークンで認証できます。これらの値は PLAIN メカニズムの username
および password
プロパティーとして渡されます。
リスナー設定は、以下のトークン検証オプションをサポートします。
- 認可サーバーと通信しない、JWT の署名確認およびローカルトークンのイントロスペクションをベースとした高速なローカルトークン検証を使用できます。認可サーバーは、トークンで署名を検証するために使用される公開証明書のある JWKS エンドポイントを提供します。
- 認可サーバーが提供するトークンイントロスペクションエンドポイントへの呼び出しを使用することができます。新しい Kafka ブローカー接続が確立されるたびに、ブローカーはクライアントから受け取ったアクセストークンを認可サーバーに渡します。Kafka ブローカーは応答を確認して、トークンが有効かどうかを確認します。
認可サーバーは不透明なアクセストークンの使用のみを許可する可能性があり、この場合はローカルトークンの検証は不可能です。
Kafka クライアントクレデンシャルは、以下のタイプの認証に対して設定することもできます。
- 以前に生成された有効期間の長いアクセストークンを使用した直接ローカルアクセス
- 新しいアクセストークンを発行するには、認可サーバーに連絡します (クライアント ID とシークレット、または更新トークン、またはユーザー名とパスワードを使用)。
14.4.5.1. SASL OAUTHBEARER メカニズムを使用したクライアント認証フローの例
SASL OAUTHBEARER メカニズムを使用して、Kafka 認証に以下の通信フローを使用できます。
クライアントがクライアント ID とシークレットを使用し、ブローカーが検証を認可サーバーに委任する場合
- Kafka クライアントは、クライアント ID およびシークレットを使用して認可サーバーからアクセストークンを要求し、必要に応じて更新トークンを要求します。または、クライアントはユーザー名とパスワードを使用して認証することもできます。
- 認可サーバーは新しいアクセストークンを生成します。
- Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用してアクセストークンを渡すことで Kafka ブローカーで認証されます。
- Kafka ブローカーは、独自のクライアント ID およびシークレットを使用し、認可サーバーでトークンイントロスペクションエンドポイントを呼び出すことで、アクセストークンを検証します。
- トークンが有効な場合、Kafka クライアントセッションが確立されます。
クライアントがクライアント ID およびシークレットを使用し、ブローカーが高速のローカルトークン検証を実行する場合
- Kafka クライアントは、クライアント ID およびシークレットを使用し、オプションで更新トークンを使用して、トークンエンドポイントから認可サーバーで認証します。または、クライアントはユーザー名とパスワードを使用して認証することもできます。
- 認可サーバーは新しいアクセストークンを生成します。
- Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用してアクセストークンを渡すことで Kafka ブローカーで認証されます。
- Kafka ブローカーは、JWT トークン署名チェックおよびローカルトークンイントロスペクションを使用して、ローカルでアクセストークンを検証します。
クライアントが有効期限の長いアクセストークンを使用し、ブローカーが検証を認可サーバーに委任する場合
- Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用して、有効期限の長いアクセストークンを渡すために Kafka ブローカーで認証します。
- Kafka ブローカーは、独自のクライアント ID およびシークレットを使用して、認可サーバーでトークンイントロスペクションエンドポイントを呼び出し、アクセストークンを検証します。
- トークンが有効な場合、Kafka クライアントセッションが確立されます。
クライアントが有効期限の長いアクセストークンを使用し、ブローカーが高速のローカル検証を実行する場合
- Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用して、有効期限の長いアクセストークンを渡すために Kafka ブローカーで認証します。
- Kafka ブローカーは、JWT トークン署名チェックおよびローカルトークンイントロスペクションを使用して、ローカルでアクセストークンを検証します。
トークンが取り消された場合に認可サーバーとのチェックが行われないため、高速のローカル JWT トークン署名の検証は有効期限の短いトークンにのみ適しています。トークンの有効期限はトークンに書き込まれますが、失効はいつでも発生する可能性があるため、認可サーバーと通信せずに対応することはできません。発行されたトークンはすべて期限切れになるまで有効とみなされます。
14.4.5.2. SASL PLAIN メカニズムを使用したクライアント認証フローの例
OAuth PLAIN メカニズムを使用して、Kafka 認証に以下の通信フローを使用できます。
クライアントがクライアント ID およびシークレットを使用し、ブローカーがクライアントのアクセストークンを取得する場合
-
Kafka クライアントは、
clientId
をユーザー名として、secret
をパスワードとして渡します。 -
Kafka ブローカーは、トークンエンドポイントを使用して
clientId
およびsecret
を認可サーバーに渡します。 - 認可サーバーは、新しいアクセストークンまたはエラー (クライアントクレデンシャルが有効でない場合) を返します。
Kafka ブローカーは、以下のいずれかの方法でトークンを検証します。
- トークンイントロスペクションエンドポイントが指定されている場合、Kafka ブローカーは認可サーバーでエンドポイントを呼び出すことで、アクセストークンを検証します。トークンの検証に成功した場合には、セッションが確立されます。
- ローカルトークンのイントロスペクションが使用される場合、要求は認可サーバーに対して行われません。Kafka ブローカーは、JWT トークン署名チェックを使用して、アクセストークンをローカルで検証します。
クライアントが、クライアント ID およびシークレットなしで有効期限の長いアクセストークンを使用する場合
- Kafka クライアントはユーザー名とパスワードを渡します。パスワードは、クライアントを実行する前に手動で取得および設定されたアクセストークンの値を提供します。
Kafka ブローカーリスナーが認証のトークンエンドポイントで設定されているかどうかに応じて、
$accessToken:
文字列の接頭辞の有無にかかわらず、パスワードは渡されます。-
トークンエンドポイントが設定されている場合、パスワードの前に
$accessToken:
を付け、password パラメーターにクライアントシークレットではなくアクセストークンが含まれていることをブローカーに知らせる必要があります。Kafka ブローカーは、ユーザー名をアカウントのユーザー名として解釈します。 -
トークンエンドポイントが Kafka ブローカーリスナーで設定されていない場合 (
no-client-credentials mode
を強制)、パスワードは接頭辞なしでアクセストークンを提供する必要があります。Kafka ブローカーは、ユーザー名をアカウントのユーザー名として解釈します。このモードでは、クライアントはクライアント ID およびシークレットを使用せず、password
パラメーターは常に raw アクセストークンとして解釈されます。
-
トークンエンドポイントが設定されている場合、パスワードの前に
Kafka ブローカーは、以下のいずれかの方法でトークンを検証します。
- トークンイントロスペクションエンドポイントが指定されている場合、Kafka ブローカーは認可サーバーでエンドポイントを呼び出すことで、アクセストークンを検証します。トークンの検証に成功した場合には、セッションが確立されます。
- ローカルトークンイントロスペクションが使用されている場合には、認可サーバーへの要求はありません。Kafka ブローカーは、JWT トークン署名チェックを使用して、アクセストークンをローカルで検証します。
14.4.6. OAuth 2.0 認証の設定
OAuth 2.0 は、Kafka クライアントと AMQ Streams コンポーネントとの対話に使用されます。
AMQ Streams に OAuth 2.0 を使用するには、以下を行う必要があります。
14.4.6.1. OAuth 2.0 認可サーバーの設定
この手順では、AMQ Streams と統合するために認可サーバーを設定するために必要な一般的な手順について説明します。
これらの手順は製品固有のものではありません。
手順は、選択した認可サーバーによって異なります。OAuth 2.0 アクセスの設定方法については、認可サーバーの製品ドキュメントを参照してください。
認可サーバーがすでにデプロイされている場合は、デプロイ手順をスキップして、現在のデプロイを使用できます。
手順
- 認可サーバーをクラスターにデプロイします。
認可サーバーの CLI または管理コンソールにアクセスして、AMQ Streams 用に OAuth 2.0 を設定します。
AMQ Streams で動作するように認可サーバーを準備します。
-
kafka-broker
クライアントを設定します。 - アプリケーションの Kafka クライアントコンポーネントごとにクライアントを設定します。
次のステップ
認可サーバーのデプロイおよび設定後に、Kafka ブローカーが OAuth 2.0 を使用するように設定 します。
14.4.6.2. Kafka ブローカーの OAuth 2.0 サポートの設定
この手順では、ブローカーリスナーが認可サーバーを使用して OAuth 2.0 認証を使用するように、Kafka ブローカーを設定する方法について説明します。
tls: true
を使用したリスナーを介して、暗号化されたインターフェイスで OAuth 2.0 を使用することを推奨します。プレーンリスナーは推奨されません。
認可サーバーが信頼できる CA によって署名された証明書を使用し、OAuth 2.0 サーバーのホスト名と一致する場合、TLS 接続はデフォルト設定を使用して動作します。それ以外の場合は、適切な証明書でトラストストアを設定するか、証明書のホスト名の検証を無効にする必要があります。
Kafka ブローカーの設定する場合、新たに接続された Kafka クライアントの OAuth 2.0 認証中にアクセストークンを検証するために使用されるメカニズムには、以下の 2 つのオプションがあります。
作業を開始する前の注意事項
Kafka ブローカーリスナーの OAuth 2.0 認証の設定に関する詳細は、以下を参照してください。
前提条件
- AMQ Streams および Kafka が稼働している。
- OAuth 2.0 の認可サーバーがデプロイされている。
手順
エディターで、
Kafka
リソースの Kafka ブローカー設定 (Kafka.spec.kafka
) を更新します。oc edit kafka my-cluster
Kafka ブローカーの
listeners
設定を行います。各タイプのリスナーは独立しているため、同じ設定にする必要はありません。
以下は、外部リスナーに設定された設定オプションの例になります。
例 1: 高速なローカル JWT トークン検証の設定
#... - name: external port: 9094 type: loadbalancer tls: true authentication: type: oauth 1 validIssuerUri: https://<auth_server_address>/auth/realms/external 2 jwksEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/certs 3 userNameClaim: preferred_username 4 maxSecondsWithoutReauthentication: 3600 5 tlsTrustedCertificates: 6 - secretName: oauth-server-cert certificate: ca.crt disableTlsHostnameVerification: true 7 jwksExpirySeconds: 360 8 jwksRefreshSeconds: 300 9 jwksMinRefreshPauseSeconds: 1 10
- 1
oauth
に設定されたリスナータイプ。- 2
- 認証に使用されるトークン発行者の URI。
- 3
- ローカルの JWT 検証に使用される JWKS 証明書エンドポイントの URI。
- 4
- ユーザーを識別するために使用される実際のユーザー名を含むトークンクレーム (またはキー)。その値は、認可サーバーによって異なります。必要に応じて、
'user.info'.'user.id'
のような JsonPath 式を使用して、トークン内のネストされた JSON 属性からユーザー名を取得できます。 - 5
- (任意設定): セッションの有効期限がアクセストークンと同じ期間になるよう強制する Kafka の再認証メカニズムを有効にします。指定された値がアクセストークンの有効期限が切れるまでの残り時間よりも短い場合、クライアントは実際にトークンの有効期限が切れる前に再認証する必要があります。デフォルトでは、アクセストークンの期限が切れてもセッションは期限切れにならず、クライアントは再認証を試行しません。
- 6
- (任意設定): 認可サーバーへの TLS 接続用の信用できる証明書。
- 7
- (任意設定): TLS ホスト名の検証を無効にします。デフォルトは
false
です。 - 8
- JWKS 証明書が期限切れになる前に有効であるとみなされる期間。デフォルトは
360
秒です。デフォルトよりも長い時間を指定する場合は、無効になった証明書へのアクセスが許可されるリスクを考慮してください。 - 9
- JWKS 証明書を更新する間隔。この間隔は、有効期間よりも 60 秒以上短くする必要があります。デフォルトは
300
秒です。 - 10
- JWKS 公開鍵の更新が連続して試行される間隔の最小一時停止時間 (秒単位)。不明な署名キーが検出されると、JWKS キーの更新は、最後に更新を試みてから少なくとも指定された期間は一時停止し、通常の定期スケジュール以外でスケジュールされます。キーの更新は指数バックオフ (指数バックオフ) のルールに従い、
jwksRefreshSeconds
に到達するまで、一時停止を増やして失敗した更新を再試行します。デフォルト値は 1 です。
例 2: イントロスペクションエンドポイントを使用したトークンの検証の設定
- name: external port: 9094 type: loadbalancer tls: true authentication: type: oauth validIssuerUri: https://<auth_server_address>/auth/realms/external introspectionEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/token/introspect 1 clientId: kafka-broker 2 clientSecret: 3 secretName: my-cluster-oauth key: clientSecret userNameClaim: preferred_username 4 maxSecondsWithoutReauthentication: 3600 5
- 1
- トークンイントロスペクションエンドポイントの URI。
- 2
- クライアントを識別するためのクライアント ID。
- 3
- 認証にはクライアントシークレットとクライアント ID が使用されます。
- 4
- ユーザーを識別するために使用される実際のユーザー名を含むトークンクレーム (またはキー)。その値は、認可サーバーによって異なります。必要に応じて、
'user.info'.'user.id'
のような JsonPath 式を使用して、トークン内のネストされた JSON 属性からユーザー名を取得できます。 - 5
- (任意設定): セッションの有効期限がアクセストークンと同じ期間になるよう強制する Kafka の再認証メカニズムを有効にします。指定された値がアクセストークンの有効期限が切れるまでの残り時間よりも短い場合、クライアントは実際にトークンの有効期限が切れる前に再認証する必要があります。デフォルトでは、アクセストークンの期限が切れてもセッションは期限切れにならず、クライアントは再認証を試行しません。
OAuth 2.0 認証の適用方法や、認可サーバーのタイプによっては、追加 (任意) の設定を使用できます。
# ... authentication: type: oauth # ... checkIssuer: false 1 checkAudience: true 2 fallbackUserNameClaim: client_id 3 fallbackUserNamePrefix: client-account- 4 validTokenType: bearer 5 userInfoEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/userinfo 6 enableOauthBearer: false 7 enablePlain: true 8 tokenEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/token 9 customClaimCheck: "@.custom == 'custom-value'" 10 clientAudience: audience 11 clientScope: scope 12 connectTimeoutSeconds: 60 13 readTimeoutSeconds: 60 14 httpRetries: 2 15 httpRetryPauseMs: 300 16 groupsClaim: "$.groups" 17 groupsClaimDelimiter: "," 18
- 1
- 認可サーバーが
iss
クレームを提供しない場合は、発行者チェックを行うことができません。このような場合、checkIssuer
をfalse
に設定し、validIssuerUri
を指定しないようにします。デフォルトはtrue
です。 - 2
- オーソリゼーションサーバーが
aud
(オーディエンス) クレームを提供していて、オーディエンスチェックを実施したい場合は、checkAudience
をtrue
に設定します。オーディエンスチェックによって、トークンの目的の受信者が特定されます。これにより、Kafka ブローカーはaud
要求にclientId
を持たないトークンを拒否します。デフォルトはfalse
です。 - 3
- 認可サーバーは、通常ユーザーとクライアントの両方を識別する単一の属性を提供しない場合があります。クライアントが独自の名前で認証される場合、サーバーによって クライアント ID が提供されることがあります。更新トークンまたはアクセストークンを取得するために、ユーザー名およびパスワードを使用してユーザーが認証される場合、サーバーによってクライアント ID の他に username が提供されることがあります。プライマリーユーザー ID 属性が使用できない場合は、このフォールバックオプションで、使用するユーザー名クレーム (属性) を指定します。必要に応じて、
'client.info'.'client.id'
のような JsonPath 式を使用してフォールバックユーザー名を取得し、トークン内のネストされた JSON 属性からユーザー名を取得できます。 - 4
fallbackUserNameClaim
が適用される場合、ユーザー名クレームの値とフォールバックユーザー名クレームの値が競合しないようにする必要もあることがあります。producer
というクライアントが存在し、producer
という通常ユーザーも存在する場合について考えてみましょう。この 2 つを区別するには、このプロパティーを使用してクライアントのユーザー ID に接頭辞を追加します。- 5
- (
introspectionEndpointUri
を使用する場合のみ該当): 使用している認証サーバーによっては、イントロスペクションエンドポイントによってトークンタイプ属性が返されるかどうかは分からず、異なる値が含まれることがあります。イントロスペクションエンドポイントからの応答に含まれなければならない有効なトークンタイプ値を指定できます。 - 6
- (
introspectionEndpointUri
を使用する場合のみ該当): イントロスペクションエンドポイントの応答に識別可能な情報が含まれないように、認可サーバーが設定または実装されることがあります。ユーザー ID を取得するには、userinfo
エンドポイントの URI をフォールバックとして設定します。userNameClaim
、fallbackUserNameClaim
、およびfallbackUserNamePrefix
の設定がuserinfo
エンドポイントの応答に適用されます。 - 7
- これを
false
に設定してリスナーで OAUTHBEARER メカニズムを無効にします。PLAIN または OAUTHBEARER のいずれかを有効にする必要があります。デフォルトはtrue
です。 - 8
- リスナーで PLAIN 認証を有効にするには、
true
に設定します。これは、すべてのプラットフォームのすべてのクライアントでサポートされています。 - 9
- PLAIN メカニズムの追加設定。これが指定されている場合、クライアントは
$accessToken:
接頭辞を使用してアクセストークンをpassword
として渡すことで、PLAIN 経由で認証できます。実稼働環境の場合は、常にhttps://
urls を使用してください。 - 10
- これを JsonPath フィルタークエリーに設定すると、検証中に追加のカスタムルールを JWT アクセストークンに適用できます。アクセストークンに必要なデータが含まれていないと拒否されます。
introspectionEndpointUri
を使用する場合、カスタムチェックはイントロスペクションエンドポイントの応答 JSON に適用されます。 - 11
- トークンエンドポイントに渡される
audience
パラメーター。オーディエンス は、inter-broker 認証用にアクセストークンを取得する場合に使用されます。また、clientId
とsecret
を使用した PLAIN クライアント認証の上にある OAuth 2.0 のクライアント名にも使われています。これは、認可サーバーに応じて、トークンの取得機能とトークンの内容のみに影響します。リスナーによるトークン検証ルールには影響しません。 - 12
scope
パラメーターがトークンエンドポイントに渡されます。スコープ は、inter-broker 認証用にアクセストークンを取得する場合に使用されます。また、clientId
とsecret
を使用した PLAIN クライアント認証の上にある OAuth 2.0 のクライアント名にも使われています。これは、認可サーバーに応じて、トークンの取得機能とトークンの内容のみに影響します。リスナーによるトークン検証ルールには影響しません。- 13
- 認可サーバーへの接続時のタイムアウト (秒単位)。デフォルト値は 60 です。
- 14
- 認可サーバーへの接続時の読み取りタイムアウト (秒単位)。デフォルト値は 60 です。
- 15
- 認可サーバーへの失敗した HTTP リクエストを再試行する最大回数。デフォルト値は
0
で、再試行は実行されないことを意味します。このオプションを効果的に使用するには、connectTimeoutSeconds
オプションとreadTimeoutSeconds
オプションのタイムアウト時間を短縮することを検討してください。ただし、再試行により現在のワーカースレッドが他のリクエストで利用できなくなる可能性があり、リクエストが多すぎると停止する場合、Kafka ブローカーが応答しなくなる可能性があることに注意してください。 - 16
- 認可サーバーへの失敗した HTTP リクエストの再試行を行うまでの待機時間。デフォルトでは、この時間はゼロに設定されており、一時停止は適用されません。これは、リクエストの失敗の原因となる問題の多くは、リクエストごとのネットワークの不具合やプロキシーの問題であり、すぐに解決できるためです。ただし、認可サーバーに負荷がかかっている場合、または高トラフィックが発生している場合は、このオプションを 100 ミリ秒以上の値に設定して、サーバーの負荷を軽減し、再試行が成功する可能性を高めることができます。
- 17
- JWT トークンまたはイントロスペクションエンドポイント応答からグループ情報を抽出するために使用される JsonPath クエリー。このオプションはデフォルトでは設定されていません。このオプションを設定すると、カスタム承認者はユーザーグループに基づいて承認の決定を行うことができます。
- 18
- グループ情報が単一の区切り文字列として返される場合に、グループ情報を解析するために使用される区切り文字。デフォルト値は ,(コンマ) です。
- エディターを保存して終了し、ローリング更新の完了を待ちます。
更新をログで確認するか、Pod 状態の遷移を監視して確認します。
oc logs -f ${POD_NAME} -c ${CONTAINER_NAME} oc get pod -w
ローリング更新によって、ブローカーが OAuth 2.0 認証を使用するように設定されます。
14.4.6.3. OAuth 2.0 を使用するための Kafka Java クライアントの設定
Kafka ブローカーとの対話に OAuth 2.0 を使用するように Kafka プロデューサー API とコンシューマー API を設定します。コールバックプラグインをクライアントの pom.xml
ファイルに追加してから、OAuth 2.0 用にクライアントを設定します。
クライアント設定で次を指定します。
SASL (Simple Authentication and Security Layer) セキュリティープロトコル:
-
TLS 暗号化接続を介した認証用の
SASL_SSL
暗号化されていない接続を介した認証用の
SASL_PLAINTEXT
プロダクションには
SASL_SSL
を使用し、ローカル開発にはSASL_PLAINTEXT
のみを使用してください。SASL_SSL
を使用する場合は、追加のssl.truststore
設定が必要です。OAuth 2.0 認可サーバーへのセキュアな接続 (https://
) には、トラストストア設定が必要です。OAuth 2.0 認可サーバーを確認するには、認可サーバーの CA 証明書をクライアント設定のトラストストアに追加します。トラストストアは、PEM または PKCS #12 形式で設定できます。
-
TLS 暗号化接続を介した認証用の
Kafka SASL メカニズム:
-
ベアラートークンを使用したクレデンシャル交換用の
OAUTHBEARER
-
クライアントクレデンシャル (clientId + secret) またはアクセストークンを渡す
PLAIN
-
ベアラートークンを使用したクレデンシャル交換用の
SASL メカニズムを実装する JAAS (Java Authentication and Authorization Service) モジュール:
-
org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule
は OAUTHBEARER メカニズムを実装します。 -
org.apache.kafka.common.security.plain.PlainLoginModule
は PLAIN メカニズムを実装します。
-
以下の認証方法をサポートする SASL 認証プロパティー:
- OAuth 2.0 クライアントクレデンシャル
- OAuth 2.0 パスワード付与 (非推奨)
- アクセストークン
- トークンの更新
SASL 認証プロパティーを JAAS 設定 (sasl.jaas.config
) として追加します。認証プロパティーを設定する方法は、OAuth 2.0 認可サーバーへのアクセスに使用している認証方法によって異なります。この手順では、プロパティーはプロパティーファイルで指定されてから、クライアント設定にロードされます。
認証プロパティーを環境変数または Java システムプロパティーとして指定することもできます。Java システムプロパティーの場合は、setProperty
を使用して設定し、-D
オプションを使用してコマンドラインで渡すことができます。
前提条件
- AMQ Streams および Kafka が稼働している。
- OAuth 2.0 認可サーバーがデプロイされ、Kafka ブローカーへの OAuth のアクセスが設定されている。
- Kafka ブローカーが OAuth 2.0 に対して設定されている。
手順
OAuth 2.0 サポートのあるクライアントライブラリーを Kafka クライアントの
pom.xml
ファイルに追加します。<dependency> <groupId>io.strimzi</groupId> <artifactId>kafka-oauth-client</artifactId> <version>0.13.0.redhat-00008</version> </dependency>
プロパティーファイルで以下の設定を指定して、クライアントプロパティーを設定します。
- セキュリティープロトコル
- SASL メカニズム
使用されているメソッドに応じた JAAS モジュールと認証プロパティー
たとえば、以下を
client.properties
ファイルに追加できます。クライアントクレデンシャルメカニズムのプロパティー
security.protocol=SASL_SSL 1 sasl.mechanism=OAUTHBEARER 2 ssl.truststore.location=/tmp/truststore.p12 3 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.token.endpoint.uri="<token_endpoint_url>" \ 4 oauth.client.id="<client_id>" \ 5 oauth.client.secret="<client_secret>" \ 6 oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \ 7 oauth.ssl.truststore.password="$STOREPASS" \ 8 oauth.ssl.truststore.type="PKCS12" \ 9 oauth.scope="<scope>" \ 10 oauth.audience="<audience>" ; 11
- 1
- TLS 暗号化接続用の
SASL_SSL
セキュリティープロトコル。ローカル開発のみでは、暗号化されていない接続でSASL_PLAINTEXT
を使用します。 - 2
OAUTHBEARER
またはPLAIN
として指定された SASL メカニズム。- 3
- Kafka クラスターへのセキュアなアクセスのためのトラストストア設定。
- 4
- 認可サーバーのトークンエンドポイントの URI です。
- 5
- クライアント ID。認可サーバーで クライアント を作成するときに使用される名前です。
- 6
- 認可サーバーで クライアント を作成するときに作成されるクライアントシークレット。
- 7
- この場所には、認可サーバーの公開鍵証明書 (
truststore.p12
) が含まれています。 - 8
- トラストストアにアクセスするためのパスワード。
- 9
- トラストストアのタイプ。
- 10
- (オプション): トークンエンドポイントからトークンを要求するための
scope
。認証サーバーでは、クライアントによるスコープの指定が必要になることがあります。 - 11
- (オプション) トークンエンドポイントからトークンを要求するための
audience
。認証サーバーでは、クライアントによるオーディエンスの指定が必要になることがあります。
パスワード付与メカニズムのプロパティー
security.protocol=SASL_SSL sasl.mechanism=OAUTHBEARER ssl.truststore.location=/tmp/truststore.p12 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.token.endpoint.uri="<token_endpoint_url>" \ oauth.client.id="<client_id>" \ 1 oauth.client.secret="<client_secret>" \ 2 oauth.password.grant.username="<username>" \ 3 oauth.password.grant.password="<password>" \ 4 oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \ oauth.ssl.truststore.password="$STOREPASS" \ oauth.ssl.truststore.type="PKCS12" \ oauth.scope="<scope>" \ oauth.audience="<audience>" ;
- 1
- クライアント ID。認可サーバーで クライアント を作成するときに使用される名前です。
- 2
- (オプション) 認可サーバーで クライアント を作成するときに作成されるクライアントシークレット。
- 3
- パスワード付与認証のユーザー名。OAuth パスワード付与設定 (ユーザー名とパスワード) は、OAuth 2.0 パスワード付与メソッドを使用します。パスワード付与を使用するには、権限が制限された認可サーバーにクライアント用のユーザーアカウントを作成します。アカウントは、サービスアカウントのように機能する必要があります。認証にユーザーアカウントが必要な環境で使用しますが、最初に更新トークンの使用を検討してください。
- 4
- パスワード付与認証のパスワード。注記
SASL PLAIN は、OAuth 2.0 パスワード付与メソッドを使用したユーザー名とパスワードの受け渡し (パスワード付与) をサポートしていません。
アクセストークンのプロパティー
security.protocol=SASL_SSL sasl.mechanism=OAUTHBEARER ssl.truststore.location=/tmp/truststore.p12 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.token.endpoint.uri="<token_endpoint_url>" \ oauth.access.token="<access_token>" ; 1 oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \ oauth.ssl.truststore.password="$STOREPASS" \ oauth.ssl.truststore.type="PKCS12" \
- 1
- Kafka クライアントの有効期間が長いアクセストークン。
トークンのプロパティーを更新する
security.protocol=SASL_SSL sasl.mechanism=OAUTHBEARER ssl.truststore.location=/tmp/truststore.p12 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.token.endpoint.uri="<token_endpoint_url>" \ oauth.client.id="<client_id>" \ 1 oauth.client.secret="<client_secret>" \ 2 oauth.refresh.token="<refresh_token>" ; 3 oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \ oauth.ssl.truststore.password="$STOREPASS" \ oauth.ssl.truststore.type="PKCS12" \
OAUTH 2.0 認証のクライアントプロパティーを Java クライアントコードに入力します。
クライアントプロパティーの入力を示す例
Properties props = new Properties(); try (FileReader reader = new FileReader("client.properties", StandardCharsets.UTF_8)) { props.load(reader); }
- Kafka クライアントが Kafka ブローカーにアクセスできることを確認します。
14.4.6.4. Kafka コンポーネントの OAuth 2.0 の設定
この手順では、認可サーバーを使用して OAuth 2.0 認証を使用するように Kafka コンポーネントを設定する方法を説明します。
以下の認証を設定できます。
- Kafka Connect
- Kafka MirrorMaker
- Kafka Bridge
この手順では、Kafka コンポーネントと認可サーバーは同じサーバーで稼働しています。
作業を開始する前の注意事項
Kafka コンポーネントの OAuth 2.0 認証の設定の詳細は、KafkaClientAuthenticationOAuth
スキーマ参照 を参照してください。スキーマ参照には、設定オプションの例が含まれています。
前提条件
- AMQ Streams および Kafka が稼働している。
- OAuth 2.0 認可サーバーがデプロイされ、Kafka ブローカーへの OAuth のアクセスが設定されている。
- Kafka ブローカーが OAuth 2.0 に対して設定されている。
手順
クライアントシークレットを作成し、これを環境変数としてコンポーネントにマウントします。
以下は、Kafka Bridge の
Secret
を作成する例になります。apiVersion: kafka.strimzi.io/v1beta2 kind: Secret metadata: name: my-bridge-oauth type: Opaque data: clientSecret: MGQ1OTRmMzYtZTllZS00MDY2LWI5OGEtMTM5MzM2NjdlZjQw 1
- 1
clientSecret
キーは base64 形式である必要があります。
Kafka コンポーネントのリソースを作成または編集し、OAuth 2.0 認証が認証プロパティーに設定されるようにします。
OAuth 2.0 認証の場合、次のオプションを使用できます。
- クライアント ID およびシークレット
- クライアント ID および更新トークン
- アクセストークン
- ユーザー名およびパスワード
- TLS
以下は、クライアント ID、シークレット、および TLS を使用して OAuth 2.0 が Kafka Bridge クライアントに割り当てられる例になります。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: # ... authentication: type: oauth 1 tokenEndpointUri: https://<auth-server-address>/auth/realms/master/protocol/openid-connect/token 2 clientId: kafka-bridge clientSecret: secretName: my-bridge-oauth key: clientSecret tlsTrustedCertificates: 3 - secretName: oauth-server-cert certificate: tls.crt
OAuth 2.0 認証の適用方法や、認可サーバーのタイプによって、使用できる追加の設定オプションがあります。
# ... spec: # ... authentication: # ... disableTlsHostnameVerification: true 1 checkAccessTokenType: false 2 accessTokenIsJwt: false 3 scope: any 4 audience: kafka 5 connectTimeoutSeconds: 60 6 readTimeoutSeconds: 60 7 httpRetries: 2 8 httpRetryPauseMs: 300 9
- 1
- (任意設定): TLS ホスト名の検証を無効にします。デフォルトは
false
です。 - 2
- 認可サーバーによって、JWT トークン内部で
typ
(タイプ) 要求が返されない場合は、checkAccessTokenType: false
を適用するとトークンタイプがチェックされず次に進むことができます。デフォルトはtrue
です。 - 3
- 不透明なトークンを使用している場合、アクセストークンが JWT トークンとして処理されないように
accessTokenIsJwt: false
を適用することができます。 - 4
- (オプション): トークンエンドポイントからトークンを要求するための
scope
。認証サーバーでは、クライアントによるスコープの指定が必要になることがあります。この場合ではany
になります。 - 5
- (オプション) トークンエンドポイントからトークンを要求するための
audience
。認証サーバーでは、クライアントによるオーディエンスの指定が必要になることがあります。今回の場合はkafka
です。 - 6
- (オプション) 認可サーバーへの接続時のタイムアウト (秒単位)。デフォルト値は 60 です。
- 7
- (オプション): 認可サーバーへの接続時の読み取りタイムアウト (秒単位)。デフォルト値は 60 です。
- 8
- (オプション) 認可サーバーへの失敗した HTTP リクエストを再試行する最大回数。デフォルト値は
0
で、再試行は実行されないことを意味します。このオプションを効果的に使用するには、connectTimeoutSeconds
オプションとreadTimeoutSeconds
オプションのタイムアウト時間を短縮することを検討してください。ただし、再試行により現在のワーカースレッドが他のリクエストで利用できなくなる可能性があり、リクエストが多すぎると停止する場合、Kafka ブローカーが応答しなくなる可能性があることに注意してください。 - 9
- (オプション) 失敗した認可サーバーへの HTTP リクエストの再試行を行うまでの待機時間。デフォルトでは、この時間はゼロに設定されており、一時停止は適用されません。これは、リクエストの失敗の原因となる問題の多くは、リクエストごとのネットワークの不具合やプロキシーの問題であり、すぐに解決できるためです。ただし、認可サーバーに負荷がかかっている場合、または高トラフィックが発生している場合は、このオプションを 100 ミリ秒以上の値に設定して、サーバーの負荷を軽減し、再試行が成功する可能性を高めることができます。
Kafka リソースのデプロイメントに変更を適用します。
oc apply -f your-file
更新をログで確認するか、Pod 状態の遷移を監視して確認します。
oc logs -f ${POD_NAME} -c ${CONTAINER_NAME} oc get pod -w
ローリング更新では、OAuth 2.0 認証を使用して Kafka ブローカーと対話するコンポーネントが設定されます。
14.5. OAuth 2.0 トークンベース承認の使用
AMQ Streams は、Red Hat Single Sign-On の 認証サービス による OAuth 2.0 トークンベースの承認をサポートします。これにより、セキュリティーポリシーとパーミッションの一元的な管理が可能になります。
Red Hat Single Sign-On で定義されたセキュリティーポリシーおよびパーミッションは、Kafka ブローカーのリソースへのアクセスを付与するために使用されます。ユーザーとクライアントは、Kafka ブローカーで特定のアクションを実行するためのアクセスを許可するポリシーに対して照合されます。
Kafka では、デフォルトですべてのユーザーがブローカーに完全アクセスできます。また、アクセス制御リスト (ACL) を基にして承認を設定するために AclAuthorizer
プラグインが提供されます。
ZooKeeper には、ユーザー名 を基にしてリソースへのアクセスを付与または拒否する ACL ルールが保存されます。ただし、Red Hat Single Sign-On を使用した OAuth 2.0 トークンベースの承認では、より柔軟にアクセス制御を Kafka ブローカーに実装できます。さらに、Kafka ブローカーで OAuth 2.0 の承認および ACL が使用されるように設定することができます。
14.5.1. OAuth 2.0 の承認メカニズム
AMQ Streams の OAuth 2.0 での承認では、Red Hat Single Sign-On サーバーの Authorization Services REST エンドポイントを使用して、Red Hat Single Sign-On を使用するトークンベースの認証が拡張されます。これは、定義されたセキュリティーポリシーを特定のユーザーに適用し、そのユーザーの異なるリソースに付与されたパーミッションのリストを提供します。ポリシーはロールとグループを使用して、パーミッションをユーザーと照合します。OAuth 2.0 の承認では、Red Hat Single Sign-On の Authorization Services から受信した、ユーザーに付与された権限のリストを基にして、権限がローカルで強制されます。
14.5.1.1. Kafka ブローカーのカスタム authorizer
AMQ Streams では、Red Hat Single Sign-On の authorizer (KeycloakAuthorizer
) が提供されます。Red Hat Single Sign-On によって提供される Authorization Services で Red Hat Single Sign-On REST エンドポイントを使用できるようにするには、Kafka ブローカーでカスタム authorizer を設定します。
authorizer は必要に応じて付与された権限のリストを認可サーバーから取得し、ローカルで Kafka ブローカーに承認を強制するため、クライアントの要求ごとに迅速な承認決定が行われます。
14.5.2. OAuth 2.0 承認サポートの設定
この手順では、Red Hat Single Sign-On の Authorization Services を使用して、OAuth 2.0 承認を使用するように Kafka ブローカーを設定する方法を説明します。
作業を開始する前に
特定のユーザーに必要なアクセス、または制限するアクセスについて検討してください。Red Hat Single Sign-On では、Red Hat Single Sign-On の グループ、ロール、クライアント、および ユーザー の組み合わせを使用して、アクセスを設定できます。
通常、グループは組織の部門または地理的な場所を基にしてユーザーを照合するために使用されます。また、ロールは職務を基にしてユーザーを照合するために使用されます。
Red Hat Single Sign-On を使用すると、ユーザーおよびグループを LDAP で保存できますが、クライアントおよびロールは LDAP で保存できません。ユーザーデータへのアクセスとストレージを考慮して、認可ポリシーの設定方法を選択する必要がある場合があります。
スーパーユーザー は、Kafka ブローカーに実装された承認にかかわらず、常に制限なく Kafka ブローカーにアクセスできます。
前提条件
- AMQ Streams は、トークンベースの認証 に Red Hat Single Sign-On と OAuth 2.0 を使用するように設定されている必要がある。承認を設定するときに、同じ Red Hat Single Sign-On サーバーエンドポイントを使用する必要があります。
-
OAuth 2.0 認証は、再認証を有効にするために
maxSecondsWithoutReauthentication
オプションで設定する必要があります。
手順
- Red Hat Single Sign-On の Admin Console にアクセスするか、Red Hat Single Sign-On の Admin CLI を使用して、OAuth 2.0 認証の設定時に作成した Kafka ブローカークライアントの Authorization Services を有効にします。
- 承認サービスを使用して、クライアントのリソース、承認スコープ、ポリシー、およびパーミッションを定義します。
- ロールとグループをユーザーとクライアントに割り当てて、パーミッションをユーザーとクライアントにバインドします。
エディターで
Kafka
リソースの Kafka ブローカー設定 (Kafka.spec.kafka
) を更新して、Kafka ブローカーで Red Hat Single Sign-On による承認が使用されるように設定します。oc edit kafka my-cluster
Kafka ブローカーの
kafka
設定を指定して、keycloak
による承認を使用し、認可サーバーと Red Hat Single Sign-On の Authorization Services にアクセスできるようにします。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... authorization: type: keycloak 1 tokenEndpointUri: <https://<auth-server-address>/auth/realms/external/protocol/openid-connect/token> 2 clientId: kafka 3 delegateToKafkaAcls: false 4 disableTlsHostnameVerification: false 5 superUsers: 6 - CN=fred - sam - CN=edward tlsTrustedCertificates: 7 - secretName: oauth-server-cert certificate: ca.crt grantsRefreshPeriodSeconds: 60 8 grantsRefreshPoolSize: 5 9 grantsMaxIdleSeconds: 300 10 grantsGcPeriodSeconds: 300 11 grantsAlwaysLatest: false 12 connectTimeoutSeconds: 60 13 readTimeoutSeconds: 60 14 httpRetries: 2 15 enableMetrics: false 16 #...
- 1
- タイプ
keycloak
によって Red Hat Single Sign-On の承認が有効になります。 - 2
- Red Hat Single Sign-On トークンエンドポイントの URI。実稼働環境の場合は、常に
https://
urls を使用してください。トークンベースのoauth
認証を設定する場合、jwksEndpointUri
をローカル JWT 検証の URI として指定します。tokenEndpointUri
URI のホスト名は同じである必要があります。 - 3
- 承認サービスが有効になっている Red Hat Single Sign-On の OAuth 2.0 クライアント定義のクライアント ID。通常、
kafka
が ID として使用されます。 - 4
- (オプション) Red Hat Single Sign-On Authorization Services ポリシーでアクセスが拒否された場合、Kafka
AclAuthorizer
に権限を委譲します。デフォルトはfalse
です。 - 5
- (任意設定): TLS ホスト名の検証を無効にします。デフォルトは
false
です。 - 6
- (オプション) 指定されたスーパーユーザー。
- 7
- (任意設定): 認可サーバーへの TLS 接続用の信用できる証明書。
- 8
- (任意設定): 連続する付与 (Grants) 更新実行の間隔。これは、アクティブなセッションが Red Hat Single Sign-On でユーザーのパーミッション変更を検出する最大時間です。デフォルト値は 60 です。
- 9
- (任意設定): アクティブなセッションの付与 (Grants) の更新 (並行して) に使用するスレッドの数。デフォルト値は 5 です。
- 10
- (オプション) キャッシュ内のアイドル許可を削除できるようになるまでの時間 (秒単位)。デフォルト値は 300 です。
- 11
- (オプション) キャッシュから古い許可を削除するジョブの連続実行間の時間 (秒単位)。デフォルト値は 300 です。
- 12
- (オプション) 新しいセッションに対して最新の許可を取得するかどうかを制御します。有効にすると、許可が Red Hat Single Sign-On から取得され、ユーザーのためにキャッシュされます。デフォルト値は
false
です。 - 13
- (オプション): Red Hat Single Sign-On トークンエンドポイントへの接続時のタイムアウト (秒単位)。デフォルト値は 60 です。
- 14
- (オプション): Red Hat Single Sign-On トークンエンドポイントへの接続時の読み取りタイムアウト (秒単位)。デフォルト値は 60 です。
- 15
- (オプション) 認可サーバーへの失敗した HTTP リクエストを (一時停止せずに) 再試行する最大回数。デフォルト値は
0
で、再試行は実行されないことを意味します。このオプションを効果的に使用するには、connectTimeoutSeconds
オプションとreadTimeoutSeconds
オプションのタイムアウト時間を短縮することを検討してください。ただし、再試行により現在のワーカースレッドが他のリクエストで利用できなくなる可能性があり、リクエストが多すぎると停止する場合、Kafka ブローカーが応答しなくなる可能性があることに注意してください。 - 16
- (オプション) OAuth メトリックを有効または無効にします。デフォルト値は
false
です。
- エディターを保存して終了し、ローリング更新の完了を待ちます。
更新をログで確認するか、Pod 状態の遷移を監視して確認します。
oc logs -f ${POD_NAME} -c kafka oc get pod -w
ローリング更新によって、ブローカーが OAuth 2.0 承認を使用するように設定されます。
- クライアントまたは特定のロールを持つユーザーとして Kafka ブローカーにアクセスして、設定したパーミッションを検証し、必要なアクセス権限があり、付与されるべきでないアクセス権限がないことを確認します。
14.5.3. Red Hat Single Sign-On の Authorization Services でのポリシーおよびパーミッションの管理
本セクションでは、Red Hat Single Sign-On Authorization Services および Kafka によって使用される承認モデルについて説明し、各モデルの重要な概念を定義します。
Kafka にアクセスするためのパーミッションを付与するには、Red Hat Single Sign-On で OAuth クライアント仕様を作成して、Red Hat Single Sign-On Authorization Services オブジェクトを Kafka リソースにマップできます。Kafka パーミッションは、Red Hat Single Sign-On Authorization Services ルールを使用して、ユーザーアカウントまたはサービスアカウントに付与されます。
トピックの作成やリスト表示など、一般的な Kafka 操作に必要なさまざまなユーザーパーミッションの 例 を紹介します。
14.5.3.1. Kafka および Red Hat Single Sign-On 承認モデルの概要
Kafka および Red Hat Single Sign-On Authorization Services は、異なる承認モデルを使用します。
Kafka 承認モデル
Kafka の承認モデルはリソース型を使用します。Kafka クライアントがブローカーでアクションを実行すると、ブローカーは設定済みの KeycloakAuthorizer
を使用して、アクションおよびリソースタイプを基にしてクライアントのパーミッションをチェックします。
Kafka は 5 つのリソースタイプを使用してアクセスを制御します ( Topic
、Group
、Cluster
、TransactionalId
、および DelegationToken
)。各リソースタイプには、利用可能なパーミッションセットがあります。
トピック
-
作成
-
Write
-
読み取り
-
Delete
-
Describe
-
DescribeConfigs
-
Alter
-
AlterConfigs
グループ
-
読み取り
-
Describe
-
Delete
クラスター
-
作成
-
Describe
-
Alter
-
DescribeConfigs
-
AlterConfigs
-
IdempotentWrite
-
ClusterAction
TransactionalId
-
Describe
-
Write
DelegationToken
-
Describe
Red Hat Single Sign-On の Authorization Services モデル
Red Hat Single Sign-On の Authorization Services には、パーミッションを定義および付与するための 4 つの概念があります。これらは リソース、承認スコープ、ポリシー、および パーミッション です。
- リソース
- リソースは、リソースを許可されたアクションと一致するために使用されるリソース定義のセットです。リソースは、個別のトピックであったり、名前が同じ接頭辞で始まるすべてのトピックであったりします。リソース定義は、利用可能な承認スコープのセットに関連付けられます。これは、リソースで利用可能なすべてのアクションのセットを表します。多くの場合、これらのアクションのサブセットのみが実際に許可されます。
- 承認スコープ
- 承認スコープは、特定のリソース定義で利用可能なすべてのアクションのセットです。新規リソースを定義するとき、すべてのスコープのセットからスコープを追加します。
- ポリシー
ポリシーは、アカウントのリストと照合するための基準を使用する承認ルールです。ポリシーは以下と一致できます。
- クライアント ID またはロールに基づくサービスアカウント
- ユーザー名、グループ、またはロールに基づくユーザーアカウント
- パーミッション
- パーミッションは、特定のリソース定義の承認スコープのサブセットをユーザーのセットに付与します。
関連情報
14.5.3.2. Red Hat Single Sign-On Authorization Services の Kafka 承認モデルへのマッピング
Kafka 承認モデルは、Kafka へのアクセスを制御する Red Hat Single Sign-On ロールおよびリソースを定義するベースとして使用されます。
ユーザーアカウントまたはサービスアカウントに Kafka パーミッションを付与するには、まず Kafka ブローカーの Red Hat Single Sign-On に OAuth クライアント仕様を作成します。次に、クライアントに Red Hat Single Sign-On の Authorization Services ルールを指定します。通常、ブローカーを表す OAuth クライアントのクライアント ID は kafka
です。AMQ Streams で提供されている設定ファイルの例では、OAuth のクライアント ID として kafka
を使用しています。
複数の Kafka クラスターがある場合は、それらすべてに単一の OAuth クライアント (kafka)
を使用できます。これにより、承認ルールを定義および管理するための単一の統合されたスペースが提供されます。ただし、異なる OAuth クライアント ID(例 my-cluster-kafka
または cluster-dev-kafka
) を使用し、各クライアント設定内の各クラスターの承認ルールを定義することもできます。
Kafka クライアント
定義では、Red Hat Single Sign-On 管理コンソールで Authorization Enabled オプションが有効になっている必要があります。
すべてのパーミッションは、kafka
クライアントのスコープ内に存在します。異なる OAuth クライアント ID で異なる Kafka クラスターを設定した場合、同じ Red Hat Single Sign-On レルムの一部であっても、それぞれに個別のパーミッションセットが必要です。
Kafka クライアントが OAUTHBEARER 認証を使用する場合、Red Hat Single Sign-On オーソライザー (KeycloakAuthorizer
) は現在のセッションのアクセストークンを使用して、Red Hat Single Sign-On サーバーからグラントのリストを取得します。許可を取得するために、オーソライザーは Red Hat Single Sign-On の Authorization Services ポリシーおよびパーミッションを評価します。
Kafka パーミッションの承認スコープ
通常、Red Hat Single Sign-On 初期設定では、承認スコープをアップロードして、各 Kafka リソースタイプで実行できるすべての可能なアクションのリストを作成します。この手順は、パーミッションを定義する前に 1 度のみ実行されます。承認スコープをアップロードする代わりに、手動で追加できます。
承認スコープには、リソースタイプに関係なく、可能なすべての Kafka パーミッションが含まれる必要があります。
-
作成
-
Write
-
読み取り
-
Delete
-
Describe
-
Alter
-
DescribeConfig
-
AlterConfig
-
ClusterAction
-
IdempotentWrite
パーミッションが必要ない場合 (例: IdempotentWrite
)、承認スコープのリストから省略できます。ただし、そのパーミッションは Kafka リソースをターゲットにすることはできません。
パーミッションチェックのリソースパターン
リソースパターンは、パーミッションチェックの実行時にターゲットリソースに対するパターンの照合に使用されます。一般的なパターン形式は RESOURCE-TYPE:PATTERN-NAME
です。
リソースタイプは Kafka 承認モデルをミラーリングします。このパターンでは、次の 2 つの一致オプションが可能です。
-
完全一致 (パターンが
*
で終了しない場合) -
接頭辞一致 (パターンが
*
で終了する)
リソースのパターン例
Topic:my-topic Topic:orders-* Group:orders-* Cluster:*
さらに、一般的なパターンフォーマットは、kafka-cluster:CLUSTER-NAME
の前にコンマを付けることができ、CLUSTER-NAMEは Kafka カスタムリソースの metadata.name
を参照します。
クラスター接頭辞が付けられたリソースのパターン例
kafka-cluster:my-cluster,Topic:* kafka-cluster:*,Group:b_*
kafka-cluster
の接頭辞がない場合は、kafka-cluster:*
とみなします。
リソースを定義するときに、リソースに関連する可能な承認スコープのリストを関連付けることができます。ターゲットリソースタイプに妥当なアクションを設定します。
任意の承認スコープを任意のリソースに追加できますが、リソースタイプでサポートされるスコープのみがアクセス制御の対象として考慮されます。
アクセスパーミッションを適用するポリシー
ポリシーは、1 つ以上のユーザーアカウントまたはサービスアカウントにパーミッションをターゲットにするために使用されます。以下がターゲットの対象になります。
- 特定のユーザーまたはサービスアカウント
- レルムロールまたはクライアントロール
- ユーザーグループ
- クライアント IP アドレスに一致する JavaScript ルール
ポリシーには一意の名前が割り当てられ、複数のリソースに対して複数の対象パーミッションを指定するために再使用できます。
アクセスを付与するためのパーミッション
詳細なパーミッションを使用して、ユーザーへのアクセスを付与するポリシー、リソース、および承認スコープをまとめます。
各パーミッションの名前によって、どのユーザーにどのパーミッションが付与されるかが明確に定義される必要があります。例えば、Dev Team B は x で始まるトピックから読むことができます
。
関連情報
- Red Hat Single Sign-On の Authorization Services でパーミッションを設定する方法の詳細は、「Red Hat Single Sign-On の Authorization Services の試行」 を参照してください。
14.5.3.3. Kafka 操作に必要なパーミッションの例
以下の例は、Kafka で一般的な操作を実行するために必要なユーザーパーミッションを示しています。
トピックを作成します
トピックを作成するには、特定のトピック、または Cluster:kafka-cluster
に対して Create
パーミッションが必要です。
bin/kafka-topics.sh --create --topic my-topic \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
トピックのリスト表示
指定のトピックでユーザーに Describe
パーミッションがある場合には、トピックがリスト表示されます。
bin/kafka-topics.sh --list \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
トピックの詳細の表示
トピックの詳細を表示するには、トピックに対して Describe
および DescribeConfigs
の権限が必要です。
bin/kafka-topics.sh --describe --topic my-topic \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
トピックへのメッセージの生成
トピックへのメッセージを作成するには、トピックに対する Describe
と Write
の権限が必要です。
トピックが作成されておらず、トピックの自動生成が有効になっている場合は、トピックを作成するパーミッションが必要になります。
bin/kafka-console-producer.sh --topic my-topic \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --producer.config=/tmp/config.properties
トピックからのメッセージの消費
トピックからのメッセージを消費するためには、トピックに Describe
と Read
のパーミッションが必要です。通常、トピックからの消費は、コンシューマーグループにコンシューマーオフセットを格納することに依存しており、これにはコンシューマーグループに対する追加の Describe
および Read
権限が必要です。
マッチングには 2 つの resources
が必要です。以下に例を示します。
Topic:my-topic Group:my-group-*
bin/kafka-console-consumer.sh --topic my-topic --group my-group-1 --from-beginning \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --consumer.config /tmp/config.properties
べき等プロデューサーを使用したトピックへのメッセージの生成
Cluster:kafka-cluster
リソースには、トピックをプロデュースするためのアクセス許可だけでなく、IdempotentWrite
アクセス許可が追加で必要です。
マッチングには 2 つの resources
が必要です。以下に例を示します。
Topic:my-topic Cluster:kafka-cluster
bin/kafka-console-producer.sh --topic my-topic \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --producer.config=/tmp/config.properties --producer-property enable.idempotence=true --request-required-acks -1
コンシューマーグループのリスト
コンシューマーグループのリスト表示時に、ユーザーが Describe
権限を持っているグループのみが返されます。また、ユーザーが Cluster:kafka-cluster
に対して Describe
パーミッションを持っている場合は、すべてのコンシューマーグループが返されます。
bin/kafka-consumer-groups.sh --list \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
コンシューマーグループの詳細の表示
コンシューマーグループの詳細を表示するには、グループとグループに関連するトピックに対して Describe
権限が必要です。
bin/kafka-consumer-groups.sh --describe --group my-group-1 \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
トピック設定の変更
トピックの設定を変更するには、トピックに Describe
と Alter
の権限が必要です。
bin/kafka-topics.sh --alter --topic my-topic --partitions 2 \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
Kafka ブローカー設定の表示
kafka-configs.sh
を使用してブローカーの設定を取得するためには、Cluster:kafka-cluster
に DescribeConfigs
パーミッションが必要です。
bin/kafka-configs.sh --entity-type brokers --entity-name 0 --describe --all \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
Kafka ブローカー設定の変更
Kafka ブローカーの設定を変更するには、Cluster:kafka-cluster
に DescribeConfigs
および AlterConfigs
パーミッションが必要です。
bin/kafka-configs --entity-type brokers --entity-name 0 --alter --add-config log.cleaner.threads=2 \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
トピックを削除します
トピックを削除するには、トピックに Describe
と Delete
の権限が必要です。
bin/kafka-topics.sh --delete --topic my-topic \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties
リードパーティションの選択
トピックパーティションのリーダー選択を実行するには、Cluster:kafka-cluster
に Alter
パーミッションが必要です。
bin/kafka-leader-election.sh --topic my-topic --partition 0 --election-type PREFERRED / --bootstrap-server my-cluster-kafka-bootstrap:9092 --admin.config /tmp/config.properties
パーティションの再割り当て
パーティション再割り当てファイルを生成するためには、関係するトピックに対して Describe
権限が必要です。
bin/kafka-reassign-partitions.sh --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "0,1" --generate \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config /tmp/config.properties > /tmp/partition-reassignment.json
パーティション再割り当てを実行するには、Cluster:kafka-cluster
に対して Describe
と Alter
のパーミッションが必要です。また、関係するトピックには、Describe の
パーミッションが必要です。
bin/kafka-reassign-partitions.sh --reassignment-json-file /tmp/partition-reassignment.json --execute \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config /tmp/config.properties
パーティション再割り当てを確認するには、Cluster:kafka-cluster
および関連する各トピックに対して Describe
および AlterConfigs
のパーミッションが必要です。
bin/kafka-reassign-partitions.sh --reassignment-json-file /tmp/partition-reassignment.json --verify \ --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config /tmp/config.properties
14.5.4. Red Hat Single Sign-On の Authorization Services の試行
この例では、Red Hat Single Sign-On Authorization Services を keycloak
認証で使用する方法を説明します。Red Hat Single Sign-On の Authorization Services を使用して、Kafka クライアントにアクセス制限を強制します。Red Hat Single Sign-On の Authorization Services では、承認スコープ、ポリシー、およびパーミッションを使用してアクセス制御をリソースに定義および適用します。
Red Hat Single Sign-On の Authorization Services REST エンドポイントは、認証されたユーザーのリソースに付与されたパーミッションのリストを提供します。許可 (パーミッション) のリストは、Kafka クライアントによって認証されたセッションが確立された後に最初のアクションとして Red Hat Single Sign-On サーバーから取得されます。付与の変更が検出されるように、バックグラウンドでリストが更新されます。付与は、各ユーザーセッションが迅速な承認決定を提供するために、Kafka ブローカーにてローカルでキャッシュおよび適用されます。
AMQ Streams には、設定ファイルのサンプル が用意されています。これには、Red Hat Single Sign-On を設定するための以下のサンプルファイルが含まれます。
kafka-ephemeral-oauth-single-keycloak-authz.yaml
-
Red Hat Single Sign-On を使用して OAuth 2.0 トークンベースの承認に設定された
Kafka
カスタムリソースの例。カスタムリソースを使用して、keycloak
承認およびトークンベースのoauth
認証を使用する Kafka クラスターをデプロイできます。 kafka-authz-realm.json
- サンプルグループ、ユーザー、ロール、およびクライアントで設定された Red Hat Single Sign-On レルムの例。レルムを Red Hat Single Sign-On インスタンスにインポートし、Kafka にアクセスするための詳細なパーミッションを設定できます。
Red Hat Single Sign-On で例を試す場合は、これらのファイルを使用して、本セクションの順序で説明したタスクを実行します。
認証
トークンベースの oauth
認証を設定する場合、jwksEndpointUri
をローカル JWT 検証の URI として指定します。keycloak
承認を設定するとき、a tokenEndpointUri
を Red Hat Single Sign-On トークンエンドポイントの URI として指定します。両方の URI のホスト名は同じである必要があります。
グループまたはロールポリシーを使用した対象パーミッション
Red Hat Single Sign-On では、サービスアカウントが有効になっている機密性の高いクライアントを、クライアント ID とシークレットを使用して、独自の名前のサーバーに対して認証できます。これは、通常、特定ユーザーのエージェント (Web サイトなど) としてではなく、独自の名前で動作するマイクロサービスに便利です。サービスアカウントには、通常のユーザーと同様にロールを割り当てることができます。ただし、グループを割り当てることはできません。そのため、サービスアカウントを使用してマイクロサービスへのパーミッションをターゲットにする場合は、グループポリシーを使用できないため、代わりにロールポリシーを使用する必要があります。逆に、ユーザー名およびパスワードを使用した認証が必要な通常のユーザーアカウントにのみ特定のパーミッションを制限する場合は、ロールポリシーではなく、グループポリシーを使用すると、副次的に実現することができます。これは、ClusterManager
で始まるパーミッションの例で使用されるものです。通常、クラスター管理の実行は CLI ツールを使用して対話的に行われます。結果的に生成されるアクセストークンを使用して Kafka ブローカーに対して認証を行う前に、ユーザーのログインを要求することは妥当です。この場合、アクセストークンはクライアントアプリケーションではなく、特定のユーザーを表します。
14.5.4.1. Red Hat Single Sign-On 管理コンソールへのアクセス
Red Hat Single Sign-On を設定してから、管理コンソールに接続し、事前設定されたレルムを追加します。kafka-authz-realm.json
ファイルのサンプルを使用して、レルムをインポートします。管理コンソールのレルムに定義された承認ルールを確認できます。このルールは、Red Hat Single Sign-On レルムの例を使用するよう設定された Kafka クラスターのリソースへのアクセスを許可します。
前提条件
- 実行中の OpenShift クラスター。
-
事前設定されたレルムが含まれる AMQ Streams の
examples/security/keycloak-authorization/kafka-authz-realm.json
ファイル。
手順
- Red Hat Single Sign-On ドキュメントの Server Installation and Configuration の説明にしたがって、Red Hat Single Sign-On Operator を使用して Red Hat Single Sign-On サーバーをインストールします。
- Red Hat Single Sign-On インスタンスが実行されるまで待ちます。
管理コンソールにアクセスできるように外部ホスト名を取得します。
NS=sso oc get ingress keycloak -n $NS
この例では、Red Hat Single Sign-On サーバーが
sso
namespace で実行されていることを前提としています。admin
ユーザーのパスワードを取得します。oc get -n $NS pod keycloak-0 -o yaml | less
パスワードはシークレットとして保存されるため、Red Hat Single Sign-On インスタンスの設定 YAML ファイルを取得して、シークレット名 (
secretKeyRef.name
) を特定します。シークレットの名前を使用して、クリアテキストのパスワードを取得します。
SECRET_NAME=credential-keycloak oc get -n $NS secret $SECRET_NAME -o yaml | grep PASSWORD | awk '{print $2}' | base64 -D
この例では、シークレットの名前が
credential-keycloak
であることを前提としています。ユーザー名
admin
と取得したパスワードを使用して、管理コンソールにログインします。https://HOSTNAME
を使用して KubernetesIngress
にアクセスします。管理コンソールを使用して、サンプルレルムを Red Hat Single Sign-On にアップロードできるようになりました。
- Add Realm をクリックして、サンプルレルムをインポートします。
examples/security/keycloak-authorization/kafka-authz-realm.json
ファイルを追加してから Create をクリックします。これで、管理コンソールの現在のレルムとして
kafka-authz
が含まれるようになりました。デフォルトビューには、Master レルムが表示されます。
Red Hat Single Sign-On 管理コンソールで Clients > kafka > Authorization > Settings の順に移動し、Decision Strategy が Affirmative に設定されていることを確認します。
肯定的な (Affirmative) ポリシーとは、クライアントが Kafka クラスターにアクセスするためには少なくとも 1 つのポリシーが満たされている必要があることを意味します。
Red Hat Single Sign-On 管理コンソールで、Groups、Users、Roles、および Clients と移動して、レルム設定を表示します。
- グループ
-
Groups
は、ユーザーグループの作成やユーザー権限の設定に使用します。グループは、名前が割り当てられたユーザーのセットです。地域、組織、または部門単位に区分するために使用されます。グループは LDAP アイデンティティープロバイダーにリンクできます。Kafka リソースにパーミッションを付与するなど、カスタム LDAP サーバー管理ユーザーインターフェイスを使用して、ユーザーをグループのメンバーにすることができます。 - ユーザー
-
Users
は、ユーザーを作成するために使用されます。この例では、alice
とbob
が定義されています。alice
はClusterManager
グループのメンバーであり、bob
はClusterManager-my-cluster
グループのメンバーです。ユーザーは LDAP アイデンティティープロバイダーに保存できます。 - ロール
-
Roles
は、ユーザーやクライアントが特定の権限を持っていることを示すものです。ロールはグループに似た概念です。通常ロールは、組織ロールでユーザーを タグ付け するために使用され、必要なパーミッションを持ちます。ロールは LDAP アイデンティティープロバイダーに保存できません。LDAP が必須である場合は、代わりにグループを使用し、Red Hat Single Sign-On ロールをグループに追加して、ユーザーにグループを割り当てるときに対応するロールも取得するようにします。 - Clients
Clients
は特定の設定を持つことができます。この例では、kafka
、kafka-cli
、team-a-client
、team-b-client
の各クライアントが設定されています。-
kafka
クライアントは、Kafka ブローカーがアクセストークンの検証に必要な OAuth 2.0 通信を行うために使用されます。このクライアントには、Kafka ブローカーで承認を実行するために使用される承認サービスリソース定義、ポリシー、および承認スコープも含まれます。認証設定はkafka
クライアントの Authorization タブで定義され、Settings タブでAuthorization Enabled をオンにすると表示されます。 -
kafka-cli
クライアントは、アクセストークンまたは更新トークンを取得するためにユーザー名とパスワードを使用して認証するときに Kafka コマンドラインツールによって使用されるパブリッククライアントです。 -
team-a-client
およびteam-b-client
クライアントは、特定の Kafka トピックに部分的にアクセスできるサービスを表す機密クライアントです。
-
Red Hat Single Sign-On 管理コンソールで、Authorization > Permissions の順に移動し、レルムに定義されたリソースおよびポリシーを使用する付与されたパーミッションを確認します。
たとえば、
kafka
クライアントには以下のパーミッションがあります。Dev Team A can write to topics that start with x_ on any cluster Dev Team B can read from topics that start with x_ on any cluster Dev Team B can update consumer group offsets that start with x_ on any cluster ClusterManager of my-cluster Group has full access to cluster config on my-cluster ClusterManager of my-cluster Group has full access to consumer groups on my-cluster ClusterManager of my-cluster Group has full access to topics on my-cluster
- Dev Team A
-
Dev チーム A レルムロールは、任意のクラスターで
x_
で始まるトピックに書き込みできます。これは、Topic:x_*
というリソース、Describe
とWrite
のスコープ、そしてDev Team A
のポリシーを組み合わせたものです。Dev Team A
ポリシーは、Dev Team A
というレルムロールを持つすべてのユーザーにマッチします。 - Dev Team B
-
Dev チーム B レルムロールは、任意のクラスターで
x_
で始まるトピックから読み取ることができます。これは、Topic:x_*、
Group:x_*
のリソース、Describe
とRead
のスコープ、およびDev Team B
のポリシーを組み合わせたものです。Dev Team B
ポリシーは、Dev Team B
というレルムロールを持つすべてのユーザーにマッチします。一致するユーザーおよびクライアントはトピックから読み取りでき、名前がx_
で始まるトピックおよびコンシューマーグループの消費されたオフセットを更新できます。
14.5.4.2. Red Hat Single Sign-On 承認をでの Kafka クラスターのデプロイメント
Red Hat Single Sign-On サーバーに接続するように設定された Kafka クラスターをデプロイします。サンプルの kafka-ephemeral-oauth-single-keycloak-authz.yaml
ファイルを使用して、Kafka
カスタムリソースとして Kafka クラスターをデプロイメントします。この例では、keycloak
承認と oauth
認証を使用して単一ノードの Kafka クラスターをデプロイします。
前提条件
- Red Hat Single Sign-On 認可サーバーが OpenShift クラスターにデプロイされ、サンプルレルムでロードされている。
- Cluster Operator が OpenShift クラスターにデプロイされている。
-
AMQ Streams の
examples/security/keycloak-authorization/kafka-ephemeral-oauth-single-keycloak-authz.yaml
カスタムリソース。
手順
デプロイした Red Hat Single Sign-On インスタンスのホスト名を使用して、Kafka ブローカーのトラストストア証明書を準備し、Red Hat Single Sign-On サーバーと通信します。
SSO_HOST=SSO-HOSTNAME SSO_HOST_PORT=$SSO_HOST:443 STOREPASS=storepass echo "Q" | openssl s_client -showcerts -connect $SSO_HOST_PORT 2>/dev/null | awk ' /BEGIN CERTIFICATE/,/END CERTIFICATE/ { print $0 } ' > /tmp/sso.pem
Kubernetes
Ingress は
セキュアな (HTTPS) 接続を確立するために使用されるため、証明書が必要です。通常、単一の証明書ではなく、証明書チェーンがあります。指定する必要があるのは、
/tmp/sso.pem
ファイルの最後にリストされている最上位の発行者 CA だけです。手動で抽出するか、次のコマンドを使用して抽出できます。証明書チェーンの最上位の CA 証明書を抽出するコマンドの例
split -p "-----BEGIN CERTIFICATE-----" sso.pem sso- for f in $(ls sso-*); do mv $f $f.pem; done cp $(ls sso-* | sort -r | head -n 1) sso-ca.crt
注記信頼できる CA 証明書は通常、
openssl
コマンドを使用するのではなく、信頼できるソースから取得します。シークレットとして OpenShift に証明書をデプロイします。
oc create secret generic oauth-server-cert --from-file=/tmp/sso-ca.crt -n $NS
ホスト名を環境変数として設定します。
SSO_HOST=SSO-HOSTNAME
サンプル Kafka クラスターを作成およびデプロイします。
cat examples/security/keycloak-authorization/kafka-ephemeral-oauth-single-keycloak-authz.yaml | sed -E 's#\${SSO_HOST}'"#$SSO_HOST#" | oc create -n $NS -f -
14.5.4.3. CLI Kafka クライアントセッションの TLS 接続の準備
対話型 CLI セッション用の新規 Pod を作成します。TLS 接続用の Red Hat Single Sign-On 証明書を使用してトラストストアを設定します。トラストストアは、Red Hat Single Sign-On および Kafka ブローカーに接続します。
前提条件
Red Hat Single Sign-On 認可サーバーが OpenShift クラスターにデプロイされ、サンプルレルムでロードされている。
Red Hat Single Sign-On 管理コンソールで、クライアントに割り当てられたロールが Clients > Service Account Roles に表示されることを確認します。
- Red Hat Single Sign-On に接続するように設定された Kafka クラスターが OpenShift クラスターにデプロイされている。
手順
AMQ Streams の Kafka イメージを使用してインタラクティブな Pod コンテナーを新たに実行し、稼働中の Kafka ブローカーに接続します。
NS=sso oc run -ti --restart=Never --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 kafka-cli -n $NS -- /bin/sh
注記イメージのダウンロードの待機中に
oc
がタイムアウトする場合、その後の試行によって an AlreadyExists エラーが発生することがあります。Pod コンテナーにアタッチします。
oc attach -ti kafka-cli -n $NS
Red Hat Single Sign-On インスタンスのホスト名を使用して、TLS を使用してクライアントコネクションの証明書を準備します。
SSO_HOST=SSO-HOSTNAME SSO_HOST_PORT=$SSO_HOST:443 STOREPASS=storepass echo "Q" | openssl s_client -showcerts -connect $SSO_HOST_PORT 2>/dev/null | awk ' /BEGIN CERTIFICATE/,/END CERTIFICATE/ { print $0 } ' > /tmp/sso.pem
通常、単一の証明書ではなく、証明書チェーンがあります。指定する必要があるのは、
/tmp/sso.pem
ファイルの最後にリストされている最上位の発行者 CA だけです。手動で抽出するか、次のコマンドを使用して抽出できます。証明書チェーンの最上位の CA 証明書を抽出するコマンドの例
split -p "-----BEGIN CERTIFICATE-----" sso.pem sso- for f in $(ls sso-*); do mv $f $f.pem; done cp $(ls sso-* | sort -r | head -n 1) sso-ca.crt
注記信頼できる CA 証明書は通常、
openssl
コマンドを使用するのではなく、信頼できるソースから取得します。Kafka ブローカーへの TLS 接続のトラストストアを作成します。
keytool -keystore /tmp/truststore.p12 -storetype pkcs12 -alias sso -storepass $STOREPASS -import -file /tmp/sso-ca.crt -noprompt
Kafka ブートストラップアドレスを Kafka ブローカーのホスト名および
tls
リスナーポート (9093) のホスト名として使用し、Kafka ブローカーの証明書を準備します。KAFKA_HOST_PORT=my-cluster-kafka-bootstrap:9093 STOREPASS=storepass echo "Q" | openssl s_client -showcerts -connect $KAFKA_HOST_PORT 2>/dev/null | awk ' /BEGIN CERTIFICATE/,/END CERTIFICATE/ { print $0 } ' > /tmp/my-cluster-kafka.pem
取得した
.pem
ファイルは通常、1 つの証明書ではなく、証明書チェーンです。指定する必要があるのは、/tmp/my-cluster-kafka.pem
ファイルの最後にリストされている最上位の発行者 CA のみです。手動で抽出するか、次のコマンドを使用して抽出できます。証明書チェーンの最上位の CA 証明書を抽出するコマンドの例
split -p "-----BEGIN CERTIFICATE-----" /tmp/my-cluster-kafka.pem kafka- for f in $(ls kafka-*); do mv $f $f.pem; done cp $(ls kafka-* | sort -r | head -n 1) my-cluster-kafka-ca.crt
注記信頼できる CA 証明書は通常、
openssl
コマンドを使用するのではなく、信頼できるソースから取得します。この例では、Kafka クラスターがデプロイされたのと同じ名前空間の Pod でクライアントが実行されていると想定しています。クライアントが OpenShift クラスターの外部から Kafka クラスターにアクセスしている場合は、最初にブートストラップアドレスを決定する必要があります。その場合、クラスター証明書を OpenShift シークレットから直接取得することもでき、openssl
は必要ありません。詳細は、13章Kafka クラスターへのクライアントアクセスの設定 を参照してください。Kafka ブローカーの証明書をトラストストアに追加します。
keytool -keystore /tmp/truststore.p12 -storetype pkcs12 -alias my-cluster-kafka -storepass $STOREPASS -import -file /tmp/my-cluster-kafka-ca.crt -noprompt
承認されたアクセスを確認するために、セッションを開いたままにします。
14.5.4.4. CLI Kafka クライアントセッションを使用した Kafka への承認されたアクセスの確認
対話型 CLI セッションを使用して、Red Hat Single Sign-On レルムを通じて適用される承認ルールを確認します。Kafka のサンプルプロデューサーおよびコンシューマークライアントを使用してチェックを適用し、異なるレベルのアクセスを持つユーザーおよびサービスアカウントでトピックを作成します。
team-a-client
クライアントおよび team-b-client
クライアントを使用して、承認ルールを確認します。alice
admin ユーザーを使用して、Kafka で追加の管理タスクを実行します。
この例で使用される AMQ Streams Kafka イメージには、Kafka プロデューサーおよびコンシューマーバイナリーが含まれます。
前提条件
- ZooKeeper および Kafka は OpenShift クラスターで実行され、メッセージを送受信できる。
対話型 CLI Kafka クライアントセッション が開始される。
クライアントおよび管理ユーザーの設定
team-a-client
クライアントの認証プロパティーで Kafka 設定ファイルを準備します。SSO_HOST=SSO-HOSTNAME cat > /tmp/team-a-client.properties << EOF security.protocol=SASL_SSL ssl.truststore.location=/tmp/truststore.p12 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.mechanism=OAUTHBEARER sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.client.id="team-a-client" \ oauth.client.secret="team-a-client-secret" \ oauth.ssl.truststore.location="/tmp/truststore.p12" \ oauth.ssl.truststore.password="$STOREPASS" \ oauth.ssl.truststore.type="PKCS12" \ oauth.token.endpoint.uri="https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" ; sasl.login.callback.handler.class=io.strimzi.kafka.oauth.client.JaasClientOauthLoginCallbackHandler EOF
SASL OAUTHBEARER メカニズムが使用されます。このメカニズムにはクライアント ID とクライアントシークレットが必要です。これは、クライアントが最初に Red Hat Single Sign-On サーバーに接続してアクセストークンを取得することを意味します。その後、クライアントは Kafka ブローカーに接続し、アクセストークンを使用して認証します。
team-b-client
クライアントの認証プロパティーで Kafka 設定ファイルを準備します。cat > /tmp/team-b-client.properties << EOF security.protocol=SASL_SSL ssl.truststore.location=/tmp/truststore.p12 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.mechanism=OAUTHBEARER sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.client.id="team-b-client" \ oauth.client.secret="team-b-client-secret" \ oauth.ssl.truststore.location="/tmp/truststore.p12" \ oauth.ssl.truststore.password="$STOREPASS" \ oauth.ssl.truststore.type="PKCS12" \ oauth.token.endpoint.uri="https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" ; sasl.login.callback.handler.class=io.strimzi.kafka.oauth.client.JaasClientOauthLoginCallbackHandler EOF
curl
を使用して管理者ユーザーalice
を認証し、パスワード付与認証を実行して更新トークンを取得します。USERNAME=alice PASSWORD=alice-password GRANT_RESPONSE=$(curl -X POST "https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" -H 'Content-Type: application/x-www-form-urlencoded' -d "grant_type=password&username=$USERNAME&password=$PASSWORD&client_id=kafka-cli&scope=offline_access" -s -k) REFRESH_TOKEN=$(echo $GRANT_RESPONSE | awk -F "refresh_token\":\"" '{printf $2}' | awk -F "\"" '{printf $1}')
更新トークンは、有効期間がなく、期限切れにならないオフライントークンです。
admin ユーザー
alice
の認証プロパティーで Kafka 設定ファイルを準備します。cat > /tmp/alice.properties << EOF security.protocol=SASL_SSL ssl.truststore.location=/tmp/truststore.p12 ssl.truststore.password=$STOREPASS ssl.truststore.type=PKCS12 sasl.mechanism=OAUTHBEARER sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \ oauth.refresh.token="$REFRESH_TOKEN" \ oauth.client.id="kafka-cli" \ oauth.ssl.truststore.location="/tmp/truststore.p12" \ oauth.ssl.truststore.password="$STOREPASS" \ oauth.ssl.truststore.type="PKCS12" \ oauth.token.endpoint.uri="https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" ; sasl.login.callback.handler.class=io.strimzi.kafka.oauth.client.JaasClientOauthLoginCallbackHandler EOF
kafka-cli
パブリッククライアントは、sasl.jaas .config
のoauth.client. id
に使用されます。これはパブリッククライアントであるため、シークレットは必要ありません。クライアントは直前の手順で認証された更新トークンで認証されます。更新トークンは背後でアクセストークンを要求します。これは、認証のために Kafka ブローカーに送信されます。
承認されたアクセスでのメッセージの生成
team-a-client
の設定を使用して、a_
や x_
で始まるトピックへのメッセージを作成できるかどうかを確認します。
トピック
my-topic
に書き込みます。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic my-topic \ --producer.config=/tmp/team-a-client.properties First message
以下のリクエストは、
Not authorized to access topics: [my-topic]
エラーを返します。team-a-client
はDev Team A
ロールを持っており、a_
で始まるトピックに対してサポートされているすべてのアクションを実行する権限を与えられていますが、x_
で始まるトピックへの書き込みのみ可能です。my-topic
という名前のトピックは、これらのルールのいずれにも一致しません。トピック
a_messages
に書き込む。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \ --producer.config /tmp/team-a-client.properties First message Second message
メッセージは Kafka に正常に生成されます。
- CTRL+C を押して CLI アプリケーションを終了します。
リクエストについて、Kafka コンテナーログで
Authorization GRANTED
のデバッグログを確認します。oc logs my-cluster-kafka-0 -f -n $NS
承認されたアクセスでのメッセージの消費
team-a-client
設定を使用して、トピック a_messages
からメッセージを消費します。
トピック
a_messages
からメッセージをフェッチします。bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \ --from-beginning --consumer.config /tmp/team-a-client.properties
team-a-client
のDev Team A
ロールは、名前がa_
で始まるコンシューマーグループのみにアクセスできるため、リクエストはエラーを返します。team-a-client
プロパティーを更新し、使用が許可されているカスタムコンシューマーグループを指定します。bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \ --from-beginning --consumer.config /tmp/team-a-client.properties --group a_consumer_group_1
コンシューマーは
a_messages
トピックからすべてのメッセージを受信します。
承認されたアクセスでの Kafka の管理
team-a-client
はクラスターレベルのアクセスのないアカウントですが、一部の管理操作と使用することができます。
トピックをリスト表示します。
bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties --list
a_messages
トピックが返されます。コンシューマーグループをリスト表示します。
bin/kafka-consumer-groups.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties --list
a_consumer_group_1
コンシューマーグループが返されます。クラスター設定の詳細を取得します。
bin/kafka-configs.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties \ --entity-type brokers --describe --entity-default
操作には
team-a-client
にないクラスターレベルのパーミッションが必要なため、リクエストはエラーを返します。
異なるパーミッションを持つクライアントの使用
team-b-client
設定を使用して、b_
で始まるトピックにメッセージを生成します。
トピック
a_messages
に書き込む。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \ --producer.config /tmp/team-b-client.properties Message 1
以下のリクエストは、
Not authorized to access topics: [a_messages]
エラーを返します。トピック
b_messages
に書き込む。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic b_messages \ --producer.config /tmp/team-b-client.properties Message 1 Message 2 Message 3
メッセージは Kafka に正常に生成されます。
トピック
x_messages
に書き込む。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --producer.config /tmp/team-b-client.properties Message 1
Not authorized to access topics: [x_messages]
エラーが返され、team-b-client
はトピックx_messages
からのみ読み取りできます。team-a-client
を使用してトピックx_messages
に書き込みます。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --producer.config /tmp/team-a-client.properties Message 1
このリクエストは、
Not authorized to access topics: [x_messages]
エラーを返します。team-a-client
はx_messages
トピックに書き込みできますが、トピックが存在しない場合に作成するパーミッションがありません。team-a-client
がx_messages
トピックに書き込みできるようにするには、管理者 power user はパーティションやレプリカの数などの適切な設定で作成する必要があります。
承認された管理ユーザーでの Kafka の管理
管理者ユーザー alice
を使用して Kafka を管理します。alice
は、すべての Kafka クラスターのすべての管理にフルアクセスできます。
alice
としてx_messages
トピックを作成します。bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/alice.properties \ --topic x_messages --create --replication-factor 1 --partitions 1
トピックが正常に作成されました。
alice
としてすべてのトピックをリスト表示します。bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/alice.properties --list bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties --list bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-b-client.properties --list
管理者ユーザーの
alice
はすべてのトピックをリスト表示できますが、team-a-client
とteam-b
-client は自分がアクセスできるトピックのみをリスト表示できます。Dev Team A
ロールとDev Team B
ロールは、どちらもx_
で始まるトピックに対するDescribe
権限を持っていますが、他のチームのトピックに対するDescribe
権限を持っていないため、他のチームのトピックを見ることができません。team-a-client
を使用して、x_messages
トピックにメッセージを生成します。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --producer.config /tmp/team-a-client.properties Message 1 Message 2 Message 3
alice
がx_messages
トピックを作成すると、メッセージが正常に Kafka に生成されます。team-b-client
を使用して、x_messages
トピックにメッセージを生成します。bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --producer.config /tmp/team-b-client.properties Message 4 Message 5
このリクエストは、
Not authorized to access topics: [x_messages]
エラーを返します。team-b-client
を使用して、x_messages
トピックからメッセージを消費します。bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --from-beginning --consumer.config /tmp/team-b-client.properties --group x_consumer_group_b
コンシューマーは、
x_messages
トピックからすべてのメッセージを受け取ります。team-a-client
を使用して、x_messages
トピックからメッセージを消費します。bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --from-beginning --consumer.config /tmp/team-a-client.properties --group x_consumer_group_a
このリクエストは、
Not authorized to access topics: [x_messages]
エラーを返します。team-a-client
を使用して、a_
で始まるコンシューマーグループからのメッセージを消費します。bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --from-beginning --consumer.config /tmp/team-a-client.properties --group a_consumer_group_a
このリクエストは、
Not authorized to access topics: [x_messages]
エラーを返します。Dev Team A
には、x_
で始まるトピックのRead
権限がありません。alice
を使用して、x_messages
トピックへのメッセージを生成します。bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \ --from-beginning --consumer.config /tmp/alice.properties
メッセージは Kafka に正常に生成されます。
alice
は、すべてのトピックに対して読み取りまたは書き込みを行うことができます。alice
を使用してクラスター設定を読み取ります。bin/kafka-configs.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/alice.properties \ --entity-type brokers --describe --entity-default
この例のクラスター設定は空です。
第15章 TLS 証明書の管理
AMQ Streams は、Kafka コンポーネントと AMQ Streams コンポーネント間の暗号化通信用の TLS をサポートしています。
AMQ Streams は、次のコンポーネント間の通信用に暗号化された TLS 接続を確立します。
- Kafka ブローカーと ZooKeeper ノード
- Kafka ブローカー (ブローカー間通信)
- ZooKeeper ノード (ノード間通信)
- AMQ Streams オペレーターと Kafka および ZooKeeper
- Cruise Control と Kafka
- Kafka Exporter と Kafka
クライアントとブローカー間の接続では、TLS 暗号化通信を使用するように設定する必要があるリスナーが使用されます。Kafka
カスタムリソースでこれらのリスナーを設定し、各リスナー名とポート番号はクラスター内で一意である必要があります。Kafka ブローカーと Kafka クライアント間の通信は、tls
プロパティーがリスナーに設定される方法に応じて暗号化されます。詳細は、13章Kafka クラスターへのクライアントアクセスの設定 を参照してください。
次の図は、セキュアな通信の接続を示しています。
図15.1 Kafka と ZooKeeper の通信は TLS 暗号化によってセキュリティー保護されています

図に示されているポートは次のように使用されます。
- コントロールプレーンリスナー (9090)
- Kafka コントローラーとブローカー間の接続では、ポート 9090 上の内部コントロールプレーンリスナーが使用され、ブローカー間の通信が容易になります。このリスナーは Kafka クライアントにアクセスできません。
- レプリケーションリスナー (9091)
- ブローカー間のデータレプリケーション、および AMQ Streams Operator、Cruise Control、Kafka Exporter からの内部接続では、ポート 9091 のレプリケーションリスナーが使用されます。このリスナーは Kafka クライアントにアクセスできません。
- クライアント接続のリスナー (9092 以降)
- TLS 暗号化通信 (リスナーの設定による) の場合、内部クライアントと外部クライアントは Kafka ブローカーに接続します。外部クライアント (プロデューサーとコンシューマー) は、アドバタイズされたリスナーポートを介して Kafka ブローカーに接続します。
- ZooKeeper ポート (2181)
- Kafka に接続するための ZooKeeper ポート。
- ZooKeeper の相互通信ポート (2888)
- ZooKeeper ノード間の相互通信用の ZooKeeper ポート。
- ZooKeeper リーダー選出ポート (3888)
- ZooKeeper クラスターにある ZooKeeper ノード間のリーダー選出のための ZooKeeper ポート。
ブローカーへのクライアントアクセス用にリスナーを設定する場合、いくつかの例外を除き、ポート 9092 以降 (9093、9094 など) を使用できます。ブローカー間通信 (9090 および 9091)、Prometheus メトリック (9404)、および JMX (Java Management Extensions) モニタリング (9999) 用に予約されているポートを使用するようにリスナーを設定できません。
15.1. 内部クラスター CA とクライアント CA
暗号化のサポートには、AMQ Streams コンポーネントごとに固有の秘密鍵と公開鍵証明書が必要です。すべてのコンポーネント証明書は、クラスター CA と呼ばれる内部認証局 (CA) により署名されます。
認証局 (CA) 証明書は、コンポーネントとクライアントの ID 検証にクラスター Operator によって生成されます。
同様に、mTLS を使用して AMQ ストリームに接続する各 Kafka クライアントアプリケーションは、秘密鍵と証明書を使用する必要があります。クライアント CA という第 2 の内部 CA を使用して、Kafka クライアントの証明書に署名します。
クラスター CA とクライアント CA の両方には、自己署名の公開鍵証明書があります。
Kafka ブローカーは、クラスター CA またはクライアント CA のいずれかが署名した証明書を信頼するように設定されます。クライアントによる接続が不要なコンポーネント (ZooKeeper など) のみが、クラスター CA によって署名された証明書を信頼します。外部リスナーの TLS 暗号化が無効でない限り、クライアントアプリケーションはクラスター CA により署名された証明書を必ず信頼する必要があります。これは、mTLS 認証を実行するクライアントアプリケーションにも当てはまります。
デフォルトで、AMQ Streams はクラスター CA またはクライアント CA によって発行された CA 証明書を自動で生成および更新します。Kafka.spec.clusterCa
プロパティーと Kafka.spec.clientsCa
プロパティーを使用して、これらの CA 証明書の管理を設定できます。
クラスター Operator によって生成された CA を使用しない場合は 独自のクラスターおよびクライアント CA 証明書をインストールできます。クラスター Operator では、独自に指定した証明書には更新されません。
15.2. Operator によって生成されたシークレット
Cluster Operator は、自動で TLS 証明書の設定および更新を行い、クラスター内での暗号化および認証を有効にします。また、Kafka ブローカーとクライアントとの間の暗号化または mTLS 認証を有効にする場合、他の TLS 証明書も設定されます。
シークレットは、Kafka
や KafkaUser
などのカスタムリソースがデプロイされるときに作成されます。AMQ Streams はこれらのシークレットを使用して、Kafka クラスター、クライアント、およびユーザーの秘密鍵と公開鍵の証明書を格納します。Secrets は、Kafka ブローカー間およびブローカーとクライアント間で TLS で暗号化された接続を確立するために使用されます。これらは mTLS 認証にも使用されます。
クラスターとクライアントのシークレットは常に、公開鍵と、秘密鍵のペアとなっています。
- クラスターシークレット
- クラスターシークレットには、Kafka ブローカー証明書に署名するためのクラスター CAが含まれています。接続するクライアントは、証明書を使用して、Kafka クラスターとの TLS 暗号化接続を確立します。証明書はブローカーのアイデンティティを確認します。
- クライアントシークレット
- クライアントシークレットには、ユーザーが独自のクライアント証明書に署名するためのクライアント CAが含まれています。これにより、Kafka クラスターに対する相互認証が可能になります。ブローカーは、証明書を使用してクライアントのアイデンティティを検証します。
- ユーザーシークレット
- ユーザーシークレットには、秘密鍵と証明書が含まれています。シークレットは、新しいユーザーの作成時にクライアント CA で作成され、署名されます。キーと証明書は、クラスターへのアクセス時にユーザーの認証および承認に使用されます。
TLS 暗号化が有効になっている TLS リスナーまたは外部リスナーに Kafka リスナー証明書 を指定できます。Kafka リスナー証明書を使用して、既存のセキュリティーインフラストラクチャーを組み込みます。
15.2.1. PEM または PKCS #12 形式の鍵と証明書を使用した TLS 認証
AMQ Streams によって作成されたシークレットは、PEM (Privacy Enhanced Mail) および PKCS #12 (Public-Key Cryptography Standards) 形式の秘密鍵と証明書を提供します。PEM および PKCS #12 は、SSL プロトコルを使用した TLS 通信用に OpenSSL で生成されたキー形式です。
Kafka クラスターおよびユーザー用に生成されたシークレットに含まれる認証情報を使用する相互 TLS (mTLS) 認証を設定できます。
mTLS をセットアップするには、まず次のことを行う必要があります。
Kafka クラスターをデプロイすると、クラスターを検証するために公開鍵を使用して <cluster_name>-cluster-ca-cert
シークレットが作成されます。公開鍵を使用して、クライアントのトラストストアを設定します。
KafkaUser
を作成すると、ユーザー (クライアント) を検証するためのキーと証明書を使用して <kafka_user_name>
シークレットが作成されます。これらの資格証明を使用して、クライアントのキーストアを設定します。
mTLS を使用するように Kafka クラスターとクライアントをセットアップしたら、シークレットから認証情報を抽出し、それらをクライアント設定に追加します。
- PEM キーと証明書
PEM の場合、クライアント設定に以下を追加します。
- Truststore
-
<cluster_name>-cluster-ca-cert
シークレットからのca.crt
。これは、クラスターの CA 証明書です。
-
- キーストア
-
ユーザーの公開証明書である
<kafka_user_name>
シークレットからのuser.crt
。 -
ユーザーの秘密鍵である
<kafka_user_name>
シークレットのuser.key
。
-
ユーザーの公開証明書である
- PKCS #12 キーと証明書
PKCS #12 の場合、クライアント設定に以下を追加します。
- Truststore
-
<cluster_name>-cluster-ca-cert
シークレットからのca.p12
。これは、クラスターの CA 証明書です。 -
<cluster_name>-cluster-ca-cert
シークレットのca.password
。これは、パブリッククラスター CA 証明書にアクセスするためのパスワードです。
-
- キーストア
-
<kafka_user_name>
シークレットからのuser.p12
。これは、ユーザーの公開鍵証明書です。 -
<kafka_user_name>
シークレットのuser.password
。これは、Kafka ユーザーの公開鍵証明書にアクセスするためのパスワードです。
-
PKCS #12 は Java でサポートされているため、証明書の値を Java クライアント設定に直接追加できます。セキュアな保管場所から証明書を参照することもできます。PEM ファイルを使用する場合、証明書を単一行形式でクライアント設定に直接追加する必要があります。Kafka クラスターとクライアント間の TLS 接続の確立に適した形式を選択します。PEM に慣れていない場合は、PKCS #12 を使用してください。
すべてのキーのサイズは 2048 ビットで、デフォルトでは、最初の生成から 365 日間有効です。有効期間は変更できます。
15.2.2. クラスター Operator で生成されたシークレット
クラスター Operator は、以下の証明書を生成します。これらの証明書は、OpenShift クラスターにシークレットとして保存されます。AMQ Streams はデフォルトでこれらのシークレットを使用します。
クラスター CA とクライアント CA には、秘密鍵と公開鍵に別々のシークレットがあります。
<cluster_name>-cluster-ca
- クラスター CA の秘密鍵が含まれています。AMQ Streams および Kafka コンポーネントは、秘密鍵を使用してサーバー証明書に署名します。
<cluster_name>-cluster-ca-cert
- クラスター CA の公開鍵が含まれています。Kafka クライアントは、公開鍵を使用して、TLS サーバー認証で接続している Kafka ブローカーの ID を確認します。
<cluster_name>-clients-ca
- クライアント CA の秘密鍵が含まれています。Kafka クライアントは、秘密鍵を使用して、Kafka ブローカーに接続するときに mTLS 認証用の新しいユーザー証明書に署名します。
<cluster_name>-clients-ca-cert
- クライアント CA の公開鍵が含まれています。mTLS 認証が使用されている場合、Kafka ブローカーは公開鍵を使用して、Kafka ブローカーにアクセスするクライアントの ID を確認します。
AMQ Streams コンポーネント間の通信のシークレットには、クラスター CA で署名された秘密鍵と公開鍵証明書が含まれています。
<cluster_name>-kafka-brokers
- Kafka ブローカーの秘密鍵と公開鍵が含まれています。
<cluster_name>-zookeeper-nodes
- ZooKeeper ノードの秘密鍵と公開鍵が含まれています。
<cluster_name>-cluster-operator-certs
- クラスター Operator と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-entity-topic-operator-certs
- トピック Operator と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-entity-user-operator-certs
- ユーザー Operator と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-cruise-control-certs
- Cruise Control と Kafka または ZooKeeper の間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-kafka-exporter-certs
- Kafka Exporter と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
独自のサーバー証明書と秘密鍵を提供 して、クラスター CA によって署名された証明書ではなく、Kafka リスナー証明書 を使用して Kafka ブローカーに接続できます。
15.2.3. クラスター CA シークレット
クラスター CA シークレットは、Kafka クラスターの Cluster Operator によって管理されます。
<cluster_name>-cluster-ca-cert
シークレットのみがクライアントに必要です。他のすべてのクラスターシークレットは AMQ Streams コンポーネントによってアクセスされます。これは、必要な場合に OpenShift のロールベースアクセス制御を使用して強制できます。
TLS を介した Kafka ブローカーへの接続時に Kafka ブローカー証明書を検証するため、<cluster_name>-cluster-ca-cert
の CA 証明書は Kafka クライアントアプリケーションによって信頼される必要があります。
フィールド | 説明 |
---|---|
| クラスター CA の現在の秘密鍵。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
| クラスター CA の現在の証明書。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
Kafka ブローカー Pod <num> の証明書。 |
|
Kafka ブローカー Pod |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
ZooKeeper ノード <num> の証明書。 |
|
ZooKeeper Pod |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
クラスター Operator と Kafka または ZooKeeper との間の mTLS 通信の証明書。 |
| クラスター Operator と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
トピック Operator と Kafka または ZooKeeper との間の mTLS 通信の証明書。 |
| トピック Operator と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
ユーザー Operator と Kafka または ZooKeeper との間の mTLS 通信の証明書。 |
| ユーザー Operator と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
Cruise Control と Kafka または ZooKeeper との間の mTLS 通信の証明書。 |
| Cruise Control と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
|
Kafka Exporter と Kafka または ZooKeeper との間の mTLS 通信の証明書。 |
| Kafka Exporter と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。 |
15.2.4. クライアント CA シークレット
クライアント CA シークレットは、Kafka クラスターの Cluster Operator によって管理されます。
<cluster_name>-clients-ca-cert
の証明書は、Kafka ブローカーが信頼する証明書です。
<cluster_name>-clients-ca
シークレットは、クライアントアプリケーションの証明書の署名に使用されます。このシークレットは AMQ Streams コンポーネントにアクセスできる必要があり、ユーザー Operator を使わずにアプリケーション証明書を発行する予定であれば管理者のアクセス権限が必要です。これは、必要な場合に OpenShift のロールベースアクセス制御を使用して強制できます。
フィールド | 説明 |
---|---|
| クライアント CA の現在の秘密鍵。 |
フィールド | 説明 |
---|---|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 |
| クライアント CA の現在の証明書。 |
15.2.5. User Operator によって生成されたユーザーシークレット
ユーザーシークレットは User Operator によって管理されます。
User Operator でユーザーが作成されると、ユーザーの名前を使用してシークレットが生成されます。
Secret 名 | Secret 内のフィールド | 説明 |
---|---|---|
|
| 証明書とキーを格納するための PKCS #12 ストア。 |
| PKCS #12 ストアを保護するためのパスワード。 | |
| ユーザーの証明書、クライアント CA により署名されます。 | |
| ユーザーの秘密鍵。 |
15.2.6. ラベルおよびアノテーションのクラスター CA シークレットへの追加
Kafka
カスタムリソースでclusterCaCert
テンプレートプロパティーを設定することで、クラスターオペレータが作成したクラスター CA シークレットにカスタムラベルやアノテーションを追加することができます。ラベルとアノテーションは、オブジェクトを特定し、コンテキスト情報を追加するのに便利です。AMQ Streams カスタムリソースでテンプレートプロパティーを設定します。
ラベルおよびアノテーションを Secret に追加するテンプレートのカスタマイズ例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... template: clusterCaCert: metadata: labels: label1: value1 label2: value2 annotations: annotation1: value1 annotation2: value2 # ...
15.2.7. CA シークレットでの ownerReference
の無効化
デフォルトでは、クラスターおよびクライアント CA シークレットは、Kafka
カスタムリソースに設定される ownerReference
プロパティーで作成されます。つまり、Kafka
カスタムリソースが削除されると、OpenShift によって CA シークレットも削除 (ガベッジコレクション) されます。
新しいクラスターで CA を再利用する場合は、Kafka
設定でクラスターおよびクライアント CA シークレットの generateSecretOwnerReference
プロパティーを false
に設定して、ownerReference
を無効にすることができます。ownerReference
が無効な場合に、対応する Kafka
カスタムリソースが削除されると、OpenShift では CA シークレットは削除されません。
クラスターおよびクライアント CA の ownerReference
が無効になっている Kafka 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka # ... spec: # ... clusterCa: generateSecretOwnerReference: false clientsCa: generateSecretOwnerReference: false # ...
15.3. 証明書の更新および有効期間
クラスター CA およびクライアント CA の証明書は、限定された期間、すなわち有効期間に限り有効です。通常、この期間は証明書の生成からの日数として定義されます。
Cluster Operator によって自動作成される CA 証明書の場合、以下の有効期間を設定できます。
-
Kafka.spec.clusterCa.validityDays
のクラスター CA 証明書 -
Kafka.spec.clientsCa.validityDays
のクライアント CA 証明書
デフォルトの有効期間は、両方の証明書で 365 日です。手動でインストールした CA 証明書には、独自の有効期間が定義されている必要があります。
CA 証明書の期限が切れると、その証明書を信頼しているコンポーネントおよびクライアントは、その CA 秘密鍵で署名された証明書を持つ相手からの接続を受け入れません。代わりに、コンポーネントおよびクライアントは 新しい CA 証明書を信頼する必要があります。
サービスを中断せずに CA 証明書を更新できるようにするため、Cluster Operator は古い CA 証明書が期限切れになる前に証明書の更新を開始します。
Cluster Operator によって作成される証明書の更新期間を設定できます。
-
Kafka.spec.clusterCa.renewalDays
のクラスター CA 証明書 -
Kafka.spec.clientsCa.renewalDays
のクライアント CA 証明書
デフォルトの更新期間は、両方の証明書とも 30 日です。
更新期間は、現在の証明書の有効期日から逆算されます。
更新期間に対する有効期間
Not Before Not After | | |<--------------- validityDays --------------->| <--- renewalDays --->|
Kafka クラスターの作成後に有効期間と更新期間の変更を行うには、Kafka
カスタムリソースの設定と適用、およびmanually renew the CA certificatesを行います。証明書を手動で更新しないと、証明書が次回自動更新される際に新しい期間が使用されます。
証明書の有効および更新期間の Kafka 設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka # ... spec: # ... clusterCa: renewalDays: 30 validityDays: 365 generateCertificateAuthority: true clientsCa: renewalDays: 30 validityDays: 365 generateCertificateAuthority: true # ...
更新期間中の Cluster Operator の動作は、クラスター CA およびクライアント CA の generateCertificateAuthority
証明書生成プロパティーの設定によって異なります。
true
-
プロパティーが
true
に設定されている場合、CA 証明書は Cluster Operator によって自動的に生成され、更新期間内に自動的に更新されます。 false
-
プロパティーが
false
に設定されている場合、CA 証明書は Cluster Operator によって生成されません。独自の証明書をインストールする 場合は、このオプションを使用します。
15.3.1. 自動生成された CA 証明書での更新プロセス
Cluster Operator は、CA 証明書を更新する時に以下のプロセスをこの順序で実行します。
新しい CA 証明書を生成しますが、既存のキーは保持します。
該当する
Secret
内のca.crt
という名前の古い証明書が新しい証明書に置き換えられます。新しいクライアント証明書を生成します (ZooKeeper ノード、Kafka ブローカー、および Entity Operator 用)。
署名鍵は変わっておらず、CA 証明書と同期してクライアント証明書の有効期間を維持するため、これは必須ではありません。
- ZooKeeper ノードを再起動して、ZooKeeper ノードが新しい CA 証明書を信頼し、新しいクライアント証明書を使用するようにします。
- Kafka ブローカーを再起動して、Kafka ブローカーが新しい CA 証明書を信頼し、新しいクライアント証明書を使用するようにします。
Topic Operator および User Operator を再起動して、それらの Operator が新しい CA 証明書を信頼し、新しいクライアント証明書を使用するようにします。
ユーザー証明書はクライアント CA により署名されます。User Operator によって生成されるユーザー証明書は、クライアント CA の更新時に更新されます。
15.3.2. クライアント証明書の更新
Cluster Operator は、Kafka クラスターを使用するクライアントアプリケーションを認識しません。
クラスターに接続し、クライアントアプリケーションが正しく機能するように確認するには、クライアントアプリケーションは以下を行う必要があります。
- <cluster>-cluster-ca-cert Secret でパブリッシュされるクラスター CA 証明書を信頼する必要があります。
<user-name> Secret でパブリッシュされたクレデンシャルを使用してクラスターに接続します。
User Secret は PEM および PKCS #12 形式のクレデンシャルを提供し、SCRAM-SHA 認証を使用する場合はパスワードを提供できます。ユーザーの作成時に User Operator によってユーザークレデンシャルが生成されます。
証明書の更新後もクライアントが動作するようにする必要があります。更新プロセスは、クライアントの設定によって異なります。
クライアント証明書と鍵のプロビジョニングを手動で行う場合、新しいクライアント証明書を生成し、更新期間内に新しい証明書がクライアントによって使用されるようにする必要があります。更新期間の終了までにこれが行われないと、クライアントアプリケーションがクラスターに接続できなくなる可能性があります。
同じ OpenShift クラスターおよび namespace 内で実行中のワークロードの場合、Secrets はボリュームとしてマウントできるので、クライアント Pod はそれらのキーストアとトラストストアを現在の状態の Secrets から構築できます。この手順の詳細は、クラスター CA を信頼する内部クライアントの設定 を参照してください。
15.3.3. Cluster Operator が管理する CA 証明書の手動更新
Cluster Operator によって生成されるクラスターおよびクライアント CA 証明書は、各証明書の更新期間の開始時に自動更新されます。ただし、strimzi.io/force-renew
アノテーションを使用して、証明書の更新期間が始まる前に、これらの証明書の一方または両方を手動で更新することができます。セキュリティー上の理由や、証明書の更新または有効期間を変更した 場合などに、自動更新を行うことがあります。
更新された証明書は、更新前の証明書と同じ秘密鍵を使用します。
独自の CA 証明書を使用している場合は、force-renew
アノテーションは使用できません。代わりに、独自の CA 証明書を更新する 手順に従ってください。
前提条件
- Cluster Operator がデプロイされている。
- CA 証明書と秘密鍵がインストールされている Kafka クラスターが必要です。
- CA 証明書の有効期間を確認するための OpenSSL TLS 管理ツール。
この手順では、my-project
名前空間内の my-cluster
という名前の Kafka クラスターを使用します。
手順
strimzi.io/force-renew
アノテーションを、更新対象の CA 証明書が含まれる secret に適用します。クラスター CA シークレットの更新
oc annotate secret my-cluster-cluster-ca-cert -n my-project strimzi.io/force-renew=true
クライアント CA シークレットの更新
oc annotate secret my-cluster-clients-ca-cert -n my-project strimzi.io/force-renew=true
次回の調整時に、Cluster Operator は新しい証明書を生成します。
メンテナンス時間枠が設定されている場合、Cluster Operator によって、最初の調整時に次のメンテナンス時間枠内で新規 CA 証明書が生成されます。
新しい CA 証明書の有効期間を確認します。
新しいクラスター CA 証明書の有効期間の確認
oc get secret my-cluster-cluster-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates
新しいクライアント CA 証明書の有効期間の確認
oc get secret my-cluster-clients-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates
このコマンドは、CA 証明書の有効な開始日と終了日である
notBefore
およびnotAfter
の日付を返します。新しいクラスター CA 証明書を信頼するようにクライアント設定を更新します。
参照:
15.3.4. 期限切れの Cluster Operator 管理の CA 証明書からの手動回復
Cluster Operator は、更新期間が開始されると、クラスターとクライアントの CA 証明書を自動的に更新します。ただし、Cluster Operator のダウンタイムが長引いたり、Kafka クラスターが利用できなくなったりするなど、予期しない運用上の問題や中断により、更新プロセスが妨げられる場合があります。CA 証明書の有効期限が切れると、Kafka クラスターコンポーネントは相互に通信できなくなり、Cluster Operator は手動介入なしに CA 証明書を更新できなくなります。
リカバリーを迅速に実行するには、この手順で説明されている手順を指定された順序で実行してください。期限切れのクラスターおよびクライアント CA 証明書から回復できます。このプロセスには、Cluster Operator によって新しい証明書が生成されるように、期限切れの証明書を含むシークレットを削除することが含まれます。AMQ Streams で管理されるシークレットの詳細は、「クラスター Operator で生成されたシークレット」 を参照してください。
独自の CA 証明書を使用していて期限切れになる場合、プロセスは似ていますが、Cluster Operator によって生成された証明書を使用するのではなく、CA 証明書を更新する 必要があります。
前提条件
- Cluster Operator がデプロイされている。
- CA 証明書と秘密鍵がインストールされている Kafka クラスターが必要です。
- CA 証明書の有効期間を確認するための OpenSSL TLS 管理ツール。
この手順では、my-project
名前空間内の my-cluster
という名前の Kafka クラスターを使用します。
手順
期限切れの CA 証明書を含むシークレットを削除します。
クラスター CA シークレットの削除
oc delete secret my-cluster-cluster-ca-cert -n my-project
クライアント CA シークレットの削除
oc delete secret my-cluster-clients-ca-cert -n my-project
Cluster Operator が新しい証明書を生成するまで待ちます。
-
Kafka ブローカーの ID を検証するための新しい CA クラスター証明書が、同じ名前のシークレット (
my-cluster-cluster-ca-cert
) で作成されます。 -
Kafka ユーザーの ID を検証するための新しい CA クライアント証明書が、同じ名前のシークレット (
my-cluster-clients-ca-cert
) で作成されます。
-
Kafka ブローカーの ID を検証するための新しい CA クラスター証明書が、同じ名前のシークレット (
新しい CA 証明書の有効期間を確認します。
新しいクラスター CA 証明書の有効期間の確認
oc get secret my-cluster-cluster-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates
新しいクライアント CA 証明書の有効期間の確認
oc get secret my-cluster-clients-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates
このコマンドは、CA 証明書の有効な開始日と終了日である
notBefore
およびnotAfter
の日付を返します。CA 証明書を使用するコンポーネント Pod とシークレットを削除します。
- ZooKeeper シークレットを削除します。
- Cluster Operator が欠落している ZooKeeper シークレットを検出し、再作成するまで待ちます。
- すべての ZooKeeper Pod を削除します。
- Kafka シークレットを削除します。
- Cluster Operator が欠落している Kafka シークレットを検出して再作成するまで待ちます。
- すべての Kafka Pod を削除します。
クライアント CA 証明書のみを回復する場合は、Kafka シークレットと Pod を削除するだけで済みます。
次の
oc
コマンドを使用してリソースを検索し、それらが削除されたことを確認することもできます。oc get <resource_type> --all-namespaces | grep <kafka_cluster_name>
<resource_type>
を、Pod
やSecret
などのリソースのタイプに置き換えます。Cluster Operator が欠落している Kafka および ZooKeeper Pod を検出し、更新された CA 証明書を使用してそれらを再作成するまで待ちます。
調整時に、Cluster Operator は新しい CA 証明書を信頼するように他のコンポーネントを自動的に更新します。
- Cluster Operator ログに証明書の検証に関連する問題がないことを確認します。
新しいクラスター CA 証明書を信頼するようにクライアント設定を更新します。
参照:
15.3.5. Cluster Operator が管理する CA 証明書で使用される秘密鍵の置き換え
Cluster Operator によって生成されるクラスター CA およびクライアント CA 証明書によって使用される秘密鍵を置換できます。秘密鍵が交換されると、Cluster Operator によって新しい秘密鍵の新しい CA 証明書が生成されます。
独自の CA 証明書を使用している場合は、force-replace
アノテーションは使用できません。代わりに、独自の CA 証明書を更新する 手順に従ってください。
前提条件
- Cluster Operator が稼働中である。
- CA 証明書と秘密鍵がインストールされている Kafka クラスターが必要です。
手順
更新対象の秘密鍵が含まれる
Secret
にstrimzi.io/force-replace
アノテーションを適用します。表15.13 秘密鍵を置き換えるコマンド 秘密鍵 Secret annotate コマンド クラスター CA
CLUSTER-NAME-cluster-ca
oc annotate secret <cluster-name>-cluster-ca strimzi.io/force-replace=true
クライアント CA
CLUSTER-NAME-clients-ca
oc annotate secret <cluster-name>-clients-ca strimzi.io/force-replace=true
次回の調整時に、Cluster Operator は以下を生成します。
-
アノテーションを付けた
Secret
の新しい秘密鍵 - 新規 CA 証明書
メンテナンス時間枠が設定されている場合、Cluster Operator によって、最初の調整時に次のメンテナンス時間枠内で新しい秘密鍵と CA 証明書が生成されます。
Cluster Operator によって更新されたクラスターおよびクライアント CA 証明書をクライアントアプリケーションがリロードする必要があります。
15.4. クラスター CA を信頼する内部クライアントの設定
この手順では、TLS リスナーに接続する OpenShift クラスター内部に存在する Kafka クライアントがクラスター CA 証明書を信頼するように設定する方法を説明します。
これを内部クライアントで実現するには、ボリュームマウントを使用して、必要な証明書および鍵が含まれる Secrets
にアクセスするのが最も簡単な方法です。
以下の手順に従い、クラスター CA によって署名された信頼できる証明書を Java ベースの Kafka Producer、Consumer、および Streams API に設定します。
クラスター CA の証明書の形式が PKCS #12 (.p12
) または PEM (.crt
) であるかに応じて、手順を選択します。
この手順では、Kafka クラスターの ID を検証する Cluster Secret をクライアント Pod にマウントする方法を説明します。
前提条件
- Cluster Operator が稼働している必要があります。
-
OpenShift クラスター内に
Kafka
リソースが必要です。 - TLS を使用して接続し、クラスター CA 証明書を必ず信頼する Kafka クライアントアプリケーションが、OpenShift クラスター内部に必要です。
-
クライアントアプリケーションが
Kafka
リソースと同じ namespace で実行している必要があります。
PKCS #12 形式 (.p12) の使用
クライアント Pod の定義時に、Cluster Secret をボリュームとしてマウントします。
以下に例を示します。
kind: Pod apiVersion: v1 metadata: name: client-pod spec: containers: - name: client-name image: client-name volumeMounts: - name: secret-volume mountPath: /data/p12 env: - name: SECRET_PASSWORD valueFrom: secretKeyRef: name: my-secret key: my-password volumes: - name: secret-volume secret: secretName: my-cluster-cluster-ca-cert
ここでは、以下をマウントしています。
- PKCS #12 ファイルを設定可能な正確なパスにマウント。
- パスワードを Java 設定に使用できる環境変数にマウント。
Kafka クライアントを以下のプロパティーで設定します。
セキュリティープロトコルのオプション:
-
security.protocol: SSL
(mTLS 認証ありまたはなしで、暗号化に TLS を使用する場合)。 -
security.protocol: SASL_SSL
(TLS 経由で SCRAM-SHA 認証を使用する場合)。
-
-
ssl.truststore.location
(証明書がインポートされたトラストストアを指定)。 -
ssl.truststore.password
(トラストストアにアクセスするためのパスワードを指定)。 -
ssl.truststore.type=PKCS12
(トラストストアのタイプを識別)。
PEM 形式の使用 (.crt)
クライアント Pod の定義時に、Cluster Secret をボリュームとしてマウントします。
以下に例を示します。
kind: Pod apiVersion: v1 metadata: name: client-pod spec: containers: - name: client-name image: client-name volumeMounts: - name: secret-volume mountPath: /data/crt volumes: - name: secret-volume secret: secretName: my-cluster-cluster-ca-cert
- 抽出した証明書を使用して、X.509 形式の証明書を使用するクライアントで TLS 接続を設定します。
15.5. クラスター CA を信頼する外部クライアントの設定
この手順では、external
に接続する OpenShift クラスター外部に存在する Kafka クライアントを設定し、クラスター CA 証明書を信頼する方法を説明します。クライアントのセットアップ時および更新期間中に、古いクライアント CA 証明書を交換する場合は、以下の手順に従います。
以下の手順に従い、クラスター CA によって署名された信頼できる証明書を Java ベースの Kafka Producer、Consumer、および Streams API に設定します。
クラスター CA の証明書の形式が PKCS #12 (.p12
) または PEM (.crt
) であるかに応じて、手順を選択します。
この手順では、Kafka クラスターの ID を検証する Cluster Secret から証明書を取得する方法を説明します。
CA 証明書の更新期間中に、<cluster_name>-cluster-ca-cert
シークレットに複数の CA 証明書が含まれます。クライアントは、それらを すべて をクライアントのトラストストアに追加する必要があります。
前提条件
- Cluster Operator が稼働している必要があります。
-
OpenShift クラスター内に
Kafka
リソースが必要です。 - TLS を使用して接続し、クラスター CA 証明書を必ず信頼する Kafka クライアントアプリケーションが、OpenShift クラスター外部に必要です。
PKCS #12 形式 (.p12) の使用
Kafka クラスターの
<cluster_name>-cluster-ca-cert
シークレットからクラスター CA 証明書とパスワードを抽出します。oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.p12}' | base64 -d > ca.p12
oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.password}' | base64 -d > ca.password
<cluster_name> は、Kafka クラスターの名前に置き換えます。
Kafka クライアントを以下のプロパティーで設定します。
セキュリティープロトコルのオプション:
-
security.protocol: TLS
を使用する場合の SSL。 -
security.protocol: SASL_SSL
(TLS 経由で SCRAM-SHA 認証を使用する場合)。
-
-
ssl.truststore.location
(証明書がインポートされたトラストストアを指定)。 -
ssl.truststore.password
(トラストストアにアクセスするためのパスワードを指定)。このプロパティーは、トラストストアで必要なければ省略できます。 -
ssl.truststore.type=PKCS12
(トラストストアのタイプを識別)。
PEM 形式の使用 (.crt)
Kafka クラスターの
<cluster_name>-cluster-ca-cert
シークレットからクラスター CA 証明書を抽出します。oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
- 抽出した証明書を使用して、X.509 形式の証明書を使用するクライアントで TLS 接続を設定します。
15.6. 独自の CA 証明書と秘密鍵を使用する
Cluster Operator によって生成されたデフォルトを使用する代わりに、独自の CA 証明書と秘密鍵をインストールして使用します。クラスターとクライアントの CA 証明書および秘密鍵を置き換えることができます。
次の方法で、独自の CA 証明書と秘密鍵を使用するように切り替えることができます。
- Kafka クラスターをデプロイする前に、独自の CA 証明書と秘密鍵をインストールします。
- Kafka クラスターをデプロイした後、デフォルトの CA 証明書と秘密鍵を独自のものに置き換えます。
Kafka クラスターをデプロイした後にデフォルトの CA 証明書と秘密鍵を置き換える手順は、独自の CA 証明書と秘密鍵を更新するために使用する手順と同じです。
独自の証明書を使用する場合、証明書は自動的に更新されません。有効期限が切れる前に、CA 証明書と秘密鍵を更新する必要があります。
更新オプション:
- CA 証明書のみを更新する
- CA 証明書と秘密鍵を更新する (またはデフォルトを置き換える)
15.6.1. 独自の CA 証明書と秘密鍵のインストール
Cluster Operator によって生成されたクラスターおよびクライアントの CA 証明書と秘密鍵を使用する代わりに、独自の CA 証明書と秘密鍵をインストールします。
デフォルトでは、AMQ Streams は次の クラスター CA とクライアント CA シークレット を使用します。これらは自動的に更新されます。
クラスター CA シークレット
-
<cluster_name>-cluster-ca
-
<cluster_name>-cluster-ca-cert
-
クライアント CA シークレット
-
<cluster_name>-clients-ca
-
<cluster_name>-clients-ca-cert
-
独自の証明書をインストールするには、同じ名前を使用します。
前提条件
- Cluster Operator が稼働中である。
Kafka クラスターがデプロイされていない必要があります。
すでに Kafka クラスターをデプロイしている場合は、デフォルトの CA 証明書を独自の証明書に置き換える ことができます。
クラスター CA またはクライアントの、PEM 形式による独自の X.509 証明書および鍵が必要です。
ルート CA ではないクラスターまたはクライアント CA を使用する場合、証明書ファイルにチェーン全体を含める必要があります。チェーンの順序は以下のとおりです。
- クラスターまたはクライアント CA
- 1 つ以上の中間 CA
- ルート CA
- チェーン内のすべての CA は、X509v3 基本制約拡張を使用して設定する必要があります。Basic Constraints は、証明書チェーンのパスの長さを制限します。
- 証明書を変換するための OpenSSL TLS 管理ツール。
作業を開始する前に
Cluster Operator は、キーと証明書を PEM (Privacy Enhanced Mail) および PKCS #12 (Public-Key Cryptography Standards) 形式で生成します。どちらの形式でも独自の証明書を追加できます。
一部のアプリケーションは PEM 証明書を使用できず、PKCS #12 証明書のみに対応します。PKCS #12 形式のクラスター証明書がない場合は、OpenSSL TLS 管理ツールを使用して ca.crt
ファイルからこれを生成します。
証明書生成コマンドの例
openssl pkcs12 -export -in ca.crt -nokeys -out ca.p12 -password pass:<P12_password> -caname ca.crt
<P12_password> を独自のパスワードに置き換えます。
手順
CA 証明書を含む新しいシークレットを作成します。
PEM 形式の証明書を使用したクライアントシークレットの作成
oc create secret generic <cluster_name>-clients-ca-cert --from-file=ca.crt=ca.crt
PEM および PKCS #12 形式の証明書を使用したクラスターシークレットの作成
oc create secret generic <cluster_name>-cluster-ca-cert \ --from-file=ca.crt=ca.crt \ --from-file=ca.p12=ca.p12 \ --from-literal=ca.password=P12-PASSWORD
<cluster_name> は、独自の Kafka クラスターの名前に置き換えます。
秘密鍵を含む新しいシークレットを作成します。
oc create secret generic CA-KEY-SECRET --from-file=ca.key=ca.key
シークレットにラベルを付けます。
oc label secret CA-CERTIFICATE-SECRET strimzi.io/kind=Kafka strimzi.io/cluster=<cluster_name>
oc label secret CA-KEY-SECRET strimzi.io/kind=Kafka strimzi.io/cluster=<cluster_name>
-
ラベル
strimzi.io/kind=Kafka
は Kafka カスタムリソースを識別します。 -
ラベル
strimzi.io/cluster=<cluster_name>
は Kafka クラスターを識別します。
-
ラベル
シークレットにアノテーションを付けます。
oc annotate secret CA-CERTIFICATE-SECRET strimzi.io/ca-cert-generation=CA-CERTIFICATE-GENERATION
oc annotate secret CA-KEY-SECRET strimzi.io/ca-key-generation=CA-KEY-GENERATION
-
strimzi.io/ca-cert-generation=CA-CERTIFICATE-GENERATION
のアノテーションでは、新しい CA 証明書の生成を定義します。 strimzi.io/ca-key-generation=CA-KEY-GENERATION
のアノテーションは、新しい CA キーの生成を定義します。独自の CA 証明書の増分値 (
strimzi.io/ca-cert-generation=0
) として 0 (ゼロ) から開始します。証明書を更新するときは、値を 1 つ増やして設定します。
-
クラスターの
Kafka
リソースを作成し、生成された CA を 使用しない ようにKafka.spec.clusterCa
またはKafka.spec.clientsCa
オブジェクトを設定します。独自指定の証明書を使用するようにクラスター CA を設定する
Kafka
リソースの例 (抜粋)kind: Kafka version: kafka.strimzi.io/v1beta2 spec: # ... clusterCa: generateCertificateAuthority: false
15.6.2. 独自の CA 証明書の更新
独自の CA 証明書を使用している場合は、手動で更新する必要があります。Cluster Operator はそれらを自動的に更新しません。有効期限が切れる前に、更新期間内に CA 証明書を更新します。
CA 証明書を更新し、同じ秘密鍵を続行する場合は、この手順のステップを実行します。独自の CA 証明書 および 秘密鍵を更新する場合は、「CA 証明書と秘密鍵を独自のものに更新または置換する」 を参照してください。
この手順では、PEM 形式の CA 証明書の更新を説明します。
前提条件
- Cluster Operator が稼働中である。
- クラスターまたはクライアントの PEM 形式による新しい X.509 証明書が必要です。
手順
CA 証明書の
Secret
を更新します。既存のシークレットを編集して新規 CA 証明書を追加し、証明書生成アノテーション値を更新します。
oc edit secret <ca_certificate_secret_name>
<ca_certificate_secret_name>は
Secret
の名前で、クラスター CA 証明書の場合は<kafka_cluster_name>-cluster-ca-cert
であり、クライアント CA 証明書の場合は<kafka_cluster_name>-clients-ca-cert
となります。以下の例は、
my-cluster
という名前の Kafka クラスターに関連付けられたクラスター CA 証明書のシークレットを示しています。クラスター CA 証明書のシークレット設定例
apiVersion: v1 kind: Secret data: ca.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0F... 1 metadata: annotations: strimzi.io/ca-cert-generation: "0" 2 labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca-cert #... type: Opaque
新規 CA 証明書を base64 にエンコードします。
cat <path_to_new_certificate> | base64
CA 証明書を更新します。
前の手順の base64 でエンコードされた CA 証明書を、
data
のca.crt
プロパティーの値としてコピーします。CA 証明書生成アノテーションの値を増やします。
strimzi.io/ca-cert-generation
アノテーションの値を 1 つ増分して更新します。たとえば、strimzi.io/ca-cert-generation=0
をstrimzi.io/ca-cert-generation=1
に変更します。Secret
にアノテーションがない場合、値は0
として扱われるため、1
を指定してアノテーションを追加します。AMQ Streams が証明書を生成すると、証明書生成アノテーションは Cluster Operator によって自動的に増分されます。独自の CA 証明書の場合は、より高い増分値でアノテーションを設定します。Cluster Operator が Pod をロールアウトし、証明書を更新できるように、アノテーションには現在のシークレットよりも高い値を指定する必要があります。
strimzi.io/ca-cert-generation
は、各 CA 証明書の更新で値を 1 増やす必要があります。新しい CA 証明書と証明書生成のアノテーション値でシークレットを保存します。
新しい CA 証明書で更新されるシークレット設定の例
apiVersion: v1 kind: Secret data: ca.crt: GCa6LS3RTHeKFiFDGBOUDYFAZ0F... 1 metadata: annotations: strimzi.io/ca-cert-generation: "1" 2 labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca-cert #... type: Opaque
次の調整時に、Cluster Operator は ZooKeeper、Kafka、およびその他のコンポーネントのローリング更新を実行して、新しい CA 証明書を信頼します。
メンテナンス時間枠が設定されている場合には、Cluster Operator は次のメンテナンス時間枠内で最初の調整時に Pod をローリングします。
15.6.3. CA 証明書と秘密鍵を独自のものに更新または置換する
独自の CA 証明書と秘密鍵を使用している場合は、手動で更新する必要があります。Cluster Operator はそれらを自動的に更新しません。有効期限が切れる前に、更新期間内に CA 証明書を更新します。同じ手順を使用して、AMQ Streams Operator によって生成された CA 証明書と秘密鍵を独自のものに置き換えることもできます。
CA 証明書と秘密鍵を更新または置換する場合は、この手順のステップを実行してください。独自の CA 証明書のみを更新する場合は、「独自の CA 証明書の更新」 を参照してください。
この手順では、PEM 形式の CA 証明書と秘密鍵の更新について説明します。
以下の手順を実行する前に、新規 CA 証明書の CN(コモンネーム) が現在の CA 証明書とは異なることを確認してください。たとえば、Cluster Operator が証明書を更新する場合には、バージョンの識別に v<version_number> 接尾辞を追加します。更新ごとに別の接尾辞を追加して、独自の CA 証明書で同じ作業を行います。別のキーを使用して新しい CA 証明書を生成して、シークレット
に保存されている現在の CA 証明書を保持します。
前提条件
- Cluster Operator が稼働中である。
- クラスターまたはクライアントの PEM 形式による新しい X.509 証明書と鍵が必要です。
手順
Kafka
カスタムリソースの調整を一時停止します。OpenShift でカスタムリソースにアノテーションを付け、
pause-reconciliation
アノテーションをtrue
に設定します。oc annotate Kafka <name_of_custom_resource> strimzi.io/pause-reconciliation="true"
たとえば、
my-cluster
という名前のKafka
カスタムリソースの場合:oc annotate Kafka my-cluster strimzi.io/pause-reconciliation="true"
カスタムリソースの status 条件で、
ReconciliationPaused
への変更が表示されることを確認し ます。oc describe Kafka <name_of_custom_resource>
type
条件は、lastTransitionTime
でReconciliationPaused
に変わります。
CA 証明書の
Secret
を更新します。既存のシークレットを編集して新規 CA 証明書を追加し、証明書生成アノテーション値を更新します。
oc edit secret <ca_certificate_secret_name>
<ca_certificate_secret_name> は
Secret
の名前で、クラスター CA 証明書の場合はKAFKA-CLUSTER-NAME-cluster-ca-cert
であり、クライアント CA 証明書の場合はKAFKA-CLUSTER-NAME-clients-ca-cert
となります。以下の例は、
my-cluster
という名前の Kafka クラスターに関連付けられたクラスター CA 証明書のシークレットを示しています。クラスター CA 証明書のシークレット設定例
apiVersion: v1 kind: Secret data: ca.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0F... 1 metadata: annotations: strimzi.io/ca-cert-generation: "0" 2 labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca-cert #... type: Opaque
保持する現在の CA 証明書の名前を変更します。
data
の配下にある現在のca.crt
プロパティー名をca-<date>.crt
に変更します。<date> は、証明書の有効期限を YEAR-MONTH-DAYTHOUR-MINUTE-SECONDZ の形式で指定します。たとえば、ca-2023-01-26T17-32-00Z.crt:
。現在の CA 証明書を保持するため、プロパティーの値を残します。新規 CA 証明書を base64 にエンコードします。
cat <path_to_new_certificate> | base64
CA 証明書を更新します。
data
の下に新しいca.crt
プロパティーを作成し、上の手順から base64 でエンコードされた CA 証明書をca.crt
プロパティーの値としてコピーします。CA 証明書生成アノテーションの値を増やします。
strimzi.io/ca-cert-generation
アノテーションの値を 1 つ増分して更新します。たとえば、strimzi.io/ca-cert-generation=0
をstrimzi.io/ca-cert-generation=1
に変更します。Secret
にアノテーションがない場合、値は0
として扱われるため、1
を指定してアノテーションを追加します。AMQ Streams が証明書を生成すると、証明書生成アノテーションは Cluster Operator によって自動的に増分されます。独自の CA 証明書の場合は、より高い増分値でアノテーションを設定します。Cluster Operator が Pod をロールアウトし、証明書を更新できるように、アノテーションには現在のシークレットよりも高い値を指定する必要があります。
strimzi.io/ca-cert-generation
は、各 CA 証明書の更新で値を 1 増やす必要があります。新しい CA 証明書と証明書生成のアノテーション値でシークレットを保存します。
新しい CA 証明書で更新されるシークレット設定の例
apiVersion: v1 kind: Secret data: ca.crt: GCa6LS3RTHeKFiFDGBOUDYFAZ0F... 1 ca-2023-01-26T17-32-00Z.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0F... 2 metadata: annotations: strimzi.io/ca-cert-generation: "1" 3 labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca-cert #... type: Opaque
新しい CA 証明書の署名に使用する CA キーの
Secret
を更新します。既存のシークレットを編集して新規 CA キーを追加し、キー生成アノテーション値を更新します。
oc edit secret <ca_key_name>
<ca_key_name> は CA キーの名前です。これは、クラスター CA キーの場合は
<kafka_cluster_name>-cluster-ca
、クライアント CA キーの場合は<kafka_cluster_name>-clients-ca
です。以下の例は、
my-cluster
という名前の Kafka クラスターに関連付けられたクラスター CA キーのシークレットを示しています。クラスター CA キーのシークレット設定例
apiVersion: v1 kind: Secret data: ca.key: SA1cKF1GFDzOIiPOIUQBHDNFGDFS... 1 metadata: annotations: strimzi.io/ca-key-generation: "0" 2 labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca #... type: Opaque
CA キーを base64 にエンコードします。
cat <path_to_new_key> | base64
CA キーを更新します。
前の手順の base64 でエンコードされた CA キーを
data
にあるca.key
プロパティーの値としてコピーします。CA キー生成アノテーションの値を増やします。
strimzi.io/ca-key-generation
アノテーションの値を 1 つ増分して更新します。たとえば、strimzi.io/ca-key-generation=0
をstrimzi.io/ca-key-generation=1
に変更します。Secret
にアノテーションがない場合は0
として扱われるため、1
の値を指定してアノテーションを追加します。AMQ Streams が証明書を生成すると、キー生成アノテーションは Cluster Operator によって自動的に増分されます。独自の CA 証明書と新しい CA キーの場合は、より高い増分値でアノテーションを設定します。Cluster Operator が Pod をロールアウトし、証明書およびキーを更新できるように、アノテーションには現在のシークレットよりも高い値が必要です。
strimzi.io/ca-key-generation
は、CA 証明書の更新ごとにインクリメントする必要があります。
新しい CA キーおよびキー生成アノテーション値でシークレットを保存します。
新規 CA キーで更新されるシークレット設定の例
apiVersion: v1 kind: Secret data: ca.key: AB0cKF1GFDzOIiPOIUQWERZJQ0F... 1 metadata: annotations: strimzi.io/ca-key-generation: "1" 2 labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca #... type: Opaque
一時停止から再開します。
Kafka
カスタムリソースの調整を再開するには、pause-reconciliation
アノテーションをfalse
に設定します。oc annotate --overwrite Kafka <name_of_custom_resource> strimzi.io/pause-reconciliation="false"
pause-reconciliation
アノテーションを削除してもこれを実行できます。oc annotate Kafka <name_of_custom_resource> strimzi.io/pause-reconciliation-
次の調整時に、Cluster Operator は ZooKeeper、Kafka、およびその他のコンポーネントのローリング更新を実行して、新しい CA 証明書を信頼します。ローリング更新が完了すると、Cluster Operator は新しい CA キーで署名された新しいサーバー証明書を生成するために新しい証明書を起動します。
メンテナンス時間枠が設定されている場合には、Cluster Operator は次のメンテナンス時間枠内で最初の調整時に Pod をローリングします。
- 新しい CA 証明書に移行するためのローリング更新が完了するまで待ちます。
古い証明書をシークレット設定から削除して、クラスターがそれらを信頼しないようにします。
oc edit secret <ca_certificate_secret_name>
古い証明書を削除したシークレット設定の例
apiVersion: v1 kind: Secret data: ca.crt: GCa6LS3RTHeKFiFDGBOUDYFAZ0F... metadata: annotations: strimzi.io/ca-cert-generation: "1" labels: strimzi.io/cluster: my-cluster strimzi.io/kind: Kafka name: my-cluster-cluster-ca-cert #... type: Opaque
クラスターの手動ローリング更新を開始して、シークレット設定に加えられた変更を取得します。
「アノテーションを使用した Kafka クラスターと ZooKeeper クラスターのローリングアップデートの開始」を参照してください。
第16章 AMQ Streams Pod およびコンテナーへのセキュリティーコンテキストの適用
セキュリティーコンテキストは、Pod とコンテナーの制約を定義します。セキュリティーコンテキストを指定すると、Pod およびコンテナーに必要なパーミッションのみが設定されます。たとえば、パーミッションはランタイム操作やリソースへのアクセスを制御できます。
16.1. OpenShift プラットフォームによるセキュリティーコンテキストの処理
セキュリティーコンテキストの処理は、使用している OpenShift プラットフォームのツールによって異なります。
たとえば、OpenShift はビルトイン SCC (Security Context Constraints)を使用してパーミッションを制御します。SCC は、Pod がアクセスできるセキュリティー機能を制御する設定およびストラテジーです。
デフォルトでは、OpenShift はセキュリティーコンテキスト設定を自動的に注入します。ほとんどの場合、Cluster Operator によって作成される Pod およびコンテナーのセキュリティーコンテキストを設定する必要はありません。ただし、引き続き独自の SCC を作成して管理することはできます。
詳細は、Openshift ドキュメント を参照してください。
第17章 ブローカーの追加または削除によるクラスターのスケーリング
ブローカーを追加して Kafka クラスターをスケーリングすると、クラスターのパフォーマンスと信頼性が向上します。ブローカーを追加すると、利用可能なリソースが増加し、クラスターがより大きなワークロードを処理し、より多くのメッセージを処理できるようになります。また、より多くのレプリカとバックアップを提供することでフォールトトレランスを向上させることもできます。逆に、十分に活用されていないブローカーを削除すると、リソースの消費が削減され、効率が向上します。中断やデータ損失を避けるために、スケーリングは慎重に行う必要があります。クラスター内のすべてのブローカーにパーティションを再分散することにより、各ブローカーのリソース使用率が削減され、クラスターの全体的なスループットが向上します。
Kafka トピックのスループットを向上させるには、そのトピックのパーティションの数を増やすことができます。これにより、トピックの負荷をクラスター内の異なるブローカー間で共有できるようになります。ただし、すべてのブローカーが特定のリソース (I/O など) によって制約されている場合、パーティションを追加してもスループットは向上しません。この場合、クラスターにブローカーをさらに追加する必要があります。
Kafka.spec.kafka.replicas
設定を調整すると、レプリカとして機能するクラスター内のブローカーの数に影響します。トピックの実際のレプリケーション係数は、default.replication.factor
および min.insync.replicas
の設定、および使用可能なブローカーの数によって決まります。たとえば、レプリケーション係数 3 は、トピックの各パーティションが 3 つのブローカー間でレプリケーションされ、ブローカーに障害が発生した場合のフォールトトレランスを確保することを意味します。
レプリカ設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: replicas: 3 # ... config: # ... default.replication.factor: 3 min.insync.replicas: 2 # ...
Kafka
設定を通じてブローカーを追加する場合、ノード ID は 0 (ゼロ) から始まり、クラスターオペレーターは次に小さい ID を新しいノードに割り当てます。ブローカーの削除プロセスは、クラスター内で最も高い ID を持つブローカー Pod から開始されます。
ノードプール機能のプレビューを使用してクラスター内のノードを管理している場合は、KafkaNodePool.spec.replicas
設定を調整して、ノードプール内のノードの数を変更します。さらに、ノードプールを使用して既存のクラスターをスケーリングする場合は、スケーリング操作用のノード ID を割り当てる ことができます。
ブローカーを追加または削除しても、Kafka はパーティションを自動的に再割り当てしません。これを行う最良の方法は、Cruise Control を使用することです。クラスターをスケールアップまたはスケールダウンするときに、Cruise Control の add-brokers
モードと remove-brokers
モードを使用できます。
-
Kafka クラスターをスケールアップした後、
add-brokers
モードを使用して、パーティションレプリカを既存のブローカーから新しく追加したブローカーに移動します。 -
Kafka クラスターをスケールダウンする前に、
remove-brokers
モードを使用して、削除されるブローカーからパーティションレプリカを移動します。
第18章 Cruise Control を使用したクラスターのリバランス
Cruise Control は、次の Kafka 操作をサポートするオープンソースシステムです。
- クラスターワークロードのモニタリング
- 定義済みの制約に基づくクラスターのリバランス
この操作は、ブローカー Pod をより効率的に使用する、よりバランスの取れた Kafka クラスターを実行するのに役立ちます。
通常、クラスターの負荷は時間とともに不均等になります。大量のメッセージトラフィックを処理するパーティションは、使用可能なブローカー全体で均等に分散されない可能性があります。クラスターを再分散するには、管理者はブローカーの負荷を監視し、トラフィックの多いパーティションを容量に余裕のあるブローカーに手作業で再割り当てします。
Cruise Control はクラスターのリバランス処理を自動化します。CPU、ディスク、およびネットワーク負荷を基にして、クラスターにおけるリソース使用のワークロードモデルを構築し、パーティションの割り当てをより均等にする、最適化プロポーザル (承認または拒否可能) を生成します。これらのプロポーザルの算出には、設定可能な最適化ゴールが複数使用されます。
特定のモードで最適化の提案を生成できます。デフォルトの full
モードでは、すべてのブローカー間でパーティションがリバランスされます。add-brokers
および remove-brokers
モードを使用して、クラスターをスケールアップまたはスケールダウンするときの変更に対応することもできます。
最適化プロポーザルを承認すると、Cruise Control はそのプロポーザルを Kafka クラスターに適用します。KafkaRebalance
リソースを使用して、最適化の提案を設定および生成します。最適化の提案が自動または手動で承認されるように、アノテーションを使用してリソースを設定できます。
AMQ Streams は、Cruise Control のサンプル設定ファイル を提供します。
18.1. Cruise Control のコンポーネントと機能
Cruise Control は、Load Monitor、Analyzer、Anomaly Detector、Executor の 4 つの主要コンポーネントと、クライアントとの対話用の REST API で設定されています。AMQ Streams は REST API を使用して、以下の Cruise Control 機能をサポートします。
- 最適化ゴールから最適化プロポーザルを生成します。
- 最適化プロポーザルを基にして Kafka クラスターのリバランスを行います。
- 最適化ゴール
最適化ゴールは、リバランスから達成する特定のゴールを表します。たとえば、トピックのレプリカをブローカー間でより均等に分散することがゴールになる場合があります。設定から追加するゴールを変更できます。ゴールは、ハードゴールまたはソフトゴールとして定義されます。Cruise Control 展開設定を使用してハード目標を追加できます。また、これらの各カテゴリーに適合するメイン、デフォルト、およびユーザー提供の目標もあります。
- ハードゴール は事前設定されており、最適化プロポーザルが正常に実行されるには満たされる必要があります。
- 最適化プロポーザルが正常に実行されるには、ソフトゴール を満たす必要はありません。これは、すべてのハードゴールが一致することを意味します。
- メインゴール は Cruise Control から継承されます。ハードゴールとして事前設定されているものもあります。メインゴールは、デフォルトで最適化プロポーザルで使用されます。
- デフォルトのゴール は、デフォルトでメインゴールと同じです。デフォルトゴールのセットを指定できます。
- ユーザー提供のゴール は、特定の最適化プロポーザルを生成するために設定されるデフォルトゴールのサブセットです。
- 最適化プロポーザル
最適化プロポーザルは、リバランスから達成するゴールで構成されます。最適化プロポーザルを生成して、提案された変更の概要と、リバランス可能な結果を作成します。ゴールは特定の優先順位で評価されます。その後、プロポーザルの承認または拒否を選択できます。プロポーザルを拒否し、調整したゴールセットを使用して再度実行できます。
3 つのモードのいずれかで最適化プロポーザルを生成できます。
-
full
はデフォルトのモードで、完全なリバランスを実行します。 -
add-brokers
は、Kafka クラスターをスケールアップするときにブローカーを追加した後に使用するモードです。 -
remove-brokers
は、Kafka クラスターを縮小するときにブローカーを削除する前に使用するモードです。
-
自己修復、通知、独自ゴールの作成、トピックレプリケーション係数の変更など、その他の Cruise Control の機能は現在サポートされていません。
18.2. 最適化ゴールの概要
最適化ゴールは、Kafka クラスター全体のワークロード再分散およびリソース使用の制約です。Cruise Control は Kafka クラスターをリバランスするために、最適化ゴールを使用して、承認または拒否可能な 最適化プロポーザル を生成します。
18.2.1. 優先度によるゴールの順序
AMQ Streams は、Cruise Control プロジェクトで開発された最適化ゴールのほとんどをサポートします。以下に、サポートされるゴールをデフォルトの優先度順に示します。
- ラックアウェアネス (Rack Awareness)
- 一連のトピックに対するブローカーごとのリーダーレプリカの最小数
- レプリカの容量
容量ゴール
- ディスク容量
- ネットワークのインバウンド容量
- ネットワークアウトバウンド容量
- CPU 容量
- レプリカの分散
- 潜在的なネットワーク出力
リソース配分ゴール
- ディスク使用率の分散
- ネットワークインバウンド使用率の分散
- ネットワークアウトバウンド使用率の分散
- CPU 使用率の分散
- リーダーへの単位時間あたりバイト流入量の分布
- トピックレプリカの分散
- リーダーレプリカの分散
- 優先リーダーエレクション
- ブローカー内のディスク容量
- ブローカー内のディスク使用量の分散
各最適化ゴールの詳細は、Cruise Control Wiki の Goals を参照してください。
独自のゴールの記述および Kafka アサイナーゴールはまだサポートされていません。
18.2.2. AMQ Streams カスタムリソースでのゴールの設定
Kafka
および KafkaRebalance
カスタムリソースで最適化ゴールを設定します。Cruise Control には、満たなければならない厳しい最適化ゴールのほか、メイン、デフォルト、およびユーザーが指定した最適化ゴールの設定があります。
最適化ゴールは、以下の設定で指定できます。
-
Main goals —
Kafka.spec.cruiseControl.config.goals
-
Hard goals —
Kafka.spec.cruiseControl.config.hard.goals
-
Default goals —
Kafka.spec.cruiseControl.config.default.goals
-
ユーザー提供のゴール —
KafkaRebalance.spec.goals
リソース配分ゴールは、ブローカーリソースの 容量制限 の影響を受けます。
18.2.3. ハードおよびソフト最適化ゴール
ハードゴールは最適化プロポーザルで 必ず 満たさなければならないゴールです。ハードゴールとして設定されていないゴールは ソフトゴール と呼ばれます。ソフトゴールは ベストエフォート 型のゴールと解釈できます。最適化プロポーザルで満たす必要はありませんが、最適化の計算に含まれます。すべてのハードゴールを満たし、1 つ以上のソフトゴールに違反する最適化プロポーザルは有効です。
Cruise Control は、すべてのハードゴールを満たし、優先度順にできるだけ多くのソフトゴールを満たす最適化プロポーザルを算出します。すべてのハードゴールを満たさない最適化プロポーザルは Cruise Control によって拒否され、ユーザーには送信されません。
たとえば、クラスター全体でトピックのレプリカを均等に分散するソフトゴールがあるとします (トピックレプリカ分散のゴール)。このソフトゴールを無視すると、設定されたハードゴールがすべて有効になる場合、Cruise Control はこのソフトゴールを無視します。
Cruise Control では、以下の メイン最適化ゴール がハードゴールとして事前設定されています。
RackAwareGoal; MinTopicLeadersPerBrokerGoal; ReplicaCapacityGoal; DiskCapacityGoal; NetworkInboundCapacityGoal; NetworkOutboundCapacityGoal; CpuCapacityGoal
Kafka.spec.cruiseControl.config
の hard.goals
プロパティーを編集し、Cruise Control のデプロイメント設定でハードゴールを設定します。
-
Cruise Control から事前設定されたハードゴールを継承する場合は、
Kafka.spec.cruiseControl.config
にhard.goals
プロパティーを指定しないでください。 -
事前設定されたハードゴールを変更するには、完全修飾ドメイン名を使用して、希望のゴールを
hard.goals
プロパティーに指定します。
ハード最適化ゴールの Kafka
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: topicOperator: {} userOperator: {} cruiseControl: brokerCapacity: inboundNetwork: 10000KB/s outboundNetwork: 10000KB/s config: # Note that `default.goals` (superset) must also include all `hard.goals` (subset) default.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkInboundCapacityGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkOutboundCapacityGoal hard.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkInboundCapacityGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkOutboundCapacityGoal # ...
ハードゴールの数を増やすと、Cruise Control が有効な最適化プロポーザルを生成する可能性が低くなります。
skipHardGoalCheck: true
が KafkaRebalance
カスタムリソースに指定された場合、Cruise Control はユーザー提供の最適化ゴールのリスト (KafkaRebalance.spec.goals
内) に設定済みのハードゴール (hard.goals
) がすべて含まれていることをチェックしません。そのため、すべてではなく一部のユーザー提供の最適化ゴールが hard.goals
リストにある場合、skipHardGoalCheck: true
が指定されていてもハードゴールとして処理されます。
18.2.4. メイン最適化ゴール
メイン最適化ゴールはすべてのユーザーが使用できます。メイン最適化ゴールにリストされていないゴールは、Cruise Control 操作で使用できません。
Cruise Control の デプロイメント設定 を変更しない限り、AMQ Streams は以下のメイン最適化ゴールを優先度順 (降順) に Cruise Control から継承します。
RackAwareGoal; ReplicaCapacityGoal; DiskCapacityGoal; NetworkInboundCapacityGoal; NetworkOutboundCapacityGoal; CpuCapacityGoal; ReplicaDistributionGoal; PotentialNwOutGoal; DiskUsageDistributionGoal; NetworkInboundUsageDistributionGoal; NetworkOutboundUsageDistributionGoal; CpuUsageDistributionGoal; TopicReplicaDistributionGoal; LeaderReplicaDistributionGoal; LeaderBytesInDistributionGoal; PreferredLeaderElectionGoal
これらの目標の一部は、ハードゴール として事前設定されています。
複雑さを軽減するため、1 つ以上のゴールを KafkaRebalance
リソースでの使用から完全に 除外する必要がある場合を除き、継承される主な最適化ゴールを使用することが推奨されます。必要な場合、メイン最適化ゴールの優先順位は デフォルトの最適化ゴール の設定で変更できます。
Cruise Control のデプロイメント設定で、必要に応じてメインの最適化ゴールを設定します ( Kafka.spec.cruiseControl.config.goals
)。
-
継承された主な最適化ゴールを許可する場合は、
goals
プロパティーをKafka.spec.cruiseControl.config
に指定しないでください。 -
継承した主な最適化ゴールを変更する必要がある場合は、
goals
設定オプションで、優先順位の高い順に目標のリストを指定します。
最適化提案を生成する際のエラーを回避するには、Kafka.spec.cruiseControl.config
の goals
または default.goals
に加えた変更には、hard.goals
プロパティーに指定されたすべてのハードゴールが含まれていることを確認してください。明確にするために、主要な最適化ゴールとデフォルトの目標に対して、ハードゴールも (サブセットとして) 指定する必要があります。
18.2.5. デフォルトの最適化ゴール
Cruise Conrol はデフォルトの最適化ゴール を使用して キャッシュされた最適化プロポーザル を生成します。キャッシュされた最適化プロポーザルの詳細は、「最適化プロポーザルの概要」 を参照してください。
ユーザー提供の最適化ゴール を KafkaRebalance
カスタムリソースに設定すると、デフォルトの最適化ゴールを上書きできます。
Cruise Control のデプロイメント設定で default.goals
を指定しない限り、メインの最適化ゴールがデフォルトの最適化ゴールとして使用されます。この場合、メイン最適化ゴールを使用して、キャッシュされた最適化プロポーザルが生成されます。
-
主な最適化ゴールをデフォルトの目標として使用するには、
Kafka.spec.cruiseControl.config
にdefault.goals
プロパティーを指定しないでください。 -
デフォルトの最適化ゴールを編集するには、
Kafka.spec.cruiseControl.config
のdefault.goals
プロパティーを編集します。メイン最適化ゴールのサブセットを使用する必要があります。
デフォルト最適化ゴールの Kafka
設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... entityOperator: topicOperator: {} userOperator: {} cruiseControl: brokerCapacity: inboundNetwork: 10000KB/s outboundNetwork: 10000KB/s config: # Note that `default.goals` (superset) must also include all `hard.goals` (subset) default.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.ReplicaCapacityGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.DiskCapacityGoal hard.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal # ...
デフォルトの最適化ゴールの指定がない場合、メイン最適化ゴールを使用して、キャッシュされたプロポーザルが生成されます。
18.2.6. ユーザー提供の最適化ゴール
ユーザー提供の最適化ゴール は、特定の最適化プロポーザルの設定済みのデフォルトゴールを絞り込みます。必要に応じて、KafkaRebalance
のカスタムリソースの spec.goals
で設定することができます。
KafkaRebalance.spec.goals
ユーザー提供の最適化ゴールは、さまざまな状況の最適化プロポーザルを生成できます。たとえば、ディスクの容量やディスクの使用率を考慮せずに、Kafka クラスター全体でリーダーレプリカの分布を最適化したい場合があります。この場合、リーダーレプリカ分布の単一のユーザー提供のゴールが含まれる KafkaRebalance
カスタムリソースを作成します。
ユーザー提供の最適化ゴールには以下が必要になります。
- 設定済みの ハードゴール がすべて含まれるようにする必要があります。そうしないと、エラーが発生します。
- メイン最適化ゴールのサブセットである必要があります。
最適化プロポーザルの生成時に設定済みのハードゴールを無視するには、skipHardGoalCheck: true
プロパティーを KafkaRebalance
カスタムリソースに追加します。「最適化プロポーザルの生成」 を参照してください。
関連情報
- Configuring and deploying Cruise Control with Kafka
- Cruise Control Wiki の Configurations
18.3. 最適化プロポーザルの概要
KafkaRebalance
リソースを設定して、最適化の提案を生成し、提案された変更を適用します。最適化プロポーザル は、パーティションのワークロードをブローカー間でより均等に分散することで、Kafka クラスターの負荷をより均等にするために提案された変更の概要です
各最適化プロポーザルは、それを生成するために使用された 最適化ゴール のセットに基づいており、ブローカーリソースに設定された 容量制限 が適用されます。
すべての最適化プロポーザルは、提案されたリバランスの影響の 見積もり です。提案は、承認または却下できます。最初に最適化プロポーザルを生成しなければに、クラスターのリバランスは承認できません。
次のリバランスモードのいずれかで最適化の提案を実行できます。
-
full
-
add-brokers
-
remove-brokers
18.3.1. リバランスモード
KafkaRebalance
カスタムリソースの spec.mode
プロパティーを使用して、リバランスモードを指定します。
full
-
full
モードでは、クラスター内のすべてのブローカー間でレプリカを移動することにより、完全なリバランスが実行されます。これは、KafkaRebalance
カスタムリソースでspec.mode
プロパティーが定義されていない場合のデフォルトモードです。 add-brokers
-
add-brokers
モードは、1 つ以上のブローカーを追加して Kafka クラスターをスケールアップした後に使用されます。通常、Kafka クラスターをスケールアップした後、新しいブローカーは、新しく作成されたトピックのパーティションのみをホストするために使用されます。新しいトピックが作成されないと、新たに追加されたブローカーは使用されず、既存のブローカーは同じ負荷のままになります。クラスターにブローカーを追加した直後にadd-brokers
モードを使用すると、リバランス操作によってレプリカが既存のブローカーから新しく追加されたブローカーに移動します。KafkaRebalance
カスタムリソースのspec.brokers
プロパティーを使用して、新しいブローカーをリストとして指定します。 remove-brokers
-
remove-brokers
モードは、1 つ以上のブローカーを削除して Kafka クラスターをスケールダウンする前に使用されます。Kafka クラスターをスケールダウンすると、レプリカをホストする場合でもブローカーはシャットダウンされます。これにより、レプリケートが不十分なパーティションとなる可能性があり、一部のパーティションが最小 In-Sync レプリカ (ISR) を下回る可能性があります。この潜在的な問題を回避するために、remove-brokers
モードは、削除されるブローカーからレプリカを移動します。これらのブローカーがレプリカをホストしなくなった場合は、スケールダウン操作を安全に実行できます。KafkaRebalance
カスタムリソースのspec.brokers
プロパティーで、削除するブローカーをリストとして指定します。
一般に、full
リバランスモードを使用して、ブローカー間で負荷を分散することにより Kafka クラスターをリバランスします。add-brokers
および remove-brokers
モードは、クラスターをスケールアップまたはスケールダウンし、それに応じてレプリカを再調整する場合にのみ使用してください。
リバランスを実行する手順は、実際には 3 つの異なるモードで同じです。唯一の違いは、spec.mode
プロパティーを介してモードを指定することと、必要に応じて、spec.brokers
プロパティーを介して追加または削除されるブローカーを一覧表示することです。
18.3.2. 最適化提案の結果
最適化の提案が生成されると、概要とブローカーの負荷が返されます。
- 概要
-
要約は
KafkaRebalance
リソースに含まれています。サマリーは、提案されたクラスターリバランスの概要を提供し、関係する変更の規模を示します。正常に生成された最適化プロポーザルの要約は、KafkaRebalance
リソースのStatus.OptimizationResult
プロパティーに含まれています。提供される情報は完全な最適化プロポーザルの概要になります。 - ブローカーの負荷
- ブローカーの負荷は、データが JSON 文字列として含まれる ConfigMap に保存されます。ブローカーの負荷は提案されたリバランスの前と後の値を表示するため、クラスターの各ブローカーへの影響を確認できます。
18.3.3. 最適化プロポーザルの手動承認または拒否
最適化プロポーザルのサマリーは、提案された変更の範囲を示しています。
KafkaRebalance
リソースの名前を使用して、コマンドラインから要約を返すことができます。
最適化プロポーザルの要約を返す方法
oc describe kafkarebalance <kafka_rebalance_resource_name> -n <namespace>
jq
コマンドライン JSON パーサーツールを使用することもできます。
jq を使用して最適化プロポーザルの要約を返す方法
oc get kafkarebalance -o json | jq <jq_query>
.
サマリーを使用して、最適化プロポーザルを承認するか拒否するかを決定します。
- 最適化プロポーザルの承認
-
最適化プロポーザルを承認するには、
KafkaRebalance
リソースのstrimzi.io/rebalance
アノテーションをapprove
するように設定します。Cruise Control は、プロポーザルを Kafka クラスターに適用し、クラスターのリバランス操作を開始します。 - 最適化プロポーザルの拒否
-
最適化プロポーザルを承認しないことを選択した場合は、最適化ゴールの変更 または 任意のリバランスパフォーマンスチューニングオプションの更新 を行い、その後で別のプロポーザルを生成できます。
strimzi.io/rebalance
アノテーションをrefresh
に設定することで、KafkaRebalance
リソースの新しい最適化提案を生成できます。
最適化プロポーザルを使用して、リバランスに必要な動作を評価します。たとえば、要約ではブローカー間およびブローカー内の動きについて記述します。ブローカー間のリバランスは、別々のブローカー間でデータを移動します。JBOD ストレージ設定を使用していると、ブローカー内のリバランスでは同じブローカー上のディスク間でデータが移動します。このような情報は、プロポーザルを承認しない場合でも有用な場合があります。
リバランスの際には Kafka クラスターに追加の負荷がかかるため、最適化プロポーザルを却下したり、承認を遅らせたりする場合があります。
次の例では、プロポーザルは別々のブローカー間のデータのリバランスを提案しています。リバランスには、ブローカー間での 55 個のパーティションレプリカ (合計 12 MB のデータ) の移動が含まれます。パーティションレプリカのブローカー間の移動は、パフォーマンスに大きな影響を与えますが、データ総量はそれほど多くありません。合計データが膨大な場合は、プロポーザルを却下するか、リバランスを承認するタイミングを考慮して Kafka クラスターのパフォーマンスへの影響を制限できます。
リバランスパフォーマンスチューニングオプションは、データ移動の影響を減らすのに有用です。リバランス期間を延長できる場合は、リバランスをより小さなバッチに分割できます。一回のデータ移動が少なくなると、クラスターの負荷も軽減できます。
最適化プロポーザルサマリーの例
Name: my-rebalance Namespace: myproject Labels: strimzi.io/cluster=my-cluster Annotations: API Version: kafka.strimzi.io/v1alpha1 Kind: KafkaRebalance Metadata: # ... Status: Conditions: Last Transition Time: 2022-04-05T14:36:11.900Z Status: ProposalReady Type: State Observed Generation: 1 Optimization Result: Data To Move MB: 0 Excluded Brokers For Leadership: Excluded Brokers For Replica Move: Excluded Topics: Intra Broker Data To Move MB: 12 Monitored Partitions Percentage: 100 Num Intra Broker Replica Movements: 0 Num Leader Movements: 24 Num Replica Movements: 55 On Demand Balancedness Score After: 82.91290759174306 On Demand Balancedness Score Before: 78.01176356230222 Recent Windows: 5 Session Id: a4f833bd-2055-4213-bfdd-ad21f95bf184
このプロポーザルでは、24 のパーティションリーダーも別のブローカーに移動します。これには、パフォーマンスへの影響が少ない ZooKeeper の設定を変更する必要があります。
バランススコアは、最適化プロポーザルが承認される前後の Kafka クラスターの全体的なバランスの測定値です。バランススコアは、最適化ゴールに基づいています。すべてのゴールが満たされていると、スコアは 100 になります。達成されないゴールごとにスコアが減少します。バランススコアを比較して、Kafka クラスターのバランスがリバランス後よりも悪いかどうかを確認します。
18.3.4. 最適化プロポーザルの自動承認
時間を節約するために、最適化プロポーザルの承認プロセスを自動化できます。自動化により、最適化の提案を生成すると、クラスターのリバランスに直接進みます。
最適化プロポーザルの自動承認メカニズムを有効にするには、strimzi.io/rebalance-auto-approval
アノテーションを true
に設定して KafkaRebalance
リソースを作成します。アノテーションが設定されていないか、false
に設定されている場合、最適化プロポーザルには手動承認が必要です。
自動承認メカニズムが有効になっているリバランス要求の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster annotations: strimzi.io/rebalance-auto-approval: "true" spec: mode: # any mode # ...
最適化の提案を自動的に承認する場合でも、ステータスを確認できます。リバランスが完了すると、KafkaRebalance
リソースのステータスは Ready
に移動します。
18.3.5. 最適化プロポーザルサマリーのプロパティー
以下の表は、最適化プロポーザルのサマリーセクションに含まれるプロパティーについて説明しています。
JSON プロパティー | 説明 |
---|---|
| ディスクとクラスターのブローカーとの間で転送されるパーティションレプリカの合計数。
リバランス操作中のパフォーマンスへの影響度: 比較的高いが、 |
| サポートされていません。空のリストが返されます。 |
| 個別のブローカー間で移動されるパーティションレプリカの数。 リバランス操作中のパフォーマンスへの影響度: 比較的高い。 |
| 最適化プロポーザルの生成前および生成後における、Kafka クラスターの全体的な 分散度 (balancedness) の値。
スコアは、違反した各ソフトゴールの
|
|
同じブローカーのディスク間で移動される各パーティションレプリカのサイズの合計 (
リバランス操作中のパフォーマンスへの影響度: 場合による。値が大きいほど、クラスターのリバランスの完了にかかる時間が長くなります。大量のデータを移動する場合、同じブローカーのディスク間で移動する方が個別のブローカー間で移動するよりも影響度が低くなります ( |
| 最適化プロポーザルの基になるメトリックウインドウの数。 |
|
個別のブローカーに移動される各パーティションレプリカのサイズの合計 ( リバランス操作中のパフォーマンスへの影響度: 場合による。値が大きいほど、クラスターのリバランスの完了にかかる時間が長くなります。 |
|
最適化プロポーザルの対象となる Kafka クラスターのパーティションの割合 (パーセント)。 |
|
|
| リーダーが別のレプリカに切り替えられるパーティションの数。ZooKeeper 設定の変更を伴います。 リバランス操作中のパフォーマンスへの影響度: 比較的低い。 |
| サポートされていません。空のリストが返されます。 |
18.3.6. ブローカーのロードプロパティー
ブローカーの負荷は、JSON 形式の文字列として ConfigMap (KafkaRebalance カスタムリソースと同じ名前) に保存されます。この JSON 文字列は、各ブローカーのいくつかのメトリックにリンクする各ブローカー ID のキーを持つ JSON オブジェクトで設定されます。各メトリックは 3 つの値で設定されます。1 つ目は、最適化プロポーザルの適用前のメトリックの値です。2 つ目はプロポーザルの適用後に期待される値、3 つ目は、最初の 2 つの値の差 (後の値から前の値を引いた) です。
ConfigMap は、KafkaRebalance リソースが ProposalReady
状態にあると表示され、リバランスが完了すると残ります。
ConfigMap の名前を使用して、コマンドラインからデータを表示できます。
ConfigMap データを返す方法
oc describe configmaps <my_rebalance_configmap_name> -n <namespace>
jq
コマンドライン JSON パーサーツールを使用して、ConfigMap から JSON 文字列を抽出することもできます。
jq を使用した ConfigMap からの JSON 文字列の抽出
oc get configmaps <my_rebalance_configmap_name> -o json | jq '.["data"]["brokerLoad.json"]|fromjson|.'
以下の表は、最適化プロポーザルのブローカー負荷 ConfigMap に含まれるプロパティーについて説明しています。
JSON プロパティー | 説明 |
---|---|
| パーティションリーダーであるこのブローカーのレプリカ数。 |
| このブローカーのレプリカ数。 |
| 定義された容量の割合をパーセントで表す CPU 使用率。 |
| 定義された容量の割合をパーセントで表す ディスク 使用率。 |
| 絶対ディスク使用量 (MB 単位) |
| ブローカーのネットワーク出力レートの合計。 |
| このブローカーのすべてのパーティションリーダーレプリカに対するネットワーク入力レート。 |
| このブローカーのすべてのフォロワーレプリカに対するネットワーク入力レート。 |
| このブローカーが現在ホストしているレプリカすべてのリーダーであった場合に実現される、仮定上の最大ネットワーク出力レート。 |
18.3.7. キャッシュされた最適化プロポーザル
Cruise Control は、設定済みのデフォルト最適化ゴールを基にして キャッシュされた最適化プロポーザル を維持します。キャッシュされた最適化プロポーザルはワークロードモデルから生成され、Kafka クラスターの現在の状況を反映するために 15 分ごとに更新されます。デフォルトの最適化ゴールを使用して最適化プロポーザルを生成する場合、Cruise Control は最新のキャッシュされたプロポーザルを返します。
キャッシュされた最適化プロポーザルの更新間隔を変更するには、Cruise Control デプロイメント設定の proposal.expiration.ms
設定を編集します。更新間隔を短くすると、Cruise Control サーバーの負荷が増えますが、変更が頻繁に行われるクラスターでは、更新間隔を短くするよう考慮してください。
18.4. リバランスパフォーマンスチューニングの概要
クラスターリバランスのパフォーマンスチューニングオプションを調整できます。このオプションは、リバランスのパーティションレプリカおよびリーダーシップの移動が行われる方法を制御し、また、リバランス操作に割り当てられた帯域幅も制御します。
18.4.1. パーティション再割り当てコマンド
最適化プロポーザル は、個別のパーティション再割り当てコマンドで設定されています。プロポーザルを 承認 すると、Cruise Control サーバーはこれらのコマンドを Kafka クラスターに適用します。
パーティション再割り当てコマンドは、以下のいずれかの操作で設定されます。
パーティションの移動: パーティションレプリカとそのデータを新しい場所に転送します。パーティションの移動は、以下の 2 つの形式のいずれかになります。
- ブローカー間の移動: パーティションレプリカを、別のブローカーのログディレクトリーに移動します。
- ブローカー内の移動: パーティションレプリカを、同じブローカーの異なるログディレクトリーに移動します。
- リーダーシップの移動: パーティションのレプリカのリーダーを切り替えます。
Cruise Control によって、パーティション再割り当てコマンドがバッチで Kafka クラスターに発行されます。リバランス中のクラスターのパフォーマンスは、各バッチに含まれる各タイプの移動数に影響されます。
18.4.2. レプリカの移動ストラテジー
クラスターリバランスのパフォーマンスは、パーティション再割り当てコマンドのバッチに適用される レプリカ移動ストラテジー の影響も受けます。デフォルトでは、Cruise Control は BaseReplicaMovementStrategy
を使用します。これは、生成された順序でコマンドを適用します。ただし、プロポーザルの初期に非常に大きなパーティションの再割り当てを行うと、このストラテジーではその他の再割り当ての適用が遅くなる可能性があります。
Cruise Control は、最適化プロポーザルに適用できる代替のレプリカ移動ストラテジーを 4 つ提供します。
-
PrioritizeSmallReplicaMovementStrategy
: サイズの昇順で再割り当てを並べ替えます。 -
PrioritizeLargeReplicaMovementStrategy
: サイズの降順で再割り当ての順序。 -
PostponeUrpReplicaMovementStrategy
: 非同期レプリカがないパーティションのレプリカの再割り当てを優先します。 -
PrioritizeMinIsrWithOfflineReplicasStrategy
: オフラインレプリカを持つ (At/Under) MinISR パーティションで再割り当てを優先します。この戦略は、Kafka
カスタムリソースの仕様でcruiseControl.config.concurrency.adjuster.min.isr.check.enabled
がtrue
に設定されている場合にのみ機能します。
これらのストラテジーをシーケンスとして設定できます。最初のストラテジーは、内部ロジックを使用して 2 つのパーティション再割り当ての比較を試みます。再割り当てが同等である場合は、順番を決定するために再割り当てをシーケンスの次のストラテジーに渡します。
18.4.3. ブローカー内のディスクバランシング
大量のデータを移動する場合、同じブローカーのディスク間で移動する方が個別のブローカー間で移動するよりも影響度が低くなります。Kafka デプロイメントで、同じブローカーにディスクが複数割り当てられた JBOD ストレージを使用している場合には、Cruise Control はディスク間でパーティションを分散できます。
1 つのディスクで JBOD ストレージを使用している場合は、分散するディスクがないため、ブローカー内でディスク分散すると、パーティションの移動が 0 と提案されます。
ブローカー内のディスク分散を実行するには、KafkaRebalance.spec
の下で rebalanceDisk
を true
に設定します。rebalanceDisk
を true
に設定する場合は、Cruise Control はブローカー内のゴールを自動的に設定し、ブローカー間のゴールを無視するため、KafkaRebalance.spec
の goals
フィールドを設定しないでください。Cruise Control はブローカー間およびブローカー内の分散を同時に実行しません。
18.4.4. リバランスチューニングオプション
Cruise Control には、上記のリバランスパラメーターを調整する設定オプションが複数あります。これらのチューニングオプションは、Kafka または 最適化提案 レベル で Cruise Control を設定および展開する ときに設定できます。
-
Cruise Control のサーバー設定は、Kafka カスタムリソースの下の
Kafka.spec.cruiseControl.config
で設定できます。 -
個々のリバランスのパフォーマンス設定は、
KafkaRebalance.spec
で設定できます。
関連する設定を以下の表にまとめています。
Cruise Control プロパティー | KafkaRebalance プロパティー | デフォルト | 説明 |
---|---|---|---|
|
| 5 | 各パーティション再割り当てバッチにおける inter-broker パーティション移動の最大数。 |
|
| 2 | 各パーティション再割り当てバッチにおけるブローカー内パーティション移動の最大数。 |
|
| 1000 | 各パーティション再割り当てバッチにおけるパーティションリーダー変更の最大数。 |
|
| Null (制限なし) | パーティションの再割り当てに割り当てる帯域幅 (バイト/秒単位)。 |
|
|
|
パーティション再割り当てコマンドが、生成されたプロポーザルに対して実行される順番を決定するために使用されるストラテジー (優先順位順) の一覧。サーバーの設定には、ストラテジークラスの完全修飾名をコンマ区切りの文字列で指定します (各クラス名の先頭に |
- |
| false | ブローカー内のディスク分散を有効にし、同じブローカーのディスク間でディスク領域の使用率を分散します。ディスクが複数割り当てられた JBOD ストレージを使用する Kafka デプロイメントにのみ適用されます。 |
デフォルト設定を変更すると、リバランスの完了までにかかる時間と、リバランス中の Kafka クラスターの負荷に影響します。値を小さくすると負荷は減りますが、かかる時間は長くなります。その逆も同様です。
18.5. Configuring and deploying Cruise Control with Kafka
Kafka
リソースを設定して、Kafka クラスターと共に Cruise Control をデプロイします。Kafka
リソースの CruiseControl
プロパティーを使用して、デプロイを設定できます。Kafka クラスターごとに Cruise Control のインスタンスを 1 つデプロイします。
最適化の提案を生成するための最適化ゴールを指定するには、Cruise Control config
で goals
設定を使用します。brokerCapacity
を使用して、リソース配分に関連するゴールのデフォルトの容量制限を変更できます。ブローカーが異種ネットワークリソースを持つノードで実行されている場合、overrides
を使用して各ブローカーのネットワーク容量制限を設定できます。
空のオブジェクト ({}
) が CruiseControl
設定に使用されている場合、すべてのプロパティーはデフォルト値を使用します。
Cruise Control の設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
前提条件
- OpenShift クラスター
- 稼働中の Cluster Operator
手順
Kafka
リソースのcruiseControl
プロパティーを編集します。設定可能なプロパティーは以下の例のとおりです。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... cruiseControl: brokerCapacity: 1 inboundNetwork: 10000KB/s outboundNetwork: 10000KB/s overrides: 2 - brokers: [0] inboundNetwork: 20000KiB/s outboundNetwork: 20000KiB/s - brokers: [1, 2] inboundNetwork: 30000KiB/s outboundNetwork: 30000KiB/s # ... config: 3 # Note that `default.goals` (superset) must also include all `hard.goals` (subset) default.goals: > 4 com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.ReplicaCapacityGoal, com.linkedin.kafka.cruisecontrol.analyzer.goals.DiskCapacityGoal # ... hard.goals: > com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal # ... cpu.balance.threshold: 1.1 metadata.max.age.ms: 300000 send.buffer.bytes: 131072 webserver.http.cors.enabled: true 5 webserver.http.cors.origin: "*" webserver.http.cors.exposeheaders: "User-Task-ID,Content-Type" # ... resources: 6 requests: cpu: 1 memory: 512Mi limits: cpu: 2 memory: 2Gi logging: 7 type: inline loggers: rootLogger.level: INFO template: 8 pod: metadata: labels: label1: value1 securityContext: runAsUser: 1000001 fsGroup: 0 terminationGracePeriodSeconds: 120 readinessProbe: 9 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: initialDelaySeconds: 15 timeoutSeconds: 5 metricsConfig: 10 type: jmxPrometheusExporter valueFrom: configMapKeyRef: name: cruise-control-metrics key: metrics-config.yml # ...
- 1
- ブローカーリソースの容量制限。
- 2
- オーバーライドは、異種ネットワークリソースを持つノード上で実行されている場合に、特定のブローカーのネットワーク容量制限を設定します。
- 3
- Cruise Control の設定AMQ Streams によって直接管理されないプロパティーに限り、標準 Cruise Control 設定の提供が可能です。
- 4
- 最適化ゴールの設定。デフォルトの最適化ゴール (
default.goals
)、メインの最適化ゴール (goals
)、およびハードゴール (hard.goals
) の設定を含めることができます。 - 5
- CORS が有効になっており、Cruise Control API への読み取り専用アクセスが設定されています。
- 6
- 現在
cpu
およびmemory
である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。 - 7
- Cruise Control ロガーとログレベルは、ConfigMap を通じて直接 (
inline
) または間接 (external
) に追加されます。カスタム Log4j 設定は、ConfigMap のlog4j.properties
キーの下に配置する必要があります。Cruise Control には、rootLogger.level
という名前の単一のロガーがあります。ログレベルは INFO、ERROR、WARN、TRACE、DEBUG、FATAL、または OFF に設定できます。 - 8
- テンプレートのカスタマイズ。ここでは、Pod が追加のセキュリティー属性でスケジュールされています。
- 9
- コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
- 10
- Prometheus メトリックが有効になりました。この例では、メトリクスは Prometheus JMX Exporter (デフォルトのメトリクスエクスポーター) に対して設定されます。
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
デプロイメントのステータスを確認します。
oc get deployments -n <my_cluster_operator_namespace>
デプロイメント名と準備状態が表示されている出力
NAME READY UP-TO-DATE AVAILABLE my-cluster-cruise-control 1/1 1 1
my-cluster
は Kafka クラスターの名前です。READY
は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE
出力に1
が表示されれば、デプロイメントは成功しています。
自動作成されたトピック
以下の表は、Cruise Control のデプロイ時に自動作成される 3 つのトピックを表しています。このトピックは、Cruise Control が適切に動作するために必要であるため、削除または変更しないでください。指定された設定オプションを使用して、トピックの名前を変更できます。
自動作成されたトピック設定 | デフォルトのトピック名 | 作成元 | 機能 |
---|---|---|---|
|
| AMQ Streams の Metrics Reporter | Metrics Reporter からの raw メトリクスを各 Kafka ブローカーに格納します。 |
|
| Cruise Control | 各パーティションの派生されたメトリックを格納します。これは Metric Sample Aggregator によって作成されます。 |
|
| Cruise Control | クラスターワークロードモデル の作成に使用されるメトリックサンプルを格納します。 |
Cruise Control に必要なレコードを削除しないようにするため、自動作成されたトピックではログの圧縮は無効になっています。
自動作成されたトピックの名前が、すでに Cruise Control が有効になっている Kafka クラスターで変更された場合、古いトピックは削除されないため、手動で削除する必要があります。
次のステップ
Cruise Control を設定およびデプロイした後、最適化プロポーザルを生成 できます。
関連情報
18.6. 最適化プロポーザルの生成
KafkaRebalance
リソースを作成または更新すると、Cruise Control は 設定済みの 最適化ゴール を基にして、Kafka クラスターの 最適化プロポーザル を生成します。最適化プロポーザルの情報を分析して、プロポーザルを承認するかどうかを決定します。最適化プロポーザルの結果を使用して Kafka クラスターをリバランスできます。
最適化の提案は、次のいずれかのモードで実行できます。
-
full
(デフォルト) -
add-brokers
-
remove-brokers
使用するモードは、Kafka クラスターですでに実行されているすべてのブローカー間で再調整するかどうかによって異なります。または、Kafka クラスターをスケールアップした後またはスケールダウンする前に再調整したい場合。詳細については、ブローカーのスケーリングによるモードの再調整 を参照してください。
前提条件
- AMQ Streams クラスターに Cruise Control がデプロイされている 必要があります。
- 最適化ゴール、およびオプションでブローカーリソースの容量制限を設定しました。
Cruise Control の設定の詳細については、「Configuring and deploying Cruise Control with Kafka」 を参照してください。
手順
KafkaRebalance
リソースを作成し、適切なモードを指定します。full
モード(デフォルト)Kafka
リソースに定義された デフォルトの最適化ゴール を使用するには、spec
プロパティーを空のままにします。Cruise Control は、デフォルトでfull
モードで Kafka クラスターを再調整します。デフォルトで完全なリバランスを行う設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster spec: {}
spec.mode
プロパティーでfull
モードを指定して、完全なリバランスを実行することもできます。full
モードを指定した設定例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster spec: mode: full
add-brokers
モードスケールアップ後に Kafka クラスターを再調整する場合は、
add-brokers
モードを指定します。このモードでは、既存のレプリカが新しく追加されたブローカーに移動されます。ブローカーをリストとして指定する必要があります。
add-brokers
モードを指定した設定例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster spec: mode: add-brokers brokers: [3, 4] 1
- 1
- スケールアップ操作によって追加された、新しく追加されたブローカーのリスト。このプロパティーは必須です。
remove-brokers
モードスケールダウンする前に Kafka クラスターを再調整する場合は、
remove-brokers
モードを指定します。このモードでは、削除されるブローカーからレプリカが移動されます。削除するブローカーをリストとして指定する必要があります。
remove-brokers
モードを指定した設定例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster spec: mode: remove-brokers brokers: [3, 4] 1
- 1
- スケールダウン操作によって削除されるブローカーのリスト。このプロパティーは必須です。
注記次の手順と、再調整を承認または停止する手順は、使用している再調整モードに関係なく同じです。
デフォルトのゴールを使用する代わりに ユーザー提供の最適化ゴール を設定するには、
goals
プロパティーを追加し、1 つ以上のゴールを入力します。以下の例では、ラックアウェアネス (Rack Awareness) およびレプリカの容量はユーザー提供の最適化ゴールとして設定されています。
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster spec: goals: - RackAwareGoal - ReplicaCapacityGoal
設定されたハードゴールを無視するには、
skipHardGoalCheck: true
プロパティーを追加します。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster spec: goals: - RackAwareGoal - ReplicaCapacityGoal skipHardGoalCheck: true
(オプション) 最適化プロポーザルを自動的に承認するには、
strimzi.io/rebalance-auto-approval
アノテーションをtrue
に設定します。apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaRebalance metadata: name: my-rebalance labels: strimzi.io/cluster: my-cluster annotations: strimzi.io/rebalance-auto-approval: "true" spec: goals: - RackAwareGoal - ReplicaCapacityGoal skipHardGoalCheck: true
リソースを作成または更新します。
oc apply -f <kafka_rebalance_configuration_file>
Cluster Operator は Cruise Control から最適化プロポーザルを要求します。Kafka クラスターのサイズによっては処理に数分かかることがあります。
自動承認メカニズムを使用した場合は、最適化プロポーザルのステータスが
Ready
に変わるまで待ちます。自動承認メカニズムを有効にしていない場合は、最適化プロポーザルのステータスがProposalReady
に変わるまで待ちます。oc get kafkarebalance -o wide -w -n <namespace>
PendingProposal
-
PendingProposal
ステータスは、最適化プロポーザルの準備できているかどうかを確認するために、リバランス Operator が Cruise Control API をポーリングしていることを意味します。 ProposalReady
-
ProposalReady
ステータスは、最適化プロポーザルのレビューおよび承認の準備ができていることを意味します。
ステータスが
ProposalReady
に変わると、最適化プロポーザルを承認する準備が整います。最適化プロポーザルを確認します。
最適化プロポーザルは
KafkaRebalance
カスタムリソースのStatus.Optimization Result
プロパティーに含まれます。oc describe kafkarebalance <kafka_rebalance_resource_name>
最適化プロポーザルの例
Status: Conditions: Last Transition Time: 2020-05-19T13:50:12.533Z Status: ProposalReady Type: State Observed Generation: 1 Optimization Result: Data To Move MB: 0 Excluded Brokers For Leadership: Excluded Brokers For Replica Move: Excluded Topics: Intra Broker Data To Move MB: 0 Monitored Partitions Percentage: 100 Num Intra Broker Replica Movements: 0 Num Leader Movements: 0 Num Replica Movements: 26 On Demand Balancedness Score After: 81.8666802863978 On Demand Balancedness Score Before: 78.01176356230222 Recent Windows: 1 Session Id: 05539377-ca7b-45ef-b359-e13564f1458c
Optimization Result
セクションのプロパティーには、保留クラスターリバランス操作の詳細が表示されます。各プロパティーの説明は、最適化プロポーザルの内容 を参照してください。
CPU 容量が不足している
Kafka クラスターが CPU 使用率の観点から過負荷になっている場合には、 KafkaRebalance
ステータスで CPU 容量が十分でないというエラーが発生する可能性があります。この使用率の値は、excludedTopics
設定の影響を受けないことに注意してください。最適化の提案では、除外されたトピックのレプリカは再割り当てされませんが、負荷は使用率の計算で考慮されます。
CPU 使用率エラーの例
com.linkedin.kafka.cruisecontrol.exception.OptimizationFailureException: [CpuCapacityGoal] Insufficient capacity for cpu (Utilization 615.21, Allowed Capacity 420.00, Threshold: 0.70). Add at least 3 brokers with the same cpu capacity (100.00) as broker-0. Add at least 3 brokers with the same cpu capacity (100.00) as broker-0.
このエラーは、CPU コアの数ではなく、CPU 容量をパーセンテージで示しています。このため、Kafka カスタムリソースで設定された CPU の数に直接マップされません。これは、Kafka.spec.kafka.resources.limits.cpu
で設定された CPU のサイクルを持つ、ブローカーごとに単一の 仮想 CPU を持つようなものです。CPU 使用率と容量の比率は同じであるため、これはリバランスの動作に影響はありません。
次のステップ
関連情報
18.7. 最適化プロポーザルの承認
状態が ProposalReady
の場合、Cruise Control によって生成された 最適化プロポーザル を承認できます。その後、Cruise Control は最適化プロポーザルを Kafka クラスターに適用して、パーティションをブローカーに再割り当てし、パーティションのリーダーを変更します。
これはドライランではありません。最適化プロポーザルを承認する前に、以下を行う必要があります。
- 最新でない可能性があるため、プロポーザルを更新します。
- プロポーザルの内容 を注意して確認します。
前提条件
- Cruise Control から 最適化プロポーザルを生成済み である。
-
KafkaRebalance
カスタムリソースの状態がProposalReady
である必要があります。
手順
承認する最適化プロポーザルに対して、以下の手順を実行します。
最適化プロポーザルが新規生成された場合を除き、プロポーザルが Kafka クラスターの状態に関する現在の情報を基にしていることを確認します。これには、最適化プロポーザルを更新し、必ず最新のクラスターメトリクスを使用するようにします。
OpenShift の
KafkaRebalance
リソースにstrimzi.io/rebalance=refresh
でアノテーションを付けます。oc annotate kafkarebalance <kafka_rebalance_resource_name> strimzi.io/rebalance=refresh
最適化提案のステータスが
ProposalReady
に変わるまで待ちます。oc get kafkarebalance -o wide -w -n <namespace>
PendingProposal
-
PendingProposal
ステータスは、最適化プロポーザルの準備できているかどうかを確認するために、リバランス Operator が Cruise Control API をポーリングしていることを意味します。 ProposalReady
-
ProposalReady
ステータスは、最適化プロポーザルのレビューおよび承認の準備ができていることを意味します。
ステータスが
ProposalReady
に変わると、最適化プロポーザルを承認する準備が整います。Cruise Control が適用する最適化プロポーザルを承認します。
OpenShift の
KafkaRebalance
リソースにstrimzi.io/rebalance=approve
でアノテーションを付けます。oc annotate kafkarebalance <kafka_rebalance_resource_name> strimzi.io/rebalance=approve
- Cluster Operator は アノテーションが付けられたリソースを検出し、Cruise Control に Kafka クラスターのリバランスを指示します。
最適化提案のステータスが
Ready
に変わるまで待ちます。oc get kafkarebalance -o wide -w -n <namespace>
Rebalancing
-
Rebalancing
ステータスは、リバランスが進行中であることを意味します。 Ready
-
Ready
ステータスは、リバランスが完了したことを意味します。 NotReady
-
NotReady
ステータスは、エラーが発生したことを意味します —KafkaRebalance
リソースに関する問題の修正 を参照してください。
状態が
Ready
に変更されると、リバランスが完了します。同じ
KafkaRebalance
カスタムリソースを使用して別の最適化提案を生成するには、カスタムリソースにrefresh
アノテーションを適用します。これにより、カスタムリソースはPendingProposal
またはProposalReady
の状態に移行します。その後、最適化プロポーザルを確認し、必要に応じて承認することができます。
18.8. クラスターリバランスの停止
クラスターリバランス操作を開始すると、完了まで時間がかかることがあり、Kafka クラスターの全体的なパフォーマンスに影響します。
実行中のクラスターリバランス操作を停止するには、stop
アノテーションを KafkaRebalance
カスタムリソースに適用します。これにより、現在のパーティション再割り当てのバッチ処理を完了し、リバランスを停止するよう Cruise Control が指示されます。リバランスの停止時、完了したパーティション再割り当てはすで適用されています。そのため、Kafka クラスターの状態は、リバランス操作の開始前とは異なります。さらなるリバランスが必要な場合は、新しい最適化プロポーザルを生成してください。
中間 (停止) 状態の Kafka クラスターのパフォーマンスは、初期状態よりも低下している可能性があります。
前提条件
-
KafkaRebalance
カスタムリソースにapprove
アノテーションを付けて 最適化プロポーザルが承認済み である必要があります。 -
KafkaRebalance
カスタムリソースの状態がRebalancing
である必要があります。
手順
OpenShift の
KafkaRebalance
リソースにアノテーションを付けます。oc annotate kafkarebalance rebalance-cr-name strimzi.io/rebalance=stop
KafkaRebalance
リソースの状態をチェックします。oc describe kafkarebalance rebalance-cr-name
-
状態が
Stopped
に変わるまで待ちます。
関連情報
18.9. KafkaRebalance
リソースの問題の修正
KafkaRebalance
リソースの作成時や、Cruise Control との対話中に問題が発生した場合、エラーとその修正方法の詳細がリソースの状態で報告されます。また、リソースも NotReady
の状態に変わります。
クラスターのリバランス操作を続行するには、KafkaRebalance
リソース自体の問題、または Cruise Control のデプロイメント全体の問題を解決する必要があります。問題には以下が含まれる可能性があります。
-
KafkaRebalance
リソースのパラメーターが正しく設定されていません。 -
KafkaRebalance
リソースに Kafka クラスターを指定するためのstrimzi.io/cluster
ラベルがありません。 -
Kafka
リソースのcruiseControl
プロパティーが見つからないため、Cruise Control サーバーがデプロイされません。 - Cruise Control サーバーに接続できない。
問題の修正後、refresh
アノテーションを KafkaRebalance
リソースに付ける必要があります。refresh(更新) 中、Cruise Control サーバーから新しい最適化プロポーザルが要求されます。
前提条件
- 最適化プロポーザルが承認済み である必要があります。
-
リバランス操作の
KafkaRebalance
カスタムリソースの状態がNotReady
である必要があります。
手順
KafkaRebalance
の状態からエラーに関する情報を取得します。oc describe kafkarebalance rebalance-cr-name
-
KafkaRebalance
リソースで問題の解決を試みます。 OpenShift の
KafkaRebalance
リソースにアノテーションを付けます。oc annotate kafkarebalance rebalance-cr-name strimzi.io/rebalance=refresh
KafkaRebalance
リソースの状態をチェックします。oc describe kafkarebalance rebalance-cr-name
-
状態が
PendingProposal
になるまで待つか、直接ProposalReady
になるまで待ちます。
関連情報
第19章 パーティション再割り当てツールの使用
Kafka クラスターをスケーリングする場合、ブローカーを追加または削除し、パーティションの分散またはトピックのレプリケーション係数を更新する必要がある場合があります。パーティションとトピックを更新するには、kafka-reassign-partitions.sh
ツールを使用できます。
AMQ Streams Cruise Control 統合も Topic Operator も、トピックのレプリケーション係数の変更をサポートしていません。ただし、kafka-reassign-partitions.sh
ツールを使用してトピックのレプリケーション係数を変更できます。
このツールを使用して、パーティションを再割り当てし、ブローカー間でパーティションの分散のバランスをとり、パフォーマンスを向上させることもできます。ただし、パーティション再割り当てとクラスターの再バランシングを自動化するための Cruise Control を使用することを推奨します。Cruise Control は、ダウンタイムなしでトピックをあるブローカーから別のブローカーに移動でき、パーティションを再割り当てする最も効率的な方法です。
kafka-reassign-partitions.sh
ツールは、ブローカーコンテナー内ではなく、別個の対話型 Pod として実行することを推奨します。ブローカーコンテナー内で Kafka bin/
スクリプトを実行すると、JVM が Kafka ブローカーと同じ設定で起動する可能性があり、潜在的に中断を引き起こす可能性があります。kafka-reassign-partitions.sh
ツールを別の Pod で実行すると、この問題を回避できます。-ti
オプションを使用して Pod を実行すると、Pod 内でシェルコマンドを実行するためのターミナルを備えた対話型 Pod が作成されます。
ターミナルを使用した対話型 Pod の実行
oc run helper-pod -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- bash
19.1. パーティション再割り当てツールの概要
パーティション再割り当てツールは、Kafka パーティションとブローカーを管理するための次の機能を提供します。
- パーティションレプリカの再配布
- ブローカーを追加または削除してクラスターをスケールアップおよびスケールダウンし、負荷の高いブローカーから使用率の低いブローカーに Kafka パーティションを移動します。これを行うには、移動するトピックとパーティションとそれらをどこに移動するかを特定するパーティション再割り当て計画を作成する必要があります。クラスターのリバランスプロセスを自動化 する Cruise Control は、このタイプの操作に推奨されます。
- トピックレプリケーション係数の増減のスケーリング
- Kafka トピックのレプリケーション係数を増減します。これを行うには、パーティション間の既存のレプリケーション割り当てと、レプリケーション係数の変更を伴う更新された割り当てを識別するパーティション再割り当て計画を作成する必要があります。
- 優先リーダーの変更
- Kafka パーティションの優先リーダーを変更します。これは、現在優先されているリーダーが使用できない場合、またはクラスター内のブローカー間で負荷を再分散したい場合に役立ちます。これを行うには、レプリカの順序を変更して各パーティションの新しい優先リーダーを指定するパーティション再割り当て計画を作成する必要があります。
- 特定の JBOD ボリュームを使用するようにログディレクトリーを変更する
- 特定の JBOD ボリュームを使用するように Kafka ブローカーのログディレクトリーを変更します。これは、Kafka データを別のディスクまたはストレージデバイスに移動する場合に便利です。これを行うには、トピックごとに新しいログディレクトリーを指定するパーティション再割り当て計画を作成する必要があります。
19.1.1. パーティション再割り当て計画の生成
パーティション再割り当てツール (kafka-reassign-partitions.sh
) は、どのパーティションを現在のブローカーから新しいブローカーに移動する必要があるかを指定するパーティション割り当てプランを生成することによって機能します。
計画に満足したら、実行できます。その後、ツールは次の処理を実行します。
- パーティションデータを新しいブローカーに移行する
- Kafka ブローカー上のメタデータを更新して、新しいパーティションの割り当てを反映する
- 新しい割り当てが確実に有効になるように、Kafka ブローカーのローリング再起動をトリガーする
パーティション再割り当てツールには 3 つの異なるモードがあります。
--generate
- トピックとブローカーのセットを取得し、再割り当て JSON ファイル を生成します。これにより、トピックのパーティションがブローカーに割り当てられます。これはトピック全体で動作するため、一部のトピックのパーティションを再度割り当てる場合は使用できません。
--execute
- 再割り当て JSON ファイル を取得し、クラスターのパーティションおよびブローカーに適用します。その結果、パーティションを取得したブローカーは、パーティションリーダーのフォロワーになります。新規ブローカーが ISR (同期レプリカ) に参加できたら、古いブローカーはフォロワーではなくなり、そのレプリカが削除されます。
--verify
-
--verify
は、--execute
ステップと同じ 再割り当て JSON ファイル を使用して、ファイル内のすべてのパーティションが目的のブローカーに移動されたかどうかをチェックします。再割り当てが完了すると、--verify
は有効なトラフィックスロットル (--throttle
) も削除します。スロットルを削除しないと、再割り当てが完了した後もクラスターは影響を受け続けます。
クラスターでは、1 度に 1 つの再割り当てのみを実行でき、実行中の再割り当てをキャンセルすることはできません。再割り当てをキャンセルする必要がある場合は、完了するまで待ってから別の再割り当てを実行して、最初の再割り当ての効果を元に戻します。kafka-reassign-partitions.sh
によって、元に戻すための再割り当て JSON が出力の一部として生成されます。大規模な再割り当ては、進行中の再割り当てを停止する必要がある場合に備えて、複数の小さな再割り当てに分割するようにしてください。
19.1.2. パーティション再割り当て JSON ファイルでのトピックの指定
kafka-reassign-partitions.sh
ツールは、再割り当てを行うトピックを指定する再割り当て JSON ファイルを使用します。特定のパーティションを移動させたい場合は、再割り当て JSON ファイルを生成するか、手動でファイルを作成します。
基本的な再割り当て JSON ファイルの構造は次の例に示されており、2 つの Kafka トピックに属する 3 つのパーティションが記述されています。各パーティションは、ブローカー ID によって識別される新しいレプリカのセットに再割り当てされます。プロパティー version
、topic
、partition
、replicas
はすべて必須です。
パーティションの再割り当ての JSON ファイル構造の例
{ "version": 1, 1 "partitions": [ 2 { "topic": "example-topic-1", 3 "partition": 0, 4 "replicas": [1, 2, 3] 5 }, { "topic": "example-topic-1", "partition": 1, "replicas": [2, 3, 4] }, { "topic": "example-topic-2", "partition": 0, "replicas": [3, 4, 5] } ] }
JSON に含まれていないパーティションは変更されません。
topics
配列を使用してトピックのみを指定すると、パーティション再割り当てツールは、指定されたトピックに属するすべてのパーティションを再割り当てします。
トピックのすべてのパーティションを再割り当てするための再割り当て JSON ファイル構造の例
{ "version": 1, "topics": [ { "topic": "my-topic"} ] }
19.1.3. JBOD ボリューム間のパーティションの再割り当て
Kafka クラスターで JBOD ストレージを使用する場合は、特定のボリュームとログディレクトリー (各ボリュームに単一のログディレクトリーがある) との間でパーティションの再割り当てできます。
パーティションを特定のボリュームに再割り当てするには、再割り当て JSON ファイル内の各パーティションの log_dirs
値を追加します。各レプリカは特定のログディレクトリーに割り当てる必要があるため、各 log_dirs
配列には、replicas
配列と同じ数のエントリーが含まれます。log_dirs
配列には、ログディレクトリーへの絶対パスまたは特別な値 any
が含まれます。any
値は、Kafka がそのレプリカに対して使用可能な任意のログディレクトリーを選択できることを示します。これは、JBOD ボリューム間でパーティションを再割り当てするときに役立ちます。
ログディレクトリーを含む再割り当て JSON ファイル構造の例
{ "version": 1, "partitions": [ { "topic": "example-topic-1", "partition": 0, "replicas": [1, 2, 3] "log_dirs": ["/var/lib/kafka/data-0/kafka-log1", "any", "/var/lib/kafka/data-1/kafka-log2"] }, { "topic": "example-topic-1", "partition": 1, "replicas": [2, 3, 4] "log_dirs": ["any", "/var/lib/kafka/data-2/kafka-log3", "/var/lib/kafka/data-3/kafka-log4"] }, { "topic": "example-topic-2", "partition": 0, "replicas": [3, 4, 5] "log_dirs": ["/var/lib/kafka/data-4/kafka-log5", "any", "/var/lib/kafka/data-5/kafka-log6"] } ] }
19.1.4. パーティション再割り当てのスロットル
パーティション再割り当てには、ブローカーの間で大量のデータを転送する必要があるため、処理が遅くなる可能性があります。クライアントへの悪影響を防ぐため、再割り当て処理をススロットルできます。--throttle
パラメーターを kafka-reassign-partitions.sh
ツールと共に使用して、再割り当てをスロットルします。ブローカー間のパーティションの移動の最大しきい値をバイト単位で指定します。たとえば --throttle 5000000
は、パーティションを移動する最大しきい値を 50 MBps に設定します。
スロットリングにより、再割り当ての完了に時間がかかる場合があります。
- スロットルが低すぎると、新たに割り当てられたブローカーは公開されるレコードに対応できず、再割り当ては完了しません。
- スロットルが高すぎると、クライアントに影響します。
たとえば、プロデューサーの場合は、確認応答を待つ通常のレイテンシーよりも高い可能性があります。コンシューマーの場合は、ポーリング間のレイテンシーが大きいことが原因でスループットが低下する可能性があります。
19.2. パーティションを再割り当てするための再割り当て JSON ファイルの生成
Kafka クラスターのスケーリング後にパーティションを再割り当てするには、kafka-reassign-partitions.sh
ツールを使用して再割り当て JSON ファイルを生成します。ブローカーを追加または削除しても、既存のパーティションは自動的に再配布されません。パーティション分散のバランスをとり、新しいブローカーを最大限に活用するには、kafka-reassign-partitions.sh
ツールを使用してパーティションを再割り当てできます。
このツールは、Kafka クラスターに接続された対話型 Pod コンテナーから実行します。
次の手順では、mTLS を使用したセキュアな再割り当てプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。
接続を確立するには、次のものが必要です。
- Kafka クラスターの作成時に Cluster Operator によって生成されたクラスター CA 証明書とパスワード
- ユーザーが Kafka クラスターへのクライアントアクセス用に作成されたときに User Operator によって生成されたユーザー CA 証明書とパスワード
この手順では、CA 証明書と対応するパスワードが、PKCS #12 (.p12
および .password
) 形式で含まれているクラスターとユーザーシークレットから抽出されます。パスワードは、証明書を含む .p12
ストアへのアクセスを許可します。.p12
ストアを使用してトラストストアとキーストアを指定し、Kafka クラスターへの接続を認証します。
前提条件
- Cluster Operator が実行中である。
内部 TLS 暗号化と mTLS 認証で設定された
Kafka
リソースに基づいて実行中の Kafka クラスターがあります。TLS 暗号化と mTLS 認証を使用した Kafka 設定
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... listeners: # ... - name: tls port: 9093 type: internal tls: true 1 authentication: type: tls 2 # ...
稼働中の Kafka クラスターには、再割り当てするトピックおよびパーティションのセットが含まれます。
my-topic
のトピック設定例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: my-cluster spec: partitions: 10 replicas: 3 config: retention.ms: 7200000 segment.bytes: 1073741824 # ...
Kafka ブローカーからトピックを生成および使用するパーミッションを指定する ACL ルールとともに
KafkaUser
が設定されています。my-topic
およびmy-cluster
での操作を許可する ACL ルールを使用した Kafka ユーザーの設定例apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaUser metadata: name: my-user labels: strimzi.io/cluster: my-cluster spec: authentication: 1 type: tls authorization: type: simple 2 acls: # access to the topic - resource: type: topic name: my-topic operations: - Create - Describe - Read - AlterConfigs host: "*" # access to the cluster - resource: type: cluster operations: - Alter - AlterConfigs host: "*" # ... # ...
手順
Kafka クラスターの
<cluster_name>-cluster-ca-cert
シークレットからクラスター CA 証明書とパスワードを抽出します。oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.p12}' | base64 -d > ca.p12
oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.password}' | base64 -d > ca.password
<cluster_name> は、Kafka クラスターの名前に置き換えます。
Kafka
リソースを使用して Kafka をデプロイすると、Kafka クラスター名 (<cluster_name>-cluster-ca-cert
) でクラスター CA 証明書のシークレットが作成されます。例:my-cluster-cluster-ca-cert
AMQ Streams の Kafka イメージを使用してインタラクティブな Pod コンテナーを新たに実行し、稼働中の Kafka ブローカーに接続します。
oc run --restart=Never --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 <interactive_pod_name> -- /bin/sh -c "sleep 3600"
<interactive_pod_name> は Pod の名前に置き換えます。
クラスター CA 証明書をインタラクティブな Pod コンテナーにコピーします。
oc cp ca.p12 <interactive_pod_name>:/tmp
Kafka ブローカーへのアクセス権限を持つ Kafka ユーザーのシークレットから、ユーザー CA 証明書およびパスワードを抽出します。
oc get secret <kafka_user> -o jsonpath='{.data.user\.p12}' | base64 -d > user.p12
oc get secret <kafka_user> -o jsonpath='{.data.user\.password}' | base64 -d > user.password
<kafka_user> は Kafka ユーザーの名前に置き換えます。
KafkaUser
リソースを使用して Kafka ユーザーを作成すると、ユーザー CA 証明書のあるシークレットが Kafka ユーザー名で作成されます。例:my-user
ユーザー CA 証明書をインタラクティブな Pod コンテナーにコピーします。
oc cp user.p12 <interactive_pod_name>:/tmp
CA 証明書を使用すると、インタラクティブな Pod コンテナーが TLS を使用して Kafka ブローカーに接続できます。
config.properties
ファイルを作成し、Kafka クラスターへの認証に使用されるトラストストアおよびキーストアを指定します。前の手順でデプロイメントした証明書とパスワードを使用します。
bootstrap.servers=<kafka_cluster_name>-kafka-bootstrap:9093 1 security.protocol=SSL 2 ssl.truststore.location=/tmp/ca.p12 3 ssl.truststore.password=<truststore_password> 4 ssl.keystore.location=/tmp/user.p12 5 ssl.keystore.password=<keystore_password> 6
- 1
- Kafka クラスターに接続するためのブートストラップサーバーアドレス。独自の Kafka クラスター名を使用して、<kafka_cluster_name> を置き換えます。
- 2
- 暗号化に TLS を使用する場合のセキュリティープロトコルオプション。
- 3
- トラストストアの場所には、Kafka クラスターの公開鍵証明書 (
ca.p12
) が含まれます。 - 4
- トラストストアにアクセスするためのパスワード (
ca.password
)。 - 5
- キーストアの場所には、Kafka ユーザーの公開鍵証明書 (
user.p12
) が含まれます。 - 6
- キーストアにアクセスするためのパスワード (
user.password
)。
config.properties
ファイルをインタラクティブな Pod コンテナーにコピーします。oc cp config.properties <interactive_pod_name>:/tmp/config.properties
移動するトピックを指定する
topics.json
という名前の JSON ファイルを準備します。トピック名をコンマ区切りの一覧として指定します。
my-topic
のすべてのパーティションを再割り当てするための JSON ファイルの例{ "version": 1, "topics": [ { "topic": "my-topic"} ] }
このファイルを使用して、トピックのレプリケーション係数を変更 することもできます。
topics.json
ファイルをインタラクティブな Pod コンテナーにコピーします。oc cp topics.json <interactive_pod_name>:/tmp/topics.json
インタラクティブな Pod コンテナーでシェルプロセスを開始します。
oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash
<namespace> を Pod が実行されている OpenShift namespace に置き換えます。
kafka-reassign-partitions.sh
コマンドを使用して、再割り当て JSON を生成します。my-topic
のパーティションを指定したブローカーに移動するコマンドの例bin/kafka-reassign-partitions.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --topics-to-move-json-file /tmp/topics.json \ --broker-list 0,1,2,3,4 \ --generate
19.3. ブローカーの追加後のパーティションの再割り当て
Kafka クラスター内のブローカーの数を増やした後、kafka-reassign-partitions.sh
ツールによって生成された再割り当てファイルを使用してパーティションを再割り当てします。再割り当てファイルには、拡大された Kafka クラスター内のブローカーにパーティションを再度割り当てる方法を記述する必要があります。ファイルで指定された再割り当てをブローカーに適用し、新しいパーティションの割り当てを確認します。
この手順では、TLS を使用するセキュアなスケーリングプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。
kafka-reassign-partitions.sh
ツールは、クラスターを通じてすべてのノードを管理しているか、クラスター内のノードグループを管理するためにノードプールプレビューを使用しているかに関係なく、Kafka クラスター内のパーティションを再割り当てするために使用できます。
kafka-reassign-partitions.sh
ツールを使用することもできますが、パーティション再割り当てとクラスターの再バランシングを自動化 するには、Cruise Control の使用を推奨します。Cruise Control は、ダウンタイムなしでトピックをあるブローカーから別のブローカーに移動でき、パーティションを再割り当てする最も効率的な方法です。
前提条件
-
内部 TLS 暗号化と mTLS 認証で設定された
Kafka
リソースに基づいて実行中の Kafka クラスターがあります。 -
reassignment.json
という名前の 再割り当て JSON ファイルを生成 している。 - 実行中の Kafka ブローカーに接続されている対話型 Pod コンテナーを実行している。
-
KafkaUser
として接続されている。このユーザーは、Kafka クラスターとそのトピックの管理権限を指定する ACL ルールで設定されている。
手順
-
kafka.spec.kafka.replicas
設定オプションを増やして、新しいブローカーを必要なだけ追加します。 - 新しいブローカー Pod が起動したことを確認します。
-
まだ確認していない場合には、インタラクティブな Pod コンテナーを実行 して
reassignment.json
という名前の再割り当てJSONファイルを生成します。 reassignment.json
ファイルを対話型 Pod コンテナーにコピーします。oc cp reassignment.json <interactive_pod_name>:/tmp/reassignment.json
<interactive_pod_name> は Pod の名前に置き換えます。
インタラクティブな Pod コンテナーでシェルプロセスを開始します。
oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash
<namespace> を Pod が実行されている OpenShift namespace に置き換えます。
インタラクティブな Pod コンテナーから
kafka-reassign-partitions.sh
スクリプトを使用して、パーティション再割り当てを実行します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --execute
<cluster_name> は、独自の Kafka クラスターの名前に置き換えます。例:
my-cluster-kafka-bootstrap:9093
レプリケーションにスロットリングを適用する場合、
--throttle
とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --throttle 5000000 \ --execute
このコマンドは、2 つの再割り当て JSON オブジェクトを出力します。最初の JSON オブジェクトには、移動されたパーティションの現在の割り当てが記録されます。後で再割り当てを元に戻す必要がある場合に備え、この値をローカルファイル (Pod のファイル以外) に保存します。2 つ目の JSON オブジェクトは、再割り当て JSON ファイルに渡したターゲットの再割り当てです。
再割り当ての最中にスロットルを変更する必要がある場合は、同じコマンドに別のスロットル率を指定して実行します。以下に例を示します。
bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --throttle 10000000 \ --execute
ブローカー Pod のいずれかから
kafka-reassign-partitions.sh
コマンドラインツールを使用して、再割り当てが完了したかどうかを確認します。これは先ほどの手順と同じコマンドですが、--verify
オプションの代わりに--execute
オプションを使用します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --verify
--verify
コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な--verify
によって、結果的に再割り当てスロットルも削除されます。- 割り当てを元のブローカーに戻すために JSON ファイルを保存した場合は、ここでそのファイルを削除できます。
19.4. ブローカーの削除前のパーティションの再割り当て
Kafka クラスター内のブローカーの数を減らす前に、kafka-reassign-partitions.sh
ツールによって生成された再割り当てファイルを使用してパーティションを再割り当てします。再割り当てファイルでは、Kafka クラスターの残りのブローカーにパーティションを再割り当てする方法を記述する必要があります。ファイルで指定された再割り当てをブローカーに適用し、新しいパーティションの割り当てを確認します。最も番号の大きい Pod のブローカーが最初に削除されます。
この手順では、TLS を使用するセキュアなスケーリングプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。
kafka-reassign-partitions.sh
ツールは、クラスターを通じてすべてのノードを管理しているか、クラスター内のノードグループを管理するためにノードプールプレビューを使用しているかに関係なく、Kafka クラスター内のパーティションを再割り当てするために使用できます。
kafka-reassign-partitions.sh
ツールを使用することもできますが、パーティション再割り当てとクラスターの再バランシングを自動化 するには、Cruise Control の使用を推奨します。Cruise Control は、ダウンタイムなしでトピックをあるブローカーから別のブローカーに移動でき、パーティションを再割り当てする最も効率的な方法です。
前提条件
-
内部 TLS 暗号化と mTLS 認証で設定された
Kafka
リソースに基づいて実行中の Kafka クラスターがあります。 -
reassignment.json
という名前の 再割り当て JSON ファイルを生成 している。 - 実行中の Kafka ブローカーに接続されている対話型 Pod コンテナーを実行している。
-
KafkaUser
として接続されている。このユーザーは、Kafka クラスターとそのトピックの管理権限を指定する ACL ルールで設定されている。
手順
-
まだ確認していない場合には、インタラクティブな Pod コンテナーを実行 して
reassignment.json
という名前の再割り当てJSONファイルを生成します。 reassignment.json
ファイルを対話型 Pod コンテナーにコピーします。oc cp reassignment.json <interactive_pod_name>:/tmp/reassignment.json
<interactive_pod_name> は Pod の名前に置き換えます。
インタラクティブな Pod コンテナーでシェルプロセスを開始します。
oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash
<namespace> を Pod が実行されている OpenShift namespace に置き換えます。
インタラクティブな Pod コンテナーから
kafka-reassign-partitions.sh
スクリプトを使用して、パーティション再割り当てを実行します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --execute
<cluster_name> は、独自の Kafka クラスターの名前に置き換えます。例:
my-cluster-kafka-bootstrap:9093
レプリケーションにスロットリングを適用する場合、
--throttle
とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --throttle 5000000 \ --execute
このコマンドは、2 つの再割り当て JSON オブジェクトを出力します。最初の JSON オブジェクトには、移動されたパーティションの現在の割り当てが記録されます。後で再割り当てを元に戻す必要がある場合に備え、この値をローカルファイル (Pod のファイル以外) に保存します。2 つ目の JSON オブジェクトは、再割り当て JSON ファイルに渡したターゲットの再割り当てです。
再割り当ての最中にスロットルを変更する必要がある場合は、同じコマンドに別のスロットル率を指定して実行します。以下に例を示します。
bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --throttle 10000000 \ --execute
ブローカー Pod のいずれかから
kafka-reassign-partitions.sh
コマンドラインツールを使用して、再割り当てが完了したかどうかを確認します。これは先ほどの手順と同じコマンドですが、--verify
オプションの代わりに--execute
オプションを使用します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --verify
--verify
コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な--verify
によって、結果的に再割り当てスロットルも削除されます。- 割り当てを元のブローカーに戻すために JSON ファイルを保存した場合は、ここでそのファイルを削除できます。
すべてのパーティション再割り当てが終了すると、削除されるブローカーはクラスター内のいずれのパーティションにも対応しないはずです。これは、ブローカーのデータログディレクトリーにライブパーティションのログが含まれていないことを確認すると検証できます。ブローカのログディレクトリーに、拡張正規表現
\.[a-z0-9]-delete$
に一致しないディレクトリーが含まれている場合、ブローカには、まだライブパーティションがあるため、停止しないでください。これを確認するには、以下のコマンドを実行します。
oc exec my-cluster-kafka-0 -c kafka -it -- \ /bin/bash -c \ "ls -l /var/lib/kafka/kafka-log_<n>_ | grep -E '^d' | grep -vE '[a-zA-Z0-9.-]+\.[a-z0-9]+-delete$'"
n は削除された Pod の数に置き換えます。
上記のコマンドによって出力が生成される場合、ブローカーにはライブパーティションがあります。この場合、再割り当てが終了していないか、再割り当て JSON ファイルが適切ではありません。
-
ブローカーにライブパーティションがないことを確認できたら、
Kafka
リソースのKafka.spec.kafka.replicas
プロパティーを編集してブローカーの数を減らすことができます。
19.5. トピックのレプリケーション係数の変更
Kafka クラスター内のトピックのレプリケーション係数を変更するには、kafka-reassign-partitions.sh
ツールを使用します。これを行うには、Kafka クラスターに接続されている対話型の Pod コンテナーからツールを実行し、再割り当てファイルを使用してトピックレプリカを変更する方法を記述します。
この手順では、TLS を使用するセキュアなプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。
前提条件
-
内部 TLS 暗号化と mTLS 認証で設定された
Kafka
リソースに基づいて実行中の Kafka クラスターがあります。 - 実行中の Kafka ブローカーに接続されている対話型 Pod コンテナーを実行している。
-
reassignment.json
という名前の再割り当て JSON ファイルを生成している。 -
KafkaUser
として接続されている。このユーザーは、Kafka クラスターとそのトピックの管理権限を指定する ACL ルールで設定されている。
再割り当て JSON ファイルの生成 を参照してください。
この手順では、my-topic
というトピックに 4 つのレプリカがあり、それを 3 つに減らしたいと考えています。topic.json
という名前の JSON ファイルはトピックを指定し、reassignment.json
ファイルの生成に使用されました。
my-topic
を指定する JSON ファイルの例
{ "version": 1, "topics": [ { "topic": "my-topic"} ] }
手順
まだ確認していない場合には、インタラクティブな Pod コンテナーを実行 して
reassignment.json
という名前の再割り当てJSONファイルを生成します。現在のレプリカ割り当てと提案されたレプリカ割り当てを示す再割り当て JSON ファイルの例
Current partition replica assignment {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[3,4,2,0],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[0,2,3,1],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[1,3,0,4],"log_dirs":["any","any","any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3,4],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4,0],"log_dirs":["any","any","any","any"]}]}
後で変更を元に戻す必要がある場合に備えて、このファイルのコピーをローカルに保存します。
reassignment.json
を編集して、各パーティションからレプリカを削除します。たとえば、
jq
を使用して、トピックの各パーティションのリスト内の最後のレプリカを削除します。各パーティションの最後のトピックレプリカの削除
jq '.partitions[].replicas |= del(.[-1])' reassignment.json > reassignment.json
更新されたレプリカを示す再割り当てファイルの例
{"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4],"log_dirs":["any","any","any","any"]}]}
reassignment.json
ファイルを対話型 Pod コンテナーにコピーします。oc cp reassignment.json <interactive_pod_name>:/tmp/reassignment.json
<interactive_pod_name> は Pod の名前に置き換えます。
インタラクティブな Pod コンテナーでシェルプロセスを開始します。
oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash
<namespace> を Pod が実行されている OpenShift namespace に置き換えます。
インタラクティブな Pod コンテナーから
kafka-reassign-partitions.sh
スクリプトを使用して、トピックレプリカを変更します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --execute
注記ブローカーからレプリカを削除する場合、ブローカー間のデータ移動は必要ないため、レプリケーションを調整する必要はありません。レプリカを追加している場合は、スロットルレートを変更することができます。
いずれかのブローカー Pod から
kafka-reassign-partitions.sh
コマンドラインツールを使用して、トピックレプリカへの変更が完了したことを確認します。これは先ほどの手順と同じコマンドですが、--verify
オプションの代わりに--execute
オプションを使用します。bin/kafka-reassign-partitions.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --reassignment-json-file /tmp/reassignment.json \ --verify
--verify
コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な--verify
によって、結果的に再割り当てスロットルも削除されます。--describe
オプションを指定してbin/kafka-topics.sh
コマンドを実行して、トピックへの変更の結果を確認します。bin/kafka-topics.sh --bootstrap-server <cluster_name>-kafka-bootstrap:9093 \ --command-config /tmp/config.properties \ --describe
トピックのレプリカ数を削減した結果
my-topic Partition: 0 Leader: 0 Replicas: 0,1,2 Isr: 0,1,2 my-topic Partition: 1 Leader: 2 Replicas: 1,2,3 Isr: 1,2,3 my-topic Partition: 2 Leader: 3 Replicas: 2,3,4 Isr: 2,3,4
第20章 AMQ Streams のメトリクスおよびダッシュボードの設定
メトリックを収集することは、Kafka デプロイメントの健全性とパフォーマンスを理解するために重要です。メトリックを監視することで、問題が重大になる前に積極的に特定し、リソースの割り当てとキャパシティープランニングについて情報に基づいた意思決定を行うことができます。メトリックがないと、Kafka デプロイメントの動作の可視性が制限される可能性があります。これによりトラブルシューティングがより困難になり、時間がかかる可能性があります。メトリックをセットアップすると、長期的には時間とリソースを節約でき、Kafka デプロイメントの信頼性を確保するのに役立ちます。
AMQ Streams の各コンポーネントのメトリックが利用可能であり、個々のパフォーマンスに関する有用な知見を得ることができます。他のコンポーネントではメトリックの公開設定が必要ですが、AMQ Streams Operator はデフォルトで Prometheus メトリックを自動的に公開します。これらのメトリクスには以下が含まれます。
- 調整数
- 処理中のカスタムリソース数
- 調整期間
- JVM メトリック
さらに、Kafka
リソースのリスナーまたは認可設定で enableMetrics
プロパティーを有効にして、oauth
認証と opa
または keycloak
認証に固有のメトリックを収集できます。同様に、KafkaBridge
、KafkaConnect
、KafkaMirrorMaker
、KafkaMirrorMaker2
などのカスタムリソースで oauth
認証のメトリックを有効にできます。
Prometheus と Grafana を使用して AMQ Streams を監視できます。Prometheus ルールが設定されている場合、Prometheus はクラスター内で実行中の Pod からのメトリックを消費します。Grafana はこれらのメトリックをダッシュボード上で視覚化し、監視のための直感的なインターフェイスを提供します。
メトリックの統合を容易にするために、AMQ Streams では、AMQ Streams コンポーネント用のサンプル Prometheus ルールと Grafana ダッシュボードが提供されています。Grafana ダッシュボードの例は、特定のデプロイメント要件に合わせてカスタマイズできます。ルールを使用して、特定のメトリックに基づいてアラートをトリガーする条件を定義できます。
監視要件に応じて、次のことを実行できます。
さらに、分散トレースを設定して メッセージをエンドツーエンドで追跡するようにデプロイメントを設定したり、診断ツール (report.sh
) を使用してトラブルシューティングデータを取得したりすることができます。
AMQ Streams は、Prometheus と Grafana のサンプルインストールファイルを提供します。これは、AMQ Streams デプロイメントを監視するための開始点として機能します。さらにサポートするには、Prometheus および Grafana 開発者コミュニティーに参加してみてください。
メトリクスおよびモニタリングツールのサポートドキュメント
メトリクスおよびモニタリングツールの詳細は、サポートドキュメントを参照してください。
- Prometheus
- Prometheus の設定
- Kafka Exporter
- Grafana Labs
- Apache Kafka Monitoring では、Apache Kafka により公開される JMX メトリクスについて解説しています。
- ZooKeeper JMX では、Apache Zookeeper により公開される JMX メトリックについて解説しています。
20.1. Kafka Exporter でのコンシューマーラグの監視
Kafka Exporter は、Apache Kafka ブローカーおよびクライアントの監視を強化するオープンソースプロジェクトです。Kafka クラスターで Kafka Exporter をデプロイ するように、Kafka
リソースを設定できます。Kafka Exporter は、オフセット、コンシューマーグループ、コンシューマーラグ、およびトピックに関連する Kafka ブローカーから追加のメトリックデータを抽出します。一例として、メトリクスデータを使用すると、低速なコンシューマーの識別に役立ちます。ラグデータは Prometheus メトリクスとして公開され、解析のために Grafana で使用できます。
Kafka Exporter は __consumer_offsets
トピックから読み取り、このトピックには、コミットされたオフセットに関するコンシューマーグループの情報が格納されます。Kafka Exporter が適切に機能できるようにするには、コンシューマーグループを使用する必要があります。
Kafka Exporter の Grafana ダッシュボードは、AMQ Streams が提供する多数の サンプル Grafana ダッシュボード の 1 つです。
Kafka Exporter は、コンシューマーラグおよびコンシューマーオフセットに関連する追加のメトリクスのみを提供します。通常の Kafka メトリクスでは、Kafka ブローカー で、Prometheus メトリクスを設定する必要があります。
コンシューマーラグは、メッセージの生成と消費の差を示しています。具体的には、指定のコンシューマーグループのコンシューマーラグは、パーティションの最後のメッセージと、そのコンシューマーが現在ピックアップしているメッセージとの時間差を示しています。
ラグには、パーティションログの最後を基準とする、コンシューマーオフセットの相対的な位置が反映されます。
プロデューサーおよびコンシューマーオフセット間のコンシューマーラグ
この差は、Kafka ブローカートピックパーティションの読み取りと書き込みの場所である、プロデューサーオフセットとコンシューマーオフセットの間の デルタ とも呼ばれます。
あるトピックで毎秒 100 個のメッセージがストリーミングされる場合を考えてみましょう。プロデューサーオフセット (トピックパーティションの先頭) と、コンシューマーが読み取った最後のオフセットとの間のラグが 1000 個のメッセージであれば、10 秒の遅延があることを意味します。
コンシューマーラグ監視の重要性
可能な限りリアルタイムのデータの処理に依存するアプリケーションでは、コンシューマーラグを監視して、ラグが過度に大きくならないようにチェックする必要があります。ラグが大きくなるほど、プロセスはリアルタイム処理の目的から遠ざかります。
たとえば、コンシューマーラグは、パージされていない古いデータを大量に消費したり、計画外のシャットダウンが原因である可能性があります。
コンシューマーラグの削減
Grafana のチャートを使用して、ラグを分析し、ラグ削減の方法が対象のコンシューマーグループに影響しているかどうかを確認します。たとえば、ラグを減らすように Kafka ブローカーを調整すると、ダッシュボードには コンシューマーグループ別のラグ のチャートが下降し 毎分のメッセージ消費 のチャートが上昇する状況が示されます。
通常、ラグを削減するには以下を行います。
- 新規コンシューマーを追加してコンシューマーグループをスケールアップします。
- メッセージがトピックに留まる保持時間を延長します。
- ディスク容量を追加してメッセージバッファーを増やします。
コンシューマーラグを減らす方法は、基礎となるインフラストラクチャーや、AMQ Streams によりサポートされるユースケースによって異なります。たとえば、ラグが生じているコンシューマーでは、ディスクキャッシュからフェッチリクエストに対応できるブローカーを活用できる可能性は低いでしょう。場合によっては、コンシューマーの状態が改善されるまで、自動的にメッセージをドロップすることが許容されることがあります。
20.2. Cruise Control 操作の監視
Cruise Control は、ブローカー、トピック、およびパーティションの使用状況を追跡するために Kafka ブローカーを監視します。Cruise Control は、独自のパフォーマンスを監視するためのメトリックのセットも提供します。
Cruise Control メトリックレポーターは、Kafka ブローカーから未加工のメトリックデータを収集します。データは、Cruise Control によって自動的に作成されるトピックに生成されます。メトリクスは、Kafka クラスターの最適化提案の生成 に使用されます。
Cruise Control メトリックは、Cruise Control 操作のリアルタイム監視で利用できます。たとえば、Cruise Control メトリックを使用して、実行中のリバランス操作のステータスを監視したり、操作のパフォーマンスで検出された異常についてアラートを提供したりできます。
Cruise Control 設定で Prometheus JMX Exporter を有効にして Cruise Control メトリクスを公開します。
センサー として知られる利用可能な Cruise Control メトリクスの完全なリストは、Cruise Control のドキュメントを 参照してください。
20.2.1. 分散スコアの監視
Cruise Control メトリックには、分散スコアが含まれます。分散度は、Kafka クラスター内でワークロードがどの程度均等に分散されているかを示す尺度です。
分散スコア (balancedness-score
) の Cruise Control メトリクスは、KafkaRebalance
リソースの分散スコアとは異なる可能性があります。Cruise Control は anomaly.detection.goals
を使用して各スコアを計算します。これは、KafkaRebalance
リソースで使用される default.goals
と同じでない可能性があります。anomaly.detection.goals
は、Kafka
カスタムリソースの spec.cruiseControl.config
に指定されます。
KafkaRebalance
リソースを更新すると、最適化プロポーザルをフェッチします。以下の条件のいずれかが適用されると、キャッシュされた最新の最適化プロポーザルがフェッチされます。
-
KafkaRebalance
goals
は、Kafka
リソースのdefault.goals
セクションに設定されたゴールと一致する。 -
KafkaRebalance
goals
は指定されていない。
これ以外の場合は、Cruise Control は KafkaRebalance goals
に基づいて、新しい最適化プロポーザルを生成します。更新ごとに新しいプロポーザルが生成されると、パフォーマンスの監視に影響を及ぼす可能性があります。
20.2.2. 異常検出のアラートを設定する
Cruise Control の 異常検出 は、ブローカーの障害などの最適化ゴールの生成をブロックする条件のメトリクスデータを提供します。可視性を高める場合は、異常検出器が提供するメトリックを使用して、アラートを設定し、通知を送信できます。Cruise Control の 異常通知機能 を設定して、指定された通知チャネルを介してこれらのメトリクスに基づいてアラートをルーティングできます。または、Prometheus を設定して、異常検出器によって提供されるメトリックデータをスクレープし、アラートを生成することもできます。その後、Prometheus Alertmanager は Prometheus で生成されるアラートをルーティングできます。
Cruise Control ドキュメント には、AnomalyDetector
メトリクスおよび異常通知機能に関する情報が記載されています。
20.3. メトリクスファイルの例
Grafana ダッシュボードおよびその他のメトリック設定ファイルの例は、AMQ Streams によって提供される 設定ファイルの例 を参照してください。
AMQ Streams で提供されるサンプルメトリクスファイル
metrics ├── grafana-dashboards 1 │ ├── strimzi-cruise-control.json │ ├── strimzi-kafka-bridge.json │ ├── strimzi-kafka-connect.json │ ├── strimzi-kafka-exporter.json │ ├── strimzi-kafka-mirror-maker-2.json │ ├── strimzi-kafka.json │ ├── strimzi-operators.json │ └── strimzi-zookeeper.json ├── grafana-install │ └── grafana.yaml 2 ├── prometheus-additional-properties │ └── prometheus-additional.yaml 3 ├── prometheus-alertmanager-config │ └── alert-manager-config.yaml 4 ├── prometheus-install │ ├── alert-manager.yaml 5 │ ├── prometheus-rules.yaml 6 │ ├── prometheus.yaml 7 │ └── strimzi-pod-monitor.yaml 8 ├── kafka-bridge-metrics.yaml 9 ├── kafka-connect-metrics.yaml 10 ├── kafka-cruise-control-metrics.yaml 11 ├── kafka-metrics.yaml 12 └── kafka-mirror-maker-2-metrics.yaml 13
- 1
- 異なる AMQ Streams コンポーネントの Grafana ダッシュボードの例。
- 2
- Grafana イメージのインストールファイル。
- 3
- CPU、メモリー、およびディスクボリュームの使用状況についてのメトリックをスクレープする追加の設定。これらのメトリックは、ノード上の OpenShift cAdvisor エージェントおよび kubelet から直接提供されます。
- 4
- Alertmanager による通知送信のためのフック定義。
- 5
- Alertmanager をデプロイおよび設定するためのリソース。
- 6
- Prometheus Alertmanager と使用するアラートルールの例 (Prometheus とデプロイ)。
- 7
- Prometheus イメージのインストールリソースファイル。
- 8
- Prometheus Operator によって Prometheus サーバーのジョブに変換される PodMonitor の定義。これにより、Pod から直接メトリックデータをスクレープできます。
- 9
- メトリックが有効になっている Kafka Bridge リソース。
- 10
- Kafka Connect に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリック設定。
- 11
- Cruise Control に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリック設定。
- 12
- Kafka および ZooKeeper に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリック設定。
- 13
- Kafka Mirror Maker 2.0 に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリクス設定。
20.3.1. Prometheus メトリクス設定の例
AMQ Streams は、Prometheus JMX Exporter を使用して、Prometheus サーバーによってスクレープできる HTTP エンドポイント経由でメトリクスを公開します。
Grafana ダッシュボードが依存する Prometheus JMX Exporter の再ラベル付けルールは、カスタムリソース設定として AMQ Streams コンポーネントに対して定義されます。
ラベルは名前と値のペアです。再ラベル付けは、ラベルを動的に書き込むプロセスです。たとえば、ラベルの値は Kafka サーバーおよびクライアント ID の名前から派生されます。
AMQ Streams では、再ラベル付けルールが含まれるカスタムリソース設定用の YAML ファイルのサンプルが提供されます。Prometheus メトリック設定をデプロイする場合、カスタムリソースのサンプルをデプロイすることや、メトリック設定を独自のカスタムリソース定義にコピーすることができます。
コンポーネント | カスタムリソース | サンプル YAML ファイル |
---|---|---|
Kafka および ZooKeeper |
|
|
Kafka Connect |
|
|
Kafka MirrorMaker 2 |
|
|
Kafka Bridge |
|
|
Cruise Control |
|
|
20.3.2. アラート通知の Prometheus ルールの例
アラート通知の Prometheus ルールの例は、AMQ Streams によって提供される メトリクス設定ファイルの例 と共に提供されます。ルールは、Prometheus デプロイメント で使用するための prometheus-rules.yaml
ファイルのサンプルに指定されています。
prometheus-rules.yaml
ファイルには、以下のコンポーネントのルールの例が含まれます。
- Kafka
- ZooKeeper
- Entitiy Operator
- Kafka Connect
- Kafka Bridge
- MirrorMaker
- Kafka Exporter
各ルールの例の説明は、ファイルに記載されています。
アラートルールによって、メトリックで監視される特定条件についての通知が提供されます。ルールは Prometheus サーバーで宣言されますが、アラート通知は Prometheus Alertmanager で対応します。
Prometheus アラートルールでは、継続的に評価される PromQL 表現を使用して条件が記述されます。
アラート表現が true になると、条件が満たされ、Prometheus サーバーからアラートデータが Alertmanager に送信されます。次に Alertmanager は、そのデプロイメントに設定された通信方法を使用して通知を送信します。
アラートルールの定義に関する一般的な留意点:
-
for
プロパティーは、ルールと併用し、アラートがトリガーされるまでに、条件を維持する必要のある期間を決定します。 -
ティック (tick) は ZooKeeper の基本的な時間単位です。ミリ秒単位で測定され、
Kafka.spec.zookeeper.config
のtickTime
パラメーターを使用して設定されます。たとえば、ZooKeeper でtickTime=3000
の場合、3 ティック (3 x 3000) は 9000 ミリ秒と等しくなります。 -
ZookeeperRunningOutOfSpace
メトリックおよびアラートを利用できるかどうかは、使用される OpenShift 設定およびストレージ実装によります。特定のプラットフォームのストレージ実装では、メトリクスによるアラートの提供に必要な利用可能な領域について情報が提供されない場合があります。
Alertmanager は、電子メール、チャットメッセージなどの通知方法を使用するように設定できます。ルールの例に含まれるデフォルト設定は、特定のニーズに合わせて調整してください。
20.3.3. Grafana ダッシュボードのサンプル
Prometheus をデプロイしてメトリックを提供する場合は、AMQ Streams で提供される Grafana ダッシュボードのサンプルを使用して、AMQ Streams コンポーネントを監視できます。
ダッシュボードのサンプルは、examples/metrics/grafana-dashboards
ディレクトリーに JSON ファイルで提供されます。
すべてのダッシュボードは、JVM メトリクスに加えてコンポーネントに固有のメトリクスを提供します。たとえば、AMQ Streams Operator の Grafana ダッシュボードは、調整の数または処理中のカスタムリソースに関する情報を提供します。
ダッシュボードのサンプルには、Kafka でサポートされるすべてのメトリクスは表示されません。ダッシュボードには、監視用の代表的なメトリックのセットが表示されます。
コンポーネント | JSON ファイルの例: |
---|---|
AMQ Streams の Operator |
|
Kafka |
|
ZooKeeper |
|
Kafka Connect |
|
Kafka MirrorMaker 2 |
|
Kafka Bridge |
|
Cruise Control |
|
Kafka Exporter |
|
クラスターにまだトラフィックがないため、Kafka Exporter でメトリックを使用できない場合、Kafka Exporter の Grafana ダッシュボードでは、数値フィールドに N/A
が、グラフに No data to show
が表示されます。
20.4. 設定による Prometheus メトリクスの有効化
AMQ Streams for Prometheus でメトリクスを有効にして公開するには、メトリクス設定プロパティーを使用します。
次のコンポーネントでは、メトリクスを公開するために metricsConfig
設定が必要です。
- Kafka
- KafkaConnect
- MirrorMaker
- Cruise Control
- ZooKeeper
この設定により、Prometheus JMX Exporter は HTTP エンドポイント経由でメトリクスを公開できます。JMX エクスポーター HTTP エンドポイントのポートは 9404 です。Prometheus はこのエンドポイントをスクレープして Kafka メトリクスを収集します。
これらのコンポーネントのメトリクスを公開するには、enableMetrics
プロパティーを true
に設定します。
- Kafka Bridge
- OAuth 2.0 認証および認可フレームワーク
- 認可のための Open Policy Agent (OPA)
Prometheus メトリック設定を AMQ Streams にデプロイするには、独自の設定または AMQ Streams で提供される サンプルのカスタムリソース設定ファイル を使用できます。
-
kafka-metrics.yaml
-
kafka-connect-metrics.yaml
-
kafka-mirror-maker-2-metrics.yaml
-
kafka-bridge-metrics.yaml
-
kafka-cruise-control-metrics.yaml
-
oauth-metrics.yaml
これらのファイルには、Prometheus メトリックを有効にするために必要な再ラベル付けルールと設定が含まれています。これらは、AMQ Streams で Prometheus を試すための良い出発点となります。
この手順では、Prometheus メトリクス設定の例を Kafka
リソースにデプロイする方法を示します。このプロセスは、他のリソースのサンプルファイルをデプロイする場合と同じです。
Kafka Exporter メトリクスを含める場合は、kafkaExporter
設定を Kafka
リソースに追加します。
Kafka Exporter は、コンシューマーラグおよびコンシューマーオフセットに関連する追加のメトリクスのみを提供します。通常の Kafka メトリクスでは、Kafka ブローカー で、Prometheus メトリクスを設定する必要があります。
手順
Prometheus 設定でカスタムリソースのサンプルをデプロイします。
たとえば、
Kafka
リソースごとにkafka-metrics.yaml
ファイルを適用できます。サンプル設定のデプロイ
oc apply -f kafka-metrics.yaml
または、
kafka-metrics.yaml
の設定例を独自のKafka
リソースにコピーすることもできます。サンプル設定のコピー
oc edit kafka <kafka_configuration_file>
metricsConfig
プロパティーと、Kafka
リソースを参照するConfigMap
をコピーします。Kafka のメトリクス設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... metricsConfig: 1 type: jmxPrometheusExporter valueFrom: configMapKeyRef: name: kafka-metrics key: kafka-metrics-config.yml --- kind: ConfigMap 2 apiVersion: v1 metadata: name: kafka-metrics labels: app: strimzi data: kafka-metrics-config.yml: | # metrics configuration...
Kafka Exporter をデプロイするには、
kafkaExporter
設定を追加します。KafkaExporter
設定は、Kafka
リソースでのみ指定されます。Kafka Exporter のデプロイの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: # ... kafkaExporter: image: my-registry.io/my-org/my-exporter-cluster:latest 1 groupRegex: ".*" 2 topicRegex: ".*" 3 groupExcludeRegex: "^excluded-.*" 4 topicExcludeRegex: "^excluded-.*" 5 resources: 6 requests: cpu: 200m memory: 64Mi limits: cpu: 500m memory: 128Mi logging: debug 7 enableSaramaLogging: true 8 template: 9 pod: metadata: labels: label1: value1 imagePullSecrets: - name: my-docker-credentials securityContext: runAsUser: 1000001 fsGroup: 0 terminationGracePeriodSeconds: 120 readinessProbe: 10 initialDelaySeconds: 15 timeoutSeconds: 5 livenessProbe: 11 initialDelaySeconds: 15 timeoutSeconds: 5 # ...
- 1
- 高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
- 2
- メトリクスに含まれるコンシューマーグループを指定する正規表現。
- 3
- メトリクスに含まれるトピックを指定する正規表現。
- 4
- メトリクスから除外するコンシューマーグループを指定する正規表現。
- 5
- メトリクスから除外するトピックを指定する正規表現。
- 6
- 予約する CPU およびメモリーリソース。
- 7
- 指定の重大度 (debug、info、warn、error、fatal) 以上でメッセージをログに記録するためのログ設定。
- 8
- Sarama ロギングを有効にするブール値 (Kafka Exporter によって使用される Go クライアントライブラリー)。
- 9
- デプロイメントテンプレートおよび Pod のカスタマイズ。
- 10
- ヘルスチェックの readiness プローブ。
- 11
- ヘルスチェックの liveness プローブ。
Kafka Exporter が適切に機能できるようにするには、コンシューマーグループを使用する必要があります。
Kafka Bridge のメトリクスを有効にする
Kafka Bridge のメトリクスを公開するには、KafkaBridge
リソースで enableMetrics
プロパティーを true
に設定します。
Kafka Bridge のメトリクス設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: # ... bootstrapServers: my-cluster-kafka:9092 http: # ... enableMetrics: true # ...
OAuth 2.0 および OPA のメトリクスの有効化
OAuth 2.0 または OPA のメトリックを公開するには、適切なカスタムリソースで enableMetrics
プロパティーを true
に設定します。
- OAuth 2.0 メトリクス
Kafka
リソースで Kafka クラスター認証と Kafka リスナー認証のメトリクスを有効にします。他の サポートされているコンポーネント のカスタムリソースで OAuth 2.0 認証のメトリックを有効にすることもできます。
- OPA メトリクス
-
OAuth 2.0 の場合と同じ方法で、
Kafka
リソースに対する Kafka クラスター認証のメトリックを有効にします。
次の例では、OAuth 2.0 リスナー認証と OAuth 2.0 (keycloak
) クラスター承認に対してメトリックが有効になっています。
OAuth 2.0 に対してメトリクスが有効になっているクラスター設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... listeners: - name: external port: 9094 type: loadbalancer tls: true authentication: type: oauth enableMetrics: true configuration: #... authorization: type: keycloak enableMetrics: true # ...
Prometheus で OAuth 2.0 メトリクスを使用するには、oauth-metrics.yaml
ファイルを使用して Prometheus メトリクス設定の例をデプロイします。oauth-metrics.yaml
ファイルに含まれる ConfigMap
設定を、OAUth 2.0 のメトリクスを有効にしたのと同じ Kafka
リソース設定ファイルにコピーします。
20.5. OpenShift での Kafka メトリクスおよびダッシュボードの表示
AMQ Streams が OpenShift Container Platform にデプロイされると、ユーザー定義プロジェクトのモニタリング によりメトリクスが提供されます。この OpenShift 機能により、開発者は独自のプロジェクト (例: Kafka
プロジェクト) を監視するために別の Prometheus インスタンスにアクセスできます。
ユーザー定義プロジェクトのモニタリングが有効な場合は、openshift-user-workload-monitoring
プロジェクトには以下のコンポーネントが含まれます。
- Prometheus operator
- Prometheus インスタンス (Prometheus Operator によって自動的にデプロイされます)
- Thanos Ruler インスタンス
AMQ Streams は、これらのコンポーネントを使用してメトリックを消費します。
クラスター管理者は、ユーザー定義プロジェクトのモニタリングを有効にし、開発者およびその他のユーザーに自分のプロジェクトに含まれるアプリケーションを監視するパーミッションを付与する必要があります。
Grafana のデプロイメント
Grafana インスタンスを、Kafka クラスターが含まれるプロジェクトにデプロイできます。その後、Grafana ダッシュボードのサンプルを使用して、AMQ Streams の Prometheus メトリックを Grafana ユーザーインターフェイスで可視化できます。
openshift-monitoring
プロジェクトはコアプラットフォームコンポーネントをモニタリングできます。このプロジェクトの Prometheus および Grafana コンポーネントを使用して、OpenShift Container Platform 4.x 上の AMQ Streams の監視を設定しないでください。
手順の概要
OpenShift Container Platform で AMQ Streams のモニターングを設定するには、以下の手順を順番に行います。
20.5.1. 前提条件
- YAML ファイルのサンプルを使用して、Prometheus メトリクス設定がデプロイされている。
-
ユーザー定義プロジェクトの監視が有効になっている。クラスター管理者が OpenShift クラスターに
cluster-monitoring-config
の Config Map を作成している。 -
クラスター管理者は、
monitoring-rules-edit
またはmonitoring-edit
ロールを割り当てている。
cluster-monitoring-config
設定マップの作成およびユーザー定義プロジェクトをモニターするためのパーミッションをユーザーに付与する方法については、OpenShift documentation を参照してください。
20.5.2. Prometheus リソースのデプロイ
Prometheus を使用して、Kafka クラスターのモニタリングデータを取得します。
独自の Prometheus デプロイメントを使用するか、AMQ Streams によって提供される メトリクス設定ファイルのサンプル を使用して Prometheus をデプロイできます。サンプルファイルを使用するには、PodMonitor
リソースを設定し、デプロイします。PodMonitors
は、Apache Kafka、ZooKeeper、Operator、Kafka Bridge、および Cruise Control から直接データをスクレープします。
次に、Alertmanager のアラートルールのサンプルをデプロイします。
前提条件
- Kafka クラスターが稼働している。
- AMQ Streams で 提供されるアラートルールのサンプル を確認している。
手順
ユーザー定義プロジェクトのモニタリングが有効であることを確認します。
oc get pods -n openshift-user-workload-monitoring
有効であると、モニタリングコンポーネントの Pod が返されます。以下に例を示します。
NAME READY STATUS RESTARTS AGE prometheus-operator-5cc59f9bc6-kgcq8 1/1 Running 0 25s prometheus-user-workload-0 5/5 Running 1 14s prometheus-user-workload-1 5/5 Running 1 14s thanos-ruler-user-workload-0 3/3 Running 0 14s thanos-ruler-user-workload-1 3/3 Running 0 14s
Pod が返されなければ、ユーザー定義プロジェクトのモニタリングは無効になっています。「OpenShift での Kafka メトリクスおよびダッシュボードの表示」 の前提条件を参照してください。
複数の
PodMonitor
リソースは、examples/metrics/prometheus-install/strimzi-pod-monitor.yaml
で定義されます。PodMonitor
リソースごとにspec.namespaceSelector.matchNames
プロパティーを編集します。apiVersion: monitoring.coreos.com/v1 kind: PodMonitor metadata: name: cluster-operator-metrics labels: app: strimzi spec: selector: matchLabels: strimzi.io/kind: cluster-operator namespaceSelector: matchNames: - <project-name> 1 podMetricsEndpoints: - path: /metrics port: http # ...
- 1
- メトリックをスクレープする Pod が実行されているプロジェクト (例:
Kafka
)。
strimzi-pod-monitor.yaml
ファイルを、Kafka クラスターが稼働しているプロジェクトにデプロイします。oc apply -f strimzi-pod-monitor.yaml -n MY-PROJECT
Prometheus ルールのサンプルを同じプロジェクトにデプロイします。
oc apply -f prometheus-rules.yaml -n MY-PROJECT
20.5.3. Grafana のサービスアカウントの作成
AMQ Streams の Grafana インスタンスは、cluster-monitoring-view
ロールが割り当てられたサービスアカウントで実行する必要があります。
Grafana を使用してモニタリングのメトリクスを表示する場合は、サービスアカウントを作成します。
前提条件
手順
Kafka クラスターを含むプロジェクトに Grafana の
ServiceAccount
を作成します。oc create sa grafana-service-account -n my-project
この例では、
grafana-service-account
という名前のサービスアカウントがmy-project
namespace に作成されます。cluster-monitoring-view
ロールを GrafanaServiceAccount
に割り当てるClusterRoleBinding
リソースを作成します。ここでは、リソースの名前はgrafana-cluster-monitoring-binding
です。apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: grafana-cluster-monitoring-binding labels: app: strimzi subjects: - kind: ServiceAccount name: grafana-service-account namespace: my-project roleRef: kind: ClusterRole name: cluster-monitoring-view apiGroup: rbac.authorization.k8s.io
ClusterRoleBinding
を同じプロジェクトにデプロイします。oc apply -f grafana-cluster-monitoring-binding.yaml -n my-project
サービスアカウントのトークンシークレットを作成します。
apiVersion: v1 kind: Secret metadata: name: secret-sa annotations: kubernetes.io/service-account.name: "grafana-service-account" 1 type: kubernetes.io/service-account-token 2
Secret
オブジェクトとアクセストークンを作成します。oc create -f <secret_configuration>.yaml
Grafana をデプロイするときにアクセストークンが必要です。
20.5.4. Prometheus データソースを使用した Grafana のデプロイ
Grafana をデプロイし、Prometheus メトリックを表示します。Grafana アプリケーションには、OpenShift Container Platform モニタリングスタックの設定が必要です。
OpenShift Container Platform では、openshift-monitoring
プロジェクトに Thanos Querier インスタンスが含まれています。Thanos Querier は、プラットフォームメトリクスを集約するために使用されます。
必要なプラットフォームメトリクスを使用するには、Grafana インスタンスには Thanos Querier に接続できる Prometheus データソースが必要です。この接続を設定するには、トークンを使用し、Thanos Querier と並行して実行される oauth-proxy
サイドカーに対して認証を行う config map を作成します。datasource.yaml
ファイルは config map のソースとして使用されます。
最後に、Kafka クラスターが含まれるプロジェクトにボリュームとしてマウントされた config map で Grafana アプリケーションをデプロイします。
前提条件
- Prometheus リソースをデプロイ している。
- Grafana のサービスアカウントを作成 している。
手順
Grafana
ServiceAccount
のアクセストークンを取得します。oc describe sa/grafana-service-account | grep Tokens: oc describe secret grafana-service-account-token-mmlp9 | grep token:
この例では、サービスアカウントの名前は
grafana-service-account
です。次のステップで使用するアクセストークンをコピーします。Grafana の Thanos Querier 設定が含まれる
datasource.yaml
ファイルを作成します。以下に示すように、アクセストークンを
httpHeaderValue1
プロパティーに貼り付けます。apiVersion: 1 datasources: - name: Prometheus type: prometheus url: https://thanos-querier.openshift-monitoring.svc.cluster.local:9091 access: proxy basicAuth: false withCredentials: false isDefault: true jsonData: timeInterval: 5s tlsSkipVerify: true httpHeaderName1: "Authorization" secureJsonData: httpHeaderValue1: "Bearer ${GRAFANA-ACCESS-TOKEN}" 1 editable: true
- 1
GRAFANA-ACCESS-TOKEN
: GrafanaServiceAccount
のアクセストークンの値。
datasource.yaml
ファイルからgrafana-config
という名前の config map を作成します。oc create configmap grafana-config --from-file=datasource.yaml -n MY-PROJECT
Deployment
およびService
で設定される Grafana アプリケーションを作成します。grafana-config
config map はデータソース設定のボリュームとしてマウントされます。apiVersion: apps/v1 kind: Deployment metadata: name: grafana labels: app: strimzi spec: replicas: 1 selector: matchLabels: name: grafana template: metadata: labels: name: grafana spec: serviceAccountName: grafana-service-account containers: - name: grafana image: grafana/grafana:10.0.3 ports: - name: grafana containerPort: 3000 protocol: TCP volumeMounts: - name: grafana-data mountPath: /var/lib/grafana - name: grafana-logs mountPath: /var/log/grafana - name: grafana-config mountPath: /etc/grafana/provisioning/datasources/datasource.yaml readOnly: true subPath: datasource.yaml readinessProbe: httpGet: path: /api/health port: 3000 initialDelaySeconds: 5 periodSeconds: 10 livenessProbe: httpGet: path: /api/health port: 3000 initialDelaySeconds: 15 periodSeconds: 20 volumes: - name: grafana-data emptyDir: {} - name: grafana-logs emptyDir: {} - name: grafana-config configMap: name: grafana-config --- apiVersion: v1 kind: Service metadata: name: grafana labels: app: strimzi spec: ports: - name: grafana port: 3000 targetPort: 3000 protocol: TCP selector: name: grafana type: ClusterIP
Grafana アプリケーションを、Kafka クラスターが含まれるプロジェクトにデプロイします。
oc apply -f <grafana-application> -n <my-project>
20.5.5. Grafana サービスへのルートの作成
Grafana サービスを公開するルートを介して、Grafana ユーザーインターフェイスにアクセスできます。
手順
grafana
サービスへのルートを作成します。oc create route edge <my-grafana-route> --service=grafana --namespace=KAFKA-NAMESPACE
20.5.6. Grafana ダッシュボードサンプルのインポート
Grafana を使用して、カスタマイズ可能なダッシュボードで Prometheus メトリックを視覚化します。
AMQ Streams は、Grafana のダッシュボード設定ファイルのサンプル を JSON 形式で提供します。
-
examples/metrics/grafana-dashboards
この手順では、Grafana ダッシュボードのサンプルを使用します。
ダッシュボードのサンプルは、キーメトリックを監視するを開始点として適していますが、Kafka でサポートされるすべてのメトリックは表示されません。使用するインフラストラクチャーに応じて、ダッシュボードのサンプルの編集や、他のメトリクスの追加を行うことができます。
前提条件
手順
Grafana サービスへのルートの詳細を取得します。以下に例を示します。
oc get routes NAME HOST/PORT PATH SERVICES MY-GRAFANA-ROUTE MY-GRAFANA-ROUTE-amq-streams.net grafana
- Web ブラウザーで、Route ホストおよびポートの URL を使用して Grafana ログイン画面にアクセスします。
ユーザー名とパスワードを入力し、続いて Log In をクリックします。
デフォルトの Grafana ユーザー名およびパスワードは、どちらも
admin
です。初回ログイン後に、パスワードを変更できます。- Configuration > Data Sources で、Prometheus データソースが作成済みであることを確認します。データソースは 「Prometheus データソースを使用した Grafana のデプロイ」 に作成されています。
- + アイコンをクリックしてから、Import をクリックします。
-
examples/metrics/grafana-dashboards
で、インポートするダッシュボードの JSON をコピーします。 - JSON をテキストボックスに貼り付け、Load をクリックします。
- 他の Grafana ダッシュボードのサンプル用に、ステップ 5-7 を繰り返します。
インポートされた Grafana ダッシュボードは、Dashboards ホームページから表示できます。
第21章 Introducing distributed tracing
分散トレースは、分散システム内のアプリケーション間のトランザクションの進行状況を追跡します。マイクロサービスのアーキテクチャーでは、トレースがサービス間のトランザクションの進捗を追跡します。トレースデータは、アプリケーションのパフォーマンスを監視し、ターゲットシステムおよびエンドユーザーアプリケーションの問題を調べるのに有用です。
AMQ Streams では、トレースによってメッセージのエンドツーエンドの追跡が容易になります。これは、ソースシステムから Kafka、さらに Kafka からターゲットシステムおよびアプリケーションへのメッセージの追跡です。分散トレースは、Grafana ダッシュボードおよびコンポーネントロガーでのメトリックの監視を補完します。
トレースのサポートは、以下の Kafka コンポーネントに組み込まれています。
- ソースクラスターからターゲットクラスターへのメッセージをトレースする MirrorMaker
- Kafka Connect が使用して生成したメッセージをトレースする Kafka Connect
- Kafka と HTTP クライアントアプリケーション間のメッセージをトレースする Kafka Bridge
トレースは Kafka ブローカーではサポートされません。
カスタムリソースを使用して、これらのコンポーネントのトレースを有効にして設定します。spec.template
プロパティーを使用してトレース設定を追加します。
spec.tracing.type
プロパティーを使用してトレースタイプを指定することにより、トレースを有効にします。
opentelemetry
-
type: opentelemetry
を指定して、OpenTelemetry を使用します。デフォルトでは、OpenTelemetry は OTLP (OpenTelemetry Protocol) エクスポーターとエンドポイントを使用してトレースデータを取得します。Jaeger トレースなど、OpenTelemetry でサポートされている他のトレースシステムを指定できます。これを行うには、トレース設定で OpenTelemetry エクスポーターとエンドポイントを変更します。 jaeger
-
OpenTracing と Jaeger クライアントを使用してトレースデータを取得するには、
type:jaeger
を指定します。
type: jaeger
トレースのサポートは非推奨です。Jaeger クライアントは廃止され、OpenTracing プロジェクトはアーカイブされました。そのため、今後の Kafka バージョンのサポートを保証できません。可能であれば、type: jaeger
トレースのサポートを 2023 年 6 月まで維持し、その後削除します。できるだけ早く OpenTelemetry に移行してください。
21.1. トレースオプション
Jaeger トレースシステムで OpenTelemetry または OpenTracing (非推奨) を使用します。
OpenTelemetry と OpenTracing は、トレースまたは監視システムから独立した API 仕様を提供します。
API を使用して、トレース用にアプリケーションコードをインストルメント化します。
- インストルメント化されたアプリケーションは、分散システム全体で個別のリクエストの トレース を生成します。
- トレースは、時間軸の中で特定の作業単位を定義する スパン で構成されます。
Jaeger はマイクロサービスベースの分散システムのトレースシステムです。
- Jaeger は トレース API を実装し、インストルメント化用のクライアントライブラリーを提供します。
- Jaeger ユーザーインターフェイスを使用すると、トレースデータをクエリー、フィルター、および分析できます。
簡単なクエリーを表示する Jaeger ユーザーインターフェイス
21.2. トレースの環境変数
Kafka コンポーネントのトレースを有効にするとき、または Kafka クライアントのトレーサーを初期化するときに、環境変数を使用します。
トレース環境変数は変更する可能性があります。最新情報は、OpenTelemetry ドキュメント および OpenTracing ドキュメント を参照してください。
次の表は、トレーサーをセットアップするための主要な環境変数を説明します。
プロパティー | 必要性 | 説明 |
---|---|---|
| 必要 | OpenTelemetry 向け Jaeger トレースサービスの名前。 |
| 必要 | トレースに使用されるエクスポーター。 |
| 必要 |
トレースに使用されるエクスポーター。デフォルトでは |
プロパティー | 必要性 | 説明 |
---|---|---|
| 必要 | Jaeger トレーサーサービスの名前。 |
| 不要 |
UDP (User Datagram Protocol) を介した |
| 不要 |
UDP を介した |
21.3. 分散トレースの設定
カスタムリソースでトレースタイプを指定して、Kafka コンポーネントで分散トレースを有効にします。メッセージをエンドツーエンドで追跡するために Kafka クライアントにトレーサーをインストルメント化します。
分散トレースを設定するには、次の手順を順番に実行します。
- MirrorMaker、Kafka Connect、Kafka Bridge のトレースを設定します。
クライアントのトレースを設定します。
トレーサーでクライアントをインストルメント化します。
21.3.1. 前提条件
分散トレースを設定する前に、Jaeger バックエンドコンポーネントが OpenShift クラスターにデプロイされていることを確認してください。OpenShift クラスターに Jaeger をデプロイするには、Jaeger Operator を使用することを推奨します。
デプロイメント手順は、Jaeger のドキュメント を参照してください。
AMQ Streams 以外のアプリケーションおよびシステムにトレースを設定する方法については、このコンテンツの対象外となります。
21.3.2. MirrorMaker、Kafka Connect、および Kafka Bridge リソースでのトレーシングの有効化
分散トレースは、MirrorMaker、MirrorMaker 2、Kafka Connect、および AMQ Streams Kafka Bridge でサポートされています。コンポーネントのカスタムリソースを設定して、トレーサーサービスを指定して有効にします。
リソースでトレースを有効にすると、次のイベントがトリガーされます。
- インターセプタークラスは、コンポーネントの統合コンシューマーとプロデューサーで更新されます。
- MirrorMaker、MirrorMaker 2、および Kafka Connect の場合、トレースエージェントは、リソースで定義されたトレース設定に基づいてトレーサーを初期化します。
- Kafka Bridge の場合、リソースで定義されたトレース設定に基づくトレーサーは、Kafka Bridge 自体によって初期化されます。
OpenTelemetry または OpenTracing を使用するトレースを有効にできます。
MirrorMaker および MirrorMaker 2 でのトレース
MirrorMaker および MirrorMaker 2 の場合、メッセージはソースクラスターからターゲットクラスターまでトレースされます。トレースデータは、MirrorMaker または MirrorMaker 2 コンポーネントに出入りするメッセージを記録します。
Kafka Connect でのトレーシング
Kafka Connect の場合、Kafka Connect によって生成および消費されたメッセージのみがトレースされます。Kafka Connect と外部システム間で送信されるメッセージをトレースするには、これらのシステムのコネクターでトレースを設定する必要があります。
Kafka Bridge でのトレーシング
Kafka Bridge の場合、Kafka Bridge によって生成および消費されるメッセージがトレースされます。Kafka Bridge を介してメッセージを送受信するクライアントアプリケーションから受信する HTTP リクエストもトレーシングされます。エンドツーエンドのトレーシングを設定するために、HTTP クライアントでトレーシングを設定する必要があります。
手順
以下の手順を、KafkaMirrorMaker
、KafkaMirrorMaker2
、KafkaConnect
、および KafkaBridge
リソースごとに実行します。
spec.template
プロパティーで、トレーサーサービスを設定します。- トレーシング環境変数 をテンプレートの設定プロパティーとして使用します。
-
OpenTelemetry の場合、
spec.tracing.type
プロパティーをopentelemetry
に設定します。 -
OpenTracing の場合、
spec.tracing.type
プロパティーをjaeger
に設定します。
OpenTelemetry を使用した Kafka Connect のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... template: connectContainer: env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry #...
OpenTelemetry を使用した MirrorMaker のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker metadata: name: my-mirror-maker spec: #... template: mirrorMakerContainer: env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry #...
OpenTelemetry を使用した MirrorMaker 2 のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mm2-cluster spec: #... template: connectContainer: env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry #...
OpenTelemetry を使用した Kafka Bridge のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: #... template: bridgeContainer: env: - name: OTEL_SERVICE_NAME value: my-otel-service - name: OTEL_EXPORTER_OTLP_ENDPOINT value: "http://otlp-host:4317" tracing: type: opentelemetry #...
OpenTracing を使用した Kafka Connect のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster spec: #... template: connectContainer: env: - name: JAEGER_SERVICE_NAME value: my-jaeger-service - name: JAEGER_AGENT_HOST value: jaeger-agent-name - name: JAEGER_AGENT_PORT value: "6831" tracing: type: jaeger #...
OpenTracing を使用した MirrorMaker のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker metadata: name: my-mirror-maker spec: #... template: mirrorMakerContainer: env: - name: JAEGER_SERVICE_NAME value: my-jaeger-service - name: JAEGER_AGENT_HOST value: jaeger-agent-name - name: JAEGER_AGENT_PORT value: "6831" tracing: type: jaeger #...
OpenTracing を使用した MirrorMaker 2 のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mm2-cluster spec: #... template: connectContainer: env: - name: JAEGER_SERVICE_NAME value: my-jaeger-service - name: JAEGER_AGENT_HOST value: jaeger-agent-name - name: JAEGER_AGENT_PORT value: "6831" tracing: type: jaeger #...
OpenTracing を使用した Kafka Bridge のトレース設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaBridge metadata: name: my-bridge spec: #... template: bridgeContainer: env: - name: JAEGER_SERVICE_NAME value: my-jaeger-service - name: JAEGER_AGENT_HOST value: jaeger-agent-name - name: JAEGER_AGENT_PORT value: "6831" tracing: type: jaeger #...
リソースを作成または更新します。
oc apply -f <resource_configuration_file>
21.3.3. Kafka クライアントのトレースの初期化
トレーサーを初期化し、分散トレース用にクライアントアプリケーションをインストルメント化します。Kafka プロデューサークライアントとコンシューマークライアント、および Kafka Streams API アプリケーションをインストルメント化できます。OpenTracing または OpenTelemetry のトレーサーを初期化できます。
一連の トレース環境変数 を使用して、トレーサーを設定および初期化します。
手順
各クライアントアプリケーションで、トレーサーの依存関係を追加します。
クライアントアプリケーションの
pom.xml
ファイルに Maven 依存関係を追加します。OpenTelemetry の依存関係
<dependency> <groupId>io.opentelemetry</groupId> <artifactId>opentelemetry-sdk-extension-autoconfigure</artifactId> <version>1.19.0.redhat-00002</version> </dependency> <dependency> <groupId>io.opentelemetry.instrumentation</groupId> <artifactId>opentelemetry-kafka-clients-{OpenTelemetryKafkaClient}</artifactId> <version>1.19.0.redhat-00002</version> </dependency> <dependency> <groupId>io.opentelemetry</groupId> <artifactId>opentelemetry-exporter-otlp</artifactId> <version>1.19.0.redhat-00002</version> </dependency>
OpenTracing の依存関係
<dependency> <groupId>io.jaegertracing</groupId> <artifactId>jaeger-client</artifactId> <version>1.8.1.redhat-00002</version> </dependency> <dependency> <groupId>io.opentracing.contrib</groupId> <artifactId>opentracing-kafka-client</artifactId> <version>0.1.15.redhat-00006</version> </dependency>
- トレース環境変数 を使用して、トレーサーの設定を定義します。
環境変数で初期化されるトレーサーを作成します。
OpenTelemetry のトレーサーの作成
OpenTelemetry ot = GlobalOpenTelemetry.get();
OpenTracing のトレーサーの作成
Tracer tracer = Configuration.fromEnv().getTracer();
トレーサーをグローバルトレーサーとして登録します。
GlobalTracer.register(tracer);
クライアントをインストルメント化します。
21.3.4. Kafka プロデューサーおよびコンシューマーをトレース用にインストルメント化
アプリケーションコードを計測して、Kafka プロデューサーとコンシューマーでのトレースを有効にします。デコレーターパターンまたはインターセプターを使用して、Java プロデューサーおよびコンシューマーアプリケーションコードをトレース用にインストルメント化します。続いて、メッセージが生成されたとき、またはトピックから取得されたときにトレースを記録できます。
OpenTelemetry および OpenTracing インストルメント化プロジェクトは、プロデューサーとコンシューマーのインストルメント化をサポートするクラスを提供します。
- デコレーターのインストルメント化
- デコレーターのインストルメント化では、トレース用に変更したプロデューサーまたはコンシューマーインスタンスを作成します。OpenTelemetry と OpenTracing では、デコレーターのインストルメント化が異なります。
- インターセプターのインストルメント化
- インターセプターのインストルメント化の場合、トレース機能をコンシューマーまたはプロデューサーの設定に追加します。インターセプターのインストルメント化は、OpenTelemetry と OpenTracing で同じです。
前提条件
クライアントのトレースを初期化 している。
トレース JAR を依存関係としてプロジェクトに追加して、プロデューサーアプリケーションとコンシューマーアプリケーションでインストルメント化を有効にしている。
手順
各プロデューサーおよびコンシューマーアプリケーションのアプリケーションコードで、これらの手順を実行します。デコレーターパターンまたはインターセプターのいずれかを使用して、クライアントアプリケーションコードをインストルメント化します。
デコレーターパターンを使用するには、変更したプロデューサーまたはコンシューマーインスタンスを作成して、メッセージを送受信します。
元の
KafkaProducer
またはKafkaConsumer
クラスを渡します。OpenTelemetry のデコレーターインストルメント化の例
// Producer instance Producer < String, String > op = new KafkaProducer < > ( configs, new StringSerializer(), new StringSerializer() ); Producer < String, String > producer = tracing.wrap(op); KafkaTracing tracing = KafkaTracing.create(GlobalOpenTelemetry.get()); producer.send(...); //consumer instance Consumer<String, String> oc = new KafkaConsumer<>( configs, new StringDeserializer(), new StringDeserializer() ); Consumer<String, String> consumer = tracing.wrap(oc); consumer.subscribe(Collections.singleton("mytopic")); ConsumerRecords<Integer, String> records = consumer.poll(1000); ConsumerRecord<Integer, String> record = ... SpanContext spanContext = TracingKafkaUtils.extractSpanContext(record.headers(), tracer);
OpenTracing のデコレーターインストルメント化の例
//producer instance KafkaProducer<Integer, String> producer = new KafkaProducer<>(senderProps); TracingKafkaProducer<Integer, String> tracingProducer = new TracingKafkaProducer<>(producer, tracer); TracingKafkaProducer.send(...) //consumer instance KafkaConsumer<Integer, String> consumer = new KafkaConsumer<>(consumerProps); TracingKafkaConsumer<Integer, String> tracingConsumer = new TracingKafkaConsumer<>(consumer, tracer); tracingConsumer.subscribe(Collections.singletonList("mytopic")); ConsumerRecords<Integer, String> records = tracingConsumer.poll(1000); ConsumerRecord<Integer, String> record = ... SpanContext spanContext = TracingKafkaUtils.extractSpanContext(record.headers(), tracer);
インターセプターを使用するには、プロデューサーまたはコンシューマーの設定でインターセプタークラスを設定します。
通常の方法で
KafkaProducer
クラスとKafkaConsumer
クラスを使用します。TracingProducerInterceptor
およびTracingConsumerInterceptor
インターセプタークラスは、トレース機能を処理します。インターセプターを使用したプロデューサー設定の例
senderProps.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, TracingProducerInterceptor.class.getName()); KafkaProducer<Integer, String> producer = new KafkaProducer<>(senderProps); producer.send(...);
インターセプターを使用したコンシューマー設定の例
consumerProps.put(ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG, TracingConsumerInterceptor.class.getName()); KafkaConsumer<Integer, String> consumer = new KafkaConsumer<>(consumerProps); consumer.subscribe(Collections.singletonList("messages")); ConsumerRecords<Integer, String> records = consumer.poll(1000); ConsumerRecord<Integer, String> record = ... SpanContext spanContext = TracingKafkaUtils.extractSpanContext(record.headers(), tracer);
21.3.5. Kafka Streams アプリケーションのトレース用のインストルメント化
アプリケーションコードを計測して、Kafka Streams API アプリケーションでのトレースを有効にします。デコレーターパターンまたはインターセプターを使用して、トレース用に Kafka Streams API アプリケーションをインストルメント化します。続いて、メッセージが生成されたとき、またはトピックから取得されたときにトレースを記録できます。
- デコレーターのインストルメント化
-
デコレーターのインストルメント化は、トレース用に変更した Kafka Streams インスタンスを作成します。OpenTracing インストルメント化プロジェクトは、Kafka Streams のインストルメント化をサポートする
TracingKafkaClientSupplier
クラスを提供します。TracingKafkaClientSupplier
サプライヤーインターフェイスのインスタンスをラップして作成し、Kafka Streams のトレースインストルメント化を行います。OpenTelemetry の場合、プロセスは同じですが、サポートを提供するためにカスタムTracingKafkaClientSupplier
クラスを作成する必要があります。 - インターセプターのインストルメント化
- インターセプターインストルメント化の場合は、トレース機能を Kafka Streams プロデューサーおよびコンシューマー設定に追加します。
前提条件
クライアントのトレースを初期化 している。
トレース JAR を依存関係としてプロジェクトに追加して、Kafka Streams アプリケーションでインストルメント化を有効にしている。
-
OpenTelemetry で Kafka Streams をインストルメント化するために、カスタムの
TracingKafkaClientSupplier
を記述している。 カスタム
TracingKafkaClientSupplier
が Kafka のDefaultKafkaClientSupplier
を拡張し、プロデューサーとコンシューマーの作成メソッドを上書きして、インスタンスを Telemetry 関連のコードでラップできるようにしている。カスタム
TracingKafkaClientSupplier
の例private class TracingKafkaClientSupplier extends DefaultKafkaClientSupplier { @Override public Producer<byte[], byte[]> getProducer(Map<String, Object> config) { KafkaTelemetry telemetry = KafkaTelemetry.create(GlobalOpenTelemetry.get()); return telemetry.wrap(super.getProducer(config)); } @Override public Consumer<byte[], byte[]> getConsumer(Map<String, Object> config) { KafkaTelemetry telemetry = KafkaTelemetry.create(GlobalOpenTelemetry.get()); return telemetry.wrap(super.getConsumer(config)); } @Override public Consumer<byte[], byte[]> getRestoreConsumer(Map<String, Object> config) { return this.getConsumer(config); } @Override public Consumer<byte[], byte[]> getGlobalConsumer(Map<String, Object> config) { return this.getConsumer(config); } }
手順
Kafka Streams API アプリケーションごとにこの手順を実行します。
デコレーターパターンを使用するには、
TracingKafkaClientSupplier
サプライヤーインターフェイスのインスタンスを作成し、そのサプライヤーインターフェイスをKafkaStreams
に提供します。デコレーターのインストルメント化の例
KafkaClientSupplier supplier = new TracingKafkaClientSupplier(tracer); KafkaStreams streams = new KafkaStreams(builder.build(), new StreamsConfig(config), supplier); streams.start();
インターセプターを使用するには、Kafka Streams プロデューサーおよびコンシューマー設定でインターセプタークラスを設定します。
TracingProducerInterceptor
およびTracingConsumerInterceptor
インターセプタークラスは、トレース機能を処理します。インターセプターを使用したプロデューサーとコンシューマーの設定例
props.put(StreamsConfig.PRODUCER_PREFIX + ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, TracingProducerInterceptor.class.getName()); props.put(StreamsConfig.CONSUMER_PREFIX + ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG, TracingConsumerInterceptor.class.getName());
21.3.6. 別の OpenTelemetry トレースシステムの導入
デフォルトの OTLP システムの代わりに、OpenTelemetry でサポートされている他のトレースシステムを指定できます。これを行うには、AMQ Streams で提供される Kafka イメージに必要なアーティファクトを追加します。必要な実装固有の環境変数も設定する必要があります。次に、OTEL_TRACES_EXPORTER
環境変数を使用して、新しいトレースの実装を有効にします。
この手順では、Zipkin トレースを実装する方法を示します。
手順
トレースアーティファクトを AMQ Streams Kafka イメージの
/opt/kafka/libs/
ディレクトリーに追加します。新しいカスタムイメージを作成するための基本イメージとして、Red Hat Ecosystem Catalog の Kafka コンテナーイメージを使用できます。
Zipkin の OpenTelemetry アーティファクト
io.opentelemetry:opentelemetry-exporter-zipkin
新しいトレース実装のトレースエクスポーターとエンドポイントを設定します。
Zikpin トレーサーの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mm2-cluster spec: #... template: connectContainer: env: - name: OTEL_SERVICE_NAME value: my-zipkin-service - name: OTEL_EXPORTER_ZIPKIN_ENDPOINT value: http://zipkin-exporter-host-name:9411/api/v2/spans 1 - name: OTEL_TRACES_EXPORTER value: zipkin 2 tracing: type: opentelemetry #...
21.3.7. カスタムスパン名
トレース スパン は Jaeger の論理作業単位で、操作名、開始時間、および期間が含まれます。スパンには組み込みの名前がありますが、使用する Kafka クライアントインストルメント化で、カスタムスパン名を指定できます。
カスタムスパン名の指定はオプションであり、プロデューサーおよびコンシューマークライアントインストルメント化 または Kafka Streams インストルメント化 でデコレーターパターンを使用する場合にのみ適用されます。
21.3.7.1. OpenTelemetry のスパン名の指定
OpenTelemetry でカスタムスパン名を直接指定できません。代わりに、コードをクライアントアプリケーションに追加してスパン名を取得し、追加のタグと属性を抽出します。
属性を抽出するコード例
//Defines attribute extraction for a producer private static class ProducerAttribExtractor implements AttributesExtractor < ProducerRecord < ? , ? > , Void > { @Override public void onStart(AttributesBuilder attributes, ProducerRecord < ? , ? > producerRecord) { set(attributes, AttributeKey.stringKey("prod_start"), "prod1"); } @Override public void onEnd(AttributesBuilder attributes, ProducerRecord < ? , ? > producerRecord, @Nullable Void unused, @Nullable Throwable error) { set(attributes, AttributeKey.stringKey("prod_end"), "prod2"); } } //Defines attribute extraction for a consumer private static class ConsumerAttribExtractor implements AttributesExtractor < ConsumerRecord < ? , ? > , Void > { @Override public void onStart(AttributesBuilder attributes, ConsumerRecord < ? , ? > producerRecord) { set(attributes, AttributeKey.stringKey("con_start"), "con1"); } @Override public void onEnd(AttributesBuilder attributes, ConsumerRecord < ? , ? > producerRecord, @Nullable Void unused, @Nullable Throwable error) { set(attributes, AttributeKey.stringKey("con_end"), "con2"); } } //Extracts the attributes public static void main(String[] args) throws Exception { Map < String, Object > configs = new HashMap < > (Collections.singletonMap(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092")); System.setProperty("otel.traces.exporter", "jaeger"); System.setProperty("otel.service.name", "myapp1"); KafkaTracing tracing = KafkaTracing.newBuilder(GlobalOpenTelemetry.get()) .addProducerAttributesExtractors(new ProducerAttribExtractor()) .addConsumerAttributesExtractors(new ConsumerAttribExtractor()) .build();
21.3.7.2. OpenTracing のスパン名の指定
OpenTracing のカスタムスパン名を指定するには、プロデューサーとコンシューマーをインストルメント化するときに BiFunction
オブジェクトを追加の引数として渡します。
組み込みの名前とカスタムスパン名を指定して、デコレーターパターンでクライアントアプリケーションコードをインストルメント化する方法の詳細は、OpenTracing Apache Kafka client instrumentation を参照してください。
第22章 診断およびトラブルシューティングデータの取得
report.sh
診断ツールは、Red Hat が提供するスクリプトで、OpenShift 上の AMQ Streams デプロイメントのトラブルシューティングに必要なデータを収集します。関連するログ、設定ファイル、その他の診断データを収集して、問題の特定と解決に役立てることができます。スクリプトを実行するときに、追加のパラメーターを指定して特定のデータを取得できます。
前提条件
- Bash 4 以降
-
OpenShift
oc
コマンドラインツールがインストールされ、稼働中のクラスターに接続するように設定されている。
これにより、oc
コマンドラインツールがクラスターと対話し、必要な診断データを取得するのに必要な認証が確立されます。
手順
ツールをダウンロードして展開します。
診断ツールは、AMQ Streams ソフトウェアダウンロードページ から入手できます。
ツールを展開したディレクトリーから、ターミナルを開き、レポートツールを実行します。
./report.sh --namespace=<cluster_namespace> --cluster=<cluster_name> --out-dir=<local_output_directory>
<cluster_namespace>
は AMQ Streams デプロイメントの実際の OpenShift namespace に、<cluster_name>
は Kafka クラスターの名前に、<local_output_directory>
は生成されたレポートを保存するローカルディレクトリーへのパスに置き換えます。ディレクトリーを指定しない場合は、一時ディレクトリーが作成されます。必要に応じて、他のオプションのレポートオプションを含めます。
- --bridge=<string>
- Kafka Bridge クラスターの名前を指定して、その Pod とログのデータを取得します。
- --connect=<string>
- Kafka Connect クラスターの名前を指定して、その Pod とログ上のデータを取得します。
- --mm2=<string>
- Pod およびログのデータを取得するために Mirror Maker 2 クラスターの名前を指定します。
- --secrets=(off|hidden|all)
シークレットの詳細レベルを指定します。デフォルトは
hidden
です。利用可能なオプションは以下のとおりです。-
All
: シークレットキーおよびデータの値が報告されます。 -
hidden
: キーだけが含まれるシークレットが報告されます。パスワードなどのデータ値が削除されます。 -
off
: シークレットはまったく報告されません。
-
データ収集オプションを含む要求の例
./report.sh --namespace=my-amq-streams-namespace --cluster=my-kafka-cluster --bridge=my-bridge-component --secrets=all --out-dir=~/reports
注記必要に応じて、
chmod
コマンドを使用して、スクリプトの実行権限をユーザーに割り当てます。たとえば、chmod +x report.sh
などです。
スクリプトの実行が完了すると、出力ディレクトリーには、AMQ Streams デプロイメントの各コンポーネントについて収集されたログ、設定、その他の診断データのファイルとディレクトリーが含まれます。
レポート診断ツールによって収集されるデータ
次のコンポーネントのデータが存在する場合は、それが返されます。
Cluster Operator
- デプロイメント YAML およびログ
- 関連するすべての Pod およびそのログ
- Cluster Operator に関連するリソースの YAML ファイル (ClusterRoles、ClusterRoleBindings)
drain Cleaner (存在する場合)
- デプロイメント YAML およびログ
- Pod ログ
Custom Resources
- カスタムリソース定義 (CRD) YAML
- 関連するすべてのカスタムリソース (CR) の YAML ファイル
イベント
- 指定された namespace に関連するイベント
設定
-
Kafka Pod のログおよび設定ファイル (
strimzi.properties
) -
ZooKeeper Pod のログおよび設定ファイル (
zookeeper.properties
) - Entity Operator (Topic Operator、User Operator) Pod ログ
- Cruise Control の Pod ログ
- Kafka Exporter Pod ログ
- Bridge Pod ログ (オプションで指定されている場合)
- Connect Pod ログ (オプションで指定されている場合)
- MirrorMaker 2 Pod ログ (オプションで指定されている場合)
シークレット (オプションで要求された場合)
- 指定された Kafka クラスターに関連するすべてのシークレットの YAML ファイル
第23章 AMQ Streams のアップグレード
AMQ Streams インストールをバージョン 2.5 にアップグレードすると、新機能、パフォーマンスの向上、強化されたセキュリティーオプションのメリットが得られます。アップグレード中に、Kafka もサポートされている最新バージョンに更新され、AMQ Streams デプロイメントに追加機能とバグ修正が導入されます。
新しいバージョンで問題が発生した場合は、AMQ Streams を以前のバージョンに ダウングレード できます。
リリースされた AMQ Streams バージョンは、AMQ Streams ソフトウェアダウンロードページ を参照してください。
ダウンタイムなしのアップグレード
高可用性 (レプリケーション係数 3 以上、および均等に分散されたパーティション) で設定されたトピックの場合、アップグレードプロセスによってコンシューマーとプロデューサーにダウンタイムが発生することはありません。
アップグレードによりローリング更新がトリガーされ、プロセスのさまざまな段階でブローカーが 1 つずつ再起動されます。この間、クラスター全体の可用性が一時的に低下するため、ブローカーに障害が発生した場合にメッセージが失われるリスクが増加する可能性があります。
23.1. AMQ Streams のアップグレードパス
AMQ Streams には 2 つのアップグレードパスが利用可能です。
- 増分アップグレード
- 増分アップグレードには、AMQ Streams を以前のマイナーバージョンからバージョン 2.5 にアップグレードすることが含まれます。
- マルチバージョンのアップグレード
- 複数バージョンのアップグレードには、1 つ以上の中間バージョンをスキップして、1 回のアップグレード内で AMQ Streams の古いバージョンをバージョン 2.5 にアップグレードすることが含まれます。たとえば、AMQ Streams 2.3 から AMQ Streams 2.5 に直接アップグレードすることが可能です。
23.1.1. アップグレード時の Kafka バージョンのサポート
AMQ Streams をアップグレードする場合は、使用されている Kafka バージョンとの互換性を確保することが重要です。
サポートされている Kafka バージョンが新旧バージョンで異なる場合でも、複数バージョンのアップグレードが可能です。ただし、現在の Kafka バージョンをサポートしていない新しい AMQ Streams バージョンにアップグレードしようとすると、Kafka バージョンがサポートされていないことを示すエラーが生成 されます。この場合、Kafka
カスタムリソースの spec.kafka.version
を新しい AMQ Streams バージョンでサポートされているバージョンに変更することにより、AMQ Streams アップグレードの一部として Kafka バージョンをアップグレードする必要があります。
- Kafka 3.5.0 は実稼働環境での使用がサポートされています。
- Kafka 3.4.0 は、AMQ Streams 2.5 にアップグレードする目的でのみサポートされます。
23.1.2. 1.7 より前の AMQ Streams バージョンからのアップグレード
バージョン 1.7 より前のバージョンから最新バージョンの AMQ Streams にアップグレードする場合は、以下を実行します。
- 標準のシーケンス に従って AMQ Streams をバージョン 1.7 にアップグレードします。
-
AMQ Streams に付属の API 変換ツール を使用して、AMQ Streams カスタムリソースを
v1beta2
に変換します。 次のいずれかを行います。
-
AMQ Streams 1.8 にアップグレードします (
ControlPlaneListener
フィーチャーゲートはデフォルトで無効)。 -
ControlPlaneListener
フィーチャーゲートを無効にして、AMQ Streams 2.0 または 2.2 (ControlPlaneListener
フィーチャーゲートはデフォルトで有効) にアップグレードします。
-
AMQ Streams 1.8 にアップグレードします (
-
ControlPlaneListener
フィーチャーゲートを有効化します。 - 標準のシーケンス に従って AMQ Streams 2.5 にアップグレードします。
AMQ Streams カスタムリソースは、リリース 1.7 で v1beta2
API バージョンを使用するようになりました。AMQ Streams 1.8 以降にアップグレードする 前 に、CRD とカスタムリソースを変換する必要があります。API 変換ツールの使用方法については、AMQ Streams 1.7 アップグレードドキュメント を参照してください。
最初にバージョン 1.7 にアップグレードする代わりに、カスタムリソースをバージョン 1.7 からインストールしてから、リソースを変換することができます。
ControlPlaneListener
機能が AMQ Streams で永続的に有効になりました。無効になっている AMQ Streams のバージョンにアップグレードしてから、Cluster Operator 設定の STRIMZI_FEATURE_GATES
環境変数を使用して有効にする必要があります。
ControlPlaneListener
フィーチャーゲートの無効化
env: - name: STRIMZI_FEATURE_GATES value: -ControlPlaneListener
ControlPlaneListener
フィーチャーゲートの有効化
env: - name: STRIMZI_FEATURE_GATES value: +ControlPlaneListener
23.2. 必要なアップグレードシーケンス
ダウンタイムなしでブローカーとクライアントをアップグレードするには、以下の順序でアップグレード手順を 必ず 完了してください。
OpenShift クラスターのバージョンがサポートされていることを確認してください。
AMQ Streams 2.5 は OpenShift 4.10 〜 4.14 でサポートされています。
- Cluster Operator をアップグレードします。
- サポートされる最新の Kafka バージョンに、すべての Kafka ブローカーとクライアントアプリケーションをアップグレードします。
23.3. 最小限のダウンタイムでの OpenShift のアップグレード
OpenShift をアップグレードする場合は、OpenShift アップグレードのドキュメントを参照して、アップグレードパスとノードを正しくアップグレードする手順を確認してください。OpenShift をアップグレードする前に、お使いの AMQ Streams バージョンでサポートされるバージョン を確認してください。
アップグレードを実行する際に、Kafka クラスターを利用できるようにしておくことを推奨します。
以下のストラテジーのいずれかを使用できます。
- Pod の Disruption Budget を設定します。
以下の方法の 1 つで Pod をローリングします。
- AMQ Streams Drain Cleaner の使用
- Pod へのアノテーションの手動適用
いずれかの方法を使用して Pod をロールする場合は、maxUnavailable
プロパティーを使用して Pod 中断バジェットをゼロに設定する必要があります。
StrimziPodSet
カスタムリソースは、maxUnavailable
値を直接使用できないカスタムコントローラーを使用して Kafka および ZooKeeper Pod を管理します。代わりに、maxUnavailable
値は minAvailable
値に変換されます。ブローカー Pod が 3 つあり、maxUnavailable
プロパティーが 0
(ゼロ) に設定されている場合、minAvailable
設定は 3
で、3 つのブローカー Pod すべてが使用可能である必要があり、使用できない Pod が存在しないことが許可されます。
Kafka を稼働し続けるには、高可用性のためにトピックも複製する必要があります。これには、少なくとも 3 つのレプリケーション係数と、レプリケーション係数よりも 1 つ少ない In-Sync レプリカの最小数を指定するトピック設定が必要です。
高可用性のためにレプリケートされた Kafka トピック
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: my-cluster spec: partitions: 1 replicas: 3 config: # ... min.insync.replicas: 2 # ...
高可用性環境では、Cluster Operator はアップグレードプロセス時にトピックの In-Sync レプリカの最小数を維持し、ダウンタイムが発生しないようにします。
23.3.1. AMQ Streams Drain Cleaner を使用した Pod のローリング
AMQ Streams Drain Cleaner を使用して、アップグレード時にノードをエビクトできます。AMQ Streams Drain Cleaner は、Pod のローリング更新アノテーションを Pod に付けます。これにより、Cluster Operator に、エビクトされた Pod のローリング更新を実行するように指示します。
Pod の Disruption Budget を使用すると、特定の時点で、指定された数の Pod だけが、利用できなくなります。Kafka ブローカー Pod の計画メンテナンス時に、Pod の Disruption Budget を使用して、Kafka が高可用性環境で引き続き実行されるようにします。
Kafka コンポーネントの template
のカスタマイズを使用して、Pod の Disruption Budget を指定します。デフォルトでは、Pod の Disruption Budget は、単一の Pod のみを指定時に利用できないようにします。
Drain Cleaner を使用して Pod をロールには、maxUnavailable
を 0
(ゼロ) に設定します。Pod 中断バジェットをゼロに減らすと自発的な中断が防止されるため、Pod を手動で削除する必要があります。
Pod の Disruption Budget の指定
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: # ... template: podDisruptionBudget: maxUnavailable: 0 # ...
23.3.2. トピックを利用可能な状態に維持しながらの手動での Pod のローリング
アップグレード時に、Cluster Operator 経由で Pod の手動ローリング更新をトリガーできます。Pod
リソースを使用して、ローリング更新は新規 Pod でリソースの Pod を再起動します。AMQ Streams Drain Cleaner を使用する場合と同様に、Pod の Disruption Budget の maxUnavailable
の値をゼロに設定する必要があります。
ドレイン (解放) する必要のある Pod を監視する必要があります。次に Pod アノテーションを追加して更新を行います。
ここで、アノテーションは Kafka ブローカーを更新します。
Kafka ブローカー Pod での手動ローリング更新の実行
oc annotate pod <cluster_name>-kafka-<index> strimzi.io/manual-rolling-update=true
<cluster_name> は、クラスターの名前に置き換えます。Kafka ブローカー Pod の名前は <cluster-name>-kafka-<index> です。ここで、<index> はゼロで始まり、レプリカの合計数から 1 を引いた数で終了します。例: my-cluster-kafka-0
23.4. Cluster Operator のアップグレード
デプロイの最初の方法と同じ方法を使用して、Cluster Operator をアップグレードします。
- インストールファイルの使用
- インストール用の YAML ファイルを使用して Cluster Operator をデプロイした場合は、インストールファイルを使用した Cluster Operator のアップグレード の説明に従って、Operator のインストールファイルを変更してアップグレードを実行します。
- OperatorHub の使用
OperatorHub から AMQ Streams をデプロイした場合は、Operator Lifecycle Manager (OLM) を使用して AMQ Streams Operator の更新チャネルを新しい AMQ Streams バージョンに変更します。
チャネルを更新すると、選択したアップグレード戦略に応じて、次のタイプのアップグレードのいずれかが開始されます。
- 自動アップグレード
- インストール開始前に承認が必要な手動アップグレード
注記安定した チャンネルに登録すると、チャンネルを変更せずに自動更新を取得できます。ただし、インストール前のアップグレード手順が失われる可能性があるため、自動更新を有効にすることは推奨しません。バージョン固有のチャネルでのみ自動アップグレードを使用します。
OperatorHub を使用した Operator のアップグレードについての詳細は、Upgrading installed Operators (OpenShift documentation) を参照してください。
23.4.1. Cluster Operator をアップグレードすると Kafka バージョンエラーが返される
Cluster Operator を、使用している Kafka の現在のバージョンをサポートしていないバージョンにアップグレードすると、サポートされていない Kafka バージョン エラーが発生します。このエラーはすべてのインストール方法に適用され、Kafka をサポートされている Kafka バージョンにアップグレードする必要があることを意味します。Kafka
リソースの spec.kafka.version
をサポートされているバージョンに変更します。
oc
を使用して、Kafka
リソースの ステータス
でこのようなエラーメッセージを確認できます。
エラーの Kafka ステータスの確認
oc get kafka <kafka_cluster_name> -n <namespace> -o jsonpath='{.status.conditions}'
<kafka_cluster_name> は、Kafka クラスターの名前に、<namespace> は、Pod が実行されている OpenShift namespace に置き換えます。
23.4.2. OperatorHub を使用した AMQ Streams 1.7 以前からのアップグレード
OperatorHub を使用して AMQ Streams 1.7 以前からアップグレードする場合に必要となるアクション
AMQ Streams Operator をバージョン 2.5 にアップグレードする前に、次の変更を加える必要があります。
-
カスタムリソースおよび CRD を
v1beta2
に変換します。 -
ControlPlaneListener
フィーチャーゲートが無効になっている AMQ Streams のバージョンにアップグレードします。
これらの要件については、「1.7 より前の AMQ Streams バージョンからのアップグレード」 を参照してください。
AMQ Streams 1.7 以前からアップグレードする場合は、次の手順を実行します。
- AMQ Streams 1.7 にアップグレードします。
- AMQ Streams ソフトウェアのダウンロードページ から、AMQ Streams 1.8 で提供される Red Hat AMQ Streams API Conversion Tool をダウンロードします。
カスタムリソースおよび CRD を
v1beta2
に変換します。詳細は、AMQ Streams 1.7 アップグレードドキュメント を参照してください。
- OperatorHub で、AMQ Streams Operator のバージョン 1.7 を削除します。
AMQ Streams Operator のバージョン 2.5 も存在する場合は、削除します。
存在しない場合は、次のステップに進みます。
AMQ Streams Operator の Approval Strategy が Automatic に設定されている場合、Operator のバージョン 2.5 がすでにクラスターに存在する可能性があります。リリース前にカスタムリソースおよび CRD を
v1beta2
API バージョンに 変換しなかった 場合、Operator が管理するカスタムリソースおよび CRD は古い API バージョンを使用します。その結果、2.5 Operator は Pending ステータスで停止します。この状況では、AMQ Streams Operator のバージョン 1.7 だけでなくバージョン 2.5 も削除する必要があります。両方の Operator を削除すると、新しい Operator バージョンがインストールされるまで、調整は一時停止されます。カスタムリソースへの変更が遅延しないように、次の手順を直ちに実行します。
OperatorHub で、次のいずれかを実行します。
-
AMQ Streams Operator のバージョン 1.8 にアップグレードします (
ControlPlaneListener
フィーチャーゲートはデフォルトで無効になっています)。 -
ControlPlaneListener
フィーチャーゲートを無効にして、AMQ Streams Operator のバージョン 2.0 または 2.2 (ControlPlaneListener
フィーチャーゲートがデフォルトで有効になっている) にアップグレードします。
-
AMQ Streams Operator のバージョン 1.8 にアップグレードします (
AMQ Streams Operator のバージョン 2.5 にすぐにアップグレードしてください。
インストールされた 2.5 Operator はクラスターの監視を開始し、ローリング更新を実行します。このプロセス中に、クラスターのパフォーマンスが一時的に低下する場合があります。
23.4.3. インストールファイルを使用した Cluster Operator のアップグレード
この手順では、AMQ Streams 2.5 を使用するように Cluster Operator デプロイメントをアップグレードする方法を説明します。
インストール YAML ファイルを使用して Cluster Operator をデプロイした場合は、以下の手順に従います。
Cluster Operator によって管理される Kafka クラスターの可用性は、アップグレード操作による影響を受けません。
特定バージョンの AMQ Streams へのアップグレード方法は、そのバージョンをサポートするドキュメントを参照してください。
前提条件
- 既存の Cluster Operator デプロイメントを利用できる。
- AMQ Streams 2.5 のリリースアーティファクトがダウンロード済みである。
手順
-
既存の Cluster Operator リソース (
/install/cluster-operator
ディレクトリー内) に追加した設定変更を書留めておきます。すべての変更は、新しいバージョンの Cluster Operator によって上書きされます。 - カスタムリソースを更新して、AMQ Streams バージョン 2.5 で使用できるサポート対象の設定オプションを反映します。
Cluster Operator を更新します。
Cluster Operator を実行している namespace に従い、新しい Cluster Operator バージョンのインストールファイルを編集します。
Linux の場合は、以下を使用します。
sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
MacOS の場合は、以下を使用します。
sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
-
既存の Cluster Operator
Deployment
で 1 つ以上の環境変数を編集した場合、install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
ファイルを編集し、これらの環境変数を使用します。
設定を更新したら、残りのインストールリソースとともにデプロイします。
oc replace -f install/cluster-operator
ローリング更新が完了するのを待ちます。
新しい Operator バージョンがアップグレード元の Kafka バージョンをサポートしなくなった場合、Cluster Operator はバージョンがサポートされていないことを示すエラーメッセージを返します。そうでない場合は、エラーメッセージは返されません。
エラーメッセージが返される場合は、新しい Cluster Operator バージョンでサポートされる Kafka バージョンにアップグレードします。
-
Kafka
カスタムリソースを編集します。 -
spec kafka.version
プロパティーをサポートされる Kafka バージョンに変更します。
-
- エラーメッセージが返されない場合は、次のステップに進みます。Kafka のバージョンを後でアップグレードします。
Kafka Pod のイメージを取得して、アップグレードが正常に完了したことを確認します。
oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'
イメージタグには、新しい Operator のバージョンが表示されます。以下に例を示します。
registry.redhat.io/amq-streams/strimzi-kafka-35-rhel8:2.5.1
Cluster Operator はバージョン 2.5 にアップグレードされましたが、管理するクラスターで稼働している Kafka のバージョンは変更されていません。
Cluster Operator のアップグレードの次に、Kafka のアップグレード を実行する必要があります。
23.5. Kafka のアップグレード
Cluster Operator を 2.5 にアップグレードした後、次にすべての Kafka ブローカーをサポートされる最新バージョンの Kafka にアップグレードします。
Kafka のアップグレードは、Kafka ブローカーのローリング更新によって Cluster Operator によって実行されます。
Cluster Operator は、Kafka クラスターの設定に基づいてローリング更新を開始します。
Kafka.spec.kafka.config に以下が含まれている場合 | Cluster Operator によって開始されるもの |
---|---|
|
単一のローリング更新。更新後、 |
| 2 つのローリング更新 |
| 2 つのローリング更新 |
Kafka 3.0.0 以降、inter.broker.protocol.version
が 3.0
以上に設定されていると、log.message.format.version
オプションは無視されるため、設定する必要はありません。ブローカーの log.message.format.version
プロパティーおよびトピックの message.format.version
プロパティーは、非推奨となり、Kafka の今後のリリースで削除されます。
Cluster Operator は、Kafka のアップグレードの一環として、ZooKeeper のローリング更新を開始します。
- ZooKeeper バージョンが変更されなくても、単一のローリング更新が発生します。
- 新しいバージョンの Kafka に新しいバージョンの ZooKeeper が必要な場合、追加のローリング更新が発生します。
23.5.1. Kafka バージョン
Kafka のログメッセージ形式バージョンと inter-broker プロトコルバージョンは、それぞれメッセージに追加されるログ形式バージョンとクラスターで使用される Kafka プロトコルのバージョンを指定します。正しいバージョンが使用されるようにするため、アップグレードプロセスでは、既存の Kafka ブローカーの設定変更と、クライアントアプリケーション (コンシューマーおよびプロデューサー) のコード変更が行われます。
以下の表は、Kafka バージョンの違いを示しています。
AMQ Streams のバージョン | Kafka バージョン | Inter-broker プロトコルバージョン | ログメッセージ形式バージョン | ZooKeeper バージョン |
---|---|---|---|---|
2.5 | 3.5.0 | 3.5 | 3.5 | 3.6.4 |
2.4 | 3.4.0 | 3.4 | 3.4 | 3.6.3 |
AMQ Streams 2.5 は Kafka 3.5.0 を使用しますが、アップグレードの目的で Kafka 3.4.0 もサポートされます。
Inter-broker プロトコルバージョン
Kafka では、Inter-broker の通信に使用されるネットワークプロトコルは Inter-broker プロトコル と呼ばれます。Kafka の各バージョンには、互換性のあるバージョンの Inter-broker プロトコルがあります。上記の表が示すように、プロトコルのマイナーバージョンは、通常 Kafka のマイナーバージョンと一致するように番号が増加されます。
Inter-broker プロトコルのバージョンは、Kafka
リソースでクラスター全体に設定されます。これを変更するには、Kafka.spec.kafka.config
の inter.broker.protocol.version
プロパティーを編集します。
ログメッセージ形式バージョン
プロデューサーが Kafka ブローカーにメッセージを送信すると、特定の形式を使用してメッセージがエンコードされます。この形式は Kafka のリリース間で変更になる可能性があるため、メッセージにはエンコードに使用されたメッセージ形式のバージョンが指定されます。
特定のメッセージ形式のバージョンを設定するために使用されるプロパティーは以下のとおりです。
-
トピック用の
message.format.version
プロパティー -
Kafka ブローカーの
log.message.format.version
プロパティー
Kafka 3.0.0 以降、メッセージ形式のバージョンの値は inter.broker.protocol.version
と一致すると見なされ、設定する必要はありません。値は、使用される Kafka バージョンを反映します。
Kafka 3.0.0 以降にアップグレードする場合は、inter.broker.protocol.version
を更新する際にこの設定を削除できます。それ以外の場合は、アップグレード先の Kafka バージョンに基づいてメッセージ形式のバージョンを設定します。
トピックの message.format.version
のデフォルト値は、Kafka ブローカーに設定される log.message.format.version
によって定義されます。トピックの message.format.version
は、トピック設定を編集すると手動で設定できます。
23.5.2. クライアントをアップグレードするストラテジー
Kafka クライアントをアップグレードすると、Kafka の新しいバージョンで導入された機能、修正、改善の恩恵を受けることができます。アップグレードされたクライアントは、他のアップグレードされた Kafka コンポーネントとの互換性を維持します。クライアントのパフォーマンスと安定性も向上する可能性があります。
スムーズな移行を確保するために、Kafka クライアントとブローカーをアップグレードするための最適なアプローチを検討してください。選択するアップグレード戦略は、ブローカーを最初にアップグレードするかクライアントを最初にアップグレードするかによって異なります。Kafka 3.0 以降、ブローカーとクライアントを独立して任意の順序でアップグレードできるようになりました。クライアントまたはブローカーをアップグレードするかどうかは、最初に、アップグレードする必要があるアプリケーションの数や許容できるダウンタイムの量など、いくつかの要因によって決まります。
ブローカーより前にクライアントをアップグレードすると、一部の新機能はブローカーによってまだサポートされていないため、機能しない可能性があります。ただし、ブローカーは、異なるバージョンで実行され、異なるログメッセージバージョンをサポートするプロデューサーとコンシューマーを処理できます。
Kafka 3.0 より古いバージョンの Kafka を使用する場合のクライアントのアップグレード
Kafka 3.0 より前では、log.message.format.version
プロパティー (またはトピックレベルの message.format.version
プロパティー) を使用して、ブローカーの特定のメッセージ形式を設定していました。これにより、ブローカーは、古いメッセージ形式を使用していた古い Kafka クライアントをサポートできるようになりました。そうしないと、ブローカーは古いクライアントからのメッセージを変換する必要があり、これには大幅なパフォーマンスコストがかかります。
Apache Kafka Java クライアントは、バージョン 0.11 以降、最新のメッセージ形式バージョンをサポートしています。すべてのクライアントが最新のメッセージバージョンを使用している場合は、ブローカーをアップグレードするときに、log.message.format.version
または message.format.version
のオーバーライドを削除できます。
ただし、古いメッセージ形式バージョンを使用しているクライアントがまだある場合は、まずクライアントをアップグレードすることを推奨します。コンシューマーから始めて、ブローカーのアップグレード時に log.message.format.version
または message.format.version
のオーバーライドを削除する前に、プロデューサーをアップグレードします。これにより、すべてのクライアントが最新のメッセージ形式バージョンをサポートできるようになり、アップグレードプロセスがスムーズに進むようになります。
次のメトリックを使用して、Kafka クライアントの名前とバージョンを追跡できます。
-
kafka.server:type=socket-server-metrics,clientSoftwareName=<name>,clientSoftwareVersion=<version>,listener=<listener>,networkProcessor=<processor>
次の Kafka ブローカーメトリックは、メッセージのダウンコンバージョンのパフォーマンスを監視するのに役立ちます。
-
kafka.network:type=RequestMetrics,name=MessageConversionsTimeMs,request={Produce|Fetch}
はメッセージ変換の実行にかかる時間に関するメトリックを提供します。 -
kafka.server:type=BrokerTopicMetrics,name={Produce|Fetch}MessageConversionsPerSec,topic=(-.\w+)
は一定期間に変換されたメッセージの数に関するメトリックを提供します。
23.5.3. Kafka バージョンおよびイメージマッピング
Kafka のアップグレード時に、STRIMZI_KAFKA_IMAGES
環境変数と Kafka.spec.kafka.version
プロパティーの設定について考慮してください。
-
それぞれの
Kafka
リソースはKafka.spec.kafka.version
で設定できます。 Cluster Operator の
STRIMZI_KAFKA_IMAGES
環境変数により、Kafka のバージョンと、指定のKafka
リソースでそのバージョンが要求されるときに使用されるイメージをマッピングできます。-
Kafka.spec.kafka.image
を設定しないと、そのバージョンのデフォルトのイメージが使用されます。 -
Kafka.spec.kafka.image
を設定すると、デフォルトのイメージがオーバーライドされます。
-
Cluster Operator は、Kafka ブローカーの想定されるバージョンが実際にイメージに含まれているかどうかを検証できません。所定のイメージが所定の Kafka バージョンに対応することを必ず確認してください。
23.5.4. Kafka ブローカーおよびクライアントアプリケーションのアップグレード
AMQ Streams Kafka クラスターを、サポートされている最新の Kafka バージョンおよび インターブローカープロトコルバージョン にアップグレードします。
クライアントをアップグレードするストラテジー を選択する必要もあります。Kafka クライアントは、この手順の 6 でアップグレードされます。
前提条件
- Cluster Operator が稼働しています。
-
AMQ Streams Kafka クラスターをアップグレードする前に、
Kafka
リソースのKafka.spec.kafka.config
プロパティーに、新しい Kafka バージョンでサポートされていない設定オプションが含まれてい ない ことを確認してください。
手順
Kafka クラスター設定を更新します。
oc edit kafka <my_cluster>
設定されている場合は、
inter.broker.protocol.version
およびlog.message.format.version
プロパティーが 現在の バージョンに設定されていることを確認してください。たとえば、Kafka バージョン 3.4.0 から 3.5.0 にアップグレードする場合、現在のバージョンは 3.4 です。
kind: Kafka spec: # ... kafka: version: 3.4.0 config: log.message.format.version: "3.4" inter.broker.protocol.version: "3.4" # ...
log.message.format.version
およびinter.broker.protocol.version
が設定されていない場合、AMQ Streams では、次のステップの Kafka バージョンの更新後、これらのバージョンを現在のデフォルトに自動的に更新します。注記log.message.format.version
およびinter.broker.protocol.version
の値は、浮動小数点数として解釈されないように文字列である必要があります。Kafka.spec.kafka.version
を変更して、新しい Kafka バージョンを指定します。現在の Kafka バージョンのデフォルトでlog.message.format.version
およびinter.broker.protocol.version
のままにします。注記kafka.version
を変更すると、クラスターのすべてのブローカーがアップグレードされ、新しいブローカーバイナリーの使用が開始されます。このプロセスでは、一部のブローカーは古いバイナリーを使用し、他のブローカーはすでに新しいバイナリーにアップグレードされています。inter.broker.protocol.version
を現在の設定のままにしておくと、ブローカーはアップグレード中に相互に通信し続けることができます。たとえば、Kafka 3.4.0 から 3.5.0 にアップグレードする場合:
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... kafka: version: 3.5.0 1 config: log.message.format.version: "3.4" 2 inter.broker.protocol.version: "3.4" 3 # ...
警告新しい Kafka バージョンの
inter.broker.protocol.version
が変更された場合は、Kafka をダウングレードできません。ブローカー間プロトコルのバージョンは、__consumer_offsets
に書き込まれたメッセージなど、ブローカーによって保存される永続メタデータに使用されるスキーマを判断します。ダウングレードされたクラスターはメッセージを理解しません。Kafka クラスターのイメージが
Kafka.spec.kafka.image
の Kafka カスタムリソースで定義されている場合、image
を更新して、新しい Kafka バージョンでコンテナーイメージを示すようにします。Kafka バージョンおよびイメージマッピング を参照してください。
エディターを保存して終了し、ローリング更新の完了を待ちます。
Pod の状態の遷移を監視して、ローリング更新の進捗を確認します。
oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'
ローリング更新により、各 Pod が新バージョンの Kafka のブローカーバイナリーを使用するようになります。
クライアントのアップグレードに選択したストラテジー に応じて、新バージョンのクライアントバイナリーを使用するようにすべてのクライアントアプリケーションをアップグレードします。
必要に応じて、Kafka Connect および MirrorMaker の
version
プロパティーを新バージョンの Kafka として設定します。-
Kafka Connect では、
KafkaConnect.spec.version
を更新します。 -
MirrorMaker では、
KafkaMirrorMaker.spec.version
を更新します。 -
MirrorMaker 2 の場合は、
KafkaMirrorMaker2.spec.version
を更新します。
-
Kafka Connect では、
設定されている場合、新しい
inter.broker.protocol.version
バージョンを使用するように Kafka リソースを更新します。それ以外の場合は、ステップ 9 に進みます。たとえば、Kafka 3.5.0 にアップグレードする場合:
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... kafka: version: 3.5.0 config: log.message.format.version: "3.4" inter.broker.protocol.version: "3.5" # ...
- Cluster Operator によってクラスターが更新されるまで待ちます。
設定されている場合、新しい
log.message.format.version
バージョンを使用するように Kafka リソースを更新します。それ以外の場合は、ステップ 10 に進みます。たとえば、Kafka 3.5.0 にアップグレードする場合:
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... kafka: version: 3.5.0 config: log.message.format.version: "3.5" inter.broker.protocol.version: "3.5" # ...
重要Kafka 3.0.0 以降、
inter.broker.protocol.version
が3.0
以上に設定されていると、log.message.format.version
オプションは無視されるため、設定する必要はありません。Cluster Operator によってクラスターが更新されるまで待ちます。
- これで、Kafka クラスターおよびクライアントが新バージョンの Kafka を使用するようになります。
- ブローカーは、ブローカー間プロトコルバージョンと新バージョンの Kafka のメッセージ形式バージョンを使用して、メッセージを送信するように設定されます。
23.6. AMQ Streams のアップグレード時に FIPS モードに切り替える
AMQ Streams をアップグレードして、FIPS 対応の OpenShift クラスターで FIPS モードで実行します。AMQ Streams 2.4 までは、FIPS_MODE
環境変数を使用して FIPS モードを無効にすることによってのみ、FIPS 対応の OpenShift クラスターでの実行が可能でした。リリース 2.4 から、AMQ Streams は FIPS モードをサポートします。FIPS_MODE を disabled
に設定して、FIPS 対応の OpenShift
クラスターで AMQ Streams を実行する場合は、この手順に従って有効にすることができます。
前提条件
- FIPS 対応の OpenShift クラスター
-
FIPS_MODE
環境変数がdisabled
に設定された既存の Cluster Operator デプロイメント
手順
-
Cluster Operator をバージョン 2.4 以降にアップグレードしますが、
FIPS_MODE
環境変数をdisabled
に設定したままにします。 最初に AMQ Streams バージョン 2.3 より古いものをデプロイした場合、PKCS #12 ストアで古い暗号化アルゴリズムとダイジェストアルゴリズムが使用される可能性があります。これらは、FIPS が有効になっている場合はサポートされません。更新されたアルゴリズムで証明書を再作成するには、クラスターとクライアントの CA 証明書を更新します。
-
Cluster Operator によって生成された CA を更新するには、
force-renew
アノテーションを CA シークレットに追加して更新をトリガー します。 -
独自の CA を更新するには、新しい証明書を CA シークレットに追加し、より高い増分値で
ca-cert-generation
アノテーションを更新して、更新をキャプチャー します。
-
Cluster Operator によって生成された CA を更新するには、
SCRAM-SHA-512 認証を使用する場合は、ユーザーのパスワードの長さを確認してください。長さが 32 文字未満の場合は、次のいずれかの方法で新しいパスワードを生成します。
- ユーザーオペレーターが十分な長さの新しいパスワードを使用して新しいパスワードを生成できるように、ユーザーシークレットを削除します。
-
KafkaUser
カスタムリソースの.spec.authentication.password
プロパティーを使用してパスワードを指定した場合は、同じパスワード設定で参照されている OpenShift シークレットのパスワードを更新します。新しいパスワードを使用するようにクライアントを更新することを忘れないでください。
- CA 証明書が正しいアルゴリズムを使用していること、および SCRAM-SHA-512 パスワードが十分な長さであることを確認してください。その後、FIPS モードを有効にできます。
-
Cluster Operator デプロイメントから
FIPS_MODE
環境変数を削除します。これにより Cluster Operator が再起動され、すべてのオペランドがロールされて FIPS モードが有効になります。再起動が完了すると、すべての Kafka クラスターが FIPS モードを有効にして実行されるようになります。
第24章 AMQ Streams のダウングレード
アップグレードしたバージョンの AMQ Streams で問題が発生した場合は、インストールを直前のバージョンに戻すことができます。
YAML インストールファイルを使用して AMQ Streams をインストールした場合は、以前のリリースから YAML インストールファイルを使用して、以下のダウングレード手順を実行できます。
以前のバージョンの AMQ Streams では使用している Kafka バージョンがサポートされない場合、メッセージに追加されるログメッセージ形式のバージョンが一致すれば Kafka をダウングレードすることができます。
次のダウングレード手順は、インストールファイルを使用して AMQ Streams をインストールした場合にのみ適しています。OperatorHub などの別の方法を使用して AMQ Streams をインストールした場合、ドキュメントで指定されていないかぎり、その方法ではダウングレードがサポートされない可能性があります。ダウングレードプロセスを確実に成功させるには、サポートされているアプローチを使用することが不可欠です。
24.1. Cluster Operator の以前のバージョンへのダウングレード
AMQ Streams で問題が発生した場合は、インストールを元に戻すことができます。
この手順では、Cluster Operator デプロイメントを以前のバージョンにダウングレードする方法を説明します。
前提条件
- 既存の Cluster Operator デプロイメントを利用できる。
- 以前のバージョンのインストールファイルがダウンロード済み である必要があります。
作業を開始する前に
AMQ Streams フィーチャーゲート のダウングレード要件を確認してください。フィーチャーゲートが永続的に有効になっている場合は、ターゲットバージョンにダウングレードする前に、フィーチャーゲートを無効にできるバージョンにダウングレードする必要がある場合があります。
手順
-
既存の Cluster Operator リソース (
/install/cluster-operator
ディレクトリー内) に追加した設定変更を書留めておきます。すべての変更は、以前のバージョンの Cluster Operator によって上書きされます。 - カスタムリソースを元に戻して、ダウングレードする AMQ Streams バージョンで利用可能なサポート対象の設定オプションを反映します。
Cluster Operator を更新します。
Cluster Operator を実行している namespace に従い、以前のバージョンのインストールファイルを編集します。
Linux の場合は、以下を使用します。
sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
MacOS の場合は、以下を使用します。
sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
-
既存の Cluster Operator
Deployment
で 1 つ以上の環境変数を編集した場合、install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml
ファイルを編集し、これらの環境変数を使用します。
設定を更新したら、残りのインストールリソースとともにデプロイします。
oc replace -f install/cluster-operator
ローリング更新が完了するのを待ちます。
Kafka Pod のイメージを取得して、ダウングレードが正常に完了したことを確認します。
oc get pod my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'
イメージタグには、新しい AMQ Streams バージョンと Kafka バージョンが順に示されます。例:
NEW-STRIMZI-VERSION-kafka-CURRENT-KAFKA-VERSION
Cluster Operator は以前のバージョンにダウングレードされました。
24.2. Kafka のダウングレード
Kafka バージョンのダウングレードは、Cluster Operator によって実行されます。
24.2.1. ダウングレードでの Kafka バージョンの互換性
Kafka のダウングレードは、互換性のある現在およびターゲットの Kafka バージョン と、メッセージがログに記録された状態に依存します。
そのバージョンが、クラスターでこれまで使用された inter.broker.protocol.version
設定をサポートしない場合、または新しい log.message.format.version
を使用するメッセージログにメッセージが追加された場合は、下位バージョンの Kafka に戻すことはできません。
Inter.broker.protocol.version
は、__consumer_offsets
に書き込まれたメッセージのスキーマなど、ブローカーによって保存される永続メタデータに使用されるスキーマを判断します。クラスターで以前使用された inter.broker.protocol.version
が認識されない Kafka バージョンにダウングレードすると、ブローカーが認識できないデータが発生します。
ダウングレードする Kafka のバージョンの関係は次のとおりです。
-
ダウングレードする Kafka バージョンの
log.message.format.version
が現行バージョンと 同じ である場合、Cluster Operator は、ブローカーのローリング再起動を 1 回実行してダウングレードを行います。 別の
log.message.format.version
の場合、ダウングレード後の Kafka バージョンが使用するバージョンに設定されたlog.message.format.version
が常に 実行中のクラスターに存在する場合に限り、ダウングレードが可能です。通常は、アップグレードの手順がlog.message.format.version
の変更前に中止された場合にのみ該当します。その場合、ダウングレードには以下が必要です。- 2 つのバージョンで Interbroker プロトコルが異なる場合、ブローカーのローリング再起動が 2 回必要です。
- 両バージョンで同じ場合は、ローリング再起動が 1 回必要です。
以前のバージョンでサポートされない log.message.format.version
が新バージョンで使われていた場合 (log.message.format.version
のデフォルト値が使われていた場合など)、ダウングレードは実行 できません。たとえば、log.message.format.version
が変更されていないため、このリソースは Kafka バージョン 3.4.0 にダウングレードできます。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... kafka: version: 3.5.0 config: log.message.format.version: "3.4" # ...
log.message.format.version
が 3.5
に設定されているか、値が指定されていない場合、パラメーターが 3.5.0 ブローカーのデフォルト値 3.5 を取得した場合、ダウングレードは不可能です。
Kafka 3.0.0 以降、inter.broker.protocol.version
が 3.0
以上に設定されていると、log.message.format.version
オプションは無視されるため、設定する必要はありません。
24.2.2. Kafka ブローカーおよびクライアントアプリケーションのダウングレード
AMQ Streams Kafka クラスターを Kafka の下位 (以前の) バージョンにダウングレードします (3.5.0 から 3.4.0 へのダウングレードなど)。
前提条件
- Cluster Operator が稼働しています。
AMQ Streams Kafka クラスターをダウングレードする前に、
Kafka
リソースについて以下を確認してください。- 重要: Kafka バージョンの互換性。
-
Kafka.spec.kafka.config
に、ダウングレードする Kafka バージョンでサポートされていないオプションが含まれていない。 Kafka.spec.kafka.config
に、ダウングレード先の Kafka バージョンでサポートされるlog.message.format.version
とinter.broker.protocol.version
がある。Kafka 3.0.0 以降、
inter.broker.protocol.version
が3.0
以上に設定されていると、log.message.format.version
オプションは無視されるため、設定する必要はありません。
手順
Kafka クラスター設定を更新します。
oc edit kafka KAFKA-CONFIGURATION-FILE
Kafka.spec.kafka.version
を変更して、以前のバージョンを指定します。たとえば、Kafka 3.5.0 から 3.4.0 にダウングレードする場合:
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka spec: # ... kafka: version: 3.4.0 1 config: log.message.format.version: "3.4" 2 inter.broker.protocol.version: "3.4" 3 # ...
注記log.message.format.version
およびinter.broker.protocol.version
の値は、浮動小数点数として解釈されないように文字列である必要があります。Kafka バージョンのイメージが Cluster Operator の
STRIMZI_KAFKA_IMAGES
に定義されているイメージとは異なる場合は、Kafka.spec.kafka.image
を更新します。エディターを保存して終了し、ローリング更新の完了を待ちます。
更新をログで確認するか、Pod 状態の遷移を監視して確認します。
oc logs -f CLUSTER-OPERATOR-POD-NAME | grep -E "Kafka version downgrade from [0-9.]+ to [0-9.]+, phase ([0-9]+) of \1 completed"
oc get pod -w
Cluster Operator ログで
INFO
レベルのメッセージを確認します。Reconciliation #NUM(watch) Kafka(NAMESPACE/NAME): Kafka version downgrade from FROM-VERSION to TO-VERSION, phase 1 of 1 completed
すべてのクライアントアプリケーション (コンシューマー) をダウングレードして、以前のバージョンのクライアントバイナリーを使用します。
これで、Kafka クラスターおよびクライアントは以前の Kafka バージョンを使用するようになります。
トピックメタデータの保存に ZooKeeper を使用する 1.7 よりも前のバージョンの AMQ Streams に戻す場合は、Kafka クラスターから内部トピックストアのトピックを削除します。
oc run kafka-admin -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi-topic-operator-kstreams-topic-store-changelog --delete && ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi_store_topic --delete
第25章 大量のメッセージ処理
AMQ Streams デプロイメントで大量のメッセージを処理する必要がある場合は、設定オプションを使用してスループットとレイテンシーを最適化できます。
プロデューサーとコンシューマーの設定は、Kafka ブローカーへの要求のサイズと頻度を制御するのに役立ちます。設定オプションの詳細は、以下を参照してください。
また、Kafka Connect ランタイムソースコネクター (MirrorMaker 2 を含む) およびシンクコネクターで使用されるプロデューサーとコンシューマーで同じ設定オプションを使用することもできます。
- ソースコネクター
- Kafka Connect ランタイムのプロデューサーは、メッセージを Kafka クラスターに送信します。
- MirrorMaker 2 の場合、ソースシステムは Kafka であるため、コンシューマーはソース Kafka クラスターからメッセージを取得します。
- シンクコネクター
- Kafka Connect ランタイムのコンシューマーは、Kafka クラスターからメッセージを取得します。
コンシューマーの場合、1 回のフェッチリクエストでフェッチされるデータの量を増やして、レイテンシーを短縮することができます。fetch.max.bytes
および max.partition.fetch.bytes
プロパティーを使用して、フェッチ要求のサイズを増やします。max.poll.records
プロパティーを使用して、コンシューマーバッファーから返されるメッセージ数の上限を設定することもできます。
MirrorMaker 2 の場合、ソースからメッセージをフェッチする特定のコンシューマーに関連して、ソースコネクターレベル (consumer.*
) で fetch.max.bytes
、max.partition.fetch.bytes
、および max.poll.records
の値を設定します。
プロデューサーの場合は、1 つの生成リクエストで送信されるメッセージバッチのサイズを増やすことができます。batch.size
プロパティーを使用してバッチサイズを増やします。バッチサイズを大きくすると、送信する準備ができている未処理のメッセージの数と、メッセージキュー内のバックログのサイズが減少します。同じパーティションに送信されるメッセージはまとめてバッチ処理されます。バッチサイズに達すると、プロデュースリクエストがターゲットクラスターに送信されます。バッチサイズを大きくすると、プロデュースリクエストが遅延し、より多くのメッセージがバッチに追加され、同時にブローカーに送信されます。これにより、多数のメッセージを処理するトピックパーティションが複数ある場合に、スループットが向上します。
プロデューサーが適切なプロデューサーバッチサイズに対して処理するレコードの数とサイズを考慮します。
linger.ms
を使用してミリ秒単位の待機時間を追加し、プロデューサーの負荷が減少したときにプロデュースリクエストを遅らせます。遅延は、最大バッチサイズ未満の場合に、より多くのレコードをバッチに追加できることを意味します。
ソースコネクターレベル (producer.override.*
) で batch.size
および linger.ms
の値を設定します。これは、ターゲット Kafka クラスターにメッセージを送信する特定のプロデューサーに関連するためです。
Kafka Connect ソースコネクターでは、ターゲット Kafka クラスターへのデータストリーミングパイプラインは以下のようになります。
Kafka Connect ソースコネクターのデータストリーミングパイプライン
外部データソース → (Kafka Connect タスク) ソースメッセージキュー → プロデューサーバーッファー → ターゲット Kafka トピック
Kafka Connect シンクコネクターの場合、ターゲット外部データソースへのデータストリーミングパイプラインは次のとおりです。
Kafka Connect シンクコネクターのデータストリーミングパイプライン
ソース Kafka トピック → (Kafka Connect タスク) シンクメッセージキュー → コンシューマーバッファー → 外部データソース
MirrorMaker 2 の場合、ターゲット Kafka クラスターへのデータミラーリングパイプラインは次のとおりです。
MirrorMaker 2 のデータミラーリングパイプライン
ソース Kafka トピック → (Kafka Connect タスク) ソースメッセージキュー → プロデューサーバーッファー → ターゲット Kafka トピック
プロデューサーは、バッファー内のメッセージをターゲット Kafka クラスター内のトピックに送信します。これが発生している間、Kafka Connect タスクは引き続きデータソースをポーリングして、ソースメッセージキューにメッセージを追加します。
ソースコネクターのプロデューサーバーッファーのサイズは、producer.override.buffer.memory
プロパティーを使用して設定されます。タスクは、バッファーがフラッシュされる前に、指定されたタイムアウト期間 (offset.flush.timeout.ms
) 待機します。これは、送信されたメッセージがブローカーによって確認され、コミットされたデータがオフセットされるのに十分な時間です。ソースタスクは、シャットダウン中を除き、オフセットをコミットする前にプロデューサーがメッセージキューを空にするのを待ちません。
プロデューサーがソースメッセージキュー内のメッセージのスループットについていけない場合、バッファリングは、max.block.ms
で制限された期間内にバッファーに使用可能なスペースができるまでブロックされます。バッファー内に未確認のメッセージがあれば、この期間中に送信されます。これらのメッセージが確認されてフラッシュされるまで、新しいメッセージはバッファーに追加されません。
次の設定変更を試して、未処理メッセージの基になるソースメッセージキューを管理可能なサイズに保つことができます。
-
offset.flush.timeout.ms
のデフォルト値 (ミリ秒) を増やす - 十分な CPU およびメモリーリソースがあることを確認します。
以下を実行して、並行して実行されるタスクの数を増やします。
-
tasksMax
プロパティーを使用して並行して実行するタスクの数を増やす -
replicas
プロパティーを使用してタスクを実行するワーカーノードの数の増加
-
使用可能な CPU とメモリーリソース、およびワーカーノードの数に応じて、並列実行できるタスクの数を検討してください。必要な効果が得られるまで、設定値を調整し続けることを推奨します。
25.1. 大量メッセージ用の Kafka Connect の設定
Kafka Connect は、ソースの外部データシステムからデータをフェッチし、それを Kafka Connect ランタイムプロデューサーに渡して、ターゲットクラスターにレプリケートします。
次の例は、KafkaConnect
カスタムリソースを使用した Kafka Connect の設定を示しています。
大量のメッセージを処理するための Kafka Connect 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: name: my-connect-cluster annotations: strimzi.io/use-connector-resources: "true" spec: replicas: 3 config: offset.flush.timeout.ms: 10000 # ... resources: requests: cpu: "1" memory: 2Gi limits: cpu: "2" memory: 2Gi # ...
プロデューサー設定は、KafkaConnector
カスタムリソースを使用して管理されるソースコネクター用に追加されます。
大量のメッセージを処理するためのソースコネクターの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-source-connector labels: strimzi.io/cluster: my-connect-cluster spec: class: org.apache.kafka.connect.file.FileStreamSourceConnector tasksMax: 2 config: producer.override.batch.size: 327680 producer.override.linger.ms: 100 # ...
FileStreamSourceConnector
および FileStreamSinkConnector
は、コネクターの例として提供されています。これらを KafkaConnector
リソースとしてデプロイする方法については、「KafkaConnector リソースのデプロイ」 を参照してください。
シンクコネクターのコンシューマー設定が追加されます。
大量のメッセージを処理するためのシンクコネクターの設定例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnector metadata: name: my-sink-connector labels: strimzi.io/cluster: my-connect-cluster spec: class: org.apache.kafka.connect.file.FileStreamSinkConnector tasksMax: 2 config: consumer.fetch.max.bytes: 52428800 consumer.max.partition.fetch.bytes: 1048576 consumer.max.poll.records: 500 # ...
KafkaConnector
カスタムリソースの代わりに Kafka Connect API を使用してコネクターを管理している場合は、コネクター設定を JSON オブジェクトとして追加できます。
大量のメッセージを処理するためのソースコネクター設定を追加するための curl 要求の例
curl -X POST \ http://my-connect-cluster-connect-api:8083/connectors \ -H 'Content-Type: application/json' \ -d '{ "name": "my-source-connector", "config": { "connector.class":"org.apache.kafka.connect.file.FileStreamSourceConnector", "file": "/opt/kafka/LICENSE", "topic":"my-topic", "tasksMax": "4", "type": "source" "producer.override.batch.size": 327680 "producer.override.linger.ms": 100 } }'
25.2. 大量のメッセージ用の MirrorMaker 2 の設定
MirrorMaker 2 はソースクラスターからデータを取得し、それを Kafka Connect ランタイムプロデューサーに渡して、ターゲットクラスターにレプリケーションします。
次の例は、KafkaMirrorMaker2
カスタムリソースを使用した MirrorMaker 2 の設定を示しています。
大量のメッセージを処理するための MirrorMaker 2 設定の例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaMirrorMaker2 metadata: name: my-mirror-maker2 spec: version: 3.5.0 replicas: 1 connectCluster: "my-cluster-target" clusters: - alias: "my-cluster-source" bootstrapServers: my-cluster-source-kafka-bootstrap:9092 - alias: "my-cluster-target" config: offset.flush.timeout.ms: 10000 bootstrapServers: my-cluster-target-kafka-bootstrap:9092 mirrors: - sourceCluster: "my-cluster-source" targetCluster: "my-cluster-target" sourceConnector: tasksMax: 2 config: producer.override.batch.size: 327680 producer.override.linger.ms: 100 consumer.fetch.max.bytes: 52428800 consumer.max.partition.fetch.bytes: 1048576 consumer.max.poll.records: 500 # ... resources: requests: cpu: "1" memory: Gi limits: cpu: "2" memory: 4Gi
25.3. MirrorMaker 2 メッセージフローの確認
Prometheus と Grafana を使用してデプロイメントを監視している場合は、MirrorMaker 2 のメッセージフローを確認できます。
AMQ Streams で提供される MirrorMaker 2 Grafana ダッシュボードの例には、フラッシュパイプラインに関連する次のメトリックが表示されます。
- Kafka Connect の未処理メッセージキューにあるメッセージの数
- プロデューサーバーッファーの使用可能なバイト数
- オフセットコミットタイムアウト (ミリ秒)
これらのメトリックを使用して、メッセージの量に基づいて設定を調整する必要があるかどうかを判断できます。
第26章 Kafka の再起動に関する情報の検索
Cluster Operator が OpenShift クラスターで Kafka Pod を再起動した後、Pod が再起動した理由を説明する OpenShift イベントを Pod の namespace に発行します。クラスターの動作を理解するために、コマンドラインから再起動イベントを確認できます。
Prometheus などのメトリック収集ツールを使用して、再起動イベントをエクスポートおよび監視できます。出力を適切な形式でエクスポートできる イベントエクスポーター でメトリックツールを使用します。
26.1. 再起動イベントの理由
Cluster Operator は、特定の理由で再起動イベントを開始します。再起動イベントに関する情報をフェッチすることで、理由を確認できます。
イベント | 説明 |
---|---|
CaCertHasOldGeneration | Pod はまだ古い CA で署名されたサーバー証明書を使用しているため、証明書の更新の一環として再起動する必要があります。 |
CaCertRemoved | 期限切れの CA 証明書が削除され、Pod が再起動されて現在の証明書で実行されます。 |
CaCertRenewed | CA 証明書が更新され、Pod が再起動され、更新された証明書で実行されます。 |
ClientCaCertKeyReplaced | クライアント CA 証明書の署名に使用されるキーが置き換えられ、CA 更新プロセスの一環として Pod が再起動されています。 |
ClusterCaCertKeyReplaced | クラスターの CA 証明書の署名に使用されたキーが置き換えられ、CA 更新プロセスの一環として Pod が再起動されています。 |
ConfigChangeRequiresRestart | 一部の Kafka 設定プロパティーは動的に変更されますが、ブローカーの再始動が必要になるものもあります。 |
FileSystemResizeNeeded | ファイルシステムのサイズが大きくなり、適用するには再起動が必要です。 |
KafkaCertificatesChanged | Kafka ブローカーによって使用される 1 つ以上の TLS 証明書が更新されており、それらを使用するには再起動が必要です。 |
ManualRollingUpdate |
ユーザーは、再起動をトリガーするために、Pod、または Pod が属する |
PodForceRestartOnError | 修正するには Pod の再起動が必要なエラーが発生しました。 |
PodHasOldRevision |
Kafka ボリュームに対してディスクが追加または削除されました。変更を適用するには再起動が必要です。 |
PodHasOldRevision |
Pod がメンバーである |
PodStuck | Pod はまだ保留中であり、スケジュールされていないかスケジュールできないため、Operator は稼働を続けるための最終手段として Pod を再起動しました。 |
PodUnresponsive | AMQ Streams が Pod に接続できませんでした。これはブローカーが正しく起動していないことを示している可能性があるため、Operator は問題を解決するために Pod を再起動しました。 |
26.2. イベントフィルターの再起動
コマンドラインから再起動イベントをチェックする場合は、field-selector
を指定して、OpenShift イベントフィールドをフィルタリングできます。
次のフィールドは、field-selector
でイベントをフィルタリングするときに使用できます。
regardingObject.kind
-
再起動されたオブジェクト。再起動イベントの場合、種類は常に
Pod
です。 regarding.namespace
- Pod が属する namespace。
regardingObject.name
-
Pod の名前 (例:
strimzi-cluster-kafka-0)
。 regardingObject.uid
- Pod の一意の ID。
reason
-
Pod が再起動された理由 (
JbodVolumesChanged
など)。 reportingController
-
AMQ Streams 再起動イベントのレポートコンポーネントは、常に
strimzi.io/cluster-operator
です。 source
-
source
は、reportingController
の古いバージョンです。AMQ Streams 再起動イベントのレポートコンポーネントは、常にstrimzi.io/cluster-operator
です。 type
-
Warning
またはNormal
のいずれかのイベントタイプ。AMQ Streams 再起動イベントの場合、タイプはNormal
です。
古いバージョンの OpenShift
では、requiring 接頭辞を使用するフィールドは、代わにり includedObject
接頭辞を使用する場合があります。以前は reportingController
は reportingComponent
と呼ばれていました。
26.3. Kafka の再起動の確認
Cluster Operator によって開始された再起動イベントを一覧表示するには、oc
コマンドを使用します。reportingController
または ソース
イベントフィールドを使用して Cluster Operator をレポートコンポーネントとして設定し、Cluster Operator によって出力される再起動イベントをフィルターします。
前提条件
- Cluster Operator は OpenShift クラスターで実行されています。
手順
Cluster Operator によって発行されたすべての再起動イベントを取得します。
oc -n kafka get events --field-selector reportingController=strimzi.io/cluster-operator
返されたイベントを示す例
LAST SEEN TYPE REASON OBJECT MESSAGE 2m Normal CaCertRenewed pod/strimzi-cluster-kafka-0 CA certificate renewed 58m Normal PodForceRestartOnError pod/strimzi-cluster-kafka-1 Pod needs to be forcibly restarted due to an error 5m47s Normal ManualRollingUpdate pod/strimzi-cluster-kafka-2 Pod was manually annotated to be rolled
reason
またはその他のfield-selector
オプションを指定して、返されるイベントを制限することもできます。ここで、特定の理由が追加されます。
oc -n kafka get events --field-selector reportingController=strimzi.io/cluster-operator,reason=PodForceRestartOnError
YAML などの出力形式を使用して、1 つ以上のイベントに関するより詳細な情報を返します。
oc -n kafka get events --field-selector reportingController=strimzi.io/cluster-operator,reason=PodForceRestartOnError -o yaml
詳細なイベント出力を示す例
apiVersion: v1 items: - action: StrimziInitiatedPodRestart apiVersion: v1 eventTime: "2022-05-13T00:22:34.168086Z" firstTimestamp: null involvedObject: kind: Pod name: strimzi-cluster-kafka-1 namespace: kafka kind: Event lastTimestamp: null message: Pod needs to be forcibly restarted due to an error metadata: creationTimestamp: "2022-05-13T00:22:34Z" generateName: strimzi-event name: strimzi-eventwppk6 namespace: kafka resourceVersion: "432961" uid: 29fcdb9e-f2cf-4c95-a165-a5efcd48edfc reason: PodForceRestartOnError reportingController: strimzi.io/cluster-operator reportingInstance: strimzi-cluster-operator-6458cfb4c6-6bpdp source: {} type: Normal kind: List metadata: resourceVersion: "" selfLink: ""
以下のフィールドは非推奨となったため、これらのイベントでは入力されません。
-
firstTimestamp
-
lastTimestamp
-
source
第27章 AMQ Streams の管理
AMQ Streams を管理するには、Kafka クラスターと関連リソースのスムーズな実行を維持するためにさまざまなタスクを実行する必要があります。oc
コマンドを使用してリソースのステータスを確認し、ローリング 更新のメンテナンス期間を設定し、AMQ Streams Drain Cleaner や Kafka Static Quota プラグインなどのツールを活用してデプロイメントを効果的に管理します。
27.1. カスタムリソースの使用
oc
コマンドを使用して、AMQ Streams カスタムリソースで情報を取得し、他の操作を実行できます。
カスタムリソースの status
サブリソースで oc
を使用すると、リソースに関する情報を取得できます。
27.1.1. カスタムリソースでの oc
操作の実施
リソースタイプに対して操作を行うには、get
、describe
、edit
、delete
などの oc
コマンドを使用します。たとえば、oc get kafkatopics
はすべての Kafka トピックのリストを取得し、oc get kafkas
はデプロイされたすべての Kafka クラスターを取得します。
リソースタイプを参照する際には、単数形と複数形の両方の名前を使うことができます。oc get kafkas
は oc get kafka
と同じ結果になります。
リソースの 短縮名 を使用することもできます。短縮名を理解すると、AMQ Streams を管理する時間を節約できます。Kafka
のショートネームは k
なので、oc get k
を実行してすべての Kafka クラスターをリストアップすることもできます。
oc get k NAME DESIRED KAFKA REPLICAS DESIRED ZK REPLICAS my-cluster 3 3
AMQ Streams リソース | 正式名 | 短縮名 |
---|---|---|
Kafka | kafka | k |
Kafka Topic | kafkatopic | kt |
Kafka User | kafkauser | ku |
Kafka Connect | kafkaconnect | kc |
Kafka Connector | kafkaconnector | kctr |
Kafka Mirror Maker | kafkamirrormaker | kmm |
Kafka Mirror Maker 2 | kafkamirrormaker2 | kmm2 |
Kafka Bridge | kafkabridge | kb |
Kafka Rebalance | kafkarebalance | kr |
27.1.1.1. リソースカテゴリー
カスタムリソースのカテゴリーは、oc
コマンドでも使用できます。
すべての AMQ Streams カスタムリソースはカテゴリー strimzi
に属するため、strimzi
を使用してすべての AMQ Streams リソースを 1 つのコマンドで取得できます。
例えば、oc get strimzi
を実行すると、指定された名前空間のすべての AMQ Streams カスタムリソースがリスト表示されます。
oc get strimzi NAME DESIRED KAFKA REPLICAS DESIRED ZK REPLICAS kafka.kafka.strimzi.io/my-cluster 3 3 NAME PARTITIONS REPLICATION FACTOR kafkatopic.kafka.strimzi.io/kafka-apps 3 3 NAME AUTHENTICATION AUTHORIZATION kafkauser.kafka.strimzi.io/my-user tls simple
oc get strimzi -o name
コマンドは、すべてのリソースタイプとリソース名を返します。-o name
オプションは type/name 形式で出力を取得します。
oc get strimzi -o name kafka.kafka.strimzi.io/my-cluster kafkatopic.kafka.strimzi.io/kafka-apps kafkauser.kafka.strimzi.io/my-user
この strimzi
コマンドを他のコマンドと組み合わせることができます。たとえば、これを oc delete
コマンドに渡して、単一のコマンドですべてのリソースを削除できます。
oc delete $(oc get strimzi -o name) kafka.kafka.strimzi.io "my-cluster" deleted kafkatopic.kafka.strimzi.io "kafka-apps" deleted kafkauser.kafka.strimzi.io "my-user" deleted
1 つの操作ですべてのリソースを削除することは、AMQ Streams の新機能をテストする場合などに役立ちます。
27.1.1.2. サブリソースのステータスのクエリー
-o
オプションに渡すことのできる他の値もあります。たとえば、-o yaml
を使用すると、YAML 形式で出力されます。-o json
を使用すると JSON として返されます。
oc get --help
のすべてのオプションが表示されます。
最も便利なオプションの 1 つは JSONPath サポート で、JSONPath 式を渡して Kubernetes API にクエリーを実行できます。JSONPath 式は、リソースの特定部分を抽出または操作できます。
たとえば、JSONPath 式 {.status.listeners[?(@.name=="tls")].bootstrapServers}
を使用して、Kafka カスタムリソースのステータスからブートストラップアドレスを取得し、Kafka クライアントで使用できます。
この場合、コマンドは tls
という名前のリスナーの bootstrapServers
値を検索します。
oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="tls")].bootstrapServers}{"\n"}' my-cluster-kafka-bootstrap.myproject.svc:9093
名前の条件を変更することで、他の Kafka リスナーのアドレスも取得できます。
jsonpath
を使用して、カスタムリソースから他のプロパティーまたはプロパティーのグループを抽出できます。
27.1.2. AMQ Streams カスタムリソースのステータス情報
ステータスプロパティーは、特定のカスタムリソースのステータス情報を提供します。
次の表に、ステータス情報 (デプロイ時) を提供するカスタムリソースと、ステータスプロパティーを定義するスキーマを示します。
スキーマの詳細は、AMQ Streams Custom Resource API Reference を参照してください。
AMQ Streams リソース | スキーマ参照 | ステータス情報がパブリッシュされる場所 |
---|---|---|
|
| Kafka クラスター |
|
| Kafka クラスター内の Kafka トピック |
|
| Kafka クラスター内の Kafka ユーザー |
|
| Kafka Connect クラスター |
|
|
|
|
| Kafka MirrorMaker 2 クラスター |
|
| Kafka MirrorMaker クラスター |
|
| AMQ Streams Kafka Bridge |
|
| リバランスの状況と結果 |
リソースの status
プロパティーは、リソースの状態に関する情報を提供します。status.conditions
および status.observedGeneration
プロパティーは、すべてのリソースに共通です。
status.conditions
-
ステータス条件は、リソースの 現在の状態 を表します。ステータス条件プロパティーは、
仕様
で指定された設定で定義されているように、リソースが 目的の状態 に到達することに関連する進行状況を追跡するのに役立ちます。状況条件プロパティーは、リソースの状態が変更された時間と理由、およびオペレーターが目的の状態を実現するのを妨げたり遅らせたりするイベントの詳細を提供します。 status.observedGeneration
-
最後に観察された世代は、Cluster Operator によるリソースの最新の調整を示します。
observedGeneration
の値がmetadata.generation
(デプロイメントの現在のバージョン)(の値と異なる場合、リソースの最新の更新が Operator によって処理されていません。これらの値が同じである場合、リソースの最新の変更がステータス情報に反映されます。
status
プロパティーは、リソース固有の情報も提供します。たとえば、KafkaStatus
はリスナーアドレスに関する情報と Kafka クラスターの ID を提供します。
AMQ Streams によってカスタムリソースのステータスが作成および維持されます。定期的にカスタムリソースの現在の状態が評価され、その結果に応じてステータスが更新されます。くださいーたとえば、oc edit
を使用してカスタムリソースで更新を行う場合、その status
は編集不可能です。さらに、status
の変更は Kafka クラスターステータスの設定に影響しません。
ここでは、Kafka
カスタムリソースの status
プロパティーを確認します。
Kafka カスタムリソースのステータス
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: spec: # ... status: clusterId: XP9FP2P-RByvEy0W4cOEUA 1 conditions: 2 - lastTransitionTime: '2023-01-20T17:56:29.396588Z' status: 'True' type: Ready 3 listeners: 4 - addresses: - host: my-cluster-kafka-bootstrap.prm-project.svc port: 9092 bootstrapServers: 'my-cluster-kafka-bootstrap.prm-project.svc:9092' name: plain type: plain - addresses: - host: my-cluster-kafka-bootstrap.prm-project.svc port: 9093 bootstrapServers: 'my-cluster-kafka-bootstrap.prm-project.svc:9093' certificates: - | -----BEGIN CERTIFICATE----- -----END CERTIFICATE----- name: tls type: tls - addresses: - host: >- 2054284155.us-east-2.elb.amazonaws.com port: 9095 bootstrapServers: >- 2054284155.us-east-2.elb.amazonaws.com:9095 certificates: - | -----BEGIN CERTIFICATE----- -----END CERTIFICATE----- name: external2 type: external2 - addresses: - host: ip-10-0-172-202.us-east-2.compute.internal port: 31644 bootstrapServers: 'ip-10-0-172-202.us-east-2.compute.internal:31644' certificates: - | -----BEGIN CERTIFICATE----- -----END CERTIFICATE----- name: external1 type: external1 observedGeneration: 3 5
Kafka ブートストラップアドレスがステータスに一覧表示されても、それらのエンドポイントまたは Kafka クラスターが Ready
状態であるとは限りません。
ステータス情報のアクセス
リソースのステータス情報はコマンドラインから取得できます。詳細は、「カスタムリソースのステータスの検出」 を参照してください。
27.1.3. カスタムリソースのステータスの検出
この手順では、カスタムリソースのステータスを検出する方法を説明します。
前提条件
- OpenShift クラスター
- Cluster Operator が稼働中である。
手順
カスタムリソースを指定し、
-o jsonpath
オプションを使用して標準の JSONPath 式を適用してstatus
プロパティーを選択します。oc get kafka <kafka_resource_name> -o jsonpath='{.status}'
この式は、指定されたカスタムリソースのすべてのステータス情報を返します。
status.listeners
またはstatus.observedGeneration
などのドット表記を使用すると、表示するステータス情報を微調整できます。
関連情報
- 「AMQ Streams カスタムリソースのステータス情報」
- JSONPath の使用に関する詳細は、JSONPath support を参照してください。
27.2. ラベルおよびアノテーションを使用したサービスの検出
サービスディスカバリーは、AMQ Streams と同じ OpenShift クラスターで稼働しているクライアントアプリケーションの Kafka クラスターとの対話を容易にします。
サービスディスカバリー ラベルおよびアノテーションは、Kafka クラスターにアクセスするために使用されるサービスに対して生成されます。
- 内部 Kafka ブートストラップサービス
- HTTP Bridge サービス
ラベルは、サービスの検出を可能にします。アノテーションは、クライアントアプリケーションが接続を確立するために使用できる接続詳細を提供します。
サービスディスカバリーラベル strimzi.io/discovery
は、Service
リソースに対して true
に設定されています。サービスディスカバリーアノテーションには同じキーがあり、各サービスの接続詳細を JSON 形式で提供します。
内部 Kafka ブートストラップサービスの例
apiVersion: v1 kind: Service metadata: annotations: strimzi.io/discovery: |- [ { "port" : 9092, "tls" : false, "protocol" : "kafka", "auth" : "scram-sha-512" }, { "port" : 9093, "tls" : true, "protocol" : "kafka", "auth" : "tls" } ] labels: strimzi.io/cluster: my-cluster strimzi.io/discovery: "true" strimzi.io/kind: Kafka strimzi.io/name: my-cluster-kafka-bootstrap name: my-cluster-kafka-bootstrap spec: #...
HTTP Bridge サービスの例
apiVersion: v1 kind: Service metadata: annotations: strimzi.io/discovery: |- [ { "port" : 8080, "tls" : false, "auth" : "none", "protocol" : "http" } ] labels: strimzi.io/cluster: my-bridge strimzi.io/discovery: "true" strimzi.io/kind: KafkaBridge strimzi.io/name: my-bridge-bridge-service
27.2.1. サービスの接続詳細の返信
サービスを検出するには、コマンドラインまたは対応する API 呼び出しでサービスを取得するときに、ディスカバリーラベルを指定します。
oc get service -l strimzi.io/discovery=true
サービスディスカバリーラベルの取得時に接続詳細が返されます。
27.3. ターミナルからの ZooKeeper への接続
ZooKeeper サービスは暗号化および認証でセキュア化され、AMQ Streams の一部でない外部アプリケーションでの使用は想定されていません。
ただし、ZooKeeper への接続が必要な CLI ツールを使用する場合は、ZooKeeper Pod 内の端末を使用して、ZooKeeper アドレスとして localhost:12181
に接続できます。
前提条件
- 利用可能な OpenShift クラスター
- 稼働中の Kafka クラスター
- Cluster Operator が稼働中である。
手順
OpenShift コンソールを使用してターミナルを開くか、CLI から
exec
コマンドを実行します。以下に例を示します。
oc exec -ti my-cluster-zookeeper-0 -- bin/zookeeper-shell.sh localhost:12181 ls /
必ず
localhost:12181
を使用してください。
27.4. カスタムリソースの調整の一時停止
修正や更新を実行するために、AMQ Streams Operator によって管理されるカスタムリソースの調整を一時停止すると便利な場合があります。調整が一時停止されると、カスタムリソースに加えられた変更は一時停止が終了するまで Operator によって無視されます。
カスタムリソースの調整を一時停止するには、configure で strimzi.io/pause-reconciliation
アノテーションを true
に設定します。これにより、適切な Operator がカスタムリソースの調整を一時停止するよう指示されます。たとえば、Cluster Operator による調整が一時停止されるように、アノテーションを KafkaConnect
リソースに適用できます。
pause アノテーションを有効にしてカスタムリソースを作成することもできます。カスタムリソースは作成されますが、無視されます。
前提条件
- カスタムリソースを管理する AMQ Streams Operator が稼働している必要があります。
手順
pause-reconciliation
をtrue
に設定して、OpenShift のカスタムリソースにアノテーションを付けます。oc annotate <kind_of_custom_resource> <name_of_custom_resource> strimzi.io/pause-reconciliation="true"
たとえば、
KafkaConnect
カスタムリソースの場合は以下のようになります。oc annotate KafkaConnect my-connect strimzi.io/pause-reconciliation="true"
カスタムリソースの status 条件で、
ReconciliationPaused
への変更が表示されることを確認し ます。oc describe <kind_of_custom_resource> <name_of_custom_resource>
type
条件は、lastTransitionTime
でReconciliationPaused
に変わります。一時停止された調整条件タイプを持つカスタムリソースの例
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaConnect metadata: annotations: strimzi.io/pause-reconciliation: "true" strimzi.io/use-connector-resources: "true" creationTimestamp: 2021-03-12T10:47:11Z #... spec: # ... status: conditions: - lastTransitionTime: 2021-03-12T10:47:41.689249Z status: "True" type: ReconciliationPaused
一時停止からの再開
-
調整を再開するには、アノテーションを
false
に設定するか、アノテーションを削除します。
関連情報
27.5. ローリング更新のメンテナンス時間枠
メンテナンス時間枠によって、Kafka および ZooKeeper クラスターの特定のローリング更新が便利な時間に開始されるようにスケジュールできます。
27.5.1. メンテナンス時間枠の概要
ほとんどの場合、Cluster Operator は対応する Kafka
リソースの変更に対応するために Kafka または ZooKeeper クラスターのみを更新します。これにより、Kafka
リソースの変更を適用するタイミングを計画し、Kafka クライアントアプリケーションへの影響を最小限に抑えることができます。
ただし、Kafka
リソースの変更がなくても Kafka および ZooKeeper クラスターの更新が発生することがあります。たとえば、Cluster Operator によって管理される CA (認証局) 証明書が期限切れ直前である場合にローリング再起動の実行が必要になります。
サービスの 可用性 は Pod のローリング再起動による影響を受けないはずですが (ブローカーおよびトピックの設定が適切である場合)、Kafka クライアントアプリケーションの パフォーマンス は影響を受ける可能性があります。メンテナンス時間枠によって、Kafka および ZooKeeper クラスターのこのような自発的な更新が便利な時間に開始されるようにスケジュールできます。メンテナンス時間枠がクラスターに設定されていない場合は、予測できない高負荷が発生する期間など、不便な時間にこのような自発的なローリング更新が行われる可能性があります。
27.5.2. メンテナンス時間枠の定義
Kafka.spec.maintenanceTimeWindows
プロパティーに文字列の配列を入力して、メンテナンス時間枠を設定します。各文字列は、UTC (協定世界時、Coordinated Universal Time) であると解釈される cron 式 です。UTC は実用的にはグリニッジ標準時と同じです。
以下の例では、日、月、火、水、および木曜日の午前 0 時に開始し、午前 1 時 59 分 (UTC) に終わる、単一のメンテナンス時間枠が設定されます。
# ... maintenanceTimeWindows: - "* * 0-1 ? * SUN,MON,TUE,WED,THU *" # ...
実際には、必要な CA 証明書の更新が設定されたメンテナンス時間枠内で完了できるように、Kafka
リソースの Kafka.spec.clusterCa.renewalDays
および Kafka.spec.clientsCa.renewalDays
プロパティーとともにメンテナンス期間を設定する必要があります。
AMQ Streams では、指定の期間にしたがってメンテナンス操作を正確にスケジュールしません。その代わりに、調整ごとにメンテナンス期間が現在オープンであるかどうかを確認します。これは、特定の時間枠内でのメンテナンス操作の開始が、最大で Cluster Operator の調整が行われる間隔の長さ分、遅れる可能性があることを意味します。したがって、メンテナンス時間枠は最低でもその間隔の長さにする必要があります。
27.5.3. メンテナンス時間枠の設定
サポートされるプロセスによってトリガーされるローリング更新のメンテナンス時間枠を設定できます。
前提条件
- OpenShift クラスター
- Cluster Operator が稼働中である。
手順
Kafka
リソースのmaintenanceTimeWindows
プロパティー を追加または編集します。たとえば、0800 から 1059 までと、1400 から 1559 までのメンテナンスを可能にするには、以下のようにmaintenanceTimeWindows
を設定します。apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: kafka: # ... zookeeper: # ... maintenanceTimeWindows: - "* * 8-10 * * ?" - "* * 14-15 * * ?"
リソースを作成または更新します。
oc apply -f <kafka_configuration_file>
27.6. AMQ Streams Drain Cleaner を使用した Pod のエビクト
Kafka および ZooKeeper Pod は、OpenShift のアップグレード、メンテナンス、または Pod の再スケジュール中にエビクトされる可能性があります。Kafka ブローカーおよび ZooKeeper Pod が AMQ Streams によってデプロイされた場合に、AMQ Streams Drain Cleaner ツールを使用して Pod のエビクションを処理できます。AMQ Streams Drain Cleaner は、OpenShift の代わりにエビクションを処理します。Kafka デプロイメントの podDisruptionBudget
を 0
(ゼロ) に設定する必要があります。その後、OpenShift は Pod を自動的にエビクトできなくなります。
AMQ Streams Drain Cleaner をデプロイすることで、Cluster Operator を使用して OpenShift ではなく Kafka Pod を移動できます。Cluster Operator は、トピックの複製の数が最低数未満にならないようにします。Kafka はエビクションプロセス中も稼働状態を維持できます。Cluster Operator は、OpenShift ワーカーノードが連続してドレイン (解放) されるため、トピックが同期するのを待ちます。
受付 Webhook は、AMQ Streams Drain Cleaner に Kubernetes API への Pod エビクション要求を通知します。AMQ Streams Drain Cleaner は次に、ドレイン (解放) する Pod にローリング更新アノテーションを追加します。これにより、Cluster Operator に、エビクトされた Pod のローリング更新を実行するように指示します。
AMQ Streams Drain Cleaner を使用していない場合は、Pod アノテーションを追加して手動でローリング更新を実行 できます。
Webhook の設定
AMQ Streams Drain Cleaner デプロイメントファイルには、ValidatingWebhookConfiguration
リソースファイルが含まれます。リソースでは、Kubernetes API で Webhook を登録する設定が可能です。
この設定は、Pod のエビクション要求の場合に使用する Kubernetes API の ルール
を定義します。ルールは、pods/eviction
サブリソースに関連する CREATE
操作だけがインターセプトされることを指定します。これらのルールが満たされている場合、API は通知を転送します。
clientConfig
は、Webhook を公開する AMQ Streams Drain Cleaner サービスおよび /drainer
エンドポイントを参照します。Webhook は、認証を必要とする、セキュアな TLS 接続を使用します。caBundle
プロパティーは、HTTPS 通信を検証する証明書チェーンを指定します。証明書は Base64 でエンコードされます。
Pod エビクション通知の Webhook 設定
apiVersion: admissionregistration.k8s.io/v1 kind: ValidatingWebhookConfiguration # ... webhooks: - name: strimzi-drain-cleaner.strimzi.io rules: - apiGroups: [""] apiVersions: ["v1"] operations: ["CREATE"] resources: ["pods/eviction"] scope: "Namespaced" clientConfig: service: namespace: "strimzi-drain-cleaner" name: "strimzi-drain-cleaner" path: /drainer port: 443 caBundle: Cg== # ...
27.6.1. AMQ Streams Drain Cleaner デプロイメントファイルのダウンロード
AMQ Streams Drain Cleaner をデプロイおよび使用するには、デプロイメントファイルをダウンロードする必要があります。
AMQ Streams Drain Cleaner デプロイメントファイルは、AMQ Streams ソフトウェアダウンロードページ から入手できます。
27.6.2. インストールファイルを使用した AMQ Streams Drain Cleaner のデプロイ
Cluster Operator および Kafka クラスターが実行中の OpenShift クラスターに、AMQ Streams Drain Cleaner をデプロイします。
AMQ Streams は、特定の時点で 1 つの Kafka または ZooKeeper Pod のみが使用不能になることを許可するデフォルトの PodDisruptionBudget
(PDB) を設定します。計画的なメンテナンスまたはアップグレードに Drain Cleaner を使用するには、PDB をゼロに設定する必要があります。これは、Pod の自発的な削除を防止し、Kafka または ZooKeeper クラスターが利用可能な状態を維持できるようにするためです。これを行うには、Kafka
または ZooKeeper
テンプレートで maxUnavailable
値をゼロに設定します。StrimziPodSet
カスタムリソースは、maxUnavailable
値を直接使用できないカスタムコントローラーを使用して Kafka および ZooKeeper Pod を管理します。代わりに、maxUnavailable
値は minAvailable
値に変換されます。たとえば、ブローカー Pod が 3 つあり、maxUnavailable
プロパティーが 0
(ゼロ) に設定されている場合、minAvailable
設定は 3
となり、3 つのブローカー Pod がすべて使用可能である必要があり、使用できない Pod が存在しないことが許可されます。
前提条件
- AMQ Streams Drain Cleaner デプロイメントファイルをダウンロード しておく。
- 更新する OpenShift ワーカーノードで実行している高可用性 Kafka クラスターデプロイメントがある。
トピックを複製して高可用性に対応する
少なくとも 3 つのレプリケーション係数と、レプリケーション係数よりも 1 つ少ない In-Sync レプリカの最小数を指定するトピック設定。
高可用性のためにレプリケートされた Kafka トピック
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: my-cluster spec: partitions: 1 replicas: 3 config: # ... min.insync.replicas: 2 # ...
Kafka または ZooKeeper の除外
Kafka または ZooKeeper Pod を Drain Cleaner 操作に含めない場合は、Drain Cleaner Deployment
設定ファイル内のデフォルトの環境変数を変更します。
-
KafkaPod を除外するには、
STRIMZI_DRAIN_KAFKA
をfalse
に設定します。 -
ZooKeeper Pod を除外するには、
STRIMZI_DRAIN_ZOOKEEPER
をfalse
に設定します。
ZooKeeper Pod を除外する設定例
apiVersion: apps/v1 kind: Deployment spec: # ... template: spec: serviceAccountName: strimzi-drain-cleaner containers: - name: strimzi-drain-cleaner # ... env: - name: STRIMZI_DRAIN_KAFKA value: "true" - name: STRIMZI_DRAIN_ZOOKEEPER value: "false" # ...
手順
template
設定を使用して、Kafka
リソースの Kafka セクションと ZooKeeper セクションでmaxUnavailable
を0
(ゼロ) に設定します。Pod の Disruption Budget の指定
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster namespace: myproject spec: kafka: template: podDisruptionBudget: maxUnavailable: 0 # ... zookeeper: template: podDisruptionBudget: maxUnavailable: 0 # ...
この設定により、計画的な中断が発生した場合に Pod が自動的に削除されなくなり、AMQ Streams Drain Cleaner と Cluster Operator が Pod を別のワーカーノードにロールしたままになります。
AMQ Streams Drain Cleaner を使用して ZooKeeper ノードをドレイン (解放) する場合は、ZooKeeper に同じ設定を追加します。
Kafka
リソースを更新します。oc apply -f <kafka_configuration_file>
AMQ Streams Drain Cleaner をデプロイします。
OpenShift で Drain Cleaner を実行するには、
/install/drain-cleaner/openshift
ディレクトリーにあるリソースを適用します。oc apply -f ./install/drain-cleaner/openshift
27.6.3. AMQ Streams Drain Cleaner の使用
AMQ Streams Drain Cleaner を Cluster Operator と組み合わせて使用し、ドレイン (解放) されているノードから Kafka ブローカーまたは ZooKeeper Pod を移動します。AMQ Streams Drain Cleaner を実行すると、Pod にローリング更新 Pod アノテーションが付けられます。Cluster Operator はアノテーションに基づいてローリング更新を実行します。
前提条件
手順
Kafka ブローカーまたは ZooKeeper Pod をホストする、特定の OpenShift ノードをドレイン (解放) します。
oc get nodes oc drain <name-of-node> --delete-emptydir-data --ignore-daemonsets --timeout=6000s --force
AMQ Streams Drain Cleaner ログのエビクションイベントを確認し、Pod が再起動のアノテーションが付けられていることを確認します。
Pod のアノテーションを示す AMQ Streams Drain Cleaner ログ
INFO ... Received eviction webhook for Pod my-cluster-zookeeper-2 in namespace my-project INFO ... Pod my-cluster-zookeeper-2 in namespace my-project will be annotated for restart INFO ... Pod my-cluster-zookeeper-2 in namespace my-project found and annotated for restart INFO ... Received eviction webhook for Pod my-cluster-kafka-0 in namespace my-project INFO ... Pod my-cluster-kafka-0 in namespace my-project will be annotated for restart INFO ... Pod my-cluster-kafka-0 in namespace my-project found and annotated for restart
Cluster Operator ログで調整イベントを確認し、ローリング更新を確認します。
Cluster Operator log shows rolling updates(クラスター Operator ログによるローリング更新の表示)
INFO PodOperator:68 - Reconciliation #13(timer) Kafka(my-project/my-cluster): Rolling Pod my-cluster-zookeeper-2 INFO PodOperator:68 - Reconciliation #13(timer) Kafka(my-project/my-cluster): Rolling Pod my-cluster-kafka-0 INFO AbstractOperator:500 - Reconciliation #13(timer) Kafka(my-project/my-cluster): reconciled
27.6.4. AMQ Streams Drain Cleaner によって使用される TLS 証明書の監視
デフォルトでは、Drain Cleaner デプロイメントは、認証に使用する TLS 証明書を含むシークレットを監視します。Drain Cleaner は、証明書の更新などの変更を監視します。変更を検出すると、TLS 証明書の再ロードが再開されます。Drain Cleaner インストールファイルは、デフォルトでこの動作を有効にします。ただし、Drain Cleaner インストールファイルの Deployment
設定 (060-Deployment.yaml
) で STRIMZI_CERTIFICATE_WATCH_ENABLED
環境変数を false
に設定することで、証明書の監視を無効にすることができます。
STRIMZI_CERTIFICATE_WATCH_ENABLED
を有効にすると、TLS 証明書の監視に次の環境変数を使用することもできます。
環境変数 | 説明 | デフォルト |
---|---|---|
| 証明書監視を有効または無効にします。 |
|
| Drain Cleaner がデプロイされ、証明書シークレットが存在する namespace |
|
| Drain Cleaner の Pod 名 | - |
| TLS 証明書を含むシークレットの名前 |
|
| TLS 証明書を含むシークレット内のフィールドのリスト |
|
監視動作を制御するための環境変数設定の例
apiVersion: apps/v1 kind: Deployment metadata: name: strimzi-drain-cleaner labels: app: strimzi-drain-cleaner namespace: strimzi-drain-cleaner spec: # ... spec: serviceAccountName: strimzi-drain-cleaner containers: - name: strimzi-drain-cleaner # ... env: - name: STRIMZI_DRAIN_KAFKA value: "true" - name: STRIMZI_DRAIN_ZOOKEEPER value: "true" - name: STRIMZI_CERTIFICATE_WATCH_ENABLED value: "true" - name: STRIMZI_CERTIFICATE_WATCH_NAMESPACE valueFrom: fieldRef: fieldPath: metadata.namespace - name: STRIMZI_CERTIFICATE_WATCH_POD_NAME valueFrom: fieldRef: fieldPath: metadata.name # ...
Downward API メカニズムを使用して、STRIMZI_CERTIFICATE_WATCH_NAMESPACE
および STRIMZI_CERTIFICATE_WATCH_POD_NAME
を設定します。
27.7. アノテーションを使用した Kafka ノードの削除
この手順では、OpenShift アノテーションを使用して既存の Kafka ノードを削除する方法を説明します。Kafka ノードの削除するには、Kafka ブローカーが稼働している Pod
と、関連する PersistentVolumeClaim
の両方を削除します (クラスターが永続ストレージでデプロイされた場合)。削除後、Pod
と関連する PersistentVolumeClaim
が自動的に再作成されます。
PersistentVolumeClaim
を削除すると、永久的なデータ損失が発生する可能性があり、クラスターの可用性は保証できません。以下の手順は、ストレージで問題が発生した場合にのみ実行してください。
前提条件
- 稼働中の Cluster Operator
手順
削除する
Pod
の名前を見つけます。Kafka ブローカー Pod の名前は <cluster-name>-kafka-<index> です。ここで、<index> はゼロで始まり、レプリカの合計数から 1 を引いた数で終了します。例:
my-cluster-kafka-0
OpenShift で
Pod
リソースにアノテーションを付けます。oc annotate
を使用します。oc annotate pod cluster-name-kafka-index strimzi.io/delete-pod-and-pvc=true
- 基盤となる永続ボリューム要求 (Persistent Volume Claim) でアノテーションが付けられた Pod が削除され、再作成されるときに、次の調整の実行を待ちます。
27.8. アノテーションを使用した ZooKeeper ノードの削除
この手順では、OpenShift アノテーションを使用して既存の ZooKeeper ノードを削除する方法を説明します。ZooKeeper ノードを削除するには、ZooKeeper が稼働している Pod
と、関連する PersistentVolumeClaim
の両方を削除します (クラスターが永続ストレージでデプロイされた場合)。削除後、Pod
と関連する PersistentVolumeClaim
が自動的に再作成されます。
PersistentVolumeClaim
を削除すると、永久的なデータ損失が発生する可能性があり、クラスターの可用性は保証できません。以下の手順は、ストレージで問題が発生した場合にのみ実行してください。
前提条件
- 稼働中の Cluster Operator
手順
削除する
Pod
の名前を見つけます。ZooKeeper Pod の名前は <cluster-name>-zookeeper-<index> です。ここで、<index> はゼロで始まり、レプリカの合計数から 1 を引いた数で終了します。例:
my-cluster-zookeeper-0
OpenShift で
Pod
リソースにアノテーションを付けます。oc annotate
を使用します。oc annotate pod cluster-name-zookeeper-index strimzi.io/delete-pod-and-pvc=true
- 基盤となる永続ボリューム要求 (Persistent Volume Claim) でアノテーションが付けられた Pod が削除され、再作成されるときに、次の調整の実行を待ちます。
27.9. アノテーションを使用した Kafka クラスターと ZooKeeper クラスターのローリングアップデートの開始
AMQ Streams は、Cluster Operator 経由で Kafka および ZooKeeper クラスターのローリング更新を手動でトリガーするために、リソースでアノテーションの使用をサポートします。ローリング更新により、新しい Pod でリソースの Pod が再起動されます。
通常、例外的な状況でのみ、特定の Pod や Pod のセットを手動で実行する必要があります。ただし、Pod を直接削除せずに、Cluster Operator 経由でローリング更新を実行すると、以下を確実に行うことができます。
- Pod を手動で削除しても、他の Pod を並行して削除するなどの、同時に行われる Cluster Operator の操作とは競合しません。
- Cluster Operator ロジックによって、In-Sync レプリカの数などの Kafka 設定で指定された内容が処理されます。
27.9.1. Pod 管理のアノテーションを使用したローリング更新の実行
この手順では、Kafka クラスターまたは ZooKeeper クラスターのローリング更新をトリガーする方法を説明します。更新をトリガーするには、クラスター上で実行されている Pod を管理するアノテーションを StrimziPodSet
に追加します。
前提条件
手動でローリング更新を実行するには、稼働中の Cluster Operator および Kafka クラスターが必要です。
手順
手動で更新する Kafka または ZooKeeper Pod を制御するリソースの名前を見つけます。
たとえば、Kafka クラスターの名前が my-cluster の場合には、対応する名前は my-cluster-kafka および my-cluster-zookeeper になります。
oc annotate
を使用して、OpenShift で適切なリソースにアノテーションを付けます。StrimziPodSet のアノテーション
oc annotate strimzipodset <cluster_name>-kafka strimzi.io/manual-rolling-update=true oc annotate strimzipodset <cluster_name>-zookeeper strimzi.io/manual-rolling-update=true
- 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。アノテーションが調整プロセスで検出されれば、アノテーションが付いたリソース内のすべての Pod でローリング更新がトリガーされます。すべての Pod のローリング更新が完了すると、アノテーションはリソースから削除されます。
27.9.2. Pod アノテーションを使用したローリング更新の実行
この手順では、OpenShift Pod
アノテーションを使用して、既存の Kafka クラスターまたは ZooKeeper クラスターのローリング更新を手動でトリガーする方法を説明します。複数の Pod にアノテーションが付けられると、連続したローリング更新は同じ調整実行内で実行されます。
前提条件
手動でローリング更新を実行するには、稼働中の Cluster Operator および Kafka クラスターが必要です。
使用されるトピックレプリケーション係数に関係なく、Kafka クラスターでローリング更新を実行できます。ただし、更新中に Kafka を稼働し続けるには、以下が必要になります。
- 更新するノードで実行されている高可用性 Kafka クラスターデプロイメント。
高可用性のためにレプリケートされたトピック。
少なくとも 3 つのレプリケーション係数と、レプリケーション係数よりも 1 つ少ない In-Sync レプリカの最小数を指定するトピック設定。
高可用性のためにレプリケートされた Kafka トピック
apiVersion: kafka.strimzi.io/v1beta2 kind: KafkaTopic metadata: name: my-topic labels: strimzi.io/cluster: my-cluster spec: partitions: 1 replicas: 3 config: # ... min.insync.replicas: 2 # ...
手順
手動で更新する Kafka または ZooKeeper
Pod
の名前を見つけます。たとえば、Kafka クラスターの名前が my-cluster の場合、対応する
Pod
名は my-cluster-kafka-index と my-cluster-zookeeper-index になります。インデックス はゼロで始まり、レプリカの総数マイナス 1 で終わります。OpenShift で
Pod
リソースにアノテーションを付けます。oc annotate
を使用します。oc annotate pod cluster-name-kafka-index strimzi.io/manual-rolling-update=true oc annotate pod cluster-name-zookeeper-index strimzi.io/manual-rolling-update=true
-
次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。アノテーションが調整プロセスで検出されれば、アノテーションが付けられた
Pod
のローリング更新がトリガーされます。Pod のローリング更新が完了すると、アノテーションはPod
から削除されます。
27.10. アノテーションを使用した MirrorMaker 2 コネクターの再起動の実行
この手順では、OpenShift アノテーションを使用して Kafka MirrorMaker 2 コネクターの再起動を手動でトリガーする方法について説明します。
前提条件
- Cluster Operator が稼働中である。
手順
再起動する Kafka MirrorMaker 2 コネクターを制御する
KafkaMirrorMaker2
カスタムリソースの名前を見つけます。oc get KafkaMirrorMaker2
KafkaMirrorMaker2
カスタムリソースから再起動する Kafka MirrorMaker 2 コネクターの名前を見つけます。oc describe KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME
コネクターを再起動するには、OpenShift で
KafkaMirrorMaker2
リソースにアノテーションを付けます。この例では、oc annotate
はmy-source->my-target.MirrorSourceConnector
という名前のコネクターを再起動します。oc annotate KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME "strimzi.io/restart-connector=my-source->my-target.MirrorSourceConnector"
次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。
アノテーションが調整プロセスによって検出されているかぎり、Kafka MirrorMaker 2 コネクターは再起動されます。再起動要求が許可されると、アノテーションは
KafkaMirrorMaker2
カスタムリソースから削除されます。
27.11. アノテーションを使用した MirrorMaker 2 コネクタータスクの再起動の実行
この手順では、OpenShift アノテーションを使用して Kafka MirrorMaker 2 コネクタータスクの再起動を手動でトリガーする方法について説明します。
前提条件
- Cluster Operator が稼働中である。
手順
再起動する Kafka MirrorMaker 2 コネクターを制御する
KafkaMirrorMaker2
カスタムリソースの名前を見つけます。oc get KafkaMirrorMaker2
KafkaMirrorMaker2
カスタムリソースから、Kafka MirrorMaker 2 コネクターの名前と再起動するタスクの ID を見つけます。タスク ID は 0 から始まる負の値ではない整数です。oc describe KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME
コネクタータスクを再起動するには、OpenShift で
KafkaMirrorMaker2
リソースにアノテーションを付けます。この例では、oc annotate
はmy-source->my-target.MirrorSourceConnector
という名前のコネクターのタスク 0 を再起動します。oc annotate KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME "strimzi.io/restart-connector-task=my-source->my-target.MirrorSourceConnector:0"
次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。
アノテーションが調整プロセスによって検出されているかぎり、Kafka MirrorMaker 2 コネクタータスクが再起動されます。再起動タスクの要求が受け入れられると、
KafkaMirrorMaker2
のカスタムリソースからアノテーションが削除されます。
27.12. 永続ボリュームからのクラスターの復元
Kafka クラスターは、永続ボリューム (PV) が存在していれば、そこから復元できます。
たとえば、以下の場合に行います。
- namespace が意図せずに削除された後。
- OpenShift クラスター全体が失われた後でも PV がインフラストラクチャーに残っている場合。
27.12.1. namespace が削除された場合の復元
永続ボリュームと namespace の関係により、namespace の削除から復元することが可能です。PersistentVolume
(PV) は、namespace の外部に存在するストレージリソースです。PV は、namespace 内部に存在する PersistentVolumeClaim
(PVC) を使用して Kafka Pod にマウントされます。
PV の回収 (reclaim) ポリシーは、namespace が削除されるときにクラスターに動作方法を指示します。以下に、回収 (reclaim) ポリシーの設定とその結果を示します。
- Delete (デフォルト) に設定すると、PVC が namespace 内で削除されるときに PV が削除されます。
- Retain に設定すると、namespace の削除時に PV は削除されません。
namespace が意図せず削除された場合に PV から復旧できるようにするには、PV 仕様で persistentVolumeReclaimPolicy
プロパティーを使用してポリシーを Delete から Retain にリセットする必要があります。
apiVersion: v1
kind: PersistentVolume
# ...
spec:
# ...
persistentVolumeReclaimPolicy: Retain
または、PV は、関連付けられたストレージクラスの回収 (reclaim) ポリシーを継承できます。ストレージクラスは、動的ボリュームの割り当てに使用されます。
ストレージクラスの reclaimPolicy
プロパティーを設定することで、ストレージクラスを使用する PV が適切な回収 (reclaim) ポリシー で作成されます。ストレージクラスは、storageClassName
プロパティーを使用して PV に対して設定されます。
apiVersion: v1 kind: StorageClass metadata: name: gp2-retain parameters: # ... # ... reclaimPolicy: Retain
apiVersion: v1
kind: PersistentVolume
# ...
spec:
# ...
storageClassName: gp2-retain
Retain を回収 (reclaim) ポリシーとして使用しながら、クラスター全体を削除する場合は、PV を手動で削除する必要があります。そうしないと、PV は削除されず、リソースに不要な経費がかかる原因になります。
27.12.2. OpenShift クラスター喪失からの復旧
クラスターが失われた場合、ディスク/ボリュームのデータがインフラストラクチャー内に保持されていれば、それらのデータを使用してクラスターを復旧できます。PV が復旧可能でそれらが手動で作成されていれば、復旧の手順は namespace の削除と同じです。
27.12.3. 削除したクラスターの永続ボリュームからの復元
この手順では、削除されたクラスターを永続ボリューム (PV) から復元する方法を説明します。
この状況では、Topic Operator はトピックが Kafka に存在することを認識しますが、KafkaTopic
リソースは存在しません。
クラスター再作成の手順を行うには、2 つの方法があります。
すべての
KafkaTopic
リソースを復旧できる場合は、オプション 1 を使用します。これにより、クラスターが起動する前に
KafkaTopic
リソースを復旧することで、該当するトピックが Topic Operator によって削除されないようにする必要があります。すべての
KafkaTopic
リソースを復旧できない場合は、オプション 2 を使用します。この場合、Topic Operator なしでクラスターをデプロイし、Topic Operator のトピックストアメタデータを削除してから、Topic Operator で Kafka クラスターを再デプロイすることで、該当するトピックから
KafkaTopic
リソースを再作成できるようにします。
Topic Operator がデプロイされていない場合は、PersistentVolumeClaim
(PVC) リソースのみを復旧する必要があります。
作業を開始する前に
この手順では、データの破損を防ぐために PV を正しい PVC にマウントする必要があります。volumeName
が PVC に指定されており、それが PV の名前に一致する必要があります。
詳細は、永続ストレージ を参照してください。
この手順には、手動での再作成が必要な KafkaUser
リソースの復旧は含まれません。パスワードと証明書を保持する必要がある場合は、KafkaUser
リソースの作成前にシークレットを再作成する必要があります。
手順
クラスターの PV についての情報を確認します。
oc get pv
PV の情報がデータとともに表示されます。
この手順で重要な列を示す出力例:
NAME RECLAIMPOLICY CLAIM pvc-5e9c5c7f-3317-11ea-a650-06e1eadd9a4c ... Retain ... myproject/data-my-cluster-zookeeper-1 pvc-5e9cc72d-3317-11ea-97b0-0aef8816c7ea ... Retain ... myproject/data-my-cluster-zookeeper-0 pvc-5ead43d1-3317-11ea-97b0-0aef8816c7ea ... Retain ... myproject/data-my-cluster-zookeeper-2 pvc-7e1f67f9-3317-11ea-a650-06e1eadd9a4c ... Retain ... myproject/data-0-my-cluster-kafka-0 pvc-7e21042e-3317-11ea-9786-02deaf9aa87e ... Retain ... myproject/data-0-my-cluster-kafka-1 pvc-7e226978-3317-11ea-97b0-0aef8816c7ea ... Retain ... myproject/data-0-my-cluster-kafka-2
- NAME は各 PV の名前を示します。
- RECLAIM POLICY は PV が 保持される ことを示します。
- CLAIM は元の PVC へのリンクを示します。
元の namespace を再作成します。
oc create namespace myproject
元の PVC リソース仕様を再作成し、PVC を該当する PV にリンクします。
以下に例を示します。
apiVersion: v1 kind: PersistentVolumeClaim metadata: name: data-0-my-cluster-kafka-0 spec: accessModes: - ReadWriteOnce resources: requests: storage: 100Gi storageClassName: gp2-retain volumeMode: Filesystem volumeName: pvc-7e1f67f9-3317-11ea-a650-06e1eadd9a4c
PV 仕様を編集して、元の PVC にバインドされた
claimRef
プロパティーを削除します。以下に例を示します。
apiVersion: v1 kind: PersistentVolume metadata: annotations: kubernetes.io/createdby: aws-ebs-dynamic-provisioner pv.kubernetes.io/bound-by-controller: "yes" pv.kubernetes.io/provisioned-by: kubernetes.io/aws-ebs creationTimestamp: "<date>" finalizers: - kubernetes.io/pv-protection labels: failure-domain.beta.kubernetes.io/region: eu-west-1 failure-domain.beta.kubernetes.io/zone: eu-west-1c name: pvc-7e226978-3317-11ea-97b0-0aef8816c7ea resourceVersion: "39431" selfLink: /api/v1/persistentvolumes/pvc-7e226978-3317-11ea-97b0-0aef8816c7ea uid: 7efe6b0d-3317-11ea-a650-06e1eadd9a4c spec: accessModes: - ReadWriteOnce awsElasticBlockStore: fsType: xfs volumeID: aws://eu-west-1c/vol-09db3141656d1c258 capacity: storage: 100Gi claimRef: apiVersion: v1 kind: PersistentVolumeClaim name: data-0-my-cluster-kafka-2 namespace: myproject resourceVersion: "39113" uid: 54be1c60-3319-11ea-97b0-0aef8816c7ea nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: failure-domain.beta.kubernetes.io/zone operator: In values: - eu-west-1c - key: failure-domain.beta.kubernetes.io/region operator: In values: - eu-west-1 persistentVolumeReclaimPolicy: Retain storageClassName: gp2-retain volumeMode: Filesystem
この例では、以下のプロパティーが削除されます。
claimRef: apiVersion: v1 kind: PersistentVolumeClaim name: data-0-my-cluster-kafka-2 namespace: myproject resourceVersion: "39113" uid: 54be1c60-3319-11ea-97b0-0aef8816c7ea
Cluster Operator をデプロイします。
oc create -f install/cluster-operator -n my-project
クラスターを再作成します。
クラスターの再作成に必要なすべての
KafkaTopic
リソースがあるかどうかに応じて、以下の手順を実行します。オプション 1: クラスターを失う前に存在した
KafkaTopic
リソースが すべて ある場合 (__consumer_offsets
からコミットされたオフセットなどの内部トピックを含む)。すべての
KafkaTopic
リソースを再作成します。クラスターをデプロイする前にリソースを再作成する必要があります。そうでないと、Topic Operator によってトピックが削除されます。
Kafka クラスターをデプロイします。
以下に例を示します。
oc apply -f kafka.yaml
オプション 2: クラスターを失う前に存在したすべての
KafkaTopic
リソースがない場合。オプション 1 と同様に Kafka クラスターをデプロイしますが、デプロイ前に Kafka リソースから
topicOperator
プロパティーを削除して、Topic Operator がない状態でデプロイします。デプロイメントに Topic Operator が含まれると、Topic Operator によってすべてのトピックが削除されます。
Kafka クラスターから内部トピックストアのトピックを削除します。
oc run kafka-admin -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi-topic-operator-kstreams-topic-store-changelog --delete && ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi_store_topic --delete
このコマンドは、Kafka クラスターへのアクセスに使用されるリスナーおよび認証のタイプに対応している必要があります。
Kafka クラスターを
topicOperator
プロパティーで再デプロイして TopicOperator を有効にし、KafkaTopic
リソースを再作成します。以下に例を示します。
apiVersion: kafka.strimzi.io/v1beta2 kind: Kafka metadata: name: my-cluster spec: #... entityOperator: topicOperator: {} 1 #...
- 1
- ここで示すデフォルト設定には、追加のプロパティーはありません。
EntityTopicOperatorSpec
スキーマ参照 で説明されているプロパティーを使用して、必要な設定を指定します。
KafkaTopic
リソースのリストを表示して、復旧を確認します。oc get KafkaTopic
27.13. AMQ Streams のアンインストール
OpenShift Container Platform Web コンソールまたは CLI を使用して、OperatorHub から OpenShift 4.10 〜 4.14 上の AMQ Streams をアンインストールできます。
AMQ Streams のインストールに使用したのと同じアプローチを使用します。
AMQ Streams をアンインストールする場合は、デプロイメント専用に作成され、AMQ Streams リソースから参照されるリソースを特定する必要があります。
このようなリソースには以下があります。
- シークレット (カスタム CA および証明書、Kafka Connect Secrets、その他の Kafka シークレット)
-
ロギング
ConfigMap
(external
タイプ)
Kafka
、KafkaConnect
、KafkaMirrorMaker
、KafkaBridge
のいずれかの設定で参照されるリソースです。
CustomResourceDefinitions
を削除すると、対応するカスタムリソース (Kafka
、KafkaConnect
、KafkaMirrorMaker
、または KafkaBridge
)、およびそれらに依存するリソース (Deployments、StatefulSets、およびその他の依存リソース) のガベージコレクションが実行されます。
27.13.1. Web コンソールを使用した OperatorHub からの AMQ Streams のアンインストール
この手順では、OperatorHub から AMQ Streams をアンインストールし、デプロイメントに関連するリソースを削除する方法を説明します。
コンソールから手順を実行したり、別の CLI コマンドを使用したりできます。
前提条件
-
cluster-admin
またはstrimzi-admin
パーミッションを持つアカウントを使用して OpenShift Container Platform Web コンソールにアクセスできる。 削除するリソースを特定している。
AMQ Streams をアンインストールしたら、以下の
oc
CLI コマンドを使用してリソースを検索して、削除されていることを確認できます。AMQ Streams デプロイメントに関連するリソースを検索するコマンド
oc get <resource_type> --all-namespaces | grep <kafka_cluster_name>
<resource_type> は、
secret
またはconfigmap
などのチェックするリソースのタイプに置き換えます。
手順
- OpenShift Web コンソールで、Operators > Installed Operators に移動します。
インストールされている AMQ Streams Operator のオプションアイコン (縦に 3 つの点) を選択し、Uninstall Operator をクリックします。
Operator が Installed Operators から削除されます。
- Home > Projects に移動し、AMQ Streams と Kafka コンポーネントがインストールされているプロジェクトを選択します。
Inventory のオプションをクリックして関連リソースを削除します。
リソースには以下が含まれます。
- Deployments
- StatefulSets
- Pod
- Services
- ConfigMap
- Secrets
ヒント検索を使用して、Kafka クラスターの名前で始まる関連リソースを検索します。また、Workloads でもリソースを検索できます。
代わりの CLI コマンド
CLI コマンドを使用して、OperatorHub から AMQ Streams をアンインストールできます。
AMQ Streams サブスクリプションを削除します。
oc delete subscription amq-streams -n openshift-operators
クラスターサービスバージョン (CSV) を削除します。
oc delete csv amqstreams.<version> -n openshift-operators
関連する CRD を削除します。
oc get crd -l app=strimzi -o name | xargs oc delete
27.13.2. CLI を使用した AMQ Streams のアンインストール
この手順では、oc
コマンドラインツールを使用して AMQ Streams をアンインストールし、デプロイメントに関連するリソースを削除する方法を説明します。
前提条件
-
cluster-admin
またはstrimzi-admin
権限を持つアカウントを使用して、OpenShift クラスターにアクセスできる。 削除するリソースを特定している。
AMQ Streams をアンインストールしたら、以下の
oc
CLI コマンドを使用してリソースを検索して、削除されていることを確認できます。AMQ Streams デプロイメントに関連するリソースを検索するコマンド
oc get <resource_type> --all-namespaces | grep <kafka_cluster_name>
<resource_type> は、
secret
またはconfigmap
などのチェックするリソースのタイプに置き換えます。
手順
Cluster Operator
Deployment
、関連するCustomResourceDefinitions
、およびRBAC
リソースを削除します。Cluster Operator のデプロイに使用するインストールファイルを指定します。
oc delete -f install/cluster-operator
前提条件で特定したリソースを削除します。
oc delete <resource_type> <resource_name> -n <namespace>
<resource_type> は削除するリソースのタイプに、 <resource_name> はリソースの名前に置き換えます。
シークレットの削除例
oc delete secret my-cluster-clients-ca-cert -n my-project
27.14. よくある質問
第28章 AMQ Streams でのメータリングの使用
OCP 4 で利用可能なメータリングツールを使用して、異なるデータソースからメータリングレポートを生成できます。クラスター管理者として、メータリングを使用してクラスターの内容を分析できます。独自のクエリーを作成するか、事前定義 SQL クエリーを使用して、利用可能な異なるデータソースからデータを処理する方法を定義できます。Prometheus をデフォルトのデータソースとして使用すると、Pod、namespace、およびその他ほとんどの OpenShift リソースのレポートを生成できます。
OpenShift のメータリング Operator を使用すると、インストールされた AMQ Streams コンポーネントを分析し、Red Hat サブスクリプションに準拠しているかどうかを判断できます。
AMQ Streams でメータリングを使用するには、まず OpenShift Container Platform に メータリング Operator をインストールし、設定する必要があります。
28.1. メータリングリソース
メータリングには、メータリングのデプロイメントやインストール、およびメータリングが提供するレポート機能を管理するために使用できるリソースが多数含まれています。メータリングは以下の CRD を使用して管理されます。
名前 | 説明 |
---|---|
| デプロイメントのメータリングスタックを設定します。メータリングスタック設定用の各コンポーネントを制御するカスタマイズおよび設定オプションが含まれます。 |
| 使用するクエリー、クエリーを実行するタイミングおよび頻度、および結果を保存する場所を制御します。 |
|
|
| ReportQuery および Report で利用可能なデータを制御します。メータリング内で使用できるように複数の異なるデータベースへのアクセスの設定を可能にします。 |
28.2. AMQ Streams のメータリングラベル
以下の表では、AMQ Streams インフラストラクチャーコンポーネントおよびインテグレーションのメータリングラベルがリスト表示されています。
ラベル | 使用できる値 |
---|---|
|
|
|
|
|
|
|
|
|
|
| インフラストラクチャー
|
アプリケーション
| |
|
|
例
インフラストラクチャーの例 (インフラストラクチャーコンポーネントが entity-operator の場合)
com.company=Red_Hat rht.prod_name=Red_Hat_Application_Foundations rht.prod_ver=2023.Q3 rht.comp=AMQ_Streams rht.comp_ver=2.5 rht.subcomp=entity-operator rht.subcomp_t=infrastructure
アプリケーションの例 (インテグレーションのデプロイメント名が kafka-bridge の場合)
com.company=Red_Hat rht.prod_name=Red_Hat_Application_Foundations rht.prod_ver=2023.Q3 rht.comp=AMQ_Streams rht.comp_ver=2.5 rht.subcomp=kafka-bridge rht.subcomp_t=application
付録A サブスクリプションの使用
AMQ Streams は、ソフトウェアサブスクリプションから提供されます。サブスクリプションを管理するには、Red Hat カスタマーポータルでアカウントにアクセスします。
アカウントへのアクセス
- access.redhat.com に移動します。
- アカウントがない場合は作成します。
- アカウントにログインします。
サブスクリプションのアクティベート
- access.redhat.com に移動します。
- My Subscriptions に移動します。
- Activate a subscription に移動し、16 桁のアクティベーション番号を入力します。
Zip および Tar ファイルのダウンロード
zip または tar ファイルにアクセスするには、カスタマーポータルを使用して、ダウンロードする関連ファイルを検索します。RPM パッケージを使用している場合、この手順は必要ありません。
- ブラウザーを開き、access.redhat.com/downloads で Red Hat カスタマーポータルの Product Downloads ページにログインします。
- INTEGRATION AND AUTOMATION カテゴリーで、AMQ Streams for Apache Kafka エントリーを見つけます。
- 必要な AMQ Streams 製品を選択します。Software Downloads ページが開きます。
- コンポーネントの Download リンクをクリックします。
DNF を使用したパッケージのインストール
パッケージとすべてのパッケージ依存関係をインストールするには、以下を使用します。
dnf install <package_name>
ローカルディレクトリーからダウンロード済みのパッケージをインストールするには、以下を使用します。
dnf install <path_to_download_package>
改訂日時: 2023-11-22