OpenShift での AMQ Streams のデプロイと管理


Red Hat AMQ Streams 2.5

OpenShift Container Platform で AMQ Streams 2.5 をデプロイおよび管理する

概要

AMQ Streams Operator を使用して、Kafka コンポーネントをデプロイします。Kafka コンポーネントを設定して大規模なメッセージングネットワークを構築します。Kafka クラスターへの安全なクライアントアクセスと、メトリックや分散トレースなどの不適切な機能をセットアップします。アップグレードして、サポートされている最新の Kafka バージョンなどの新機能を活用します。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。まずは、マスター (master)、スレーブ (slave)、ブラックリスト (blacklist)、ホワイトリスト (whitelist) の 4 つの用語の置き換えから始めます。この取り組みは膨大な作業を要するため、今後の複数のリリースで段階的に用語の置き換えを実施して参ります。詳細は、Red Hat CTO である Chris Wright のメッセージ をご覧ください。

第1章 デプロイメントの概要

AMQ Streams は、OpenShift クラスターで Apache Kafka を実行するプロセスを簡素化します。

このガイドでは、AMQ Streams のデプロイと管理の手順を説明します。デプロイメントのオプションと手順については、AMQ Streams に含まれるサンプルインストールファイルを使用して説明します。このガイドでは設定に関する重要な考慮事項を強調していますが、利用可能なすべてのオプションを網羅しているわけではありません。Kafka コンポーネントの設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

このガイドでは、デプロイメント手順に加えて、デプロイメント前およびデプロイメント後のガイダンスも提供されます。Kafka クラスターへのクライアントアクセスのセットアップとセキュリティー保護について説明します。さらに、メトリクスの統合、分散トレース、Cruise Control や AMQ Streams Drain Cleaner などのクラスター管理ツールなどの追加のデプロイメントオプションについても検討します。AMQ Streams の管理と、最適なパフォーマンスを実現するための Kafka 設定の微調整に関する推奨事項も記載されています。

デプロイメントを最新の状態に保つために、AMQ Streams と Kafka の両方についてアップグレード手順が提供されています。

AMQ Streams は、ディストリビューションに関係なく、すべてのタイプの OpenShift クラスターと互換性があるように設計されています。デプロイメントにパブリッククラウドまたはプライベートクラウドが含まれるかどうか、ローカル開発環境をセットアップしている場合、このガイドの手順はすべての場合に当てはまります。

1.1. AMQ Streams のカスタムリソース

AMQ Streams を使用した Kafka コンポーネントの OpenShift クラスターへのデプロイメントは、カスタムリソースの適用により高度な設定が可能です。カスタムリソースは、OpenShift リソースを拡張するために CRD (カスタムリソース定義、Custom Resource Definition) によって追加される API のインスタンスとして作成されます。

CRD は、OpenShift クラスターでカスタムリソースを記述するための設定手順として機能し、デプロイメントで使用する Kafka コンポーネントごとに AMQ Streams で提供されます。CRD およびカスタムリソースは YAML ファイルとして定義されます。YAML ファイルのサンプルは AMQ Streams ディストリビューションに同梱されています。

また、CRD を使用すると、CLI へのアクセスや設定検証などのネイティブ OpenShift 機能を AMQ Streams リソースで活用することもできます。

1.1.1. AMQ Streams カスタムリソースの例

AMQ Streams 固有のリソースのインスタンス化と管理に使用されるスキーマを定義するには、CRD をクラスターに 1 回だけインストールする必要があります。

CRD をインストールして新規カスタムリソースタイプをクラスターに追加した後に、その仕様に基づいてリソースのインスタンスを作成できます。

クラスターの設定によりますが、インストールには通常、クラスター管理者権限が必要です。

注記

カスタムリソースの管理は、AMQ Streams 管理者のみが行えます。詳細は、「AMQ Streams の管理者の指定」 を参照してください。

kind:Kafka などの新しい kind リソースは、OpenShift クラスター内で CRD によって定義されます。

Kubernetes API サーバーを使用すると、kind を基にしたカスタムリソースの作成が可能になり、カスタムリソースが OpenShift クラスターに追加されたときにカスタムリソースの検証および格納方法を CRD から判断します。

警告

CustomResourceDefinition が削除されると、そのタイプのカスタムリソースも削除されます。さらに、カスタムリソースによって作成された OpenShift リソース (DeploymentPodServiceConfigMap リソースなど) も削除されます。

AMQ Streams 固有の各カスタムリソースは、リソースの kind の CRD によって定義されるスキーマに準拠します。AMQ Streams コンポーネントのカスタムリソースには、spec で定義される共通の設定プロパティーがあります。

CRD とカスタムリソースの関係を理解するため、Kafka トピックの CRD の例を見てみましょう。

Kafka トピックの CRD

apiVersion: kafka.strimzi.io/v1beta2
kind: CustomResourceDefinition
metadata: 1
  name: kafkatopics.kafka.strimzi.io
  labels:
    app: strimzi
spec: 2
  group: kafka.strimzi.io
  versions:
    v1beta2
  scope: Namespaced
  names:
    # ...
    singular: kafkatopic
    plural: kafkatopics
    shortNames:
    - kt 3
  additionalPrinterColumns: 4
      # ...
  subresources:
    status: {} 5
  validation: 6
    openAPIV3Schema:
      properties:
        spec:
          type: object
          properties:
            partitions:
              type: integer
              minimum: 1
            replicas:
              type: integer
              minimum: 1
              maximum: 32767
      # ...

1
CRD を識別するためのトピック CRD、その名前および名前のメタデータ。
2
グループ (ドメイン) 名、複数名、サポート対象のスキーマバージョンなど、この CRD の仕様。トピックの API にアクセスするために URL で使用されます。他の名前は、CLI のインスタンスリソースを識別するために使用されます。たとえば、oc get kafkaShortNametopic my-topicoc get kafkatopics などです。
3
ShortName は CLI コマンドで使用できます。たとえば、oc get kafkatopic の代わりに oc get kt を略名として使用できます。
4
カスタムリソースで get コマンドを使用する場合に示される情報。
5
リソースの スキーマ参照 に記載されている CRD の現在の状態。
6
openAPIV3Schema 検証によって、トピックカスタムリソースの作成が検証されます。たとえば、トピックには 1 つ以上のパーティションと 1 つのレプリカが必要です。
注記

ファイル名に、インデックス番号とそれに続く Crd が含まれるため、AMQ Streams インストールファイルと提供される CRD YAML ファイルを識別できます。

KafkaTopic カスタムリソースに該当する例は次のとおりです。

Kafka トピックカスタムリソース

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic 1
metadata:
  name: my-topic
  labels:
    strimzi.io/cluster: my-cluster 2
spec: 3
  partitions: 1
  replicas: 1
  config:
    retention.ms: 7200000
    segment.bytes: 1073741824
status:
  conditions: 4
    lastTransitionTime: "2019-08-20T11:37:00.706Z"
    status: "True"
    type: Ready
  observedGeneration: 1
  / ...

1
kind および apiVersion によって、インスタンスであるカスタムリソースの CRD が特定されます。
2
トピックまたはユーザーが属する Kafka クラスターの名前 (Kafka リソースの名前と同じ) を定義する、KafkaTopic および KafkaUser リソースのみに適用可能なラベル。
3
指定内容には、トピックのパーティション数およびレプリカ数や、トピック自体の設定パラメーターが示されています。この例では、メッセージがトピックに保持される期間や、ログのセグメントファイルサイズが指定されています。
4
KafkaTopic リソースのステータス条件。lastTransitionTimetype 条件が Ready に変更されています。

プラットフォーム CLI からカスタムリソースをクラスターに適用できます。カスタムリソースが作成されると、Kubernetes API の組み込みリソースと同じ検証が使用されます。

KafkaTopic の作成後、Topic Operator は通知を受け取り、該当する Kafka トピックが AMQ Streams で作成されます。

1.2. AMQ Streams の Operator

AMQ Streams Operator は、専用OpenShift で Kafka を効果的に管理するための専門的な運用知識をベースに特別に構築されています。各 Operator は個別の関数を実行します。

Cluster Operator
Cluster Operator は、OpenShift での Apache Kafka クラスターのデプロイメントおよび管理を処理します。Kafka ブローカーおよびその他の Kafka コンポーネントおよびリソースの設定を自動化します。
Topic Operator
Topic Operator は、Kafka クラスター内でのトピックの作成、設定、および削除を管理します。
User Operator
User Operator は、Kafka ブローカーへのアクセスを必要とする Kafka ユーザーを管理します。

AMQ Streams をデプロイする場合に、最初に Cluster Operator をデプロイします。その後、Cluster Operator が Kafka のデプロイメントを処理する準備が整います。Cluster Operator を使用して、またはスタンドアロン Operator として Topic Operator および User Operator をデプロイすることもできます。Cluster Operator によって管理されない Kafka クラスターでは、スタンドアロンの Operator を使用します。

Topic Operator および User Operator は Entity Operator の一部です。Cluster Operator は、Entity Operator 設定に基づいて Operator を 1 つまたは両方デプロイできます。

重要

スタンドアロン Operator をデプロイするには、環境変数を設定して Kafka クラスターに接続する必要があります。これらの環境変数は、Cluster Operator によって設定されるため、Cluster Operator を使用して Operator をデプロイする場合に設定する必要はありません。

1.2.1. OpenShift namespace での AMQ Streams リソースの監視

Operator は、OpenShift namespace で AMQ Streams リソースを監視および管理します。Cluster Operator は、OpenShift クラスター内の単一の名前空間、複数の名前空間、またはすべての名前空間を監視できます。Topic Operator と User Operator は、単一の名前空間を監視できます。

  • Cluster Operator は Kafka リソースを監視します
  • Topic Operator は KafkaTopic リソースを監視します
  • User Operator は KafkaUser リソースを監視します

Topic Operator と User Operator は、名前空間内の単一の Kafka クラスターのみを監視できます。また、単一の Kafka クラスターにのみ接続できます。

複数のトピックオペレーターが同じ名前空間を監視すると、名前の衝突やトピックの削除が発生する可能性があります。これは、各 Kafka クラスターが同じ名前 (__consumer_offsets など) を持つ Kafka トピックを使用するためです。特定の名前空間を監視するトピック Operator が 1 つだけであることを確認してください。

単一の名前空間で複数の User Operator を使用する場合、特定のユーザー名を持つユーザーは複数の Kafka クラスターに存在できます。

Cluster Operator を使用して Topic Operator と User Operator をデプロイすると、デフォルトで Cluster Operator によってデプロイされた Kafka クラスターが監視されます。Operator 設定で watchedNamespace を使用して名前空間を指定することもできます。

各 Operator のスタンドアロンデプロイの場合、設定で監視する名前空間と Kafka クラスターへの接続を指定します。

1.2.2. RBAC リソースの管理

Cluster Operator は、OpenShift リソースへのアクセスが必要な AMQ Streams コンポーネントのロールベースのアクセス制御 (RBAC) リソースを作成および管理します。

Cluster Operator が機能するには、Kafka および KafkaConnect などの Kafka リソースや ConfigMapPodDeploymentService などの管理リソースと対話するために OpenShift クラスター内でパーミッションが必要です。

権限は、以下の OpenShift RBAC リソースを使用して指定します。

  • ServiceAccount
  • Role および ClusterRole
  • RoleBinding および ClusterRoleBinding
1.2.2.1. AMQ Streams コンポーネントへの権限の委譲

Cluster Operator は strimzi-cluster-operator という名前のサービスアカウントで実行されます。このアカウントには、クラスターロールが割り当てられ、AMQ Streams コンポーネントの RBAC リソースを作成するパーミッションが付与されます。ロールバインディングは、クラスターロールをサービスアカウントに関連付けます。

OpenShift は、ある ServiceAccount の下で動作するコンポーネントが、付与元の ServiceAccount に含まれていない、別の ServiceAccount 権限を付与するのを防ぎます。Cluster Operator は管理するリソースが必要とする RoleBinding および ClusterRoleBinding RBAC リソースを作成するため、これに同じ権限を付与するロールが必要です。

以下の表は、Cluster Operator によって作成される RBAC リソースについて説明しています。

表1.1 ServiceAccount リソース
名前Used by (使用フィールド)

<cluster_name>-kafka

Kafka ブローカー Pod

<cluster_name>-zookeeper

ZooKeeper Pod

<cluster_name>-cluster-connect

Kafka Connect Pod

<cluster_name>-mirror-maker

MirrorMaker Pod

<cluster_name>-mirrormaker2

MirrorMaker 2 Pod

<cluster_name>-bridge

Kafka Bridge Pod

<cluster_name>-entity-operator

Entitiy Operator

表1.2 ClusterRole リソース
名前Used by (使用フィールド)

strimzi-cluster-operator-namespaced

Cluster Operator

strimzi-cluster-operator-global

Cluster Operator

strimzi-cluster-operator-leader-election

Cluster Operator

strimzi-kafka-broker

Cluster Operator、ラック機能 (使用時)

strimzi-entity-operator

Cluster Operator、Topic Operator、User Operator

strimzi-kafka-client

Cluster Operator、ラック対応の Kafka クライアント

表1.3 ClusterRoleBinding リソース
名前Used by (使用フィールド)

strimzi-cluster-operator

Cluster Operator

strimzi-cluster-operator-kafka-broker-delegation

Cluster Operator、ラック対応の Kafka ブローカー

strimzi-cluster-operator-kafka-client-delegation

Cluster Operator、ラック対応の Kafka クライアント

表1.4 RoleBinding リソース
名前Used by (使用フィールド)

strimzi-cluster-operator

Cluster Operator

strimzi-cluster-operator-kafka-broker-delegation

Cluster Operator、ラック対応の Kafka ブローカー

1.2.2.2. ServiceAccountを使用した Cluster Operator の実行

Cluster Operator は ServiceAccount を使用して最適に実行されます。

Cluster Operator の ServiceAccount の例

apiVersion: v1
kind: ServiceAccount
metadata:
  name: strimzi-cluster-operator
  labels:
    app: strimzi

その後、Cluster Operator の Deployment で、これを spec.template.spec.serviceAccountName に指定する必要があります。

Cluster Operator の Deployment の部分的な例

apiVersion: apps/v1
kind: Deployment
metadata:
  name: strimzi-cluster-operator
  labels:
    app: strimzi
spec:
  replicas: 1
  selector:
    matchLabels:
      name: strimzi-cluster-operator
      strimzi.io/kind: cluster-operator
  template:
    metadata:
      labels:
        name: strimzi-cluster-operator
        strimzi.io/kind: cluster-operator
    spec:
      serviceAccountName: strimzi-cluster-operator
      # ...

1.2.2.3. ClusterRole リソース

Cluster Operator は ClusterRole リソースを使用して、リソースに必要なアクセスを提供します。OpenShift クラスターの設定によっては、クラスター管理者がクラスターロールを作成する必要になる場合があります。

注記

クラスター管理者の権限は ClusterRole リソースの作成にのみ必要です。Cluster Operator はクラスター管理者アカウントでは実行されません。

ClusterRole リソースは 最小権限の原則 に従い、Cluster Operator が Kafka コンポーネントのクラスターを操作するために必要な権限のみを含みます。最初に割り当てられた一連の権限により、Cluster Operator で DeploymentPodConfigMap などの OpenShift リソースを管理できます。

Cluster Operator が権限を委任するには、すべてのクラスターロールが必要です。

Cluster Operator は strimzi-cluster-operator-namespaced および strimzi-cluster-operator-global クラスターロールを使用して、namespace スコープのリソースレベルおよびクラスタースコープのリソースレベルでパーミッションを付与します。

Cluster Operator の namespaced リソースのある ClusterRole

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: strimzi-cluster-operator-namespaced
  labels:
    app: strimzi
rules:
  # Resources in this role are used by the operator based on an operand being deployed in some namespace. When needed, you
  # can deploy the operator as a cluster-wide operator. But grant the rights listed in this role only on the namespaces
  # where the operands will be deployed. That way, you can limit the access the operator has to other namespaces where it
  # does not manage any clusters.
  - apiGroups:
      - "rbac.authorization.k8s.io"
    resources:
      # The cluster operator needs to access and manage rolebindings to grant Strimzi components cluster permissions
      - rolebindings
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - "rbac.authorization.k8s.io"
    resources:
      # The cluster operator needs to access and manage roles to grant the entity operator permissions
      - roles
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - ""
    resources:
      # The cluster operator needs to access and delete pods, this is to allow it to monitor pod health and coordinate rolling updates
      - pods
      # The cluster operator needs to access and manage service accounts to grant Strimzi components cluster permissions
      - serviceaccounts
      # The cluster operator needs to access and manage config maps for Strimzi components configuration
      - configmaps
      # The cluster operator needs to access and manage services and endpoints to expose Strimzi components to network traffic
      - services
      - endpoints
      # The cluster operator needs to access and manage secrets to handle credentials
      - secrets
      # The cluster operator needs to access and manage persistent volume claims to bind them to Strimzi components for persistent data
      - persistentvolumeclaims
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - "apps"
    resources:
      # The cluster operator needs to access and manage deployments to run deployment based Strimzi components
      - deployments
      - deployments/scale
      - deployments/status
      # The cluster operator needs to access and manage stateful sets to run stateful sets based Strimzi components
      - statefulsets
      # The cluster operator needs to access replica-sets to manage Strimzi components and to determine error states
      - replicasets
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - "" # legacy core events api, used by topic operator
      - "events.k8s.io" # new events api, used by cluster operator
    resources:
      # The cluster operator needs to be able to create events and delegate permissions to do so
      - events
    verbs:
      - create
  - apiGroups:
      # Kafka Connect Build on OpenShift requirement
      - build.openshift.io
    resources:
      - buildconfigs
      - buildconfigs/instantiate
      - builds
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - networking.k8s.io
    resources:
      # The cluster operator needs to access and manage network policies to lock down communication between Strimzi components
      - networkpolicies
      # The cluster operator needs to access and manage ingresses which allow external access to the services in a cluster
      - ingresses
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - route.openshift.io
    resources:
      # The cluster operator needs to access and manage routes to expose Strimzi components for external access
      - routes
      - routes/custom-host
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - image.openshift.io
    resources:
      # The cluster operator needs to verify the image stream when used for Kafka Connect image build
      - imagestreams
    verbs:
      - get
  - apiGroups:
      - policy
    resources:
      # The cluster operator needs to access and manage pod disruption budgets this limits the number of concurrent disruptions
      # that a Strimzi component experiences, allowing for higher availability
      - poddisruptionbudgets
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update

Cluster Operator のクラスタースコープリソースのある ClusterRole

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: strimzi-cluster-operator-global
  labels:
    app: strimzi
rules:
  - apiGroups:
      - "rbac.authorization.k8s.io"
    resources:
      # The cluster operator needs to create and manage cluster role bindings in the case of an install where a user
      # has specified they want their cluster role bindings generated
      - clusterrolebindings
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update
  - apiGroups:
      - storage.k8s.io
    resources:
      # The cluster operator requires "get" permissions to view storage class details
      # This is because only a persistent volume of a supported storage class type can be resized
      - storageclasses
    verbs:
      - get
  - apiGroups:
      - ""
    resources:
      # The cluster operator requires "list" permissions to view all nodes in a cluster
      # The listing is used to determine the node addresses when NodePort access is configured
      # These addresses are then exposed in the custom resource states
      - nodes
    verbs:
      - list

strimzi-cluster-operator-leader-election クラスターロールは、リーダーの選出に必要な権限を表します。

リーダー選出権限を持つ ClusterRole

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: strimzi-cluster-operator-leader-election
  labels:
    app: strimzi
rules:
  - apiGroups:
      - coordination.k8s.io
    resources:
      # The cluster operator needs to access and manage leases for leader election
      # The "create" verb cannot be used with "resourceNames"
      - leases
    verbs:
      - create
  - apiGroups:
      - coordination.k8s.io
    resources:
      # The cluster operator needs to access and manage leases for leader election
      - leases
    resourceNames:
      # The default RBAC files give the operator only access to the Lease resource names strimzi-cluster-operator
      # If you want to use another resource name or resource namespace, you have to configure the RBAC resources accordingly
      - strimzi-cluster-operator
    verbs:
      - get
      - list
      - watch
      - delete
      - patch
      - update

strimzi-kafka-broker クラスターロールは、ラック対応機能を使用する Kafka Pod の init コンテナーが必要とするアクセス権限を表します。

strimzi- <cluster_name> -kafka-init という名前のロールバインディングは、<cluster_name> -kafka サービスアカウントに、strimzi-kafka-broker ロールを使用してクラスター内のノードへのアクセスを許可します。ラック機能が使用されておらず、クラスターが nodeport を介して公開されていない場合、バインディングは作成されません。

Cluster Operator の ClusterRole により、OpenShift ノードへのアクセスを Kafka ブローカー Pod に委譲できます。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: strimzi-kafka-broker
  labels:
    app: strimzi
rules:
  - apiGroups:
      - ""
    resources:
      # The Kafka Brokers require "get" permissions to view the node they are on
      # This information is used to generate a Rack ID that is used for High Availability configurations
      - nodes
    verbs:
      - get

strimzi-entity-operator クラスターロールは、Topic Operator および User Operator が必要とするアクセスを表します。

Topic Operator はステータス情報を含む OpenShift イベントを生成するため、<cluster_name> -entity-operator サービスアカウントは strimzi-entity-operator ロールにバインドされ、strimzi-entity-operator ロールバインディングを介してこのアクセスが許可されます。

Cluster Operator の ClusterRole により、イベントへのアクセスを Topic および User Operator に委任できます。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: strimzi-entity-operator
  labels:
    app: strimzi
rules:
  - apiGroups:
      - "kafka.strimzi.io"
    resources:
      # The entity operator runs the KafkaTopic assembly operator, which needs to access and manage KafkaTopic resources
      - kafkatopics
      - kafkatopics/status
      # The entity operator runs the KafkaUser assembly operator, which needs to access and manage KafkaUser resources
      - kafkausers
      - kafkausers/status
    verbs:
      - get
      - list
      - watch
      - create
      - patch
      - update
      - delete
  - apiGroups:
      - ""
    resources:
      - events
    verbs:
      # The entity operator needs to be able to create events
      - create
  - apiGroups:
      - ""
    resources:
      # The entity operator user-operator needs to access and manage secrets to store generated credentials
      - secrets
    verbs:
      - get
      - list
      - watch
      - create
      - delete
      - patch
      - update

strimzi-kafka-client クラスターロールは、ラック対応機能を使用する Kafka クライアントが必要とするアクセス権限を表します。

Cluster Operator の ClusterRole により、OpenShift ノードへのアクセスを Kafka クライアントベースの Pod に委譲できます。

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: strimzi-kafka-client
  labels:
    app: strimzi
rules:
  - apiGroups:
      - ""
    resources:
      # The Kafka clients (Connect, Mirror Maker, etc.) require "get" permissions to view the node they are on
      # This information is used to generate a Rack ID (client.rack option) that is used for consuming from the closest
      # replicas when enabled
      - nodes
    verbs:
      - get

1.2.2.4. ClusterRoleBinding リソース

Cluster Operator は ClusterRoleBinding および RoleBinding リソースを使用して ClusterRoleServiceAccount に関連付けます。クラスターのロールバインディングは、クラスタースコープのリソースが含まれるクラスターロールで必要になります。

Cluster Operator の ClusterRoleBinding の例

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: strimzi-cluster-operator
  labels:
    app: strimzi
subjects:
  - kind: ServiceAccount
    name: strimzi-cluster-operator
    namespace: myproject
roleRef:
  kind: ClusterRole
  name: strimzi-cluster-operator-global
  apiGroup: rbac.authorization.k8s.io

権限の委任に使用されるクラスターロールには、クラスターロールバインディングも必要です。

Cluster Operator と Kafka ブローカーのラック対応機能向けのClusterRoleBinding

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: strimzi-cluster-operator-kafka-broker-delegation
  labels:
    app: strimzi
# The Kafka broker cluster role must be bound to the cluster operator service account so that it can delegate the cluster role to the Kafka brokers.
# This must be done to avoid escalating privileges which would be blocked by Kubernetes.
subjects:
  - kind: ServiceAccount
    name: strimzi-cluster-operator
    namespace: myproject
roleRef:
  kind: ClusterRole
  name: strimzi-kafka-broker
  apiGroup: rbac.authorization.k8s.io

Cluster Operator と Kafka クライアントのラック対応機能向けのClusterRoleBinding

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: strimzi-cluster-operator-kafka-client-delegation
  labels:
    app: strimzi
# The Kafka clients cluster role must be bound to the cluster operator service account so that it can delegate the
# cluster role to the Kafka clients using it for consuming from closest replica.
# This must be done to avoid escalating privileges which would be blocked by Kubernetes.
subjects:
  - kind: ServiceAccount
    name: strimzi-cluster-operator
    namespace: myproject
roleRef:
  kind: ClusterRole
  name: strimzi-kafka-client
  apiGroup: rbac.authorization.k8s.io

namespaced リソースのみを含むクラスターロールは、ロールバインディングのみを使用してバインドされます。

Cluster Operator の RoleBinding の例

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: strimzi-cluster-operator
  labels:
    app: strimzi
subjects:
  - kind: ServiceAccount
    name: strimzi-cluster-operator
    namespace: myproject
roleRef:
  kind: ClusterRole
  name: strimzi-cluster-operator-namespaced
  apiGroup: rbac.authorization.k8s.io

Cluster Operator および Kafka ブローカーのらっくt相合機能向けの RoleBinding の例

apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: strimzi-cluster-operator-entity-operator-delegation
  labels:
    app: strimzi
# The Entity Operator cluster role must be bound to the cluster operator service account so that it can delegate the cluster role to the Entity Operator.
# This must be done to avoid escalating privileges which would be blocked by Kubernetes.
subjects:
  - kind: ServiceAccount
    name: strimzi-cluster-operator
    namespace: myproject
roleRef:
  kind: ClusterRole
  name: strimzi-entity-operator
  apiGroup: rbac.authorization.k8s.io

1.3. Kafka Bridge を使用した Kafka クラスターへの接続

AMQ Streams Kafka Bridge API を使用して、コンシューマーを作成および管理し、ネイティブ Kafka プロトコルではなく HTTP を介してレコードを送受信できます。

Kafka Bridge を設定する場合、Kafka クラスターへの HTTP アクセスを設定します。その後、Kafka Bridge を使用して、クラスターからのメッセージを生成および消費したり、REST インターフェイスを介して他の操作を実行することができます。

関連情報

1.4. シームレスな FIPS サポート

FIPS (Federal Information Processing Standards) は、コンピューターセキュリティーおよび相互運用性の標準です。FIPS 対応の OpenShift クラスターで AMQ Streams を実行すると、AMQ Streams コンテナーイメージで使用される OpenJDK が自動的に FIPS モードに切り替わります。バージョン 2.4 以降、AMQ Streams は、変更や特別な設定を行わなくても、FIPS 対応の OpenShift クラスター上で実行できるようになりました。OpenJDK の FIPS 準拠のセキュリティーライブラリーのみを使用します。

パスワードの最小長

FIPS モードで実行する場合、SCRAM-SHA-512 パスワードは 32 文字以上にする必要があります。AMQ Streams 2.4 からは、AMQ Streams User Operator のデフォルトのパスワード長も 32 文字に設定されています。32 文字未満のパスワード長を使用するカスタム設定の Kafka クラスターがある場合は、設定を更新する必要があります。32 文字未満のパスワードを持つユーザーがいる場合は、必要な長さのパスワードを再生成する必要があります。これを行うには、たとえば、ユーザーシークレットを削除し、ユーザーオペレーターが適切な長さの新しいパスワードを作成するのを待ちます。

重要

FIPS 対応の OpenShift クラスターを使用している場合、通常の OpenShift クラスターと比較してメモリー消費量が増加する可能性があります。問題を回避するには、メモリー要求を少なくとも 512Mi に増やすことを推奨します。

1.5. 本書の表記慣例

ユーザー置換値

ユーザーが置き換える値は、置き換え可能 な値とも呼ばれ、山かっこ (<>) を付けて表示されます。アンダースコア ( _ ) は、複数単語の値に使用されます。値がコードまたはコマンドを参照する場合は monospace も使用されます。

たとえば、次のコードは、<my_namespace> を正しい名前空間名に置き換える必要があることを示しています。

sed -i 's/namespace: .*/namespace: <my_namespace>' install/cluster-operator/*RoleBinding*.yaml

1.6. 関連情報

第2章 AMQ Streams のインストール方法

AMQ Streams を OpenShift 4.10 〜 4.14 にインストールするには、2 つの方法があります。

インストール方法説明

インストールアーティファクト (YAML ファイル)

AMQ Streams ソフトウェアダウンロードページ から、Red Hat AMQ Streams 2.5 OpenShift インストールおよびサンプルファイル をダウンロードします。oc を使用して YAML インストールアーティファクトを OpenShift クラスターにデプロイします。最初に、Cluster Operator を install/cluster-operator から単一、複数、またはすべての namespace にデプロイします。

install/ アーティファクトを使用して以下をデプロイすることもできます。

  • AMQ Streams 管理者ロール (strimzi-admin)
  • スタンドアロン Topic Operator (topic-operator)
  • スタンドアロン User Operator (user-operator)
  • AMQ Streams Drain Cleaner (drain-cleaner)

OperatorHub

OperatorHub の AMQ Streams Operator を使用して、AMQ Streams を単一の namespace またはすべての namespace にデプロイします。

できるだけ柔軟性を確保するには、アーティファクトのインストール方法を選択してください。OperatorHub メソッドは標準的な設定を提供し、自動更新を活用できるようにします。

注記

Helm を使用した AMQ Streams のインストールはサポートされていません。

第3章 AMQ Streams でデプロイされる内容

Apache Kafka コンポーネントは、AMQ Streams ディストリビューションを使用して OpenShift にデプロイする場合に提供されます。Kafka コンポーネントは通常、クラスターとして実行され、可用性を確保します。

Kafka コンポーネントが組み込まれた通常のデプロイメントには以下が含まれます。

  • ブローカーノードの Kafka クラスター
  • レプリケートされた ZooKeeper インスタンスの zookeeper クラスター
  • 外部データ接続用の Kafka Connect クラスター
  • セカンダリークラスターで Kafka クラスターをミラーリングする Kafka MirrorMaker クラスター
  • 監視用に追加の Kafka メトリックデータを抽出する Kafka Exporter
  • Kafka クラスターに対して HTTP ベースの要求を行う Kafka Bridge
  • Cruise Control によるブローカーノード間のトピックパーティションの再バランス

少なくとも Kafka および ZooKeeper は必要ですが、上記のコンポーネントがすべて必須なわけではありません。MirrorMaker や Kafka Connect など、一部のコンポーネントでは Kafka なしでデプロイできます。

3.1. デプロイメントの順序

OpenShift クラスターへのデプロイで必要とされる順序は、次のとおりです。

  1. Cluster Operator をデプロイし、Kafka クラスターを管理します。
  2. ZooKeeper クラスターとともに Kafka クラスターをデプロイし、Topic Operator および User Operator がデプロイメントに含まれるようにします。
  3. 任意で以下をデプロイします。

    • Topic Operator および User Operator (Kafka クラスターとともにデプロイしなかった場合)
    • Kafka Connect
    • Kafka MirrorMaker
    • Kafka Bridge
    • メトリクスを監視するためのコンポーネント

Cluster Operator は、 DeploymentService、および Pod リソースなど、コンポーネントの OpenShift リソースを作成します。OpenShift リソース名には、デプロイ時にコンポーネントに指定された名前が追加されます。たとえば、my-kafka-cluster という名前の Kafka クラスターには、 my-kafka-cluster-kafka という名前のサービスがあります。

第4章 AMQ Streams デプロイメントの準備

必要な事前デプロイメントタスクを完了して、AMQ Streams のデプロイメントを準備します。次のような、特定の要件に応じて必要な準備手順を実行します。

注記

本ガイドのコマンドを実行するには、クラスターユーザーに RBAC (ロールベースアクセス制御) および CRD を管理する権限を付与する必要があります。

4.1. デプロイメントの前提条件

AMQ Streams をデプロイするには、以下が必要です。

  • OpenShift 4.10 〜 4.14 クラスター。

    AMQ Streams は Strimzi 0.36.x に基づいています。

  • oc コマンドラインツールがインストールされ、稼働中のクラスターに接続するように設定されている。

4.2. AMQ Streams リリースアーティファクトのダウンロード

デプロイメントファイルを使用して AMQ Streams をインストールするには、AMQ Streams ソフトウェアダウンロードページ からファイルをダウンロードしてデプロイメントします。

AMQ Streams のリリースアーティファクトには、YAML ファイルが含まれています。これらのファイルは、AMQ Streams コンポーネントの OpenShift へのデプロイ、共通の操作の実行、および Kafka クラスターの設定に便利です。

oc を使用して、ダウンロードした ZIP ファイルの install/cluster-operator フォルダーから Cluster Operator をデプロイします。Cluster Operator のデプロイメントおよび設定に関する詳細は、「Cluster Operator のデプロイ」 を参照してください。

また、AMQ Streams Cluster Operator によって管理されない Kafka クラスターをトピックおよび User Operator のスタンドアロンインストールと共に使用する場合は、install/topic-operator および install/user-operator フォルダーからデプロイできます。

注記

AMQ Streams コンテナーイメージは、Red Hat Ecosystem Catalog からも入手できます。ただし、指定の YAML ファイルを使用して AMQ Streams をデプロイすることを推奨します。

4.3. コンテナーイメージを独自のレジストリーにプッシュ

AMQ Streams のコンテナーイメージは Red Hat Ecosystem Catalog にあります。AMQ Streams が提供するインストール YAML ファイルは、Red Hat Ecosystem Catalog から直接イメージをプルします。

Red Hat Ecosystem Catalog にアクセスできない場合や独自のコンテナーリポジトリーを使用する場合は以下を行います。

  1. リストにある すべての コンテナーイメージをプルします。
  2. 独自のレジストリーにプッシュします。
  3. インストール YAML ファイルのイメージ名を更新します。
注記

リリースに対してサポートされる各 Kafka バージョンには別のイメージがあります。

コンテナーイメージnamespace/リポジトリー説明

Kafka

  • registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
  • registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1

次を含む、Kafka を実行するための AMQ Streams イメージ

  • Kafka Broker
  • Kafka Connect
  • Kafka MirrorMaker
  • ZooKeeper
  • TLS Sidecars
  • Cruise Control

Operator

  • registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1

Operator を実行するための AMQ Streams イメージ

  • Cluster Operator
  • Topic Operator
  • User Operator
  • Kafka Initializer

Kafka Bridge

  • registry.redhat.io/amq-streams/bridge-rhel8:2.5.1

AMQ Streams Kafka Bridge を稼働するための AMQ Streams イメージ

AMQ Streams Drain Cleaner

  • registry.redhat.io/amq-streams/drain-cleaner-rhel8:2.5.1

AMQ Streams Drain Cleaner を実行するための AMQ Streams イメージ

4.4. コンテナーイメージレジストリーに対する認証用のプルシークレットの作成

AMQ Streams が提供するインストール YAML ファイルは、コンテナーイメージを Red Hat Ecosystem Catalog から直接プルします。AMQ Streams デプロイメントで認証が必要な場合は、シークレットで認証用の認証情報を設定し、それをインストール YAML に追加します。

注記

通常、認証は必要ありませんが、特定のプラットフォームでは要求される場合があります。

前提条件

  • Red Hat のユーザー名とパスワード、または Red Hat レジストリーサービスアカウントのログイン情報。
注記

Red Hat サブスクリプションを使用して、Red Hat カスタマーポータル からレジストリーサービスアカウントを作成できます。

手順

  1. ログインの詳細と、AMQ Streams イメージがプルされるコンテナーレジストリーを含むプルシークレットを作成します。

    oc create secret docker-registry <pull_secret_name> \
        --docker-server=registry.redhat.io \
        --docker-username=<user_name> \
        --docker-password=<password> \
        --docker-email=<email>

    ユーザー名とパスワードを追加します。メールアドレスは任意です。

  2. install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml デプロイメントファイルを編集し、STRIMZI_IMAGE_PULL_SECRET 環境変数を使用してプルシークレットを指定します。

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: strimzi-cluster-operator
    spec:
      # ...
      template:
        spec:
          serviceAccountName: strimzi-cluster-operator
          containers:
            # ...
            env:
              - name: STRIMZI_IMAGE_PULL_SECRETS
                value: "<pull_secret_name>"
    # ...

    シークレットは、Cluster Operator によって作成されたすべての Pod に適用されます。

4.5. AMQ Streams の管理者の指定

AMQ Streams では、デプロイメントの設定にカスタムリソースが提供されます。デフォルトでは、これらのリソースの表示、作成、編集、および削除権限は OpenShift クラスター管理者に限定されます。AMQ Streams には、これらの権利を他のユーザーに割り当てるために使用できる 2 つのクラスターロールが用意されています。

  • strimzi-view ロールを指定すると、ユーザーは AMQ Streams リソースを表示できます。
  • strimzi-admin ロールを指定すると、ユーザーは AMQ Streams リソースを作成、編集、または削除することもできます。

これらのロールをインストールすると、これらの権限が自動的にデフォルトの OpenShift クラスターロールに集約 (追加) されます。strimzi-viewview ロールに、strimzi-adminedit および admin ロールに集約されます。このように集約することで、すでに同様の権限を持つユーザーに、これらのロールを割り当てる必要がなくなる可能性があります。

以下の手順では、クラスター管理者でないユーザーが AMQ Streams リソースを管理できるようにする strimzi-admin ロールの割り当て方法を説明します。

システム管理者は、Cluster Operator のデプロイ後に AMQ Streams の管理者を指定できます。

前提条件

手順

  1. OpenShift で strimzi-view および strimzi-admin クラスターロールを作成します。

    oc create -f install/strimzi-admin
  2. 必要な場合は、ユーザーに必要なアクセス権限を付与するロールを割り当てます。

    oc create clusterrolebinding strimzi-admin --clusterrole=strimzi-admin --user=user1 --user=user2

第5章 Web コンソールを使用した OperatorHub からの AMQ Streams のインストール

OpenShift Container Platform Web コンソールの OperatorHub から AMQ Streams Operator をインストールします。

本セクションの手順では以下の方法を説明します。

5.1. OperatorHub からの AMQ Streams Operator のインストール

OpenShift Container Platform Web コンソールの OperatorHub を使用して、AMQ Streams Operator をインストールしてサブスクライブできます。

この手順では、プロジェクトを作成し、そのプロジェクトに AMQ Streams Operator をインストールする方法を説明します。プロジェクトは namespace を表します。namespace を使用して機能を分離することで管理性を確保することを推奨します。

警告

適切な更新チャネルを使用するようにしてください。サポート対象の OpenShift のバージョンを使用している場合は、デフォルトの stable チャネルから安全に AMQ Streams をインストールできます。ただし、stable チャネルで自動更新を有効にすることは推奨されません。自動アップグレードでは、アップグレード前の必要手順がスキップされます。バージョン固有のチャネルでのみ自動アップグレードを使用します。

前提条件

  • cluster-admin または strimzi-admin パーミッションを持つアカウントを使用して OpenShift Container Platform Web コンソールにアクセスできる。

手順

  1. OpenShift Web コンソールで Home > Projects ページに移動し、インストール用のプロジェクト (namespace) を作成します。

    この例では、amq-streams-kafka という名前のプロジェクトを使用します。

  2. Operators > OperatorHub ページに移動します。
  3. Filter by keyword ボックスにスクロールするかキーワードを入力して、AMQ Streams Operator を見つけます。

    Operator は、Streaming & Messaging カテゴリーにあります。

  4. AMQ Streams をクリックして、Operator 情報を表示します。
  5. operator に関する情報を確認し、Install をクリックします。
  6. Install Operator ページで、次のインストールおよび更新オプションから選択します。

    • Update Channel: Operator の更新チャネルを選択します。

      • stable チャネル (デフォルト) には最新の更新とリリースがすべて含まれます。これには、十分なテストを行った上、安定していることが想定される、メジャー、マイナー、およびマイクロリリースが含まれます。
      • amq-streams-X.x チャネルには、メジャーリリースのマイナーリリースの更新およびマイクロリリースの更新が含まれます。X は、メジャーリリースのバージョン番号に置き換えてください。
      • amq-streams-X.Y.x チャネルには、マイナーリリースのマイクロリリースの更新が含まれます。X はメジャーリリースのバージョン番号、Y はマイナーリリースのバージョン番号に置き換えてください。
    • Installation Mode: 作成したプロジェクトを選択して、特定の namespace に Operator をインストールします。

      AMQ Streams Operator をクラスターのすべての namespace (デフォルトのオプション) にインストールするか、特定の namespace にインストールするかを選択できます。特定の namespace を Kafka クラスターおよびその他の AMQ Streams コンポーネント専用とすることが推奨されます。

    • Update approval: デフォルトでは、OLM (Operator Lifecycle Manager) によって、AMQ Streams Operator が自動的に最新の AMQ Streams バージョンにアップグレードされます。今後のアップグレードを手動で承認する場合は、Manual を選択します。Operator の詳細は、OpenShift ドキュメント を参照してください。
  7. Install をクリックして、選択した namespace に Operator をインストールします。

    AMQ Streams Operator によって、Cluster Operator、CRD、およびロールベースアクセス制御 (RBAC) リソースは選択された namespace にデプロイされます。

  8. Operator を使用する準備ができたら、Operators > Installed Operators に移動して、Operator が選択した namespace にインストールされていることを確認します。

    ステータスは Succeeded と表示されます。

    これで、AMQ Streams Operator を使用して、Kafka クラスターから順に Kafka コンポーネントをデプロイできるようになりました。

注記

Workloads > Deployments に移動すると、Cluster Operator および Entity Operator のデプロイメントの詳細を確認できます。Cluster Operator の名前には、バージョン番号 amq-streams-cluster-operator-<version> が含まれます。AMQ Streams インストールアーティファクトを使用して Cluster Operator をデプロイする場合、名前は異なります。この場合、名前は strimzi-cluster-operator です。

5.2. AMQ Streams Operator を使用した Kafka コンポーネントのデプロイ

Openshift にインストールすると、AMQ Streams Operator は、ユーザーインターフェイスから Kafka コンポーネントをインストールできるようにします。

次の Kafka コンポーネントをインストールできます。

  • Kafka
  • Kafka Connect
  • Kafka MirrorMaker
  • Kafka MirrorMaker 2
  • Kafka Topic
  • Kafka User
  • Kafka Bridge
  • Kafka Connector
  • Kafka Rebalance

コンポーネントを選択して、インスタンスを作成します。少なくとも、Kafka インスタンスを作成します。この手順では、デフォルト設定を使用して Kafka インスタンスを作成する方法を説明します。インストールを実行する前に、デフォルトのインストール仕様を設定できます。

プロセスは、他の Kafka コンポーネントのインスタンスを作成する場合と同じです。

前提条件

手順

  1. Web コンソールで Operators > Installed Operators ページに移動し、AMQ Streams をクリックして、Operator の詳細を表示します。

    提供されている API から、Kafka コンポーネントのインスタンスを作成できます。

  2. Kafka の下の Create instance をクリックして、Kafka インスタンスを作成します。

    デフォルトでは、3 つの Kafka ブローカーノードと 3 つの ZooKeeper ノードを持つ my-cluster という名の Kafka クラスターを作成します。クラスターはエフェメラルストレージを使用します。

  3. Create をクリックして、Kafka のインストールを開始します。

    ステータスが Ready に変わるまで待ちます。

第6章 インストールアーティファクトを使用した AMQ Streams のデプロイ

AMQ Streams のデプロイメント環境を準備 したら、AMQ Streams を OpenShift クラスターにデプロイできます。リリースアーティファクトで提供されるインストールファイルを使用します。

AMQ Streams は Strimzi 0.36.x に基づいています。AMQ Streams 2.5 は OpenShift 4.10 〜 4.14 にデプロイできます。

インストールファイルを使用して AMQ Streams をデプロイする手順は次のとおりです。

  1. Cluster Operator をデプロイします。
  2. Cluster Operator を使用して、以下をデプロイします。

  3. 任意で、要件に応じて以下の Kafka コンポーネントをデプロイします。

注記

本ガイドのコマンドを実行するには、OpenShift ユーザーに RBAC (ロールベースアクセス制御) および CRD を管理する権限を付与する必要があります。

6.1. 基本的なデプロイメントパス

AQM Streams が同じ namespace にある 1 つの Kafka クラスターを管理するデプロイメントを設定できます。この設定は、開発またはテストに使用できます。または、運用環境で AMQ Streams を使用して、さまざまな namespace で多数の Kafka クラスターを管理できます。

AMQ Streams のデプロイメントの最初のステップは、install/cluster-operator ファイルを使用して Cluster Operator をインストールすることです。

1 つのコマンド (oc apply -f ./install/cluster-operator) で、cluster-operator フォルダー内のすべてのインストールファイルに適用されます。

このコマンドは、以下を含む、Kafka デプロイメントの作成および管理に必要な内容をすべて設定します。

  • Cluster Operator (DeploymentConfigMap)
  • AMQ Streams CRDs (CustomResourceDefinition)
  • RBAC リソース (ClusterRoleClusterRoleBindingRoleBinding)
  • サービスアカウント (ServiceAccount)

基本的なデプロイメントパスは次のとおりです。

  1. リリースアーティファクトをダウンロードする
  2. Cluster Operator をデプロイする OpenShift namespace を作成する
  3. Cluster Operator をデプロイする

    1. Cluster Operator 用に作成された namespace を使用するように install/cluster-operator ファイルを更新します。
    2. Cluster Operator をインストールして、1 つ、複数、またはすべての namespace を監視します
  4. Kafka クラスターを作成する

その後、他の Kafka コンポーネントをデプロイし、デプロイのモニタリングを設定できます。

6.2. Cluster Operator のデプロイ

Cluster Operator は、OpenShift クラスター内で Kafka クラスターのデプロイおよび管理を行います。

Cluster Operator の稼働中に、Kafka リソースの更新に対する監視が開始されます。

デフォルトでは、Cluster Operator の単一のレプリカがデプロイされます。リーダーの選択でレプリカを追加し、中断が発生した場合に追加の Cluster Operator がスタンバイ状態になるようにすることができます。詳細は、「リーダーの選択による複数の Cluster Operator レプリカの実行」 を参照してください。

6.2.1. Cluster Operator が監視する namespace の指定

Cluster Operator は、Kafka リソースがデプロイされている namespace の更新を監視します。Cluster Operator をデプロイするときは、OpenShift クラスター内で監視する namespace を指定します。次の namespace を指定できます。

選択した複数の namespace を監視すると、処理オーバーヘッドが増加するため、パフォーマンスに最も大きな影響を与えます。namespace の監視のパフォーマンスを最適化するには、通常、単一の namespace を監視するか、クラスター全体を監視することが推奨されます。単一の namespace を監視すると、namespace 固有のリソースを集中的に監視することができますが、すべての namespace を監視すると、すべての namespace にわたるクラスターのリソースの包括的なビューが提供されます。

Cluster Operator では、以下のリソースの変更が監視されます。

  • Kafka クラスターの Kafka
  • Kafka Connect クラスターの KafkaConnect
  • Kafka Connect クラスターでコネクターを作成および管理するための KafkaConnector
  • Kafka MirrorMaker インスタンスの KafkaMirrorMaker
  • KafkaMirrorMaker2 (Kafka MirrorMaker 2 インスタンスの場合)。
  • Kafka Bridge インスタンスの KafkaBridge
  • Cruise Control の最適化リクエストの KafkaRebalance

OpenShift クラスターでこれらのリソースの 1 つが作成されると、Operator がクラスターの詳細をリソースから取得します。さらに、Deployment、Pod、Service、および ConfigMap などの必要な OpenShift リソースが作成され、リソースの新しいクラスターの作成が開始されます。

Kafka リソースが更新されるたびに、リソースのクラスターを設定する OpenShift リソースで該当する更新が Operator によって実行されます。

リソースは、パッチを適用するか削除してから、再作成して、目的とするクラスターの状態を、リソースのクラスターに反映させます。この操作は、サービスの中断を引き起こすローリング更新の原因となる可能性があります。

リソースが削除されると、Operator によってクラスターがアンデプロイされ、関連する OpenShift リソースがすべて削除されます。

注記

Cluster Operator は OpenShift クラスター内の 1 つ、複数、またはすべての namespace を監視できますが、Topic Operator と User Operator は単一の namespace 内の KafkaTopic リソースと KafkaUser リソースを監視します。詳細は、「OpenShift namespace での AMQ Streams リソースの監視」 を参照してください。

6.2.2. 単一の namespace を監視対象とする Cluster Operator のデプロイメント

この手順では、OpenShift クラスターの単一の namespace で AMQ Streams リソースを監視する Cluster Operator をデプロイする方法を説明します。

前提条件

  • CustomResourceDefinition および RBAC (ClusterRole および RoleBinding) リソースを作成および管理する権限を持つアカウント。

手順

  1. Cluster Operator のインストール先の namespace を使用するように、AMQ Streams インストールファイルを編集します。

    たとえば、この手順では Cluster Operator は my-cluster-operator-namespace という namespace にインストールされます。

    Linux の場合は、以下を使用します。

    sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml

    MacOS の場合は、以下を使用します。

    sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
  2. Cluster Operator をデプロイします。

    oc create -f install/cluster-operator -n my-cluster-operator-namespace
  3. デプロイメントのステータスを確認します。

    oc get deployments -n my-cluster-operator-namespace

    デプロイメント名と準備状態が表示されている出力

    NAME                      READY  UP-TO-DATE  AVAILABLE
    strimzi-cluster-operator  1/1    1           1

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に 1 が表示されれば、デプロイメントは成功しています。

6.2.3. 複数の namespace を監視対象とする Cluster Operator のデプロイメント

この手順では、OpenShift クラスターの複数の namespace で AMQ Streams リソースを監視する Cluster Operator をデプロイする方法を説明します。

前提条件

  • CustomResourceDefinition および RBAC (ClusterRole および RoleBinding) リソースを作成および管理する権限を持つアカウント。

手順

  1. Cluster Operator のインストール先の namespace を使用するように、AMQ Streams インストールファイルを編集します。

    たとえば、この手順では Cluster Operator は my-cluster-operator-namespace という namespace にインストールされます。

    Linux の場合は、以下を使用します。

    sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml

    MacOS の場合は、以下を使用します。

    sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
  2. install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ファイルを編集し、Cluster Operator が監視するすべての namespace のリストを STRIMZI_NAMESPACE 環境変数に追加します。

    たとえば、この手順では Cluster Operator は watched-namespace-1watched-namespace-2、および watched-namespace-3 という namespace を監視します。

    apiVersion: apps/v1
    kind: Deployment
    spec:
      # ...
      template:
        spec:
          serviceAccountName: strimzi-cluster-operator
          containers:
          - name: strimzi-cluster-operator
            image: registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1
            imagePullPolicy: IfNotPresent
            env:
            - name: STRIMZI_NAMESPACE
              value: watched-namespace-1,watched-namespace-2,watched-namespace-3
  3. リストした各 namespace に RoleBindings をインストールします。

    この例では、コマンドの watched-namespace を前述のステップでリストした namespace に置き換えます。watched-namespace-1watched-namespace-2、および watched-namespace-3 にも、繰り返し同様の操作を実行します。

    oc create -f install/cluster-operator/020-RoleBinding-strimzi-cluster-operator.yaml -n <watched_namespace>
    oc create -f install/cluster-operator/023-RoleBinding-strimzi-cluster-operator.yaml -n <watched_namespace>
    oc create -f install/cluster-operator/031-RoleBinding-strimzi-cluster-operator-entity-operator-delegation.yaml -n <watched_namespace>
  4. Cluster Operator をデプロイします。

    oc create -f install/cluster-operator -n my-cluster-operator-namespace
  5. デプロイメントのステータスを確認します。

    oc get deployments -n my-cluster-operator-namespace

    デプロイメント名と準備状態が表示されている出力

    NAME                      READY  UP-TO-DATE  AVAILABLE
    strimzi-cluster-operator  1/1    1           1

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に 1 が表示されれば、デプロイメントは成功しています。

6.2.4. すべての namespace を対象とする Cluster Operator のデプロイメント

この手順では、OpenShift クラスターのすべての namespace で AMQ Streams リソースを監視する Cluster Operator をデプロイする方法を説明します。

このモードで実行している場合、Cluster Operator は、新規作成された namespace でクラスターを自動的に管理します。

前提条件

  • CustomResourceDefinition および RBAC (ClusterRole および RoleBinding) リソースを作成および管理する権限を持つアカウント。

手順

  1. Cluster Operator のインストール先の namespace を使用するように、AMQ Streams インストールファイルを編集します。

    たとえば、この手順では Cluster Operator は my-cluster-operator-namespace という namespace にインストールされます。

    Linux の場合は、以下を使用します。

    sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml

    MacOS の場合は、以下を使用します。

    sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
  2. install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ファイルを編集し、STRIMZI_NAMESPACE 環境変数の値を * に設定します。

    apiVersion: apps/v1
    kind: Deployment
    spec:
      # ...
      template:
        spec:
          # ...
          serviceAccountName: strimzi-cluster-operator
          containers:
          - name: strimzi-cluster-operator
            image: registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1
            imagePullPolicy: IfNotPresent
            env:
            - name: STRIMZI_NAMESPACE
              value: "*"
            # ...
  3. クラスター全体ですべての namespace にアクセスできる権限を Cluster Operator に付与する ClusterRoleBindings を作成します。

    oc create clusterrolebinding strimzi-cluster-operator-namespaced --clusterrole=strimzi-cluster-operator-namespaced --serviceaccount my-cluster-operator-namespace:strimzi-cluster-operator
    oc create clusterrolebinding strimzi-cluster-operator-watched --clusterrole=strimzi-cluster-operator-watched --serviceaccount my-cluster-operator-namespace:strimzi-cluster-operator
    oc create clusterrolebinding strimzi-cluster-operator-entity-operator-delegation --clusterrole=strimzi-entity-operator --serviceaccount my-cluster-operator-namespace:strimzi-cluster-operator
  4. Cluster Operator を OpenShift クラスターにデプロイします。

    oc create -f install/cluster-operator -n my-cluster-operator-namespace
  5. デプロイメントのステータスを確認します。

    oc get deployments -n my-cluster-operator-namespace

    デプロイメント名と準備状態が表示されている出力

    NAME                      READY  UP-TO-DATE  AVAILABLE
    strimzi-cluster-operator  1/1    1           1

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に 1 が表示されれば、デプロイメントは成功しています。

6.3. Kafka のデプロイ

Cluster Operator で Kafka クラスターを管理できるようにするには、これを Kafka リソースとしてデプロイする必要があります。AMQ Streams では、この目的のために、デプロイメントファイルのサンプルが同梱されています。これらのファイルを使用して、Topic Operator および User Operator を同時にデプロイできます。

Cluster Operator をデプロイしたら、Kafka リソースを使用して次のコンポーネントをデプロイします。

Kafka をインストールする場合、AMQ Streams によって ZooKeeper クラスターもインストールされ、Kafka と ZooKeeper との接続に必要な設定が追加されます。

ノードプール機能のプレビューを試している場合は、1 つ以上のノードプールを含む Kafka クラスターをデプロイできます。ノードプールは、Kafka ノードのセットの設定を提供します。ノードプールを使用すると、同じ Kafka クラスター内でノードに異なる設定を持たせることができます。

ノードプールはデフォルトでは有効になっていないため、使用する前に KafkaNodePools フィーチャーゲートを有効にする 必要があります。

Kafka クラスターを Kafka リソースとしてデプロイしていない場合は、Cluster Operator を使用してこのクラスターを管理できません。これには、OpenShift 外で実行されている Kafka クラスターなどが該当します。ただし、Topic Operator と User Operator は、スタンドアロンコンポーネントとしてデプロイすること で、AMQ Streams によって 管理されていない Kafka クラスターで使用できます。AMQ Streams によって管理されていない Kafka クラスターで他の Kafka コンポーネントをデプロイして使用することもできます。

6.3.1. Kafka クラスターのデプロイメント

この手順では、Cluster Operator を使用して Kafka クラスターを OpenShift クラスターにデプロイする方法を説明します。

デプロイメントでは、YAML ファイルの仕様を使用して Kafka リソースが作成されます。

AMQ Streams には、Kafka クラスターの作成に使用できる次の サンプルファイル が用意されています。

kafka-persistent.yaml
3 つの Zookeeper ノードと 3 つの Kafka ノードを使用して永続クラスターをデプロイします。
kafka-jbod.yaml
それぞれが複数の永続ボリューを使用する、3 つの ZooKeeper ノードと 3 つの Kafka ノードを使用して、永続クラスターをデプロイします。
kafka-persistent-single.yaml
1 つの ZooKeeper ノードと 1 つの Kafka ノードを使用して、永続クラスターをデプロイします。
kafka-ephemeral.yaml
3 つの ZooKeeper ノードと 3 つの Kafka ノードを使用して、一時クラスターをデプロイします。
kafka-ephemeral-single.yaml
3 つの ZooKeeper ノードと 1 つの Kafka ノードを使用して、一時クラスターをデプロイします。

この手順では、一時 および 永続 Kafka クラスターデプロイメントの例を使用します。

一時クラスター
通常、Kafka の一時クラスターは開発およびテスト環境での使用に適していますが、本番環境での使用には適していません。このデプロイメントでは、ブローカー情報 (ZooKeeper) と、トピックまたはパーティション (Kafka) を格納するための emptyDir ボリュームが使用されます。emptyDir ボリュームを使用すると、その内容は Pod のライフサイクルと厳密な関係を持つため、Pod がダウンすると削除されます。
永続クラスター

Kafka の永続クラスターでは、永続ボリュームを使用して ZooKeeper および Kafka データを格納します。PersistentVolumeClaim を使用して PersistentVolume が取得され、PersistentVolume の実際のタイプには依存しません。PersistentVolumeClaimStorageClass を使用し、自動ボリュームプロビジョニングをトリガーすることができます。StorageClass が指定されていない場合、OpenShift はデフォルトの StorageClass を使用しようとします。

次の例では、一般的なタイプの永続ボリュームを一部紹介しています。

  • OpenShift クラスターが Amazon AWS で実行されている場合、OpenShift は Amazon EBS ボリュームをプロビジョニングできます。
  • OpenShift クラスターが Microsoft Azure で実行されている場合、OpenShift は Azure Disk Storage ボリュームをプロビジョニングできます。
  • OpenShift クラスターが Google Cloud で実行されている場合、OpenShift は永続ディスクボリュームをプロビジョニングできます
  • OpenShift クラスターがベアメタルで実行されている場合、OpenShift はローカル永続ボリュームをプロビジョニングできます

このサンプル YAML ファイルは、最新のサポート対象 Kafka バージョン、サポート対象のログメッセージ形式バージョンとブローカー間のプロトコルバージョンの設定を指定します。Kafka configinter.broker.protocol.version プロパティーは、指定された Kafka バージョン (spec.kafka.version) によってサポートされるバージョンである必要があります。このプロパティーは、Kafka クラスターで使用される Kafka プロトコルのバージョンを表します。

Kafka 3.0.0 以降、inter.broker.protocol.version3.0 以上に設定されていると、log.message.format.version オプションは無視されるため、設定する必要はありません。

Kafka のアップグレード 時に、inter.broker.protocol.version への更新が必要です。

サンプルクラスターの名前はデフォルトで my-cluster になります。クラスター名はリソースの名前によって定義され、クラスターがデプロイされた後に変更できません。クラスターをデプロイする前にクラスター名を変更するには、関連する YAML ファイルにある Kafka リソースの Kafka.metadata.name プロパティーを編集します。

デフォルトのクラスター名および指定された Kafka バージョン

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    version: 3.5.0
    #...
    config:
      #...
      log.message.format.version: "3.5"
      inter.broker.protocol.version: "3.5"
  # ...

手順

  1. 一時または永続クラスターを作成およびデプロイします。

    • 一時クラスターを作成およびデプロイするには、以下を実行します。

      oc apply -f examples/kafka/kafka-ephemeral.yaml
    • 永続クラスターを作成およびデプロイするには、以下を実行します。

      oc apply -f examples/kafka/kafka-persistent.yaml
  2. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    Pod 名および readiness が表示される出力

    NAME                        READY   STATUS    RESTARTS
    my-cluster-entity-operator  3/3     Running   0
    my-cluster-kafka-0          1/1     Running   0
    my-cluster-kafka-1          1/1     Running   0
    my-cluster-kafka-2          1/1     Running   0
    my-cluster-zookeeper-0      1/1     Running   0
    my-cluster-zookeeper-1      1/1     Running   0
    my-cluster-zookeeper-2      1/1     Running   0

    my-cluster は Kafka クラスターの名前です。

    0 で始まる連続インデックス番号は、作成された各 Kafka および ZooKeeper Pod を識別します。

    デフォルトのデプロイメントでは、Entity Operator クラスター、3 つの Kafka Pod、および 3 つの ZooKeeper Pod を作成します。

    READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

6.3.2. (プレビュー) Kafka ノードプールのデプロイ

この手順では、Cluster Operator を使用して Kafka ノードプールを OpenShift クラスターにデプロイする方法を示します。ノードプールは、同じ設定を共有する Kafka クラスター内の Kafka ノードの個別のグループを表します。ノードプール内の各 Kafka ノードについて、ノードプールで定義されていない設定は、kafka リソースのクラスター設定から継承されます。

注記

ノードプール機能はプレビューとして利用できます。ノードプールはデフォルトでは有効になっていないため、使用する前に KafkaNodePools フィーチャーゲートを有効にする 必要があります。

デプロイメントでは、YAML ファイルの仕様を使用して KafkaNodePool リソースが作成されます。クラスター管理に KRaft (Kafka Raft メタデータ) モードまたは ZooKeeper を使用する Kafka クラスターでノードプールを使用できます。

重要

KRaft モードは、Apache Kafka または AMQ Streams での運用の準備ができていません。

AMQ Streams には、Kafka ノードプールの作成に使用できる次の サンプルファイル が用意されています。

kafka.yaml
3 つのノードと 2 つの異なる Kafka ブローカープールを備えた ZooKeeper をデプロイします。各プールには 3 つのブローカーがあります。この例のプールは、異なるストレージ設定を使用しています。
kafka-with-dual-role-kraft-nodes.yaml
ブローカーとコントローラーのロールを共有する KRaft ノードの 1 つのプールを備えた Kafka クラスターをデプロイします。
kafka-with-kraft.yaml
コントローラーノードの 1 つのプールとブローカーノードの 1 つのプールを備えた Kafka クラスターをデプロイします。
注記

ノードプールの使用をすぐに開始する必要はありません。これらを使用する場合は、ここで説明する手順を実行して、KafkaNodePool リソースを使用して新しい Kafka クラスターをデプロイするか、既存の Kafka クラスターを移行でき ます。

注記

既存の Kafka クラスターを移行してノードプールを使用する場合は、既存の Kafka クラスターを移行する手順 を参照してください。

手順

  1. コマンドラインから KafkaNodePools フィーチャーゲートを有効にします。

    oc set env deployment/strimzi-cluster-operator STRIMZI_FEATURE_GATES="+KafkaNodePools"

    または、Cluster Operator Deployment を編集し、STRIMZI_FEATURE_GATES 環境変数を更新します。

    env
      - name: STRIMZI_FEATURE_GATES
        value: +KafkaNodePools

    これにより、クラスター Operator が更新されます。

    KRaft モードを使用する場合は、UseKRaft フィーチャーゲートも有効にします。

  2. ノードプールを作成します。

    • 3 つのブローカーの 2 つのノードプールを備えた Kafka クラスターと ZooKeeper クラスターをデプロイするには、次の手順を実行します。

      oc apply -f examples/kafka/nodepools/kafka.yaml
    • デュアルロールノードを使用する単一ノードプールを備えた Kafka クラスターを KRaft モードでデプロイするには、次の手順を実行します。

      oc apply -f examples/kafka/nodepools/kafka-with-dual-role-kraft-nodes.yaml
    • ブローカーノードとコントローラーノードに個別のノードプールを使用して Kafka クラスターを KRaft モードでデプロイするには、次の手順を実行します。

      oc apply -f examples/kafka/nodepools/kafka-with-kraft.yaml
  3. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    出力にはノードプール名と準備状況が表示されます

    NAME                        READY   STATUS    RESTARTS
    my-cluster-entity-operator  3/3     Running   0
    my-cluster-pool-a-kafka-0   1/1     Running   0
    my-cluster-pool-a-kafka-1   1/1     Running   0
    my-cluster-pool-a-kafka-4   1/1     Running   0

    • my-cluster は Kafka クラスターの名前です。
    • pool-a はノードプールの名前です。

      0 で始まる連続したインデックス番号は、作成された各 Kafka Pod を識別します。ZooKeeper を使用している場合は、ZooKeeper Pod も表示されます。

      READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

      デプロイに関する情報は、プール内のノードの ID のリストなど、KafkaNodePool リソースのステータスにも表示されます。

      注記

      ノード ID は、クラスター内のすべてのノードプールにわたって 0 (ゼロ) から順番に割り当てられます。これは、ノード ID が特定のノードプール内で連続して実行されない可能性があることを意味します。クラスター全体のノード ID のシーケンスにギャップがある場合、追加される次のノードにはギャップを埋める ID が割り当てられます。スケールダウンすると、プール内で最も大きな数のノード ID を持つノードが削除されます。

6.3.3. Cluster Operator を使用した Topic Operator のデプロイ

この手順では、Cluster Operator を使用して Topic Operator をデプロイする方法を説明します。Topic Operator は、双方向モードまたは一方向モードのいずれかで使用するためにデプロイメントできます。双方向および一方向のトピック管理の詳細は、「トピック管理モード」 を参照してください。

注記

一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには UnidirectionTopicOperator フィーチャーゲートを有効にする 必要があります。

Kafka リソースの entityOperator プロパティーを設定し、topicOperator が含まれるようにします。デフォルトでは、Topic Operator は Cluster Operator によってデプロイされた Kafka クラスターの namespace で KafkaTopic リソースを監視します。Topic Operator specwatchedNamespace を使用して namespace を指定することもできます。1 つの Topic Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、Top Operator 1 つのみとします。

AMQ Streams を使用して複数の Kafka クラスターを同じ namespace にデプロイする場合は、1 つの Kafka クラスターに対してのみ Topic Operator を有効にするか、watchedNamespace プロパティーを使用して Topic Operators が他の namespace を監視するように設定します。

AMQ Streams によって管理されない Kafka クラスターを Topic Operator と使用する場合は、Topic Operator をスタンドアロンコンポーネントとしてデプロイ する必要があります。

entityOperator および topicOperator プロパティーの設定に関する詳細は、エンティティー Operator の設定 を参照してください。

手順

  1. Kafka リソースの entityOperator プロパティーを編集し、topicOperator が含まれるようにします。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      #...
      entityOperator:
        topicOperator: {}
        userOperator: {}
  2. EntityTopicOperatorSpec スキーマ参照 で説明されているプロパティーを使用して、トピック Operator spec を設定します。

    すべてのプロパティーにデフォルト値を使用する場合は、空のオブジェクト ({}) を使用します。

  3. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>
  4. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    Pod 名と準備状況が表示される出力

    NAME                        READY   STATUS    RESTARTS
    my-cluster-entity-operator  3/3     Running   0
    # ...

    my-cluster は Kafka クラスターの名前です。

    READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

6.3.4. Cluster Operator を使用した User Operator のデプロイ

この手順では、Cluster Operator を使用して User Operator をデプロイする方法を説明します。

Kafka リソースの entityOperator プロパティーを設定し、userOperator が含まれるようにします。デフォルトでは、User Operator は Kafka クラスターデプロイメントの namespace で KafkaUser リソースを監視します。User Operator specwatchedNamespace を使用して namespace を指定することもできます。1 つの User Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、User Operator 1 つのみとします。

AMQ Streams によって管理されない Kafka クラスターを User Operator と使用する場合は、User Operator をスタンドアロンコンポーネントとしてデプロイ する必要があります。

entityOperator および userOperator プロパティーの設定に関する詳細は、エンティティー Operator の設定 を参照してください。

手順

  1. Kafka リソースの entityOperator プロパティーを編集し、userOperator が含まれるようにします。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      #...
      entityOperator:
        topicOperator: {}
        userOperator: {}
  2. EntityUserOperatorSpec スキーマ参照 に記載されているプロパティーを使用して、User Operator の spec を設定します。

    すべてのプロパティーにデフォルト値を使用する場合は、空のオブジェクト ({}) を使用します。

  3. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>
  4. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    Pod 名と準備状況が表示される出力

    NAME                        READY   STATUS    RESTARTS
    my-cluster-entity-operator  3/3     Running   0
    # ...

    my-cluster は Kafka クラスターの名前です。

    READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

6.3.5. Kafka クラスターリソースのリスト

以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。

共有リソース

cluster-name-cluster-ca
クラスター通信の暗号化に使用されるクラスター CA プライベートキーのあるシークレット。
cluster-name-cluster-ca-cert
クラスター CA 公開鍵のあるシークレット。このキーは、Kafka ブローカーのアイデンティティーの検証に使用できます。
cluster-name-clients-ca
ユーザー証明書に署名するために使用されるクライアント CA 秘密鍵のあるシークレット。
cluster-name-clients-ca-cert
クライアント CA 公開鍵のあるシークレット。このキーは、Kafka ユーザーのアイデンティティーの検証に使用できます。
cluster-name-cluster-operator-certs
Kafka および ZooKeeper と通信するための Cluster Operator キーのあるシークレット。

ZooKeeper ノード

cluster-name-zookeeper

以下の ZooKeeper リソースに指定された名前。

  • ZooKeeper ノード Pod を管理するための StrimziPodSet。
  • ZooKeeper ノードで使用されるサービスアカウント。
  • ZooKeeper ノードに設定された PodDisruptionBudget。
cluster-name-zookeeper-idx
StrimziPodSet によって作成された Pod。
cluster-name-zookeeper-nodes
DNS が ZooKeeper Pod の IP アドレスを直接解決するのに必要なヘッドレスサービス。
cluster-name-zookeeper-client
Kafka ブローカーがクライアントとして ZooKeeper ノードに接続するために使用するサービス。
cluster-name-zookeeper-config
ZooKeeper 補助設定が含まれ、ZooKeeper ノード Pod によってボリュームとしてマウントされる ConfigMap。
cluster-name-zookeeper-nodes
ZooKeeper ノードキーがあるシークレット。
cluster-name-network-policy-zookeeper
ZooKeeper サービスへのアクセスを管理するネットワークポリシー。
data-cluster-name-zookeeper-idx
ZooKeeper ノード Pod idx のデータを保存するために使用されるボリュームの永続ボリューム要求です。このリソースは、データを保存するために永続ボリュームのプロビジョニングに永続ストレージが選択された場合のみ作成されます。

Kafka ブローカー

cluster-name-kafka

以下の Kafka リソースに指定された名前。

  • Kafka ブローカー Pod を管理するための StrimziPodSet。
  • Kafka Pod によって使用されるサービスアカウント。
  • Kafka ブローカーに設定された PodDisruptionBudget。
cluster-name-kafka-idx

以下の Kafka リソースに指定された名前。

  • StrimziPodSet によって作成された Pod。
  • Kafka ブローカー設定を使用した ConfigMap。
cluster-name-kafka-brokers
DNS が Kafka ブローカー Pod の IP アドレスを直接解決するのに必要なサービス。
cluster-name-kafka-bootstrap
サービスは、OpenShift クラスター内から接続する Kafka クライアントのブートストラップサーバーとして使用できます。
cluster-name-kafka-external-bootstrap
OpenShift クラスター外部から接続するクライアントのブートストラップサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。リスナー名が external でポートが 9094 の場合、後方互換性のために古いサービス名が使用されます。
cluster-name-kafka-pod-id
トラフィックを OpenShift クラスターの外部から個別の Pod にルーティングするために使用されるサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。リスナー名が external でポートが 9094 の場合、後方互換性のために古いサービス名が使用されます。
cluster-name-kafka-external-bootstrap
OpenShift クラスターの外部から接続するクライアントのブートストラップルート。このリソースは、外部リスナーが有効でタイプが route に設定されている場合にのみ作成されます。リスナー名が external でポートが 9094 の場合、後方互換性のために古いルート名が使用されます。
cluster-name-kafka-pod-id
OpenShift クラスターの外部から個別の Pod へのトラフィックに対するルート。このリソースは、外部リスナーが有効でタイプが route に設定されている場合にのみ作成されます。リスナー名が external でポートが 9094 の場合、後方互換性のために古いルート名が使用されます。
cluster-name-kafka-listener-name-bootstrap
OpenShift クラスター外部から接続するクライアントのブートストラップサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。新しいサービス名はその他すべての外部リスナーに使用されます。
cluster-name-kafka-listener-name-pod-id
トラフィックを OpenShift クラスターの外部から個別の Pod にルーティングするために使用されるサービス。このリソースは、外部リスナーが有効な場合にのみ作成されます。新しいサービス名はその他すべての外部リスナーに使用されます。
cluster-name-kafka-listener-name-bootstrap
OpenShift クラスターの外部から接続するクライアントのブートストラップルート。このリソースは、外部リスナーが有効でタイプが route に設定されている場合にのみ作成されます。新しいルート名はその他すべての外部リスナーに使用されます。
cluster-name-kafka-listener-name-pod-id
OpenShift クラスターの外部から個別の Pod へのトラフィックに対するルート。このリソースは、外部リスナーが有効でタイプが route に設定されている場合にのみ作成されます。新しいルート名はその他すべての外部リスナーに使用されます。
cluster-name-kafka-config
Kafka の補助設定を含む ConfigMap。UseStrimziPodSets フィーチャーゲートが無効な場合、ブローカー Pod によってボリュームとしてマウントされます。
cluster-name-kafka-brokers
Kafka ブローカーキーのあるシークレット。
cluster-name-network-policy-kafka
Kafka サービスへのアクセスを管理するネットワークポリシー。
strimzi-namespace-name-cluster-name-kafka-init
Kafka ブローカーによって使用されるクラスターロールバインディング。
cluster-name-jmx
Kafka ブローカーポートのセキュア化に使用される JMX ユーザー名およびパスワードのあるシークレット。このリソースは、Kafka で JMX が有効になっている場合にのみ作成されます。
data-cluster-name-kafka-idx
Kafka ブローカー Pod idx のデータを保存するために使用されるボリュームの永続ボリューム要求です。このリソースは、データを保存するために永続ボリュームのプロビジョニングに永続ストレージが選択された場合のみ作成されます。
data-id-cluster-name-kafka-idx
Kafka ブローカー Pod idx のデータを保存するために使用されるボリューム id の永続ボリューム要求です。このリソースは、永続ボリュームをプロビジョニングしてデータを保存するときに、JBOD ボリュームに永続ストレージが選択された場合のみ作成されます。

Entitiy Operator

これらのリソースは、Cluster Operator を使用して Entity Operator がデプロイされる場合にのみ作成されます。

cluster-name-entity-operator

以下の Entity Operator リソースに指定された名前:

  • Topic および User Operator とのデプロイメント。
  • Entity Operator によって使用されるサービスアカウント。
  • Entity Operator メトリックへのアクセスを管理するネットワークポリシー。
cluster-name-entity-operator-random-string
Entity Operator デプロイメントによって作成された Pod。
cluster-name-entity-topic-operator-config
Topic Operator の補助設定のある ConfigMap。
cluster-name-entity-user-operator-config
User Operator の補助設定のある ConfigMap。
cluster-name-entity-topic-operator-certs
Kafka および ZooKeeper と通信するための Topic Operator キーのあるシークレット。
cluster-name-entity-user-operator-certs
Kafka および ZooKeeper と通信するための User Operator キーのあるシークレット。
strimzi-cluster-name-entity-topic-operator
Entity Topic Operator によって使用されるロールバインディング。
strimzi-cluster-name-entity-user-operator
Entity User Operator によって使用されるロールバインディング。

Kafka Exporter

これらのリソースは、Cluster Operator を使用して Kafka Exporter がデプロイされる場合にのみ作成されます。

cluster-name-kafka-exporter

以下の Kafka Exporter リソースに指定された名前。

  • Kafka Exporter でのデプロイメント。
  • コンシューマーラグメトリックの収集に使用されるサービス。
  • Kafka Exporter によって使用されるサービスアカウント。
  • Kafka Exporter メトリックへのアクセスを管理するネットワークポリシー。
cluster-name-kafka-exporter-random-string
Kafka Exporter デプロイメントによって作成された Pod。

Cruise Control

これらのリソースは、Cluster Operator を使用して Cruise Control がデプロイされた場合のみ作成されます。

cluster-name-cruise-control

以下の Cruise Control リソースに指定された名前。

  • Cruise Control でのデプロイメント。
  • Cruise Control との通信に使用されるサービス。
  • Cruise Control によって使用されるサービスアカウント。
cluster-name-cruise-control-random-string
Cruise Control デプロイメントによって作成された Pod。
cluster-name-cruise-control-config
Cruise Control の補助設定が含まれ、Cruise Control Pod によってボリュームとしてマウントされる ConfigMap。
cluster-name-cruise-control-certs
Kafka および ZooKeeper と通信するための Cruise Control キーのあるシークレット。
cluster-name-network-policy-cruise-control
Cruise Control サービスへのアクセスを管理するネットワークポリシー。

6.4. Kafka Connect のデプロイ

Kafka Connect は、コネクタープラグインを使用して Kafka ブローカーと他のシステムの間でデータをストリーミングする統合ツールです。Kafka Connect は、Kafka と、データベースやメッセージングシステムなどの外部データソースまたはターゲットを統合するためのフレームワークを提供し、コネクターを使用してデータをインポートまたはエクスポートします。コネクターは、必要な接続設定を提供するプラグインです。

AMQ Streams では、Kafka Connect は分散 (distributed) モードでデプロイされます。Kafka Connect はスタンドアロンモードでも動作しますが、AMQ Streams ではサポートされません。

Kafka Connect は、コネクター の概念を使用し、スケーラビリティーと信頼性を維持しながら Kafka クラスターで大量のデータを移動するフレームワークを提供します。

Cluster Operator は、KafkaConnect リソースを使用してデプロイされた Kafka Connect クラスターと、KafkaConnector リソースを使用して作成されたコネクターを管理します。

Kafka Connect を使用するには、次のことを行う必要があります。

注記

コネクター という用語は、Kafka Connect クラスター内で実行されているコネクターインスタンスや、コネクタークラスと同じ意味で使用されます。本ガイドでは、本文の内容で意味が明確である場合に コネクター という用語を使用します。

6.4.1. Kafka Connect の OpenShift クラスターへのデプロイ

この手順では、Cluster Operator を使用して Kafka Connect クラスターを OpenShift クラスターにデプロイする方法を説明します。

Kafka Connect クラスターのデプロイメントは、コネクターのワークロードを タスク として分散する設定可能な数のノード (ワーカー とも呼ばれます) を使用して実装されるため、メッセージフローのスケーラビリティと信頼性が高くなります。

デプロイメントでは、YAML ファイルの仕様を使用して KafkaConnect リソースが作成されます。

AMQ Streams には、設定ファイルのサンプル が用意されています。この手順では、以下のサンプルファイルを使用します。

  • examples/connect/kafka-connect.yaml

手順

  1. Kafka Connect を OpenShift クラスターにデプロイします。examples/connect/kafka-connect.yaml ファイルを使用して Kafka Connect をデプロイします。

    oc apply -f examples/connect/kafka-connect.yaml
  2. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    デプロイメント名と準備状態が表示されている出力

    NAME                                 READY  STATUS   RESTARTS
    my-connect-cluster-connect-<pod_id>  1/1    Running  0

    my-connect-cluster は、Kafka Connect クラスターの名前です。

    Pod ID は、作成された各 Pod を識別します。

    デフォルトのデプロイでは、単一の Kafka Connect Pod を作成します。

    READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

6.4.2. 複数のインスタンス用の Kafka Connect の設定

Kafka Connect のインスタンスを複数実行している場合は、以下の config プロパティーのデフォルト設定を変更する必要があります。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect
spec:
  # ...
  config:
    group.id: connect-cluster 1
    offset.storage.topic: connect-cluster-offsets 2
    config.storage.topic: connect-cluster-configs 3
    status.storage.topic: connect-cluster-status  4
    # ...
# ...
1
Kafka 内の Kafka Connect クラスター ID。
2
コネクターオフセットを保存する Kafka トピック。
3
コネクターおよびタスクステータスの設定を保存する Kafka トピック。
4
コネクターおよびタスクステータスの更新を保存する Kafka トピック。
注記

group.id が同じすべての Kafka Connect インスタンスで、これら 3 つのトピックの値を揃える必要があります。

デフォルト設定を変更しない限り、同じ Kafka クラスターに接続する Kafka Connect インスタンスはそれぞれ同じ値でデプロイされます。事実上、すべてのインスタンスが結合されてクラスターで実行されて同じトピックを使用するようになります。

複数の Kafka Connect クラスターが同じトピックの使用を試みると、Kafka Connect は想定どおりに動作せず、エラーが生成されます。

複数の Kafka Connect インスタンスを実行する場合は、インスタンスごとにこれらのプロパティーの値を変更してください。

6.4.3. コネクターの追加

Kafka Connect はコネクターを使用して他のシステムと統合し、データをストリーミングします。コネクターは Kafka Connector クラスのインスタンスであり、次のいずれかのタイプになります。

ソースコネクター
ソースコネクターは、外部システムからデータを取得し、それをメッセージとして Kafka に提供するランタイムエンティティーです。
シンクコネクター
シンクコネクターは、Kafka トピックからメッセージを取得し、外部システムに提供するランタイムエンティティーです。

Kafka Connect はプラグインアーキテクチャーを使用して、コネクターの実装アーティファクトを提供します。プラグインは他のシステムへの接続を可能にし、データを操作するための追加の設定を提供します。プラグインには、コネクターや、データコンバーターや変換などの他のコンポーネントが含まれます。コネクターは、特定のタイプの外部システムで動作します。各コネクターは、その設定のスキーマを定義します。設定を Kafka Connect に指定して、Kafka Connect 内にコネクターインスタンス を作成します。次に、コネクターインスタンスは、システム間でデータを移動するための一連のタスクを定義します。

次のいずれかの方法で、コネクタープラグインを Kafka Connect に追加します。

コンテナーイメージにプラグインを追加したら、次の方法でコネクターインスタンスを開始、停止、および管理できます。

これらのオプションを使用して、新しいコネクターインスタンスを作成することもできます。

6.4.3.1. コネクタープラグインを使用して新しいコンテナーイメージを自動的に構築する

AMQ Streams が追加のコネクターを使用して新しいコンテナーイメージを自動的に構築するように、Kafka Connect を設定します。コネクタープラグインは、KafkaConnect カスタムリソースの .spec.build.plugins プロパティーを使用して定義します。AMQ Streams はコネクタープラグインを自動的にダウンロードし、新しいコンテナーイメージに追加します。コンテナーは、.spec.build.output に指定されたコンテナーリポジトリーにプッシュされ、Kafka Connect デプロイメントで自動的に使用されます。

前提条件

イメージをプッシュ、保存、およびプルできる独自のコンテナーレジストリーを提供する必要があります。AMQ Streams は、プライベートコンテナーレジストリーだけでなく、QuayDocker Hub などのパブリックレジストリーもサポートします。

手順

  1. .spec.build.output でコンテナーレジストリーを、.spec.build.plugins で追加のコネクターを指定して、KafkaConnect カスタムリソースを設定します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect-cluster
    spec: 1
      #...
      build:
        output: 2
          type: docker
          image: my-registry.io/my-org/my-connect-cluster:latest
          pushSecret: my-registry-credentials
        plugins: 3
          - name: debezium-postgres-connector
            artifacts:
              - type: tgz
                url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/2.1.3.Final/debezium-connector-postgres-2.1.3.Final-plugin.tar.gz
                sha512sum: c4ddc97846de561755dc0b021a62aba656098829c70eb3ade3b817ce06d852ca12ae50c0281cc791a5a131cb7fc21fb15f4b8ee76c6cae5dd07f9c11cb7c6e79
          - name: camel-telegram
            artifacts:
              - type: tgz
                url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.11.5/camel-telegram-kafka-connector-0.11.5-package.tar.gz
                sha512sum: d6d9f45e0d1dbfcc9f6d1c7ca2046168c764389c78bc4b867dab32d24f710bb74ccf2a007d7d7a8af2dfca09d9a52ccbc2831fc715c195a3634cca055185bd91
      #...
    1
    2
    (必須) 新しいイメージがプッシュされるコンテナーレジストリーの設定。
    3
    (必須) 新しいコンテナーイメージに追加するコネクタープラグインとそれらのアーティファクトのリスト。各プラグインは、1 つ以上の artifact を使用して設定する必要があります。
  2. リソースを作成または更新します。

    $ oc apply -f <kafka_connect_configuration_file>
  3. 新しいコンテナーイメージがビルドされ、Kafka Connect クラスターがデプロイされるまで待ちます。
  4. Kafka Connect REST API または KafkaConnector カスタムリソースを使用して、追加したコネクタープラグインを使用します。
6.4.3.2. Kafka Connect ベースイメージからコネクタープラグインを使用して新しいコンテナーイメージを構築する

Kafka Connect ベースイメージからコネクタープラグインを使用してカスタム Docker イメージを作成するカスタムイメージを /opt/kafka/plugins ディレクトリーに追加します。

Red Hat Ecosystem Catalog の Kafka コンテナーイメージは、追加のコネクタープラグインで独自のカスタムイメージを作成するためのベースイメージとして使用できます。

AMQ Stream バージョンの Kafka Connect は起動時に、/opt/kafka/plugins ディレクトリーに含まれるサードパーティーのコネクタープラグインをロードします。

手順

  1. ベースイメージとして registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 を使用して、新しい Dockerfile を作成します。

    FROM registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1
    USER root:root
    COPY ./my-plugins/ /opt/kafka/plugins/
    USER 1001

    プラグインファイルの例

    $ tree ./my-plugins/
    ./my-plugins/
    ├── debezium-connector-mongodb
    │   ├── bson-<version>.jar
    │   ├── CHANGELOG.md
    │   ├── CONTRIBUTE.md
    │   ├── COPYRIGHT.txt
    │   ├── debezium-connector-mongodb-<version>.jar
    │   ├── debezium-core-<version>.jar
    │   ├── LICENSE.txt
    │   ├── mongodb-driver-core-<version>.jar
    │   ├── README.md
    │   └── # ...
    ├── debezium-connector-mysql
    │   ├── CHANGELOG.md
    │   ├── CONTRIBUTE.md
    │   ├── COPYRIGHT.txt
    │   ├── debezium-connector-mysql-<version>.jar
    │   ├── debezium-core-<version>.jar
    │   ├── LICENSE.txt
    │   ├── mysql-binlog-connector-java-<version>.jar
    │   ├── mysql-connector-java-<version>.jar
    │   ├── README.md
    │   └── # ...
    └── debezium-connector-postgres
        ├── CHANGELOG.md
        ├── CONTRIBUTE.md
        ├── COPYRIGHT.txt
        ├── debezium-connector-postgres-<version>.jar
        ├── debezium-core-<version>.jar
        ├── LICENSE.txt
        ├── postgresql-<version>.jar
        ├── protobuf-java-<version>.jar
        ├── README.md
        └── # ...

    COPY コマンドは、コンテナーイメージにコピーするプラグインファイルを指します。

    この例では、Debezium コネクター (MongoDB、MySQL、および PostgreSQL) のプラグインを追加しますが、簡潔にするためにすべてのファイルがリストされているわけではありません。Kafka Connect で実行されている Debezium は、他の Kafka Connect タスクと同じように表示されます。

  2. コンテナーイメージをビルドします。
  3. カスタムイメージをコンテナーレジストリーにプッシュします。
  4. 新しいコンテナーイメージを示します。

    次のいずれかの方法でイメージを指定できます。

    • KafkaConnect カスタムリソースの KafkaConnect.spec.image プロパティーを編集します。

      設定されている場合、このプロパティーは Cluster Operator の STRIMZI_KAFKA_CONNECT_IMAGES 環境変数をオーバーライドします。

      apiVersion: kafka.strimzi.io/v1beta2
      kind: KafkaConnect
      metadata:
        name: my-connect-cluster
      spec: 1
        #...
        image: my-new-container-image 2
        config: 3
          #...
      1
      2
      Pod の Docker イメージ。
      3
      Kafka Connect ワーカー (コネクターではない) の設定。
    • install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ファイルの STRIMZI_KAFKA_CONNECT_IMAGES 環境変数を編集して、新しいコンテナーイメージを指すようにし、Cluster Operator を再インストールします。
6.4.3.3. KafkaConnector リソースのデプロイ

コネクターを管理するために KafkaConnector リソースをデプロイします。KafkaConnector カスタムリソースは、Cluster Operator によるコネクターの管理に OpenShift ネイティブのアプローチを提供します。Kafka Connect REST API のように、コネクターを管理するために HTTP 要求を送信する必要はありません。該当する KafkaConnector リソースを更新して稼働中のコネクターインスタンスを管理した後、更新を適用します。Cluster Operator は、実行中のコネクターインスタンスの設定を更新します。該当する KafkaConnector を削除して、コネクターを削除します。

KafkaConnector リソースは、リンク先の Kafka Connect クラスターと同じ namespace にデプロイする必要があります。

この手順で示す設定では、autoRestart プロパティーが true に設定されています。失敗したコネクターとタスクの自動再起動を有効にします。再起動は最大 7 回試行され、その後は手動で再起動する必要があります。KafkaConnector リソースにアノテーションを付けて、コネクターを 再起動するコネクタータスク を手動で再起動します。

コネクターの例

独自のコネクターを使用するか、AMQ Streams が提供する例を試すことができます。Apache Kafka 3.1.0 までは、サンプルファイルコネクタープラグインが Apache Kafka に含まれていました。Apache Kafka の 3.1.1 および 3.2.0 リリースから、例を他のコネクターと同様にプラグインパスに追加する必要があります。

AMQ Streams は、サンプルファイルコネクタープラグイン用の サンプル KafkaConnector 設定ファイル (examples/connect/source-connector.yaml) を提供します。これにより、次のコネクターインスタンスが KafkaConnector リソースとして作成されます。

  • Kafka ライセンスファイル (ソース) から各行を読み取り、データをメッセージとして単一の Kafka トピックに書き込む FileStreamSourceConnector インスタンス。
  • Kafka トピックからメッセージを読み取り、メッセージを一時ファイル (シンク) に書き込む FileStreamSinkConnector インスタンス。

この手順では、サンプルファイルを使用してコネクターを作成します。

注記

サンプルコネクターは、運用環境での使用を意図したものではありません。

前提条件

  • Kafka Connect デプロイメント。
  • Cluster Operator が稼働している。

手順

  1. 次のいずれかの方法で、FileStreamSourceConnector および FileStreamSinkConnector プラグインを Kafka Connect に追加します。

  2. Kafka Connect 設定で strimzi.io/use-connector-resources annotationtrue に設定します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect-cluster
      annotations:
        strimzi.io/use-connector-resources: "true"
    spec:
        # ...

    KafkaConnector リソースを有効にすると、Cluster Operator はそれらを監視します。

  3. examples/connect/source-connector.yaml ファイルを編集します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnector
    metadata:
      name: my-source-connector 1
      labels:
        strimzi.io/cluster: my-connect-cluster 2
    spec:
      class: org.apache.kafka.connect.file.FileStreamSourceConnector 3
      tasksMax: 2 4
      autoRestart: 5
        enabled: true
      config: 6
        file: "/opt/kafka/LICENSE" 7
        topic: my-topic 8
        # ...
    1
    コネクターの名前として使用される KafkaConnector リソースの名前。OpenShift リソースで有効な名前を使用します。
    2
    コネクターインスタンスを作成する Kafka Connect クラスターの名前。コネクターは、リンク先の Kafka Connect クラスターと同じ namespace にデプロイする必要があります。
    3
    コネクタークラスのフルネームまたはエイリアス。これは、Kafka Connect クラスターによって使用されているイメージに存在するはずです。
    4
    コネクターが作成できる Kafka Connect タスクの最大数。
    5
    失敗したコネクターとタスクの自動再起動を有効にします。
    6
    キーと値のペアとしての コネクター設定
    7
    このサンプルソースコネクター設定では、/opt/kafka/LICENSE ファイルからデータが読み取られます。
    8
    ソースデータのパブリッシュ先となる Kafka トピック。
  4. OpenShift クラスターでソース KafkaConnector を作成します。

    oc apply -f examples/connect/source-connector.yaml
  5. examples/connect/sink-connector.yaml ファイルを作成します。

    touch examples/connect/sink-connector.yaml
  6. 以下の YAML を sink-connector.yaml ファイルに貼り付けます。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnector
    metadata:
      name: my-sink-connector
      labels:
        strimzi.io/cluster: my-connect
    spec:
      class: org.apache.kafka.connect.file.FileStreamSinkConnector 1
      tasksMax: 2
      config: 2
        file: "/tmp/my-file" 3
        topics: my-topic 4
    1
    コネクタークラスのフルネームまたはエイリアス。これは、Kafka Connect クラスターによって使用されているイメージに存在するはずです。
    2
    キーと値のペアとしての コネクター設定
    3
    ソースデータのパブリッシュ先となる一時ファイル。
    4
    ソースデータの読み取り元となる Kafka トピック。
  7. OpenShift クラスターにシンク KafkaConnector を作成します。

    oc apply -f examples/connect/sink-connector.yaml
  8. コネクターリソースが作成されたことを確認します。

    oc get kctr --selector strimzi.io/cluster=<my_connect_cluster> -o name
    
    my-source-connector
    my-sink-connector

    <my_connect_cluster> を Kafka Connect クラスターの名前に置き換えます。

  9. コンテナーで、kafka -console-consumer.sh を実行して、ソースコネクターによってトピックに書き込まれたメッセージを読み取ります。

    oc exec <my_kafka_cluster>-kafka-0 -i -t -- bin/kafka-console-consumer.sh --bootstrap-server <my_kafka_cluster>-kafka-bootstrap.NAMESPACE.svc:9092 --topic my-topic --from-beginning

    <my_kafka_cluster> を Kafka クラスターの名前に置き換えます。

ソースおよびシンクコネクターの設定オプション

コネクター設定は、KafkaConnector リソースの spec.config プロパティーで定義されます。

FileStreamSourceConnector クラスおよび FileStreamSinkConnector クラスは、Kafka Connect REST API と同じ設定オプションをサポートします。他のコネクターは異なる設定オプションをサポートします。

表6.1 FileStreamSource コネクタークラスの設定オプション
名前タイプデフォルト値説明

file

文字列

Null

メッセージを書き込むソースファイル。指定のない場合は、標準入力が使用されます。

topic

List

Null

データのパブリッシュ先となる Kafka トピック。

表6.2 FileStreamSinkConnector クラスの設定オプション
名前タイプデフォルト値説明

file

文字列

Null

メッセージを書き込む宛先ファイル。指定のない場合は標準出力が使用されます。

topics

List

Null

データの読み取り元となる 1 つ以上の Kafka トピック。

topics.regex

文字列

Null

データの読み取り元となる 1 つ以上の Kafka トピックと一致する正規表現。

6.4.3.4. コネクターの手動再起動

KafkaConnector リソースを使用してコネクターを管理している場合は、restart アノテーションを使用してコネクターの再起動を手動でトリガーします。

前提条件

  • Cluster Operator が稼働中である。

手順

  1. 再起動する Kafka コネクターを制御する KafkaConnector カスタムリソースの名前を見つけます。

    oc get KafkaConnector
  2. OpenShift で KafkaConnector リソースにアノテーションを付けて、コネクターを再起動します。

    oc annotate KafkaConnector <kafka_connector_name> strimzi.io/restart=true

    restart アノテーションは true に設定されています。

  3. 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。

    アノテーションが調整プロセスで検出されれば、Kafka コネクターは再起動されます。Kafka Connect が再起動リクエストを受け入れると、アノテーションは KafkaConnector カスタムリソースから削除されます。

6.4.3.5. Kafka コネクタータスクを手動で再起動する

KafkaConnector リソースを使用してコネクターを管理している場合は、restart-task アノテーションを使用して、コネクタータスクの再起動を手動でトリガーします。

前提条件

  • Cluster Operator が稼働中である。

手順

  1. 再起動する Kafka コネクタータスクを制御する KafkaConnector カスタムリソースの名前を見つけます。

    oc get KafkaConnector
  2. KafkaConnector カスタムリソースから再起動するタスクの ID を検索します。タスク ID は、0 から始まる非負の整数です。

    oc describe KafkaConnector <kafka_connector_name>
  3. OpenShift で KafkaConnector リソースにアノテーションを付けて、ID を使用してコネクタータスクを再開します。

    oc annotate KafkaConnector <kafka_connector_name> strimzi.io/restart-task=0

    この例では、タスク 0 が再起動されます。

  4. 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。

    アノテーションが調整プロセスで検出されれば、Kafka コネクタータスクは再起動されます。Kafka Connect が再起動リクエストを受け入れると、アノテーションは KafkaConnector カスタムリソースから削除されます。

6.4.3.6. Kafka Connect API の公開

KafkaConnector リソースを使用してコネクターを管理する代わりに、Kafka Connect REST API を使用します。Kafka Connect REST API は、<connect_cluster_name>-connect-api:8083 で実行しているサービスとして利用できます。ここで、<connect_cluster_name> は、お使いの Kafka Connect クラスターの名前になります。サービスは、Kafka Connect インスタンスの作成時に作成されます。

Kafka Connect REST API でサポートされる操作は、Apache Kafka Connect API のドキュメント で説明されています。

注記

strimzi.io/use-connector-resources アノテーションは KafkaConnectors を有効にします。アノテーションを KafkaConnect リソース設定に適用した場合、そのアノテーションを削除して Kafka Connect API を使用する必要があります。それ以外の場合、Kafka Connect REST API を使用して直接行われた手動による変更は、 Cluster Operator によって元に戻されます。

コネクター設定を JSON オブジェクトとして追加できます。

コネクター設定を追加するための curl 要求の例

curl -X POST \
  http://my-connect-cluster-connect-api:8083/connectors \
  -H 'Content-Type: application/json' \
  -d '{ "name": "my-source-connector",
    "config":
    {
      "connector.class":"org.apache.kafka.connect.file.FileStreamSourceConnector",
      "file": "/opt/kafka/LICENSE",
      "topic":"my-topic",
      "tasksMax": "4",
      "type": "source"
    }
}'

API には OpenShift クラスター内でのみアクセスできます。OpenShift クラスター外部で実行しているアプリケーションに Kafka Connect API がアクセスできるようにする場合は、以下の機能のいずれかを使用して Kafka Connect API を手動で公開できます。

  • LoadBalancer または NodePort タイプのサービス
  • Ingress リソース (Kubernetes のみ)
  • OpenShift ルート (OpenShift のみ)
注記

接続はセキュアではないため、外部からのアクセスはよく考えてから許可してください。

サービスを作成する場合には、<connect_cluster_name>-connect-api サービスの selector からラベルを使用して、サービスがトラフィックをルーティングする Pod を設定します。

サービスのセレクター設定

# ...
selector:
  strimzi.io/cluster: my-connect-cluster 1
  strimzi.io/kind: KafkaConnect
  strimzi.io/name: my-connect-cluster-connect 2
#...

1
OpenShift クラスターでの Kafka Connect カスタムリソースの名前。
2
Cluster Operator によって作成された Kafka Connect デプロイメントの名前。

また、外部クライアントからの HTTP 要求を許可する NetworkPolicy を作成する必要もあります。

Kafka Connect API への要求を許可する NetworkPolicy の例

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: my-custom-connect-network-policy
spec:
  ingress:
  - from:
    - podSelector: 1
        matchLabels:
          app: my-connector-manager
    ports:
    - port: 8083
      protocol: TCP
  podSelector:
    matchLabels:
      strimzi.io/cluster: my-connect-cluster
      strimzi.io/kind: KafkaConnect
      strimzi.io/name: my-connect-cluster-connect
  policyTypes:
  - Ingress

1
API への接続が許可される Pod のラベル。

クラスター外でコネクター設定を追加するには、curl コマンドで API を公開するリソースの URL を使用します。

6.4.3.7. Kafka Connect API へのアクセスの制限

Kafka Connect API へのアクセスを信頼できるユーザーのみに制限して、不正なアクションや潜在的なセキュリティーの問題を防ぐことが重要です。Kafka Connect API は、コネクター設定を変更するための広範な機能を提供するため、セキュリティー対策を講じることがさらに重要になります。管理者によりセキュアであると想定されている機密情報が、Kafka Connect API にアクセスできるユーザーに取得されてしまう可能性があります。

Kafka Connect REST API には、OpenShift クラスターへのアクセスが認証されており、ホスト名/IP アドレス、ポート番号など、エンドポイント URL を知っている場合には、アクセスできます。

たとえば、組織が Kafka Connect クラスターとコネクターを使用して、機密データを顧客データベースから中央データベースにストリーミングするとします。管理者は設定プロバイダープラグインを使用して、顧客データベースと中央データベースへの接続に関連する機密情報 (データベース接続の詳細や認証情報など) を保存します。設定プロバイダーは、この機密情報が許可されていないユーザーに公開されるのを防ぎます。ただし、Kafka Connect API にアクセスできるユーザーは、管理者の同意なしに顧客データベースにアクセスできます。これを行うには、偽のデータベースをセットアップし、それに接続するコネクターを設定します。次に、顧客データベースを参照するようにコネクター設定を変更しますが、データを中央データベースに送信する代わりに、偽のデータベースに送信します。偽のデータベースに接続するようにコネクターを設定すると、設定プロバイダーにセキュアに保存されているにもかかわらず、顧客データベースに接続するためのログインの詳細と認証情報が傍受されます。

KafkaConnector カスタムリソースを使用している場合、デフォルトでは、OpenShift RBAC ルールにより、OpenShift クラスター管理者のみがコネクターに変更を加えることが許可されます。AMQ Streams リソースを管理するクラスター管理者以外のユーザーを指定 することもできます。Kafka Connect 設定で KafkaConnector リソースを有効にすると、Kafka Connect REST API を使用して直接行われた変更は Cluster Operator によって元に戻されます。KafkaConnector リソースを使用していない場合、デフォルトの RBAC ルールは Kafka Connect API へのアクセスを制限しません。OpenShift RBAC を使用して Kafka Connect REST API への直接アクセスを制限する場合は、KafkaConnector リソースを有効にして使用する必要があります。

セキュリティーを強化するために、Kafka Connect API の次のプロパティーを設定することを推奨します。

org.apache.kafka.disallowed.login.modules

(Kafka 3.4 以降) org.apache.kafka.disallowed.login.modules Java システムプロパティーを設定して、セキュアではないログインモジュールの使用を防止します。たとえば、com.sun.security.auth.module.JndiLoginModule を指定すると、Kafka JndiLoginModule が使用できなくなります。

ログインモジュールを禁止する設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  # ...
  jvmOptions:
    javaSystemProperties:
      - name: org.apache.kafka.disallowed.login.modules
        value: com.sun.security.auth.module.JndiLoginModule, org.apache.kafka.common.security.kerberos.KerberosLoginModule
# ...

信頼できるログインモジュールのみを許可し、使用しているバージョンに対する Kafka からの最新のアドバイスに従ってください。ベストプラクティスとして、org.apache.kafka.disallowed.login.modules システムプロパティーを使用して、Kafka Connect 設定でセキュアではないログインモジュールを明示的に禁止する必要があります。

connector.client.config.override.policy

connector.client.config.override.policy プロパティーを None に設定して、コネクター設定が Kafka Connect 設定とそれが使用するコンシューマーおよびプロデューサーをオーバーライドしないようにします。

コネクターオーバーライドポリシーを指定する設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  # ...
  config:
    connector.client.config.override.policy: None
# ...

6.4.3.8. Kafka Connect API の使用から KafkaConnector カスタムリソースの使用への切り替え

Kafka Connect API の使用から KafkaConnector カスタムリソースの使用に切り替えて、コネクターを管理できます。スイッチの作成は、次の作業を以下の順序で行います。

  1. 設定で KafkaConnector リソースをデプロイし、コネクターインスタンスを作成します。
  2. strimzi.io/use-connector-resources アノテーションを true に設定して、Kafka Connect 設定で KafkaConnector リソースを有効にします。
警告

作成する前に KafkaConnector リソースを有効にすると、すべてのコネクターが削除されます。

KafkaConnector リソースの使用から Kafka Connect API の使用に切り替えるには、最初に KafkaConnector リソースを有効にするアノテーションを Kafka Connect 設定から削除します。それ以外の場合、Kafka Connect REST API を使用して直接行われた手動による変更は、 Cluster Operator によって元に戻されます。

切り替えを行うときは、KafkaConnect リソースのステータスを確認 してください。metadata.generation (デプロイの現在のバージョン) の値は、status.observedGeneration (リソースの最新の調整) と一致する必要があります。Kafka Connect クラスターが Ready になったら、KafkaConnector リソースを削除できます。

6.4.4. Kafka Connect クラスターリソースのリスト

以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。

connect-cluster-name-connect

次の Kafka Connect リソースに付けられた名前:

  • Kafka Connect ワーカーノード Pod を作成するデプロイメント (StableConnectIdentities フィーチャーゲートが無効な場合)。
  • Kafka Connect ワーカーノード Pod を作成する StrimziPodSet (StableConnectIdentities フィーチャーゲートが有効な場合)。
  • 安定した DNS 名を Connect Pod に提供するヘッドレスサービス (StableConnectIdentities フィーチャーゲートが有効な場合)。
  • Kafka Connect ワーカーノードに設定された Pod の Disruption Budget。
connect-cluster-name-connect-idx
Kafka Connect StrimziPodSet によって作成された Pod (StableConnectIdentities フィーチャーゲートが有効な場合)。
connect-cluster-name-connect-api
Kafka Connect クラスターを管理するために REST インターフェイスを公開するサービス。
connect-cluster-name-config
Kafka Connect 補助設定が含まれ、Kafka ブローカー Pod によってボリュームとしてマウントされる ConfigMap。

6.5. Kafka MirrorMaker のデプロイ

Kafka MirrorMaker は、データセンター内またはデータセンター全体の 2 台以上の Kafka クラスター間でデータをレプリケーションします。Kafka パーティションレプリケーションの概念との混同を避けるために、このプロセスはミラーリングと呼ばれます。MirrorMaker は、ソースクラスターからのメッセージを消費し、それらのメッセージをターゲットクラスターに再パブリッシュします。

クラスター間のデータレプリケーションは、以下を必要とするシナリオをサポートします。

  • システム障害時のデータの復旧
  • 集中分析のための複数のソースクラスターからのデータの統合
  • 特定のクラスターへのデータアクセスの制限
  • レイテンシーを改善するための特定場所でのデータのプロビジョニング

6.5.1. Kafka MirrorMaker の OpenShift クラスターへのデプロイ

この手順では、Cluster Operator を使用して Kafka MirrorMaker クラスターを OpenShift クラスターにデプロイする方法を説明します。

デプロイメントでは、YAML ファイルの仕様を使用して、デプロイされた MirrorMaker のバージョンに応じて KafkaMirrorMaker または KafkaMirrorMaker2 リソースが作成されます。

重要

Kafka MirrorMaker 1 (ドキュメントでは単に MirrorMaker と呼ばれる) は Apache Kafka 3.0.0 で非推奨となり、Apache Kafka 4.0.0 で削除されます。そのため、Kafka MirrorMaker 1 のデプロイに使用される KafkaMirrorMaker カスタムリソースも、AMQ Streams で非推奨となりました。Apache Kafka 4.0.0 を導入すると、KafkaMirrorMaker リソースは AMQ Streams から削除されます。代わりに、IdentityReplicationPolicyKafkaMirrorMaker2 カスタムリソースを使用します。

AMQ Streams には、設定ファイルのサンプル が用意されています。この手順では、以下のサンプルファイルを使用します。

  • examples/mirror-maker/kafka-mirror-maker.yaml
  • examples/mirror-maker/kafka-mirror-maker-2.yaml

手順

  1. Kafka MirrorMaker を OpenShift クラスターにデプロイします。

    MirrorMaker の場合

    oc apply -f examples/mirror-maker/kafka-mirror-maker.yaml

    MirrorMaker 2 の場合:

    oc apply -f examples/mirror-maker/kafka-mirror-maker-2.yaml
  2. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    デプロイメント名と準備状態が表示されている出力

    NAME                                    READY  STATUS   RESTARTS
    my-mirror-maker-mirror-maker-<pod_id>   1/1    Running  1
    my-mm2-cluster-mirrormaker2-<pod_id>    1/1    Running  1

    my-mirror-maker は、Kafka MirrorMaker クラスターの名前です。my-mm2-cluster は、Kafka MirrorMaker 2 クラスターの名前です。

    Pod ID は、作成された各 Pod を識別します。

    デフォルトのデプロイメントでは、単一の MirrorMaker または MirrorMaker 2 Pod をインストールします。

    READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

6.5.2. Kafka MirrorMaker クラスターリソースのリスト

以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。

<mirror-maker-name>-mirror-maker
Kafka MirrorMaker Pod の作成を担当するデプロイメント。
<mirror-maker-name>-config
Kafka MirrorMaker の補助設定が含まれ、Kafka ブローカー Pod によってボリュームとしてマウントされる ConfigMap。
<mirror-maker-name>-mirror-maker
Kafka MirrorMaker ワーカーノードに設定された Pod の Disruption Budget。

6.6. Kafka ブリッジのデプロイ

Kafka Bridge には、HTTP ベースのクライアントと Kafka クラスターを統合する API が含まれています。

6.6.1. Kafka Bridge を OpenShift クラスターへデプロイ

この手順では、Cluster Operator を使用して Kafka Bridge クラスターを OpenShift クラスターにデプロイする方法を説明します。

デプロイメントでは、YAML ファイルの仕様を使用して KafkaBridge リソースが作成されます。

AMQ Streams には、設定ファイルのサンプル が用意されています。この手順では、以下のサンプルファイルを使用します。

  • examples/bridge/kafka-bridge.yaml

手順

  1. Kafka Bridge を OpenShift クラスターにデプロイします。

    oc apply -f examples/bridge/kafka-bridge.yaml
  2. デプロイメントのステータスを確認します。

    oc get pods -n <my_cluster_operator_namespace>

    デプロイメント名と準備状態が表示されている出力

    NAME                       READY  STATUS   RESTARTS
    my-bridge-bridge-<pod_id>  1/1    Running  0

    my-bridge は、Kafka Bridge クラスターの名前です。

    Pod ID は、作成された各 Pod を識別します。

    デフォルトのデプロイメントでは、単一の Kafka Bridge Pod をインストールします。

    READY は、Ready/expected 状態のレプリカ数を表示します。STATUSRunning と表示されれば、デプロイメントは成功です。

6.6.2. Kafka Bridge サービスのローカルマシンへの公開

ポート転送を使用して AMQ Streams の Kafka Bridge サービスを http://localhost:8080 上でローカルマシンに公開します。

注記

ポート転送は、開発およびテストの目的でのみ適切です。

手順

  1. OpenShift クラスターの Pod の名前をリストします。

    oc get pods -o name
    
    pod/kafka-consumer
    # ...
    pod/my-bridge-bridge-<pod_id>
  2. ポート 8080 で Kafka Bridge Pod に接続します。

    oc port-forward pod/my-bridge-bridge-<pod_id> 8080:8080 &
    注記

    ローカルマシンのポート 8080 がすでに使用中の場合は、代わりの HTTP ポート (8008 など) を使用します。

これで、API リクエストがローカルマシンのポート 8080 から Kafka Bridge Pod のポート 8080 に転送されるようになります。

6.6.3. OpenShift 外部の Kafka Bridge へのアクセス

デプロイメント後、AMQ Streams Kafka Bridge には同じ OpenShift クラスターで実行しているアプリケーションのみがアクセスできます。これらのアプリケーションは、<kafka_bridge_name>-bridge-service サービスを使用して API にアクセスします。

OpenShift クラスター外部で実行しているアプリケーションに Kafka Bridge がアクセスできるようにする場合は、以下の機能のいずれかを作成して Kafka Bridge を手動で公開できます。

  • LoadBalancer または NodePort タイプのサービス
  • Ingress リソース (Kubernetes のみ)
  • OpenShift ルート (OpenShift のみ)

サービスを作成する場合には、<kafka_bridge_name>-bridge-service サービスの selector からラベルを使用して、サービスがトラフィックをルーティングする Pod を設定します。

  # ...
  selector:
    strimzi.io/cluster: kafka-bridge-name 1
    strimzi.io/kind: KafkaBridge
  #...
1
OpenShift クラスターでの Kafka Bridge カスタムリソースの名前。

6.6.4. Kafka Bridge クラスターリソースのリスト

以下のリソースは、OpenShift クラスターの Cluster Operator によって作成されます。

bridge-cluster-name-bridge
Kafka Bridge ワーカーノード Pod の作成を担当するデプロイメント。
bridge-cluster-name-bridge-service
Kafka Bridge クラスターの REST インターフェイスを公開するサービス。
bridge-cluster-name-bridge-config
Kafka Bridge の補助設定が含まれ、Kafka ブローカー Pod によってボリュームとしてマウントされる ConfigMap。
bridge-cluster-name-bridge
Kafka Bridge ワーカーノードに設定された Pod の Disruption Budget。

6.7. AMQ Streams Operator の代替のスタンドアロンデプロイメントオプション

Topic Operator および User Operator のスタンドアロンデプロイメントを実行できます。Cluster Operator によって管理されない Kafka クラスターを使用している場合は、これらの Operator のスタンドアロンデプロイメントを検討してください。

Operator を OpenShift にデプロイします。Kafka は OpenShift 外で実行できます。たとえば、Kafka をマネージドサービスとして使用する場合があります。スタンドアロン Operator のデプロイメント設定を調整し、Kafka クラスターのアドレスと一致するようにします。

6.7.1. スタンドアロン Topic Operator のデプロイ

この手順では、Topic Operator をトピック管理のスタンドアロンコンポーネントとしてデプロイする方法を説明します。スタンドアロン Topic Operator を Cluster Operator によって管理されない Kafka クラスターと使用できます。

スタンドアロンデプロイメントは、任意の Kafka クラスターで操作できます。

スタンドアロンデプロイメントファイルは AMQ Streams で提供されます。05-Deployment-strimzi-topic-operator.yaml デプロイメントファイルを使用して、Topic Operator をデプロイします。Kafka クラスターへの接続に必要な環境変数を追加または設定します。

Topic Operator は、単一の namespace で KafkaTopic リソースを監視します。Topic Operator 設定で、監視する namespace と Kafka クラスターへの接続を指定します。1 つの Topic Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、Top Operator 1 つのみとします。複数の Topic Operator を使用する場合は、それぞれが異なる namespace を監視するように設定します。このようにして、Topic Operator を複数の Kafka クラスターで使用できます。

前提条件

  • Topic Operator の接続先となる Kafka クラスターを実行している。

    スタンドアロンの Topic Operator が接続用に正しく設定されている限り、Kafka クラスターはベアメタル環境、仮想マシン、またはマネージドクラウドアプリケーションサービスで実行できます。

手順

  1. install/topic-operator/05-Deployment-strimzi-topic-operator.yaml スタンドアロンデプロイメントファイルの env プロパティーを編集します。

    スタンドアロンの Topic Operator デプロイメント設定の例

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: strimzi-topic-operator
      labels:
        app: strimzi
    spec:
      # ...
      template:
        # ...
        spec:
          # ...
          containers:
            - name: strimzi-topic-operator
              # ...
              env:
                - name: STRIMZI_NAMESPACE 1
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS 2
                  value: my-kafka-bootstrap-address:9092
                - name: STRIMZI_RESOURCE_LABELS 3
                  value: "strimzi.io/cluster=my-cluster"
                - name: STRIMZI_ZOOKEEPER_CONNECT 4
                  value: my-cluster-zookeeper-client:2181
                - name: STRIMZI_ZOOKEEPER_SESSION_TIMEOUT_MS 5
                  value: "18000"
                - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS 6
                  value: "120000"
                - name: STRIMZI_TOPIC_METADATA_MAX_ATTEMPTS 7
                  value: "6"
                - name: STRIMZI_LOG_LEVEL 8
                  value: INFO
                - name: STRIMZI_TLS_ENABLED 9
                  value: "false"
                - name: STRIMZI_JAVA_OPTS 10
                  value: "-Xmx=512M -Xms=256M"
                - name: STRIMZI_JAVA_SYSTEM_PROPERTIES 11
                  value: "-Djavax.net.debug=verbose -DpropertyName=value"
                - name: STRIMZI_PUBLIC_CA 12
                  value: "false"
                - name: STRIMZI_TLS_AUTH_ENABLED 13
                  value: "false"
                - name: STRIMZI_SASL_ENABLED 14
                  value: "false"
                - name: STRIMZI_SASL_USERNAME 15
                  value: "admin"
                - name: STRIMZI_SASL_PASSWORD 16
                  value: "password"
                - name: STRIMZI_SASL_MECHANISM 17
                  value: "scram-sha-512"
                - name: STRIMZI_SECURITY_PROTOCOL 18
                  value: "SSL"

    1
    KafkaTopic リソースを監視する Topic Operator の OpenShift namespace。Kafka クラスターの namespace を指定します。
    2
    Kafka クラスターのすべてのブローカーを検出し、接続するブートストラップブローカーアドレスのホストとポートのペア。サーバーがダウンした場合に備えて、コンマ区切りリストを使用して 2 つまたは 3 つのブローカーアドレスを指定します。
    3
    Topic Operator によって管理される KafkaTopic リソースを識別するラベル。これは、Kafka クラスターの名前である必要はありません。KafkaTopic リソースに割り当てられたラベルにすることができます。複数の Topic Operator をデプロイする場合、ラベルはそれぞれに一意である必要があります。つまり、Operator は同じリソースを管理できません。
    4
    (ZooKeeper) ZooKeeper クラスターに接続するためのアドレスのホストおよびポートのペア。これは、Kafka クラスターが使用する ZooKeeper クラスターと同じである必要があります。
    5
    (ZooKeeper) ZooKeeper セッションのタイムアウト (ミリ秒単位)。デフォルトは 18000 (18 秒) です。
    6
    定期的な調整の間隔 (秒単位)。デフォルトは 120000 (2 分) です。
    7
    Kafka からトピックメタデータの取得を試行する回数。各試行の間隔は、指数バックオフとして定義されます。パーティションまたはレプリカの数が原因で、トピックの作成に時間がかかる場合は、この値を大きくすることを検討してください。デフォルトの試行回数は 6 回です。
    8
    ロギングメッセージの出力レベル。レベルを、ERRORWARNINGINFODEBUG、または TRACE に設定できます。
    9
    Kafka ブローカーとの暗号化された通信の TLS サポートを有効にします。
    10
    (任意) Topic Operator を実行する JVM に使用される Java オプション。
    11
    (任意) Topic Operator に設定されたデバッグ (-D) オプション。
    12
    (オプション)TLS が STRIMZI_TLS_ENABLED によって有効になっている場合、トラストストア証明書の生成を省略します。この環境変数が有効になっている場合、ブローカーは TLS 証明書に公的に信頼できる認証局を使用する必要があります。デフォルトは false です。
    13
    (オプション) mTLS 認証用のキーストア証明書を生成します。これを false に設定すると、mTLS を使用した Kafka ブローカーへのクライアント認証が無効になります。デフォルトは true です。
    14
    (オプション)Kafka ブローカーに接続するときにクライアント認証の SASL サポートを有効にします。デフォルトは false です。
    15
    (任意) クライアント認証用の SASL ユーザー名。SASL が STRIMZI_SASL_ENABLED によって有効化された場合のみ必須です。
    16
    (任意) クライアント認証用の SASL パスワード。SASL が STRIMZI_SASL_ENABLED によって有効化された場合のみ必須です。
    17
    (任意) クライアント認証用の SASL メカニズム。SASL が STRIMZI_SASL_ENABLED によって有効化された場合のみ必須です。この値は plainscram-sha-256、または scram-sha-512 に設定できます。
    18
    (任意)Kafka ブローカーとの通信に使用されるセキュリティープロトコル。デフォルト値は PLAINTEXT です。値は PLAINTEXTSSLSASL_PLAINTEXT、または SASL_SSL に設定できます。
  2. 公開認証局から証明書を使用している Kafka ブ ローカーに接続する場合は、STRIMZI_PUBLIC_CAtrue に設定します。たとえば、Amazon AWS MSK サービスを使用している場合は、このプロパティーを true に設定します。
  3. STRIMZI_TLS_ENABLED 環境変数で mTLS を有効にした場合は、Kafka クラスターへの接続認証に使用されるキーストアおよびトラストストアを指定します。

    mTLS 設定の例

    # ....
    env:
      - name: STRIMZI_TRUSTSTORE_LOCATION 1
        value: "/path/to/truststore.p12"
      - name: STRIMZI_TRUSTSTORE_PASSWORD 2
        value: "TRUSTSTORE-PASSWORD"
      - name: STRIMZI_KEYSTORE_LOCATION 3
        value: "/path/to/keystore.p12"
      - name: STRIMZI_KEYSTORE_PASSWORD 4
        value: "KEYSTORE-PASSWORD"
    # ...

    1
    トラストストアには、Kafka および ZooKeeper サーバー証明書の署名に使用される認証局の公開鍵が含まれます。
    2
    トラストストアにアクセスするためのパスワード。
    3
    キーストアには、mTLS 認証用の秘密鍵が含まれています。
    4
    キーストアにアクセスするためのパスワード。
  4. Topic Operator をデプロイします。

    oc create -f install/topic-operator
  5. デプロイメントのステータスを確認します。

    oc get deployments

    デプロイメント名と準備状態が表示されている出力

    NAME                    READY  UP-TO-DATE  AVAILABLE
    strimzi-topic-operator  1/1    1           1

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に 1 が表示されれば、デプロイメントは成功しています。

6.7.1.1. (プレビュー) 一方向トピック管理のためのスタンドアロン Topic Operator のデプロイ

一方向トピック管理では、KafkaTopic リソースのみを通じてトピックを維持します。一方向トピック管理の詳細は、「トピック管理モード」 を参照してください。

一方向トピック管理のプレビューを試したい場合は、次の手順に従ってスタンドアロンの Topic Operator をデプロイメントします。

手順

  1. 現在のスタンドアロン Topic Operator のデプロイを解除します。

    KafkaTopic リソースを保持します。これは、Topic Operator が再度デプロイされるときに Toppic Operator によって選択されます。

  2. スタンドアロン Topic Operator の Deployment 設定を編集して、ZooKeeper 関連の環境変数を削除します。

    • STRIMZI_ZOOKEEPER_CONNECT
    • STRIMZI_ZOOKEEPER_SESSION_TIMEOUT_MS
    • TC_ZK_CONNECTION_TIMEOUT_MS
    • STRIMZI_USE_ZOOKEEPER_TOPIC_STORE

      一方向 Topic Operator が使用されるかどうかを定義するのは、ZooKeeper 変数の有無です。一方向のトピック管理は ZooKeeper を使用しません。ZooKeeper 環境変数が存在しない場合は、一方向の Topic Operator が使用されます。それ以外の場合は、双方向の Topic Operator が使用されます。

      その他の未使用の環境変数が存在する場合は削除できます。

    • STRIMZI_REASSIGN_THROTTLE
    • STRIMZI_REASSIGN_VERIFY_INTERVAL_MS
    • STRIMZI_TOPIC_METADATA_MAX_ATTEMPTS
    • STRIMZI_TOPICS_PATH
    • STRIMZI_STORE_TOPIC
    • STRIMZI_STORE_NAME
    • STRIMZI_APPLICATION_ID
    • STRIMZI_STALE_RESULT_TIMEOUT_MS
  3. (オプション) STRIMZI_USE_FINALIZERS 環境変数を false に設定します。

    一方向トピック管理のための追加設定

    # ...
    env:
      - name: STRIMZI_USE_FINALIZERS
        value: "false"

    topic deletion を制御するためにファイナライザーを使用したくない場合は、この環境変数を false に設定します。

    一方向トピック管理のためのスタンドアロン Topic Operator デプロイメント設定の例

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: strimzi-topic-operator
      labels:
        app: strimzi
    spec:
      # ...
      template:
        # ...
        spec:
          # ...
          containers:
            - name: strimzi-topic-operator
              # ...
              env:
                - name: STRIMZI_NAMESPACE
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS
                  value: my-kafka-bootstrap-address:9092
                - name: STRIMZI_RESOURCE_LABELS
                  value: "strimzi.io/cluster=my-cluster"
                - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
                  value: "120000"
                - name: STRIMZI_LOG_LEVEL
                  value: INFO
                - name: STRIMZI_TLS_ENABLED
                  value: "false"
                - name: STRIMZI_JAVA_OPTS
                  value: "-Xmx=512M -Xms=256M"
                - name: STRIMZI_JAVA_SYSTEM_PROPERTIES
                  value: "-Djavax.net.debug=verbose -DpropertyName=value"
                - name: STRIMZI_PUBLIC_CA
                  value: "false"
                - name: STRIMZI_TLS_AUTH_ENABLED
                  value: "false"
                - name: STRIMZI_SASL_ENABLED
                  value: "false"
                - name: STRIMZI_SASL_USERNAME
                  value: "admin"
                - name: STRIMZI_SASL_PASSWORD
                  value: "password"
                - name: STRIMZI_SASL_MECHANISM
                  value: "scram-sha-512"
                - name: STRIMZI_SECURITY_PROTOCOL
                  value: "SSL"
                - name: STRIMZI_USE_FINALIZERS
                  value: "true"

  4. スタンドアロンの Topic Operator を標準の方法でデプロイします。

6.7.2. スタンドアロン User Operator のデプロイ

この手順では、ユーザー管理のスタンドアロンコンポーネントとして User Operator をデプロイする方法を説明します。Cluster Operator の管理対象外となっている Kafka クラスターでは、スタンドアロンの User Operator を使用します。

スタンドアロンデプロイメントは、任意の Kafka クラスターで操作できます。

スタンドアロンデプロイメントファイルは AMQ Streams で提供されます。05-Deployment-strimzi-user-operator.yaml デプロイメントファイルを使用して、User Operator をデプロイします。Kafka クラスターへの接続に必要な環境変数を追加または設定します。

User Operator は、単一の namespace で KafkaUser リソースを監視します。User Operator 設定で、監視する namespace と Kafka クラスターへの接続を指定します。1 つの User Operator が監視できるのは、namespace 1 つです。1 つの namespace を監視するのは、User Operator 1 つのみとします。複数の User Operator を使用する場合は、それぞれが異なる namespace を監視するように設定します。このようにして、User Operator を複数の Kafka クラスターで使用できます。

前提条件

  • User Operator の接続先となる Kafka クラスターを実行している。

    スタンドアロンの User Operator が接続用に正しく設定されている限り、Kafka クラスターはベアメタル環境、仮想マシン、またはマネージドクラウドアプリケーションサービスで実行できます。

手順

  1. 以下の env プロパティーを install/user-operator/05-Deployment-strimzi-user-operator.yaml スタンドアロンデプロイメントファイルで編集します。

    スタンドアロン User Operator デプロイメント設定の例

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: strimzi-user-operator
      labels:
        app: strimzi
    spec:
      # ...
      template:
        # ...
        spec:
          # ...
          containers:
            - name: strimzi-user-operator
              # ...
              env:
                - name: STRIMZI_NAMESPACE 1
                  valueFrom:
                    fieldRef:
                      fieldPath: metadata.namespace
                - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS 2
                  value: my-kafka-bootstrap-address:9092
                - name: STRIMZI_CA_CERT_NAME 3
                  value: my-cluster-clients-ca-cert
                - name: STRIMZI_CA_KEY_NAME 4
                  value: my-cluster-clients-ca
                - name: STRIMZI_LABELS 5
                  value: "strimzi.io/cluster=my-cluster"
                - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS 6
                  value: "120000"
                - name: STRIMZI_WORK_QUEUE_SIZE 7
                  value: 10000
                - name: STRIMZI_CONTROLLER_THREAD_POOL_SIZE 8
                  value: 10
                - name: STRIMZI_USER_OPERATIONS_THREAD_POOL_SIZE 9
                  value: 4
                - name: STRIMZI_LOG_LEVEL 10
                  value: INFO
                - name: STRIMZI_GC_LOG_ENABLED 11
                  value: "true"
                - name: STRIMZI_CA_VALIDITY 12
                  value: "365"
                - name: STRIMZI_CA_RENEWAL 13
                  value: "30"
                - name: STRIMZI_JAVA_OPTS 14
                  value: "-Xmx=512M -Xms=256M"
                - name: STRIMZI_JAVA_SYSTEM_PROPERTIES 15
                  value: "-Djavax.net.debug=verbose -DpropertyName=value"
                - name: STRIMZI_SECRET_PREFIX 16
                  value: "kafka-"
                - name: STRIMZI_ACLS_ADMIN_API_SUPPORTED 17
                  value: "true"
                - name: STRIMZI_MAINTENANCE_TIME_WINDOWS 18
                  value: '* * 8-10 * * ?;* * 14-15 * * ?'
                - name: STRIMZI_KAFKA_ADMIN_CLIENT_CONFIGURATION 19
                  value: |
                    default.api.timeout.ms=120000
                    request.timeout.ms=60000

    1
    KafkaUser リソースを監視する User Operator の OpenShift namespace。指定できる namespace は 1 つだけです。
    2
    Kafka クラスターのすべてのブローカーを検出し、接続するブートストラップブローカーアドレスのホストとポートのペア。サーバーがダウンした場合に備えて、コンマ区切りリストを使用して 2 つまたは 3 つのブローカーアドレスを指定します。
    3
    mTLS 認証用の新しいユーザー証明書に署名する認証局の公開鍵 (ca.crt) 値を含む OpenShift Secret
    4
    mTLS 認証用の新しいユーザー証明書に署名する CA の秘密鍵 (ca.key) 値を含む OpenShift Secret
    5
    User Operator によって管理される KafkaUser リソースを識別するラベル。これは、Kafka クラスターの名前である必要はありません。KafkaUser リソースに割り当てられたラベルにすることができます。複数の User Operator をデプロイする場合、ラベルはそれぞれに一意である必要があります。つまり、Operator は同じリソースを管理できません。
    6
    定期的な調整の間隔 (秒単位)。デフォルトは 120000 (2 分) です。
    7
    コントローラーイベントキューのサイズ。キューのサイズは、User Operator が操作すると予想されるユーザーの最大数と少なくとも同じ大きさにする必要があります。デフォルトは 1024 です。
    8
    ユーザーを調整するためのワーカープールのサイズ。プールを大きくすると、より多くのリソースが必要になる可能性がありますが、より多くの KafkaUser リソースも処理されます。デフォルトは 50 です。
    9
    Kafka Admin API および OpenShift 操作のワーカープールのサイズ。プールを大きくすると、より多くのリソースが必要になる可能性がありますが、より多くの KafkaUser リソースも処理されます。デフォルトは 4 です。
    10
    ロギングメッセージの出力レベル。レベルを、ERRORWARNINGINFODEBUG、または TRACE に設定できます。
    11
    ガベッジコレクション (GC) ロギングを有効にします。デフォルトは true です。
    12
    CA の有効期間。デフォルトは 365 日です。
    13
    CA の更新期間。更新期間は、現在の証明書の有効期日から逆算されます。デフォルトでは、古い証明書が期限切れになる前の証明書の更新期間は 30 日です。
    14
    (任意) User Operator を実行する JVM に使用される Java オプション。
    15
    (任意) User Operator に設定されたデバッグ (-D) オプション。
    16
    (オプション)User Operator によって作成される OpenShift シークレットの名前の接頭辞。
    17
    (任意)Kafka クラスターが Kafka Admin API を使用した承認 ACL ルールの管理をサポートするかどうかを示します。false に設定すると、User Operator は simple 承認 ACL ルールを持つすべてのリソースを拒否します。これは、Kafka クラスターログで不要な例外を回避するのに役立ちます。デフォルトは true です。
    18
    (オプション) 期限切れのユーザー証明書が更新されるメンテナンス時間枠を定義する Cron 式のセミコロンで区切られたリスト。
    19
    (オプション) プロパティー形式で User Operator が使用する Kafka Admin クライアントを設定するための設定オプション。
  2. mTLS を使用して Kafka クラスターに接続する場合は、接続の認証に使用されるシークレットを指定します。それ以外の場合は、次のステップに進みます。

    mTLS 設定の例

    # ....
    env:
      - name: STRIMZI_CLUSTER_CA_CERT_SECRET_NAME 1
        value: my-cluster-cluster-ca-cert
      - name: STRIMZI_EO_KEY_SECRET_NAME 2
        value: my-cluster-entity-operator-certs
    # ..."

    1
    Kafka ブローカー証明書に署名する CA の公開鍵 (ca.crt) 値を含む OpenShift Secret
    2
    Kafka クラスターに対する mTLS 認証に使用される証明書の公開鍵 (entity-operator.crt) と秘密鍵 (entity-operator.key) を含む OpenShift Secret
  3. User Operator をデプロイします。

    oc create -f install/user-operator
  4. デプロイメントのステータスを確認します。

    oc get deployments

    デプロイメント名と準備状態が表示されている出力

    NAME                   READY  UP-TO-DATE  AVAILABLE
    strimzi-user-operator  1/1    1           1

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に 1 が表示されれば、デプロイメントは成功しています。

第7章 AMQ Streams フィーチャーゲートの有効化

AMQ Streams Operator はフィーチャーゲートを使用して特定の機能を有効または無効にします。フィーチャーゲートを有効にすると、対応する Operator の動作が変更され、この機能が AMQ Streams デプロイメントに導入されます。

フィーチャーゲートは、成熟度のレベルに応じて、デフォルトで有効または無効になる可能性があります。

フィーチャーゲートのデフォルト状態を変更するには、Operator の設定で STRIMZI_FEATURE_GATES 環境変数を使用します。この 1 つの環境変数を使用して、複数のフィーチャーゲートを変更することができます。フィーチャーゲート名と接頭辞のコンマ区切りリストを指定します。+ 接頭辞はフィーチャーゲートを有効にし、- 接頭辞を無効にします。

FeatureGate1 を有効にし、FeatureGate2 を無効にするフィーチャーゲートの設定例

env:
  - name: STRIMZI_FEATURE_GATES
    value: +FeatureGate1,-FeatureGate2

7.1. ControlPlaneListener フィーチャーゲート

ControlPlaneListener フィーチャーゲートは GA に移動されたので、完全に有効になり、無効にすることはできません。ControlPlaneListener が有効にされている場合、Kafka コントローラーとブローカー間の接続はポート 9090 の内部 コントロールプレーンリスナー を使用します。ブローカー間のデータのレプリケーション、および AMQ Streams Operator、Cruise Control、または Kafka Exporter からの内部接続では、ポート 9091 で レプリケーションリスナー を使用します。

重要

ControlPlaneListener フィーチャーゲートを永続的に有効にすると、AMQ Streams 1.7 以前と AMQ Streams 2.3 以降の間で直接的にアップグレードまたはダウングレードができなくなります。まず、中間の AMQ Streams バージョンのいずれかを介してアップグレードまたはダウングレードし、ControlPlaneListener フィーチャーゲートを無効にしてから、ターゲットバージョンにダウングレードまたはアップグレードする (フィーチャーゲートを有効にして) 必要があります。

7.2. ServiceAccountPatching フィーチャーゲート

ServiceAccountPatching フィーチャーゲートは GA に移行しました。つまり、永続的に有効になり、無効にすることはできません。ServiceAccountPatching を有効にすると、Cluster Operator は常にサービスアカウントを調整し、必要に応じて更新します。たとえば、カスタムリソースの template プロパティーを使用してサービスアカウントのラベルまたはアノテーションを変更すると、Operator はそれらを既存のサービスアカウントリソースで自動的に更新します。

7.3. UseStrimziPodSets フィーチャーゲート

UseStrimziPodSets フィーチャーゲートは一般公開され (GA に移行)、永続的に有効になり、無効にすることはできません。StatefulSet のサポートは削除され、AMQ Streams は常に StrimziPodSets を使用して Kafka Pod および ZooKeeper Pod を管理するようになりました。

重要

UseStrimziPodSets フィーチャーゲートが永続的に有効になったため、AMQ Streams 2.4 以降から AMQ Streams 2.0 以前に直接ダウングレードすることはできなくなりました。まず、中間の AMQ Streams バージョンのいずれかを介してダウングレードし、UseStrimziPodSets フィーチャーゲートを無効にしてから、AMQ Streams 2.0 以前にダウングレードする必要があります。

7.4. (プレビュー) UseKRaft フィーチャーゲート

UseKRaft フィーチャーゲートのデフォルト状態は disabled です。

UseKRaft フィーチャーゲートは、ZooKeeper なしで KRaft (Kafka Raft メタデータ) モードで Kafka クラスターをデプロイします。ZooKeeper と KRaft は、Kafka クラスター内のメタデータを管理し、操作を調整するために使用されるメカニズムです。KRaft モードでは、ZooKeeper などの外部調整サービスが必要なくなります。KRaft モードでは、Kafka ノードはブローカー、コントローラー、またはその両方のロールを引き受けます。これらは、パーティション間でレプリケートされるメタデータを集合的に管理します。コントローラーは、操作を調整し、クラスターの状態を維持する責任があります。

このフィーチャーゲートは現在、開発とテストのみを目的としています。

重要

KRaft モードは、Apache Kafka または AMQ Streams での運用の準備ができていません。

UseKRaft フィーチャーゲートを有効にするには、KafkaNodePools フィーチャーゲートも有効にする必要があります。Kafka クラスターを KRaft モードでデプロイするには、KafkaNodePool リソースを使用する必要があります。詳細と例は、「(プレビュー) Kafka ノードプールのデプロイ」 を参照してください。

UseKRaft フィーチャーゲートが有効になっている場合、Kafka クラスターは ZooKeeper なしでデプロイされます。Kafka カスタムリソースの .spec.zookeeper プロパティーは無視されますが、存在する必要があります。UseKRaft フィーチャーゲートは、Kafka クラスターノードとそのロールを設定する API を提供します。API はまだ開発中であり、KRaft モードが本番環境に対応する前に変更される予定です。

現在、AMQ Streams の KRaft モードには、次の主要な制限があります。

  • ZooKeeper を使用する Kafka クラスターから KRaft クラスターへの移動、またはその逆の移動はサポートされていません。
  • コントローラー専用ノードは、ローリング更新を実行したり、個別に更新したりすることはできません。
  • Apache Kafka バージョンまたは AMQ Streams Operator のアップグレードとダウングレードはサポートされていません。ユーザーは、クラスターを削除し、Operator をアップグレードして、新しい Kafka クラスターをデプロイする必要がある場合があります。
  • KRaft モードでは Unidirectional Topic Operator のみがサポートされます。これは、UnidirectionTopicOperator フィーチャーゲートを使用して有効にすることができます。Bidirectional Topic Operator はサポートされていないため、UnidirectionTopicOperator フィーチャーゲートが有効になっていない場合は、spec.entityOperator.topicOperator プロパティーを Kafka カスタムリソースから削除する必要があります
  • JBOD ストレージはサポートされていません。type: jbod ストレージを使用できますが、JBOD アレイに含めることができるディスクは 1 つだけです。

UseKRaft フィーチャーゲートの有効化

UseKRaft フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES 環境変数に +UseKRaft,+KafkaNodePools を指定します。

7.5. StableConnectIdentities フィーチャーゲート

StableConnectIdentities フィーチャーゲートのデフォルト状態は 無効 です。

StableConnectIdentities フィーチャーゲートは、OpenShift Deployment リソースを使用する代わりに、StrimziPodSet リソースを使用して Kafka Connect および Kafka MirrorMaker 2 Pod を管理します。StrimziPodSet は Pod に安定した名前と安定したアドレスを与えます。これらはローリングアップグレード中に変更されません。これは、コネクタータスクの再バランスの数を最小限に抑えるのに役立ちます。

StableConnectIdentities フィーチャーゲートの有効化

StableConnectIdentities フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES 環境変数に +StableConnectIdentities を指定します。

重要

AMQ Streams 2.3 以前のバージョンにダウングレードする場合は、StableConnectIdentities フィーチャーゲートを無効にする必要があります。

7.6. (プレビュー) KafkaNodePools フィーチャーゲート

KafkaNodePools フィーチャーゲートのデフォルト状態は disabled です。

KafkaNodePools フィーチャーゲートでは、Apache Kafka ノードのさまざまな プール の設定を可能にする新しい KafkaNodePool カスタムリソースが導入されています。

ノードプールは、Kafka クラスター内の Kafka ノードの個別のグループを指します。各プールには独自の固有の設定があり、これにはレプリカの数、ストレージ設定、割り当てられたロールのリストなどの必須設定が含まれます。.spec.roles フィールドで、コントローラー ロール、ブローカー ロール、または両方のロールをプール内のすべてのノードに割り当てることができます。ZooKeeper ベースの Apache Kafka クラスターで使用する場合は、broker ロールに設定する必要があります。UseKRaft フィーチャーゲートと一緒に使用する場合は、BrokerController、またはその両方に設定できます。

さらに、ノードプールは、リソースのリクエストと制限、Java JVM オプション、およびリソーステンプレートの独自の設定を持つことができます。KafkaNodePool リソースに設定されていない設定オプションは、Kafka カスタムリソースから継承されます。

KafkaNodePool リソースは、strimzi.io/cluster ラベルを使用して、どの Kafka クラスターに属しているかを示します。ラベルは、Kafka カスタムリソースの名前に設定する必要があります。

KafkaNodePool リソースの例は、AMQ Streams によって提供される サンプル設定ファイル にあります。

KafkaNodePools フィーチャーゲートの有効化

KafkaNodePools フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES 環境変数に +KafkaNodePools を指定します。ノードプールを使用する Kafka カスタムリソースには、strimzi.io/node-pools: Enabled アノテーションも必要です。

7.7. (プレビュー) UnidirectionorTopicOperator フィーチャーゲート

UnidirectionalTopicOperator フィーチャーゲートのデフォルト状態は disabled になっています。

UnidirectionalTopicOperator フィーチャーゲートは、KafkaTopic リソースを使用して Kafka トピックを作成するための単方向トピック管理モードを導入します。一方向モードは、クラスター管理での KRaft の使用と互換性があります。一方向モードでは、KafkaTopic リソースを使用して Kafka トピックを作成し、トピックオペレーターによって管理されます。KafkaTopic リソース外のトピックに対する設定変更はすべて元に戻されます。トピック管理の詳細は、「トピック管理モード」 を参照してください。

UnidirectionalTopicOperator フィーチャーゲートの有効化

UnidirectionalTopicOperator フィーチャーゲートを有効にするには、Cluster Operator 設定の STRIMZI_FEATURE_GATES 環境変数に +UnidirectionTopicOperator を指定します。KafkaTopic カスタムリソースがこの機能を使用するには、strimzi.io/managed アノテーションがデフォルトで true に設定されます。

7.8. フィーチャーゲートリリース

フィーチャーゲートには、3 段階の成熟度があります。

  • Alpha: 通常はデフォルトで無効
  • Beta: 通常はデフォルトで有効
  • General Availability(GA): 通常は常に有効

Alpha ステージの機能は実験的で不安定である可能性があり、変更される可能性があり、実稼働用に十分にテストされていない可能性があります。Beta ステージの機能は、十分にテストされており、その機能は変更されない可能性が高くなります。GA ステージの機能は安定しており、今後変更されることはありません。Alpha または Bata ステージの機能は、有用であることが証明されない場合は削除されます。

  • ControlPlaneListener フィーチャーゲートは AMQ Streams 2.3 の GA 段階に移動しました。現在は永続的に有効になっており、無効にすることはできません。
  • ServiceAccountPatching フィーチャーゲートは AMQ Streams 2.3 の GA 段階に移行しました。現在は永続的に有効になっており、無効にすることはできません。
  • UseStrimziPodSets フィーチャーゲートは AMQ Streams 2.5 の GA 段階に移動され、StatefulSet のサポートは完全に削除されました。現在は永続的に有効になっており、無効にすることはできません。
  • UseKRaft フィーチャーゲートは開発用にのみ利用可能であり、現在、ベータフェーズに移行する予定のリリースはありません。
  • StableConnectIdentities フィーチャーゲートはアルファ段階にあり、デフォルトでは無効になっています。
  • KafkaNodePools フィーチャーゲートはアルファ段階にあり、デフォルトでは無効になっています。
  • UnidirectionalTopicOperator 機能ゲートはアルファ段階にあり、デフォルトでは無効になっています。
注記

フィーチャーゲートは、GA に達した時点で削除される可能性があります。これは、この機能が AMQ Streams コア機能に組み込まれ、無効にできないことを意味します。

表7.1 Alpha、Beta、または GA に移行したときのフィーチャーゲートおよび AMQ Streams バージョン
フィーチャーゲートAlphaBetaGA

ControlPlaneListener

1.8

2.0

2.3

ServiceAccountPatching

1.8

2.0

2.3

UseStrimziPodSets

2.1

2.3

2.5

UseKRaft

2.2

-

-

StableConnectIdentities

2.4

-

-

KafkaNodePools

2.5

-

-

UnidirectionalTopicOperator

2.5

-

-

フィーチャーゲートが有効な場合は、特定の AMQ Streams バージョンからアップグレードまたはダウングレードを行う前に無効にする必要がある場合があります。以下の表は、AMQ Streams バージョンのアップグレードまたはダウングレード時に無効にする必要のあるフィーチャーゲートを示しています。

表7.2 AMQ Streams のアップグレードまたはダウングレード時に無効にするフィーチャーゲート
フィーチャーゲートの無効化AMQ Streams バージョンからのアップグレードAMQ Streams バージョンへのダウングレード

ControlPlaneListener

1.7 以前

1.7 以前

UseStrimziPodSets

-

2.0 以前

StableConnectIdentities

-

2.3 以前

第8章 デプロイメントの設定

AMQ Streams カスタムリソースを使用して、正確なニーズに合わせて AMQ Streams デプロイメントを設定および管理します。AMQ Streams では、各リリースにサンプルのカスタムリソースが提供されており、サポートされている Kafka コンポーネントのインスタンスを設定および作成できます。特定の要件に応じて追加機能を組み込むようにカスタムリソースを設定することで、デプロイメントを微調整します。設定の特定の領域、つまりメトリクス、ロギング、Kafka Connect コネクターの外部設定については、ConfigMap リソースを使用することもできます。ConfigMap リソースを使用して設定を組み込むことで、メンテナンスを一元化できます。設定プロバイダーを使用して外部ソースから設定をロードすることもできます。これは、Kafka Connect コネクター設定の認証情報を提供するために推奨されます。

カスタムリソースを使用して、次のコンポーネントのインスタンスを設定および作成します。

  • Kafka クラスター
  • Kafka Connect クラスター
  • Kafka MirrorMaker
  • Kafka Bridge
  • Cruise Control

カスタムリソース設定を使用してインスタンスを管理したり、デプロイメントを変更して追加機能を導入したりすることもできます。これには、以下をサポートする設定が含まれる場合があります。

  • (プレビュー) ノードプールの指定
  • Kafka ブローカーへのクライアントアクセスの保護
  • クラスター外からの Kafka ブローカーへのアクセス
  • トピックの作成
  • ユーザー (クライアント) の作成
  • フィーチャーゲートの制御
  • ロギングの頻度変更
  • リソース制限とリクエストの割り当て
  • AMQ Streams Drain Cleaner、Cruise Control、分散トレースなどの機能紹介

AMQ Streams Custom Resource API Reference では、設定で使用できるプロパティーを説明しています。

注記

カスタムリソースに適用されるラベルは、クラスターを設定する OpenShift リソースにも適用されます。そのため、必要に応じてリソースに簡単にラベルを付けることができます。

カスタムリソース設定ファイルへの変更の適用

spec プロパティーを使用してカスタムリソースに設定を追加します。設定を追加した後、oc を使用して変更をカスタムリソース設定ファイルに適用できます。

oc apply -f <kafka_configuration_file>

8.1. サンプル設定ファイルの使用

追加のサポートされる設定を組み込むことで、デプロイメントをさらに強化します。サンプル設定ファイルは、AMQ Streams ソフトウェアダウンロードページからダウンロード可能なリリースアーティファクトとともに提供されます。

サンプルファイルには、デフォルトでカスタムリソースの必須のプロパティーと値のみが含まれています。oc コマンドラインツールを使用してサンプルをダウンロードおよび適用できます。これらの例は、デプロイメントに独自の Kafka コンポーネント設定を構築する際の開始点として使用できます。

注記

Operator を使用して AMQ Streams をインストールした場合でも、サンプルファイルをダウンロードして、そのファイルを使用して設定をアップロードできます。

リリースアーティファクトには、examples ディレクトリーがあり、そこに設定例が含まれています。

設定ファイルとデプロイメントファイルの例

examples
├── user 1
├── topic 2
├── security 3
│   ├── tls-auth
│   ├── scram-sha-512-auth
│   └── keycloak-authorization
├── mirror-maker 4
├── metrics 5
├── kafka 6
│   └── nodepools 7
├── cruise-control 8
├── connect 9
└── bridge 10

1
User Operator によって管理される KafkaUser カスタムリソース設定。
2
Topic Operator によって管理される KafkaTopic カスタムリソースの設定。
3
Kafka コンポーネントの認証および承認設定。TLS および SCRAM-SHA-512 認証の設定例が含まれています。Red Hat Single Sign-On の例には、Kafka カスタムリソース設定および Red Hat Single Sign-On レルム仕様が含まれています。この例を使用して、Red Hat Single Sign-On 承認サービスを試すことができます。また、oauth 認証と keyloack 認証メトリクスを有効にした例もあります。
4
Mirror Maker のデプロイメント用の Kafka カスタムリソース設定。レプリケーションポリシーおよび同期頻度の設定例が含まれます。
5
Prometheus インストールおよび Grafana ダッシュボードファイルが含まれる メトリック設定
6
Kafka のデプロイメント用の Kafka カスタムリソース設定。一時的または永続的なシングルまたはマルチノードデプロイメントの設定例が含まれています。
7
(プレビュー) Kafka クラスター内の Kafka ノードの KafkaNodePool 設定。KRaft (Kafka Raft メタデータ) モードまたは ZooKeeper を使用するクラスター内のノードの設定例が含まれています。
8
Cruise Control のデプロイ設定を含む Kafka カスタムリソース。デフォルトまたはユーザー最適化ゴールを使用する設定の例とともに、Cruise Control から最適化プロポーザルを生成するための KafkaRebalance カスタムリソースが含まれます。
9
Kafka Connect をデプロイするための KafkaConnect および KafkaConnector カスタムリソース設定。シングルまたはマルチノードデプロイメントの設定例が含まれています。
10
Kafka Bridge をデプロイするための KafkaBridge カスタムリソース設定。

8.2. Kafka の設定

Kafka カスタムリソースの spec プロパティーを更新して、Kafka デプロイメントを設定します。

Kafka の設定に加え、ZooKeeper および AMQ Streams Operator の設定を追加することもできます。ロギングやヘルスチェックなどの一般的な設定プロパティーは、コンポーネントごとに独立して設定されます。

特に重要な設定オプションには次のものがあります。

  • リソース要求 (CPU/メモリー)
  • 最大および最小メモリー割り当ての JVM オプション
  • クライアントを Kafka ブローカーに接続するためのリスナー (およびクライアントの認証)
  • 認証
  • ストレージ
  • ラックアウェアネス
  • メトリック
  • Cruise Control によるクラスターのリバランス

Kafka クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

Kafka バージョン

Kafka configinter.broker.protocol.version プロパティーは、指定された Kafka バージョン (spec.kafka.version) によってサポートされるバージョンである必要があります。このプロパティーは、Kafka クラスターで使用される Kafka プロトコルのバージョンを表します。

Kafka 3.0.0 以降、inter.broker.protocol.version3.0 以上に設定されていると、log.message.format.version オプションは無視されるため、設定する必要はありません。

Kafka バージョンのアップグレード時には、inter.broker.protocol.version のアップグレードが必要です。詳細は、Upgrading Kafka を参照してください。

TLS 証明書の管理

Kafka をデプロイする場合、Cluster Operator は自動で TLS 証明書の設定および更新を行い、クラスター内での暗号化および認証を有効にします。必要な場合は、更新期間の開始前にクラスターおよびクライアント CA 証明書を手動で更新できます。クラスターおよびクライアント CA 証明書によって使用される鍵を置き換えることもできます。詳細は、CA 証明書の手動更新 および 秘密鍵の置換 を参照してください。

Kafka カスタムリソース設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3 1
    version: 3.5.0 2
    logging: 3
      type: inline
      loggers:
        kafka.root.logger.level: INFO
    resources: 4
      requests:
        memory: 64Gi
        cpu: "8"
      limits:
        memory: 64Gi
        cpu: "12"
    readinessProbe: 5
      initialDelaySeconds: 15
      timeoutSeconds: 5
    livenessProbe:
      initialDelaySeconds: 15
      timeoutSeconds: 5
    jvmOptions: 6
      -Xms: 8192m
      -Xmx: 8192m
    image: my-org/my-image:latest 7
    listeners: 8
      - name: plain 9
        port: 9092 10
        type: internal 11
        tls: false 12
        configuration:
          useServiceDnsDomain: true 13
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication: 14
          type: tls
      - name: external 15
        port: 9094
        type: route
        tls: true
        configuration:
          brokerCertChainAndKey: 16
            secretName: my-secret
            certificate: my-certificate.crt
            key: my-key.key
    authorization: 17
      type: simple
    config: 18
      auto.create.topics.enable: "false"
      offsets.topic.replication.factor: 3
      transaction.state.log.replication.factor: 3
      transaction.state.log.min.isr: 2
      default.replication.factor: 3
      min.insync.replicas: 2
      inter.broker.protocol.version: "3.5"
    storage: 19
      type: persistent-claim 20
      size: 10000Gi
    rack: 21
      topologyKey: topology.kubernetes.io/zone
    metricsConfig: 22
      type: jmxPrometheusExporter
      valueFrom:
        configMapKeyRef: 23
          name: my-config-map
          key: my-key
    # ...
  zookeeper: 24
    replicas: 3 25
    logging: 26
      type: inline
      loggers:
        zookeeper.root.logger: INFO
    resources:
      requests:
        memory: 8Gi
        cpu: "2"
      limits:
        memory: 8Gi
        cpu: "2"
    jvmOptions:
      -Xms: 4096m
      -Xmx: 4096m
    storage:
      type: persistent-claim
      size: 1000Gi
    metricsConfig:
      # ...
  entityOperator: 27
    tlsSidecar: 28
      resources:
        requests:
          cpu: 200m
          memory: 64Mi
        limits:
          cpu: 500m
          memory: 128Mi
    topicOperator:
      watchedNamespace: my-topic-namespace
      reconciliationIntervalSeconds: 60
      logging: 29
        type: inline
        loggers:
          rootLogger.level: INFO
      resources:
        requests:
          memory: 512Mi
          cpu: "1"
        limits:
          memory: 512Mi
          cpu: "1"
    userOperator:
      watchedNamespace: my-topic-namespace
      reconciliationIntervalSeconds: 60
      logging: 30
        type: inline
        loggers:
          rootLogger.level: INFO
      resources:
        requests:
          memory: 512Mi
          cpu: "1"
        limits:
          memory: 512Mi
          cpu: "1"
  kafkaExporter: 31
    # ...
  cruiseControl: 32
    # ...

1
レプリカノードの数。
2
Kafka バージョン。アップグレード手順に従うと、サポート対象のバージョンに変更できます。
3
ConfigMap を介して直接 (inline) または間接 (external) に追加された Kafka ロガーとログレベル。カスタム Log4j 設定は、ConfigMap の log4j.properties キーの下に配置する必要があります。Kafka kafka.root.logger.level ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。
4
現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。
5
コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
6
Kafka を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
7
高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
8
リスナーは、ブートストラップアドレスでクライアントが Kafka クラスターに接続する方法を設定します。リスナーは、OpenShift クラスター内部または外部からの接続の 内部 または 外部 リスナーとして設定されます。
9
リスナーを識別するための名前。Kafka クラスター内で一意である必要があります。
10
Kafka 内でリスナーによって使用されるポート番号。ポート番号は指定の Kafka クラスター内で一意である必要があります。許可されるポート番号は 9092 以上ですが、すでに Prometheus および JMX によって使用されているポート 9404 および 9999 以外になります。リスナーのタイプによっては、ポート番号は Kafka クライアントに接続するポート番号と同じではない場合があります。
11
リスナーのタイプは、internal または cluster-ip (ブローカーごとの ClusterIP サービスを使用して Kafka を公開するため) として指定されるか、外部リスナーの場合は、route (OpenShift のみ)、loadbalancernodeport または ingress (Kubernetes のみ) として指定されます。
12
各リスナーの TLS 暗号化を有効にします。デフォルトは false です。TLS 暗号化は、route および ingress タイプのリスナーに対して true に設定して有効にする必要があります。
13
クラスターサービス接尾辞 (通常は cluster.local) を含む完全修飾 DNS 名が割り当てられているかどうかを定義します。
14
mTLS、SCRAM-SHA-512、またはトークンベースの OAuth 2.0 として指定されるリスナー認証メカニズム。
15
外部リスナー設定は、routeloadbalancer、または nodeport からなど、Kafka クラスターが外部の OpenShift に公開される方法を指定します。
16
外部 CA (認証局) によって管理される Kafka リスナー証明書のオプションの設定。brokerCertChainAndKey は、サーバー証明書および秘密鍵が含まれる Secret を指定します。TLS による暗号化が有効な任意のリスナーで Kafka リスナー証明書を設定できます。
17
承認は Kafka ブローカーで簡易、OAUTH2.0、または OPA 承認を有効化します。簡易承認では、AclAuthorizer Kafka プラグインが使用されます。
18
ブローカー設定。標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
19
永続ボリュームのストレージサイズは拡張可能で、さらに JBOD ストレージへのボリューム追加が可能です。
20
永続ストレージには、動的ボリュームプロビジョニングのためのストレージ idclass など、追加の設定オプションがあります。
21
異なるラック、データセンター、または可用性ゾーンにレプリカを分散させるための Rack awareness 設定。topologyKey は、ラック ID を含むノードラベルと一致する必要があります。この設定で使用される例では、標準の topology.kubernetes.io/zone ラベルを使用するゾーンを指定します。
22
Prometheus メトリックが有効になりました。この例では、メトリクスは Prometheus JMX Exporter (デフォルトのメトリクスエクスポーター) に対して設定されます。
23
Prometheus JMX Exporter 経由で Prometheus 形式のメトリクスを Grafana ダッシュボードにエクスポートするルール。Prometheus JMX Exporter の設定が含まれる ConfigMap を参照することで有効になります。metricsConfig.valueFrom.configMapKeyRef.key 配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリックを有効にできます。
24
Kafka 設定と似たプロパティーが含まれる、ZooKeeper 固有の設定。
25
ZooKeeper ノードの数。通常、ZooKeeper クラスターまたはアンサンブルは、一般的に 3、5、7 個の奇数個のノードで実行されます。効果的なクォーラムを維持するには、過半数のノードが利用可能である必要があります。ZooKeeper クラスターでクォーラムを失うと、クライアントへの応答が停止し、Kafka ブローカーが機能しなくなります。AMQ Streams では、ZooKeeper クラスターの安定性および高可用性が重要になります。
26
ZooKeeper ロガーとログレベル。
27
Topic Operator および User Operator の設定を指定する Entity Operator 設定。
28
Entity Operator の TLS サイドカー設定。Entity Operator は、ZooKeeper とのセキュアな通信に TLS サイドカーを使用します。
29
指定された Topic Operator ロガーおよびログレベル。この例では、inline ロギングを使用します。
30
指定された User Operator ロガーおよびログレベル。
31
Kafka Exporter の設定。Kafka Exporter は、Kafka ブローカーからメトリックデータ、特にコンシューマーラグデータを抽出するためのオプションのコンポーネントです。Kafka Exporter が適切に機能できるようにするには、コンシューマーグループを使用する必要があります。
32
Kafka クラスターの再バランスに使用される Cruise Control のオプションの設定。

8.2.1. Kafka Static Quota プラグインを使用したブローカーへの制限の設定

Kafka Static Quota プラグインを使用して、Kafka クラスターのブローカーにスループットおよびストレージの制限を設定します。Kafka リソースを設定して、プラグインを有効にし、制限を設定します。バイトレートのしきい値およびストレージクォータを設定して、ブローカーと対話するクライアントに制限を設けることができます。

プロデューサーおよびコンシューマー帯域幅にバイトレートのしきい値を設定できます。制限の合計は、ブローカーにアクセスするすべてのクライアントに分散されます。たとえば、バイトレートのしきい値として 40 MBps ををプロデューサーに設定できます。2 つのプロデューサーが実行されている場合、それぞれのスループットは 20MBps に制限されます。

ストレージクォータは、Kafka ディスクストレージの制限をソフト制限とハード制限間で調整します。この制限は、利用可能なすべてのディスク容量に適用されます。プロデューサーは、ソフト制限とハード制限の間で徐々に遅くなります。制限により、ディスクの使用量が急激に増加しないようにし、容量を超えないようにします。ディスクがいっぱいになると、修正が難しい問題が発生する可能性があります。ハード制限は、ストレージの上限です。

注記

JBOD ストレージの場合、制限はすべてのディスクに適用されます。ブローカーが 2 つの 1 TB ディスクを使用し、クォータが 1.1 TB の場合は、1 つのディスクにいっぱいになり、別のディスクがほぼ空になることがあります。

前提条件

  • Kafka クラスターを管理する Cluster Operator が稼働している。

手順

  1. Kafka リソースの config にプラグインのプロパティーを追加します。

    プラグインプロパティーは、この設定例のとおりです。

    Kafka Static Quota プラグインの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        config:
          client.quota.callback.class: io.strimzi.kafka.quotas.StaticQuotaCallback 1
          client.quota.callback.static.produce: 1000000 2
          client.quota.callback.static.fetch: 1000000 3
          client.quota.callback.static.storage.soft: 400000000000 4
          client.quota.callback.static.storage.hard: 500000000000 5
          client.quota.callback.static.storage.check-interval: 5 6

    1
    Kafka Static Quota プラグインを読み込みます。
    2
    プロデューサーのバイトレートしきい値を設定します。この例では 1 MBps です。
    3
    コンシューマーのバイトレートしきい値を設定します。この例では 1 MBps です。
    4
    ストレージのソフト制限の下限を設定します。この例では 400 GB です。
    5
    ストレージのハード制限の上限を設定します。この例では 500 GB です。
    6
    ストレージのチェックの間隔 (秒単位) を設定します。この例では 5 秒です。これを 0 に設定するとチェックを無効にできます。
  2. リソースを更新します。

    oc apply -f <kafka_configuration_file>

8.2.2. ZooKeeper のデフォルト設定値

AMQ Streams を使用して ZooKeeper をデプロイする場合、AMQ Streams によって設定されるデフォルト設定の一部は、標準の ZooKeeper デフォルトとは異なります。これは、AMQ Streams が、OpenShift 環境内で ZooKeeper を実行するために最適化された値を使用して、多数の ZooKeeper プロパティーを設定するためです。

AMQ Streams の主要な ZooKeeper プロパティーのデフォルト設定は次のとおりです。

表8.1 AMQ Streams のデフォルトの ZooKeeper プロパティー
プロパティーデフォルト値説明

tickTime

2000

1 ティックの長さ (ミリ秒単位)。これによってセッションタイムアウトの長さが決まります。

initLimit

5

ZooKeeper クラスター内で、フォロワーがリーダーに遅れることを許可される最大ティック数。

syncLimit

2

ZooKeeper クラスター内でフォロワーがリーダーと同期していなくても許容される最大ティック数。

autopurge.purgeInterval

1

autopurge 機能を有効にし、サーバー側の ZooKeeper トランザクションログをパージする間隔を時間単位で設定します。

admin.enableServer

false

ZooKeeper 管理サーバーを無効にするフラグ。管理サーバーは AMQ Streams では使用されません。

重要

Kafka カスタムリソースの Zookeeper.config としてこれらのデフォルト値を変更すると、ZooKeeper クラスターの動作とパフォーマンスに影響を与える可能性があります。

8.3. (プレビュー) ノードプールの設定

KafkaNodePool カスタムリソースの spec プロパティーを更新して、ノードプールデプロイメントを設定します。

注記

ノードプール機能はプレビューとして利用できます。ノードプールはデフォルトでは有効になっていないため、使用する前に KafkaNodePools フィーチャーゲートを有効にする 必要があります。

ノードプールは、Kafka クラスター内の Kafka ノードの個別のグループを指します。各プールには独自の固有の設定があり、これにはレプリカの数、ロール、ストレージ割り当ての必須設定が含まれます。

オプションで、次のプロパティーの値を指定することもできます。

  • メモリーと CPU のリクエストと制限を指定する resources
  • Pod およびその他の OpenShift リソースのカスタム設定を指定する template
  • jvmOptions : ヒープサイズ、ランタイム、その他のオプションのカスタム JVM 設定を指定します。

Kafka リソースは、Kafka クラスター内のすべてのノードの設定を表します。KafkaNodePool リソースは、ノードプール内のノードのみの設定を表します。設定プロパティーが KafkaNodePool で指定されていない場合は、Kafka リソースから継承されます。両方のリソースで設定されている場合は、KafkaNodePool リソースで指定された設定が優先されます。たとえば、ノードプールと Kafka 設定の両方に jvmOptions が含まれている場合、ノードプール設定で指定された値が使用されます。-Xmx: 1024mKafkaNodePool.spec.jvmOptions に設定され、-Xms: 512mKafka.spec.kafka.jvmOptions に設定されている場合、ノードはノードプール設定の値を使用します。

KafkaKafkaNodePool スキーマのプロパティーは組みわせることができません。明確にするために、KafkaNodePool.spec.templatepodSet.metadata.labels のみが含まれており、Kafka.spec.kafka.templatepodSet.metadata.annotations および pod.metadata.labels が含まれている場合、ノードプール設定内のテンプレート値があるため、Kafka 設定のテンプレート値は無視されます。

ノードプールは、KRaft モード (Kafka Raft メタデータを使用) で動作する Kafka クラスターで使用することも、クラスター管理に ZooKeeper を使用することもできます。KRaft モードを使用している場合は、ノードプール内のすべてのノードがブローカー、コントローラー、またはその両方として動作するようにロールを指定できます。ZooKeeper を使用している場合は、ノードをブローカーのみとして設定する必要があります。

重要

KRaft モードは、Apache Kafka または AMQ Streams での運用の準備ができていません。

ノードプールの設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

注記

ノードプールを有効にする KafkaNodePools フィーチャーゲートはアルファ段階にありますが、KafkaNodePool リソースのレプリカおよびストレージ設定プロパティーも Kafka リソースに存在する必要があります。ノードプールが使用されている場合、Kafka リソースの設定は無視されます。同様に、KRaft モードを使用する場合は、ZooKeeper 設定プロパティーも Kafka リソースに存在する必要があります。これらのプロパティーも無視されます。

ZooKeeper を使用したクラスター内のノードプールの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaNodePool
metadata:
  name: pool-a 1
  labels:
    strimzi.io/cluster: my-cluster 2
spec:
  replicas: 3 3
  roles:
    - broker 4
  storage: 5
    type: jbod
    volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
  resources: 6
      requests:
        memory: 64Gi
        cpu: "8"
      limits:
        memory: 64Gi
        cpu: "12"

1
ノードプールの一意の名前。
2
ノードプールが属する Kafka クラスター。ノードプールは 1 つのクラスターにのみ属することができます。
3
ノードのレプリカの数。
4
ノードプール内のノードのロール。ZooKeeper で Kafka を使用する場合にのみ broker でありえます。
5
ノードのストレージ仕様。
6
現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。

KRaft モードを使用したクラスター内のノードプールの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaNodePool
metadata:
  name: kraft-dual-role
  labels:
    strimzi.io/cluster: my-cluster
spec:
  replicas: 3
  roles: 1
    - controller
    - broker
  storage:
    type: jbod
    volumes:
      - id: 0
        type: persistent-claim
        size: 20Gi
        deleteClaim: false
  resources:
      requests:
        memory: 64Gi
        cpu: "8"
      limits:
        memory: 64Gi
        cpu: "12"

1
ノードプール内のノードのロール。この例では、ノードにはコントローラーとブローカーとしての二重のロールがあります。
注記

Kafka リソースの設定は、KRaft モードに適している必要があります。現在、KRaft モードには 多くの制限 があります。

8.3.1. (プレビュー) スケーリング操作のためのノードプールへの ID の割り当て

この手順では、ノードプールでスケーリング操作を実行するときに、Cluster Operator による高度なノード ID 処理にアノテーションを使用する方法について説明します。Cluster Operator が順番に次の ID を使用するのではなく、使用するノード ID を指定します。この方法でノード ID を管理すると、より詳細な制御が可能になります。

ID の範囲を追加するには、以下のアノテーションを KafkaNodePool リソースに割り当てます。

  • 新しいブローカーに使用される ID の範囲を追加する strimzi.io/next-node-ids
  • 既存のブローカーを削除するための ID の範囲を追加する strimzi.io/remove-node-ids

個別のノード ID、ID 範囲、または両方の組み合わせを指定できます。たとえば、Kafka ノードプールをスケールアップするために [0, 1, 2, 10-20, 30] の ID の範囲を指定できます。この形式では、個々のノード ID (01230) の組み合わせと ID の範囲 (10-20) を指定できます。

一般的なシナリオでは、スケールアップする場合は ID の範囲を指定し、スケールダウンする場合は特定のノードを削除する場合は単一のノード ID を指定します。

この手順では、次のようにスケーリングアノテーションをノードプールに追加します。

  • pool-a にはスケールアップ用の ID 範囲が割り当てられます
  • pool-b には、スケールダウン用の ID 範囲が割り当てられます

スケーリング操作中、ID は次のように使用されます。

  • スケールアップでは、新しいノードの範囲内で使用可能な最小の ID が選択されます。
  • スケールダウンすると、範囲内で使用可能な最大の ID を持つノードが削除されます。

ノードプールに割り当てられたノード ID のシーケンスにギャップがある場合、次に追加されるノードにはギャップを埋める ID が割り当てられます。

アノテーションは、スケーリング操作のたびに更新する必要はありません。未使用の ID は、次のスケーリングイベントでも引き続き有効です。

Cluster Operator を使用すると、ID の範囲を昇順または降順で指定できるため、ノードがスケーリングされる順序で ID を定義できます。たとえば、スケールアップする場合、1000-1999 などの範囲を指定すると、新しいノードには次に低い ID (1000100110021003 など) が割り当てられます。逆に、スケールダウンする場合は、1999-1000 のような範囲を指定して、次に高い ID (1003100210011000 など) を持つノードが確実に削除されるようにすることができます。

アノテーションを使用して ID 範囲を指定しない場合、Cluster Operator はスケーリング操作中に ID を処理するデフォルトの動作に従います。ノード ID は 0 (ゼロ) から始まり、Kafka クラスター全体で順番に実行されます。次に小さい ID が新しいノードに割り当てられます。ノード ID とのギャップはクラスター全体で埋められます。これは、ノードプール内で順番に実行できない可能性があることを意味します。スケールアップのデフォルトの動作では、クラスター全体で次に小さい使用可能なノード ID を追加します。スケールダウンの場合は、ノードプール内の使用可能なノード ID が最も大きいノードを削除します。デフォルトのアプローチは、割り当てられた ID 範囲の形式が間違っている場合、スケールアップ範囲で ID が不足する場合、またはスケールダウン範囲が使用中のノードに適用されない場合にも適用されます。

手順

  1. 次の例に示すように、スケールアップまたはスケールダウン時に使用する ID でノードプールにアノテーションを付けます。

    スケールアップ用の ID は、ノードプール pool-a に割り当てられます。

    スケールアップ用の ID の割り当て

    oc annotate kafkanodepool pool-a strimzi.io/next-node-ids="[0,1,2,10-20,30]"

    ノードを pool-a に追加するときに、この範囲内で使用可能な最小の ID が使用されます。

    スケールダウン用の ID はノードプール pool-b に割り当てられます。

    スケールダウン用の ID の割り当て

    oc annotate kafkanodepool pool-b strimzi.io/remove-node-ids="[60-50,9,8,7]"

    pool-b をスケールダウンすると、この範囲内で使用可能な最大の ID が削除されます。

  2. ノードプールをスケーリングできるようになりました。

    詳細は、以下を参照してください。

    調整時に、アノテーションの形式が間違っている場合は警告が表示されます。

8.3.2. (プレビュー) ノードプールへのノードの追加

この手順では、ノードプールをスケールアップして新しいノードを追加する方法について説明します。

この手順では、ノードプール pool-a の 3 つのノードから始めます。

ノードプール内の Kafka ノード

NAME                       READY  STATUS   RESTARTS
my-cluster-pool-a-kafka-0  1/1    Running  0
my-cluster-pool-a-kafka-1  1/1    Running  0
my-cluster-pool-a-kafka-2  1/1    Running  0

ノード ID は、作成時にノードの名前に追加されます。ノード ID が 3 であるノード my-cluster-pool-a-kafka-3 を追加します。

注記

このプロセス中に、パーティションのレプリカを保持するノードの ID が変更されます。ノード ID を参照する依存関係を考慮してください。

前提条件

手順

  1. ノードプールに新しいノードを作成します。

    たとえば、ノードプール pool-a には 3 つのレプリカがあります。レプリカの数を増やしてノードを追加します。

    oc scale kafkanodepool pool-a --replicas=4
  2. デプロイメントのステータスを確認し、ノードプール内の Pod が作成され、ステータスが READY になるまで待ちます。

    oc get pods -n <my_cluster_operator_namespace>

    出力には、ノードプール内の 4 つの Kafka ノードが表示されます

    NAME                       READY  STATUS   RESTARTS
    my-cluster-pool-a-kafka-0  1/1    Running  0
    my-cluster-pool-a-kafka-1  1/1    Running  0
    my-cluster-pool-a-kafka-2  1/1    Running  0
    my-cluster-pool-a-kafka-3  1/1    Running  0

  3. ノードプール内のノードの数を増やした後、パーティションを再割り当てします。

    ノードプールをスケールアップした後、Cruise Control の add-brokers モードを使用して、パーティションレプリカを既存のブローカーから新しく追加したブローカーに移動できます。

8.3.3. (プレビュー) ノードプールからのノードの削除

この手順では、ノードプールをスケールダウンしてノードを削除する方法について説明します。

この手順では、ノードプール pool-a の 4 つのノードから開始します。

ノードプール内の Kafka ノード

NAME                       READY  STATUS   RESTARTS
my-cluster-pool-a-kafka-0  1/1    Running  0
my-cluster-pool-a-kafka-1  1/1    Running  0
my-cluster-pool-a-kafka-2  1/1    Running  0
my-cluster-pool-a-kafka-3  1/1    Running  0

ノード ID は、作成時にノードの名前に追加されます。ノード ID が 3 であるノード my-cluster-pool-a-kafka-3 を削除します。

注記

このプロセス中に、パーティションのレプリカを保持するノードの ID が変更されます。ノード ID を参照する依存関係を考慮してください。

前提条件

手順

  1. ノードプール内のノードの数を減らす前に、パーティションを再割り当てします。

    ノードプールをスケールダウンする前に、Cruise Control remove-brokers モードを使用して、削除されるブローカーからパーティションレプリカを移動できます。

  2. 再割り当てプロセスが完了し、削除されるノードにライブパーティションがなくなったら、ノードプール内の Kafka ノードの数を減らします。

    たとえば、ノードプール pool-b には 4 つのレプリカがあります。レプリカの数を減らしてノードを削除します。

    oc scale kafkanodepool pool-a --replicas=3

    出力には、ノードプール内の 3 つの Kafka ノードが表示されます

    NAME                        READY   STATUS    RESTARTS
    my-cluster-pool-b-kafka-0   1/1     Running   0
    my-cluster-pool-b-kafka-1   1/1     Running   0
    my-cluster-pool-b-kafka-2   1/1     Running   0

8.3.4. (プレビュー) ノードプール間でのノードの移動

この手順では、ダウンタイムなしでソース Kafka ノードプールとターゲット Kafka ノードプール間でノードを移動する方法について説明します。ターゲットノードプールに新しいノードを作成し、パーティションを再割り当てして、ソースノードプールの古いノードからデータを移動します。新しいノード上のレプリカが同期している場合、古いノードを削除できます。

この手順では、2 つのノードプールから始めます。

  • 3 つのレプリカを持つ pool-a がターゲットノードプールです
  • 4 つのレプリカを持つ pool-b がソースノードプールです

pool-a をスケールアップし、パーティションを再割り当てして pool-b をスケールダウンします。その結果、次のようになります。

  • 4 つのレプリカを持つ pool-a
  • 3 つのレプリカを持つ pool-b
注記

このプロセス中に、パーティションのレプリカを保持するノードの ID が変更されます。ノード ID を参照する依存関係を考慮してください。

前提条件

  • Cluster Operator がデプロイされている。
  • (オプション) スケールアップおよびスケールダウン操作の場合は、使用するノード ID の範囲を指定できます

    操作にノード ID を割り当てた場合、追加または削除されるノードの ID は、指定されたノードの順序によって決まります。それ以外の場合は、ノードを追加するときにクラスター全体で使用可能な最小のノード ID が使用されます。そして、ノードプール内で使用可能な ID が最も大きいノードが削除されます。

手順

  1. ターゲットノードプールに新しいノードを作成します。

    たとえば、ノードプール pool-a には 3 つのレプリカがあります。レプリカの数を増やしてノードを追加します。

    oc scale kafkanodepool pool-a --replicas=4
  2. デプロイメントのステータスを確認し、ノードプール内の Pod が作成され、ステータスが READY になるまで待ちます。

    oc get pods -n <my_cluster_operator_namespace>

    出力には、ターゲットノードプール内の 4 つの Kafka ノードが表示されます

    NAME                       READY  STATUS   RESTARTS
    my-cluster-pool-a-kafka-0  1/1    Running  0
    my-cluster-pool-a-kafka-1  1/1    Running  0
    my-cluster-pool-a-kafka-4  1/1    Running  0
    my-cluster-pool-a-kafka-5  1/1    Running  0

    ノード ID は、作成時にノードの名前に追加されます。ノード ID が 5 であるノード my-cluster-pool-a-kafka-5 を追加します。

  3. パーティションを古いノードから新しいノードに再割り当てします。

    ソースノードプールをスケールダウンする前に、Cruise Control の remove-broker モードを使用して、削除されるブローカーからパーティションレプリカを移動できます。

  4. 再割り当てプロセスが完了したら、ソースノードプール内の Kafka ノードの数を減らします。

    たとえば、ノードプール pool-b には 4 つのレプリカがあります。レプリカの数を減らしてノードを削除します。

    oc scale kafkanodepool pool-b --replicas=3

    プール内で最も数値の大きい ID を持つノードが削除されます。

    出力には、ソースノードプール内の 3 つの Kafka ノードが表示されます

    NAME                       READY  STATUS   RESTARTS
    my-cluster-pool-b-kafka-2  1/1    Running  0
    my-cluster-pool-b-kafka-3  1/1    Running  0
    my-cluster-pool-b-kafka-6  1/1    Running  0

8.3.5. (プレビュー) Kafka ノードプールを使用するための既存の Kafka クラスターの移行

この手順では、既存の Kafka クラスターを移行して Kafka ノードプールを使用する方法について説明します。Kafka クラスターを更新した後、ノードプールを使用して各プール内のノードの設定を管理できます。

注記

ノードプールを有効にする KafkaNodePools フィーチャーゲートはアルファ段階にありますが、KafkaNodePool リソース内のレプリカとストレージ設定も Kafka リソース内に存在する必要があります。ノードプールが使用されている場合、設定は無視されます。

手順

  1. 新しい KafkaNodePool リソースを作成します。

    1. リソースに kafka という名前を付けます。
    2. strimzi.io/cluster ラベルが既存の Kafka リソースを指すようにします。
    3. 現在の Kafka クラスターと一致するようにレプリカ数とストレージ設定を設定します。
    4. ロールを Broker に設定します。

    Kafka クラスターの移行で使用されるノードプールの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaNodePool
    metadata:
      name: kafka
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      replicas: 3
      roles:
        - broker
      storage:
        type: jbod
        volumes:
          - id: 0
            type: persistent-claim
            size: 100Gi
            deleteClaim: false

  2. KafkaNodePool リソースを適用します。

    oc apply -f <node_pool_configuration_file>

    このリソースを適用すると、Kafka がノードプールの使用に切り替わります。

    変更やローリングアップデートはなく、リソースは以前と同じです。

  3. Cluster Operator 設定の STRIMZI_FEATURE_GATES 環境変数を更新して、+KafkaNodePools を含めます。

    env:
      - name: STRIMZI_FEATURE_GATES
        value: +KafkaNodePools
  4. strimzi.io/node-pools:enabled アノテーションを使用して、Kafka リソースで KafkaNodePools フィーチャーゲートを有効にします。

    ZooKeeper を使用したクラスター内のノードプールの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
      annotations:
        strimzi.io/node-pools: enabled
    spec:
      kafka:
        version: 3.5.0
        replicas: 3
      # ...
      storage:
          type: jbod
          volumes:
          - id: 0
            type: persistent-claim
            size: 100Gi
            deleteClaim: false

  5. Kafka リソースを適用します。

    oc apply -f <kafka_configuration_file>

8.4. Entity Operator の設定

Kafka.specentityOperator プロパティーを使用して Entity Operator を設定します。Entity Operator は、実行中の Kafka クラスターで Kafka 関連のエンティティーを管理します。これは次の Operator で設定されます。

  • Kafka トピックを管理する Topic Operator
  • Kafka ユーザーを管理する User Operator

Kafka リソースを設定することにより、クラスターオペレーターは、一方または両方の Operator を含むエンティティーオペレーターをデプロイできます。デプロイが完了すると、Kafka クラスターのトピックとユーザーを処理するように Operator が自動的に設定されます。

各オペレーターは 1 つの名前空間のみを監視できます。詳細は、「OpenShift namespace での AMQ Streams リソースの監視」 を参照してください。

entityOperator プロパティーでは複数のサブプロパティーがサポートされます。

  • tlsSidecar
  • topicOperator
  • userOperator
  • template

tlsSidecar プロパティーには、ZooKeeper との通信に使用される TLS サイドカーコンテナーの設定が含まれます。

template プロパティーには、ラベル、アノテーション、アフィニティー、および容認 (Toleration) などの Entity Operator Pod の設定が含まれます。テンプレートの設定に関する詳細は、「OpenShift リソースのカスタマイズ」 を参照してください。

topicOperator プロパティーには、Topic Operator の設定が含まれます。このオプションがないと、Entity Operator は Topic Operator なしでデプロイされます。

userOperator プロパティーには、User Operator の設定が含まれます。このオプションがないと、Entity Operator は User Operator なしでデプロイされます。

Entity Operator の設定に使用されるプロパティーに関する詳細は EntityUserOperatorSpec schema reference を参照してください。

両方の Operator を有効にする基本設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
  zookeeper:
    # ...
  entityOperator:
    topicOperator: {}
    userOperator: {}

topicOperator および userOperator に空のオブジェクト ({}) が使用された場合、すべてのプロパティーでデフォルト値が使用されます。

topicOperator および userOperator プロパティーの両方がない場合、Entity Operator はデプロイされません。

8.4.1. Topic Operator の設定

Kafka.spec.entityOperatortopicOperator プロパティーを使用して、Topic Operator を設定します。

注記

単方向トピック管理のプレビューを使用している場合、次のプロパティーは使用されず、無視されます: Kafka.spec.entityOperator.topicOperator.zookeeperSessionTimeoutSeconds および Kafka.spec.entityOperator.topicOperator.topicMetadataMaxAttempts。一方向のトピック管理に関する詳細は、「トピック管理モード」 を参照してください。

以下のプロパティーがサポートされます。

watchedNamespace
Topic Operator が KafkaTopic リソースを監視する OpenShift 名前空間。デフォルトは、Kafka クラスターがデプロイされた namespace です。
reconciliationIntervalSeconds
定期的な調整 (reconciliation) の間隔 (秒単位)。デフォルトは 120 です。
zookeeperSessionTimeoutSeconds
ZooKeeper セッションのタイムアウト (秒単位)。デフォルトは 18 です。
topicMetadataMaxAttempts
Kafka からトピックメタデータの取得を試行する回数。各試行の間隔は、指数バックオフとして定義されます。パーティションまたはレプリカの数によって、トピックの作成に時間がかかる可能性がある場合は、この値を大きくすることを検討してください。デフォルトは 6 です。
image
image プロパティーを使用すると、使用されるコンテナーイメージを設定できます。詳細は、image プロパティーの設定 に関する情報を参照してください。
resources
resources プロパティーを使用すると、Topic Operator に割り当てられるリソースの量を設定できます。メモリーおよび cpu リソースの要求および制限を指定できます。この要求は、Operator のパフォーマンスの安定性を確保するには十分なはずです。
logging
logging プロパティーは、Topic Operator のロギングを設定します。詳細は、Topic Operator のログ に関する情報を参照してください。

Topic Operator の設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
  zookeeper:
    # ...
  entityOperator:
    # ...
    topicOperator:
      watchedNamespace: my-topic-namespace
      reconciliationIntervalSeconds: 60
      resources:
        requests:
          cpu: "1"
          memory: 500Mi
        limits:
          cpu: "1"
          memory: 500Mi
    # ...

8.4.2. User Operator の設定

Kafka.spec.entityOperatoruserOperator プロパティーを使用して、User Operator を設定します。以下のプロパティーがサポートされます。

watchedNamespace
User Operator が KafkaUser リソースを監視する OpenShift 名前空間。デフォルトは、Kafka クラスターがデプロイされた namespace です。
reconciliationIntervalSeconds
定期的な調整 (reconciliation) の間隔 (秒単位)。デフォルトは 120 です。
image
image プロパティーを使用すると、使用されるコンテナーイメージを設定できます。詳細は、image プロパティーの設定 に関する情報を参照してください。
resources
resources プロパティーを使用すると、User Operator に割り当てられるリソースの量を設定できます。メモリーおよび cpu リソースの要求および制限を指定できます。この要求は、Operator のパフォーマンスの安定性を確保するには十分なはずです。
logging
logging プロパティーは、User Operator のロギングを設定します。詳細は、User Operator のログ に関する情報を参照してください。
secretPrefix
secretPrefix プロパティーは、KafkaUser リソースから作成されたすべての Secret の名前に接頭辞を追加します。たとえば、secretPrefix: kafka- は、すべてのシークレット名の前に kafka- を付けます。そのため、my-user という名前の KafkaUser は、kafka-my-user という名前の Secret を作成します。

User Operator の設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
  zookeeper:
    # ...
  entityOperator:
    # ...
    userOperator:
      watchedNamespace: my-user-namespace
      reconciliationIntervalSeconds: 60
      resources:
        requests:
          cpu: "1"
          memory: 500Mi
        limits:
          cpu: "1"
          memory: 500Mi
    # ...

8.5. Cluster Operator の設定

環境変数を使用して Cluster Operator を設定します。Cluster Operator のコンテナーイメージの環境変数を Deployment 設定ファイルに指定します。

注記

AMQ Streams リリースアーティファクトで提供される Deployment 設定ファイルは install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml です。

以下の環境変数を使用して Cluster Operator を設定できます。Cluster Operator レプリカをスタンバイモードで実行している場合、リーダーの選択を有効にする追加の環境変数 があります。

STRIMZI_NAMESPACE

Operator が操作する namespace のコンマ区切りリスト。設定されていない場合や、空の文字列や * に設定されている場合には、Cluster Operator はすべての namespace で動作します。

Cluster Operator デプロイメントでは downward API を使用して、これを Cluster Operator がデプロイされる namespace に自動設定することがあります。

Cluster Operator namespace の設定例

env:
  - name: STRIMZI_NAMESPACE
    valueFrom:
      fieldRef:
        fieldPath: metadata.namespace

STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
オプションです。デフォルトは 120000 ミリ秒です。定期的な調整の間隔 (秒単位)。
STRIMZI_OPERATION_TIMEOUT_MS
オプションです。デフォルトは 300000 ミリ秒です。内部操作のタイムアウト (ミリ秒単位)。標準の OpenShift 操作の時間が通常よりも長いクラスターで (Docker イメージのダウンロードが遅い場合など) AMQ Streams を使用する場合に、この値を増やします。
STRIMZI_ZOOKEEPER_ADMIN_SESSION_TIMEOUT_MS
オプションです。デフォルトは 10000 ミリ秒です。Cluster Operator の ZooKeeper 管理クライアントのセッションタイムアウト (ミリ秒単位)。タイムアウトの問題が原因で Cluster Operator からの ZooKeeper 要求が定期的に失敗する場合は、この値を増やします。maxSessionTimeout 設定で ZooKeeper サーバー側に最大許容セッション時間が設定されます。デフォルトでは、最大セッションタイムアウト値はデフォルトの tickTime (デフォルトは 2000) の 20 倍、つまり 40000 ミリ秒です。タイムアウト時間を伸ばす必要がある場合は、maxSessionTimeout ZooKeeper サーバー設定値を変更する必要があります。
STRIMZI_OPERATIONS_THREAD_POOL_SIZE
オプションです。デフォルトは 10 です。Cluster Operator によって実行されるさまざまな非同期およびブロッキング操作に使用されるワーカースレッドのプールサイズです。
STRIMZI_OPERATOR_NAME
オプションです。デフォルトは Pod のホスト名です。Operator 名は、OpenShift イベントを発行 するときに AMQ Streams インスタンスを識別します。
STRIMZI_OPERATOR_NAMESPACE

Cluster Operator が稼働している namespace の名前。この変数は手動で設定しないでください。Downward API を使用します。

env:
  - name: STRIMZI_OPERATOR_NAMESPACE
    valueFrom:
      fieldRef:
        fieldPath: metadata.namespace
STRIMZI_OPERATOR_NAMESPACE_LABELS

オプション:AMQ Streams Cluster Operator が稼働している namespace のラベル。namespace ラベルを使用して、ネットワークポリシー で namespace セレクターを設定します。ネットワークポリシーを使用すると、AMQ Streams Cluster Operator はこれらのラベルを持つ namespace からのオペランドにのみアクセスできます。設定されていない場合、ネットワークポリシーの namespace セレクターは、OpenShift クラスターのすべての namespace から Cluster Operator にアクセスできるように設定されます。

env:
  - name: STRIMZI_OPERATOR_NAMESPACE_LABELS
    value: label1=value1,label2=value2
STRIMZI_LABELS_EXCLUSION_PATTERN

オプションです。デフォルトの正規表現パターンは ^app.kubernetes.io/(?!part-of).* です。メインのカスタムリソースからサブリソースへのラベル伝搬をフィルターするために使用される正規表現除外パターン。ラベル除外フィルターは、spec.kafka.template.pod.metadata.labels などのテンプレートセクションのラベルには適用されません。

env:
  - name: STRIMZI_LABELS_EXCLUSION_PATTERN
    value: "^key1.*"
STRIMZI_CUSTOM_{COMPONENT_NAME}_LABELS

オプション:{COMPONENT_NAME} カスタムリソースで作成されるすべての Pod に適用する 1 つ以上のカスタムラベル。Cluster Operator は、カスタムリソースの作成時か、次の調整時に Pod にラベルを付けます。

ラベルは以下のコンポーネントに適用できます。

  • KAFKA
  • KAFKA_CONNECT
  • KAFKA_CONNECT_BUILD
  • ZOOKEEPER
  • ENTITY_OPERATOR
  • KAFKA_MIRROR_MAKER2
  • KAFKA_MIRROR_MAKER
  • CRUISE_CONTROL
  • KAFKA_BRIDGE
  • KAFKA_EXPORTER
STRIMZI_CUSTOM_RESOURCE_SELECTOR

オプション:Cluster Operator によって処理されるカスタムリソースをフィルターするラベルセレクター。Operator は、指定されたラベルが設定されているカスタムリソースでのみ動作します。これらのラベルのないリソースは Operator によって認識されません。ラベルセレクターは、KafkaKafkaConnectKafkaBridgeKafkaMirrorMaker、および KafkaMirrorMaker2 リソースに適用されます。KafkaRebalanceKafkaConnector リソースは、対応する Kafka および Kafka Connect クラスターに一致するラベルがある場合にのみ操作されます。

env:
  - name: STRIMZI_CUSTOM_RESOURCE_SELECTOR
    value: label1=value1,label2=value2
STRIMZI_KAFKA_IMAGES
必須。Kafka バージョンから、そのバージョンの Kafka ブローカーが含まれる該当の Docker イメージへのマッピング。必要な構文は、空白またはコンマ区切りの <version>=<image> ペアです。例: 3.4.0=registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1, 3.5.0=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1.これは Kafka.spec.kafka.version プロパティーが指定されていて、Kafka リソースの Kafka.spec.kafka.image が指定されていない場合に使用されます。
STRIMZI_DEFAULT_KAFKA_INIT_IMAGE
オプションです。デフォルトは registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1 です。Kafka リソースで kafka-init-image としてイメージが指定されていない場合に、init コンテナーのデフォルトとして使用するイメージ名。init コンテナーは、ラックサポートなど、初期設定用のブローカーが動作する前に開始されます。
STRIMZI_KAFKA_CONNECT_IMAGES
必須。Kafka バージョンから、そのバージョンの Kafka Connect の該当の Docker イメージに対するマッピング。必要な構文は、空白またはコンマ区切りの <version>=<image> ペアです。例: 3.4.0=registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1, 3.5.0=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1.これは、KafkaConnect.spec.version プロパティーが指定され、KafkaConnect.spec.image が指定されていない場合に使用されます。
STRIMZI_KAFKA_MIRROR_MAKER_IMAGES
必須。Kafka バージョンから、そのバージョンの MirrorMakerの該当の Docker イメージに対するマッピング。必要な構文は、空白またはコンマ区切りの <version>=<image> ペアです。例: 3.4.0=registry.redhat.io/amq-streams/kafka-34-rhel8:2.5.1, 3.5.0=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1.これは、KafkaMirrorMaker.spec.version プロパティーが指定されていても KafkaMirrorMaker.spec.image プロパティーが指定されていない場合に使用されます。
STRIMZI_DEFAULT_TOPIC_OPERATOR_IMAGE
オプションです。デフォルトは registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1 です。Kafka リソースでイメージが Kafka.spec.entityOperator.topicOperator.image として指定されていない場合に、Topic Operator のデプロイ時にデフォルトとして使用するイメージ名。
STRIMZI_DEFAULT_USER_OPERATOR_IMAGE
オプションです。デフォルトは registry.redhat.io/amq-streams/strimzi-rhel8-operator:2.5.1 です。Kafka リソースの Kafka.spec.entityOperator.userOperator.image にイメージが指定されていない場合に、ユーザーオペレーターをデプロイする際にデフォルトで使用するイメージ名です。
STRIMZI_DEFAULT_TLS_SIDECAR_ENTITY_OPERATOR_IMAGE
オプションです。デフォルトは registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 です。Kafka リソースの Kafka.spec.entityOperator.tlsSidecar.image にイメージが指定されていない場合に、Entity Operator のサイドカーコンテナーをデプロイする際にデフォルトで使用するイメージ名です。サイドカーは TLS サポートを提供します。
STRIMZI_IMAGE_PULL_POLICY
オプション:Cluster Operator によって管理されるすべての Pod のコンテナーに適用される ImagePullPolicy。有効な値は AlwaysIfNotPresent、および Never です。指定のない場合は、OpenShift のデフォルトが使用されます。ポリシーを変更すると、すべての Kafka、Kafka Connect、および Kafka MirrorMaker クラスターのローリング更新が実行されます。
STRIMZI_IMAGE_PULL_SECRETS
オプション:Secret 名のコンマ区切りのリスト。ここで参照されるシークレットには、コンテナーイメージがプルされるコンテナーレジストリーへのクレデンシャルが含まれます。シークレットは、Cluster Operator によって作成されるすべての Pod の imagePullSecrets プロパティーで指定されます。このリストを変更すると、Kafka、Kafka Connect、および Kafka MirrorMaker のすべてのクラスターのローリング更新が実行されます。
STRIMZI_KUBERNETES_VERSION

オプション:API サーバーから検出された OpenShift バージョン情報をオーバーライドします。

OpenShift バージョンオーバーライドの設定例

env:
  - name: STRIMZI_KUBERNETES_VERSION
    value: |
           major=1
           minor=16
           gitVersion=v1.16.2
           gitCommit=c97fe5036ef3df2967d086711e6c0c405941e14b
           gitTreeState=clean
           buildDate=2019-10-15T19:09:08Z
           goVersion=go1.12.10
           compiler=gc
           platform=linux/amd64

KUBERNETES_SERVICE_DNS_DOMAIN

オプション:デフォルトの OpenShift DNS 接尾辞を上書きします。

デフォルトでは、OpenShfit クラスターで割り当てられるサービスに、デフォルトの接尾辞 cluster.local を使用する DNS ドメイン名があります。

ブローカーが kafka-0 の場合の例は次のとおりです。

<cluster-name>-kafka-0.<cluster-name>-kafka-brokers.<namespace>.svc.cluster.local

DNS ドメイン名は、ホスト名の検証に使用される Kafka ブローカー証明書に追加されます。

クラスターで異なる DNS 接尾辞を使用している場合、Kafka ブローカーとの接続を確立するために、KUBERNETES_SERVICE_DNS_DOMAIN 環境変数をデフォルトから現在使用中の DNS 接尾辞に変更します。

STRIMZI_CONNECT_BUILD_TIMEOUT_MS
オプションです。デフォルトは 300000 ミリ秒です。追加のコネクターで新しい Kafka Connect イメージをビルドする場合のタイムアウト (ミリ秒単位)。AMQ Streams を使用して多くのコネクターが含まれるコンテナーイメージをビルドする場合や、低速なコンテナーレジストリーを使用する場合は、この値を増やすことを検討してください。
STRIMZI_NETWORK_POLICY_GENERATION

オプションです。デフォルトは true です。リソースのネットワークポリシー。ネットワークポリシーにより、Kafka コンポーネント間の接続が許可されます。

ネットワークポリシーの生成を無効にするには、この環境変数を false に設定します。たとえば、カスタムのネットワークポリシーを使用する場合は、これを行うことができます。カスタムネットワークポリシーを使用すると、コンポーネント間の接続をより詳細に制御できます。

STRIMZI_DNS_CACHE_TTL
オプションです。デフォルトは 30 です。ローカル DNS リゾルバーで成功した名前のルックアップをキャッシュする秒数。負の値を指定すると、キャッシュの期限はありません。ゼロはキャッシュされないことを意味します。これは、長いキャッシュポリシーが適用されることが原因の接続エラーを回避する場合に便利です。
STRIMZI_POD_SET_RECONCILIATION_ONLY
オプションです。デフォルトは false です。true に設定すると、Cluster Operator は StrimziPodSet リソースのみを調整し、他のカスタムリソース (KafkaKafkaConnect など) への変更は無視されます。このモードは、必要に応じて Pod が再作成されるようにするのに役立ちますが、クラスターに他の変更は加えられません。
STRIMZI_FEATURE_GATES
オプション:フィーチャーゲートで制御される機能を有効または無効にします。
STRIMZI_POD_SECURITY_PROVIDER_CLASS
オプション:Pod とコンテナーのセキュリティーコンテキスト設定を提供するために使用できるプラグ可能な PodSecurityProvider クラスを設定します。

8.5.1. ネットワークポリシーを使用した Cluster Operator へのアクセス制限

STRIMZI_OPERATOR_NAMESPACE_LABELS 環境変数を使用して Cluster Operator のネットワークポリシーを確立するには、namespace ラベルを使用します。

Cluster Operator は、管理するリソースと同じ namespace または別の namespace で実行できます。デフォルトでは、STRIMZI_OPERATOR_NAMESPACE 環境変数は、Downward API を使用して、Cluster Operator がどの namespace で実行されているかを検索するように設定されています。Cluster Operator がリソースと同じ namespace で実行されている場合は、ローカルアクセスのみが必要で、AMQ Sreams によって許可されます。

Cluster Operator が管理するリソースとは別の namespace で実行されている場合、ネットワークポリシーが設定されている場合を除き、OpenShift クラスターのすべての namespace は Cluster Operator へのアクセスが許可されます。namespace ラベルを追加すると、Cluster Operator へのアクセスは指定された namespace に限定されます。

Cluster Operator デプロイメントに設定されたネットワークポリシー

#...
env:
  # ...
  - name: STRIMZI_OPERATOR_NAMESPACE_LABELS
    value: label1=value1,label2=value2
  #...

8.5.2. Cluster Operator による定期的な調整の設定

STRIMZI_FULL_RECONCILIATION_INTERVAL_MS 変数を使用して、Cluster Operator による定期的な調整の時間間隔を設定します。この値は、指定する間隔 (ミリ秒単位) に置き換えます。

Cluster Operator デプロイメント用に設定された調整期間

#...
env:
  # ...
  - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
    value: "120000"
  #...

Cluster Operator は、OpenShift クラスターから受信した対象のクラスターリソースに関するすべての通知に反応します。Operator が実行されていない場合や、何らかの理由で通知を受信しない場合に、リソースは実行中の OpenShift クラスターの状態と同期しなくなります。フェイルオーバーを適切に処理するために、Cluster Operator によって定期的な調整プロセスが実行され、リソースの状態を現在のクラスターデプロイメントと比較して、すべてのリソースで一貫した状態を保つことができます。

関連情報

8.5.3. リーダーの選択による複数の Cluster Operator レプリカの実行

デフォルトの Cluster Operator 設定では、リーダーの選択が有効になっており、Cluster Operator の並列レプリカを複数実行します。1 つのレプリカがアクティブなリーダーとして選択され、デプロイされたリソースを操作します。他のレプリカはスタンバイモードで実行されます。リーダーが停止またはクラッシュすると、スタンバイレプリカの 1 つが新しいリーダーとして選出され、デプロイされたリソースの操作を開始します。

デフォルトでは、AMQ Streams は、常にリーダーレプリカである単一の Cluster Operator レプリカで実行されます。単一の Cluster Operator レプリカが停止または失敗すると、OpenShift は新しいレプリカを起動します。

複数のレプリカを使用した Cluster Operator の実行は必須ではありません。ただし、重大な障害による大規模な中断が発生した場合に備えて、レプリカをスタンバイにしておくと便利です。たとえば、複数のワーカーノードまたはアベイラビリティーゾーン全体に障害が発生したとします。このような障害が発生すると、Cluster Operator Pod と多くの Kafka Pod が同時にダウンする可能性があります。後続の Pod スケジューリングがリソース不足によって輻輳を引き起こす場合、単一の Cluster Operator を実行しているときに操作が遅延する可能性があります。

8.5.3.1. Cluster Operator レプリカのリーダー選択の有効化

追加の Cluster Operator レプリカを実行する場合は、リーダー選出環境変数を設定します。以下の環境変数がサポートされています。

STRIMZI_LEADER_ELECTION_ENABLED
デフォルトでは無効 (false) になります (任意)。リーダーの選出を有効または無効にし、追加の Cluster Operator レプリカをスタンバイで実行できます。
注記

リーダーの選択はデフォルトで無効になっています。インストール時にこの環境変数を適用する場合にのみ有効になります。

STRIMZI_LEADER_ELECTION_LEASE_NAME
リーダー選出が有効な場合に必要です。リーダーの選出に使用される OpenShift Lease リソースの名前。
STRIMZI_LEADER_ELECTION_LEASE_NAMESPACE

リーダー選出が有効な場合に必要です。リーダー選出に使用される OpenShift Lease リソースが作成される namespace。Downward API を使用して、Cluster Operator がデプロイされている namespace に設定できます。

env:
  - name: STRIMZI_LEADER_ELECTION_LEASE_NAMESPACE
    valueFrom:
      fieldRef:
        fieldPath: metadata.namespace
STRIMZI_LEADER_ELECTION_IDENTITY

リーダー選出が有効な場合に必要です。リーダーの選択中に使用される特定の Cluster Operator インスタンスのアイデンティティーを設定します。アイデンティティーは、Operator インスタンスごとに一意である必要があります。Downward API を使用して、Cluster Operator がデプロイされている Pod の名前に設定できます。

env:
  - name: STRIMZI_LEADER_ELECTION_IDENTITY
    valueFrom:
      fieldRef:
        fieldPath: metadata.name
STRIMZI_LEADER_ELECTION_LEASE_DURATION_MS
オプションです。デフォルトは 15000 ミリ秒です。取得したリースの有効期間を設定します。
STRIMZI_LEADER_ELECTION_RENEW_DEADLINE_MS
オプションです。デフォルトは 10000 ミリ秒です。リーダーがリーダーシップを維持しようと試行する期間を指定します。
STRIMZI_LEADER_ELECTION_RETRY_PERIOD_MS
オプションです。デフォルトは 2000 ミリ秒です。リーダーによるリースロックへの更新頻度を指定します。
8.5.3.2. Cluster Operator レプリカの設定

追加の Cluster Operator レプリカをスタンバイモードで実行するには、レプリカ数を増やし、リーダーの選択を有効にする必要があります。リーダーの選択を設定するには、リーダー選択用の環境変数を使用します。

必要な変更を行うには、install/cluster-operator/ にある以下の Cluster Operator インストールファイルを設定します。

  • 060-Deployment-strimzi-cluster-operator.yaml
  • 022-ClusterRole-strimzi-cluster-operator-role.yaml
  • 022-RoleBinding-strimzi-cluster-operator.yaml

リーダーの選出には、監視している namespace ではなく、Cluster Operator が実行されている namespace を対象とする独自の ClusterRole および RoleBinding RBAC リソースがあります。

デフォルトのデプロイメント設定は、strimzi-cluster-operator という Lease リソースを Cluster Operator と同じ namespace に作成します。Cluster Operator はリースを使用してリーダーの選択を管理します。RBAC リソースは、Lease リソースを使用するためのパーミッションを提供します。別の Lease 名または namespace を使用する場合は、ClusterRole および RoleBinding ファイルを適宜更新します。

前提条件

  • CustomResourceDefinition および RBAC (ClusterRole および RoleBinding) リソースを作成および管理する権限を持つアカウント。

手順

Cluster Operator のデプロイに使用される Deployment リソースを編集します。これは、060-Deployment-strimzi-cluster-operator.yaml ファイルで定義します。

  1. replicas プロパティーの値は、デフォルトの (1) から、必要なレプリカ数に変更します。

    Cluster Operator レプリカの数の増加

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: strimzi-cluster-operator
      labels:
        app: strimzi
    spec:
      replicas: 3

  2. リーダー選択の env プロパティーが設定されていることを確認します。

    設定されていない場合には、設定を行います。

    リーダーの選出を有効にするには、STRIMZI_LEADER_ELECTION_ENABLEDtrue (デフォルト) に設定する必要があります。

    この例では、リースの名前は my-strimzi-cluster-operator に変更されています。

    Cluster Operator のリーダー選択用の環境変数の設定

    # ...
    spec
      containers:
        - name: strimzi-cluster-operator
          # ...
          env:
            - name: STRIMZI_LEADER_ELECTION_ENABLED
              value: "true"
            - name: STRIMZI_LEADER_ELECTION_LEASE_NAME
              value: "my-strimzi-cluster-operator"
            - name: STRIMZI_LEADER_ELECTION_LEASE_NAMESPACE
                valueFrom:
                  fieldRef:
                    fieldPath: metadata.namespace
            - name: STRIMZI_LEADER_ELECTION_IDENTITY
                valueFrom:
                  fieldRef:
                    fieldPath: metadata.name

    利用可能な環境変数の説明は、「Cluster Operator レプリカのリーダー選択の有効化」 を参照してください。

    リーダーの選択に使用する Lease リソースに別の名前または namespace を指定している場合は、RBAC リソースを更新します。

  3. (オプション) 022-ClusterRole-strimzi-cluster-operator-role.yaml ファイルで ClusterRole リソースを編集します。

    resourceNames は、Lease リソースの名前に更新します。

    リースへの ClusterRole 参照の更新

    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRole
    metadata:
      name: strimzi-cluster-operator-leader-election
      labels:
        app: strimzi
    rules:
      - apiGroups:
          - coordination.k8s.io
        resourceNames:
          - my-strimzi-cluster-operator
    # ...

  4. (オプション) 022-RoleBinding-strimzi-cluster-operator.yaml ファイルで RoleBinding リソースを編集します。

    subjects.name および subjects.namespaceLease リソースの名前と、そのリソースが作成された namespace に更新します。

    RoleBinding 参照のリースへの更新

    apiVersion: rbac.authorization.k8s.io/v1
    kind: RoleBinding
    metadata:
      name: strimzi-cluster-operator-leader-election
      labels:
        app: strimzi
    subjects:
      - kind: ServiceAccount
        name: my-strimzi-cluster-operator
        namespace: myproject
    # ...

  5. Cluster Operator をデプロイします。

    oc create -f install/cluster-operator -n myproject
  6. デプロイメントのステータスを確認します。

    oc get deployments -n myproject

    デプロイメント名と準備状態が表示されている出力

    NAME                      READY  UP-TO-DATE  AVAILABLE
    strimzi-cluster-operator  3/3    3           3

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に正しい数のレプリカが表示されると、デプロイは成功です。

8.5.4. Cluster Operator HTTP プロキシーの設定

HTTP プロキシーの背後で Kafka クラスターを実行している場合は、クラスターとの間でデータを出し入れできます。たとえば、プロキシー外からデータをプッシュおよびプルするコネクターで Kafka Connect を実行できます。または、プロキシーを使用して認可サーバーに接続できます。

プロキシー環境変数を指定するように Cluster Operator デプロイメントを設定します。クラスターオペレータは標準的なプロキシー設定 (HTTP_PROXYHTTPS_PROXYNO_PROXY) を環境変数として受け入れます。プロキシー設定はすべての AMQ Streams コンテナーに適用されます。

プロキシーアドレスの形式は http://<ip_address>:<port_number> です。名前とパスワードを使用してプロキシーを設定する場合、形式は http://<username>:<password>@<ip-address>:<port_number> です。

前提条件

  • CustomResourceDefinition および RBAC (ClusterRole および RoleBinding) リソースを作成および管理する権限を持つアカウント。

手順

  1. クラスターオペレータにプロキシー環境変数を追加するには、その Deployment 設定 (install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml) を更新します。

    Cluster Operator のプロキシー設定の例

    apiVersion: apps/v1
    kind: Deployment
    spec:
      # ...
      template:
        spec:
          serviceAccountName: strimzi-cluster-operator
          containers:
            # ...
            env:
            # ...
            - name: "HTTP_PROXY"
              value: "http://proxy.com" 1
            - name: "HTTPS_PROXY"
              value: "https://proxy.com" 2
            - name: "NO_PROXY"
              value: "internal.com, other.domain.com" 3
      # ...

    1
    プロキシーサーバーのアドレス。
    2
    プロキシーサーバーのセキュアなアドレス。
    3
    プロキシーサーバーの例外として直接アクセスされるサーバーのアドレス。URL はコンマで区切られます。

    または、Deployment を直接編集します。

    oc edit deployment strimzi-cluster-operator
  2. Deployment を直接編集せずに YAML ファイルを更新する場合は、変更を適用します。

    oc create -f install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml

8.5.5. Cluster Operator 設定を使用した FIPS モードの無効化

AMQ Streams は、FIPS 対応の OpenShift クラスターで実行されている場合、自動的に FIPS モードに切り替わります。Cluster Operator のデプロイメント設定で FIPS_MODE 環境変数を disabled に設定して、FIPS モードを無効にします。FIPS モードを無効にすると、AMQ Streams はすべてのコンポーネントの OpenJDK で FIPS を自動的に無効にします。FIPS モードを無効にすると、AMQ Streams は FIPS に準拠しません。AMQ Streams オペレーターは、すべてのオペランドと同様に、FIPS が有効になっていない OpenShift クラスターで実行されている場合と同じように実行されます。

手順

  1. Cluster Operator で FIPS モードを無効にするには、Deployment 設定 (install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml) を更新し、FIPS_MODE 環境変数を追加します。

    Cluster Operator の FIPS 設定例

    apiVersion: apps/v1
    kind: Deployment
    spec:
      # ...
      template:
        spec:
          serviceAccountName: strimzi-cluster-operator
          containers:
            # ...
            env:
            # ...
            - name: "FIPS_MODE"
              value: "disabled" 1
      # ...

    1
    FIPS モードを無効にします。

    または、Deployment を直接編集します。

    oc edit deployment strimzi-cluster-operator
  2. Deployment を直接編集せずに YAML ファイルを更新する場合は、変更を適用します。

    oc apply -f install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml

8.6. Kafka Connect の設定

KafkaConnect カスタムリソースの spec プロパティーを更新して、Kafka Connect デプロイメントを設定します。

Kafka Connect を使用して、Kafka クラスターへの外部データ接続を設定します。KafkaConnect リソースのプロパティーを使用して、Kafka Connect デプロイメントを設定します。

Kafka Connect クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

KafkaConnector の設定

KafkaConnect リソースを使用すると、Kafka Connect のコネクターインスタンスを OpenShift ネイティブに作成および管理できます。

Kafka Connect 設定では、strimzi.io/use-connector-resources アノテーションを追加して、Kafka Connect クラスターの KafkaConnectors を有効にします。また、build 設定を追加して、データ接続に必要なコネクタープラグインを備えたコンテテナーイメージを AMQ Streams が自動的にビルドするようにすることもできます。Kafka Connect コネクターの外部設定は、externalConfiguration プロパティーで指定します。

コネクターを管理するには、KafkaConnector カスタムリソースまたは Kafka Connect REST API を使用できます。KafkaConnector リソースは、リンク先の Kafka Connect クラスターと同じ namespace にデプロイする必要があります。これらの方法を使用してコネクターを作成、再設定、または削除する方法の詳細については、コネクターの追加 を参照してください。

コネクター設定は、HTTP リクエストの一部として Kafka Connect に渡され、Kafka 自体に保存されます。ConfigMap およびシークレットは、設定やデータの保存に使用される標準的な OpenShift リソースです。ConfigMap およびシークレットを使用してコネクターの特定の要素を設定できます。その後、HTTP REST コマンドで設定値を参照できます。これにより、必要な場合は設定が分離され、よりセキュアになります。この方法は、ユーザー名、パスワード、証明書などの機密性の高いデータに適用されます。

大量のメッセージ処理

設定を調整して、大量のメッセージを処理できます。詳細は、大量のメッセージの処理 を参照してください。

KafkaConnect カスタムリソース設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect 1
metadata:
  name: my-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true" 2
spec:
  replicas: 3 3
  authentication: 4
    type: tls
    certificateAndKey:
      certificate: source.crt
      key: source.key
      secretName: my-user-source
  bootstrapServers: my-cluster-kafka-bootstrap:9092 5
  tls: 6
    trustedCertificates:
      - secretName: my-cluster-cluster-cert
        certificate: ca.crt
      - secretName: my-cluster-cluster-cert
        certificate: ca2.crt
  config: 7
    group.id: my-connect-cluster
    offset.storage.topic: my-connect-cluster-offsets
    config.storage.topic: my-connect-cluster-configs
    status.storage.topic: my-connect-cluster-status
    key.converter: org.apache.kafka.connect.json.JsonConverter
    value.converter: org.apache.kafka.connect.json.JsonConverter
    key.converter.schemas.enable: true
    value.converter.schemas.enable: true
    config.storage.replication.factor: 3
    offset.storage.replication.factor: 3
    status.storage.replication.factor: 3
  build: 8
    output: 9
      type: docker
      image: my-registry.io/my-org/my-connect-cluster:latest
      pushSecret: my-registry-credentials
    plugins: 10
      - name: debezium-postgres-connector
        artifacts:
          - type: tgz
            url: https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/2.1.3.Final/debezium-connector-postgres-2.1.3.Final-plugin.tar.gz
            sha512sum: c4ddc97846de561755dc0b021a62aba656098829c70eb3ade3b817ce06d852ca12ae50c0281cc791a5a131cb7fc21fb15f4b8ee76c6cae5dd07f9c11cb7c6e79
      - name: camel-telegram
        artifacts:
          - type: tgz
            url: https://repo.maven.apache.org/maven2/org/apache/camel/kafkaconnector/camel-telegram-kafka-connector/0.11.5/camel-telegram-kafka-connector-0.11.5-package.tar.gz
            sha512sum: d6d9f45e0d1dbfcc9f6d1c7ca2046168c764389c78bc4b867dab32d24f710bb74ccf2a007d7d7a8af2dfca09d9a52ccbc2831fc715c195a3634cca055185bd91
  externalConfiguration: 11
    env:
      - name: AWS_ACCESS_KEY_ID
        valueFrom:
          secretKeyRef:
            name: aws-creds
            key: awsAccessKey
      - name: AWS_SECRET_ACCESS_KEY
        valueFrom:
          secretKeyRef:
            name: aws-creds
            key: awsSecretAccessKey
  resources: 12
    requests:
      cpu: "1"
      memory: 2Gi
    limits:
      cpu: "2"
      memory: 2Gi
  logging: 13
    type: inline
    loggers:
      log4j.rootLogger: INFO
  readinessProbe: 14
    initialDelaySeconds: 15
    timeoutSeconds: 5
  livenessProbe:
    initialDelaySeconds: 15
    timeoutSeconds: 5
  metricsConfig: 15
    type: jmxPrometheusExporter
    valueFrom:
      configMapKeyRef:
        name: my-config-map
        key: my-key
  jvmOptions: 16
    "-Xmx": "1g"
    "-Xms": "1g"
  image: my-org/my-image:latest 17
  rack:
    topologyKey: topology.kubernetes.io/zone 18
  template: 19
    pod:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: application
                    operator: In
                    values:
                      - postgresql
                      - mongodb
              topologyKey: "kubernetes.io/hostname"
    connectContainer: 20
      env:
        - name: OTEL_SERVICE_NAME
          value: my-otel-service
        - name: OTEL_EXPORTER_OTLP_ENDPOINT
          value: "http://otlp-host:4317"
  tracing:
    type: opentelemetry 21

1
KafkaConnect を使用します。
2
Kafka Connect クラスターの KafkaConnectors を有効にします。
3
タスクを実行するワーカーのレプリカノード数。
4
mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定された Kafka Connect クラスターの認証。デフォルトでは、Kafka Connect はプレーンテキスト接続を使用して Kafka ブローカーに接続します。
5
Kafka クラスターに接続するためのブートストラップサーバー。
6
クラスターの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
7
ワーカーの Kafka Connect 設定 (コネクターではない)。標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
8
コネクタープラグインで自動的にコンテナーイメージをビルドするためのビルド設定プロパティー。
9
(必須) 新しいイメージがプッシュされるコンテナーレジストリーの設定。
10
(必須) 新しいコンテナーイメージに追加するコネクタープラグインとそれらのアーティファクトのリスト。各プラグインは、1 つ以上の artifact を使用して設定する必要があります。
11
ここで示す環境変数や、ボリュームを使用したコネクターの外部設定。設定プロバイダープラグインを使用して、外部ソースから設定値を読み込むこともできます。
12
現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。
13
指定された Kafka ロガーおよびログレベルが ConfigMap を介して直接的に (inline) または間接的に (external) に追加されます。カスタム Log4j 設定は、ConfigMap の log4j.properties キーまたは log4j2.properties キーの下に配置する必要があります。Kafka Connect log4j.rootLogger ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。
14
コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
15
Prometheus メトリクス。この例では、Prometheus JMX エクスポーターの設定が含まれる ConfigMap を参照して有効になります。metricsConfig.valueFrom.configMapKeyRef.key 配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリックを有効にできます。
16
Kafka Connect を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
17
高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
18
特別なオプション: 展開のための Rack awareness 設定。これは、リージョン間ではなく、同じロケーション内でのデプロイメントを目的とした特殊なオプションです。このオプションは、コネクターがリーダーレプリカではなく、最も近いレプリカから消費する場合に使用できます。場合によっては、最も近いレプリカから消費することで、ネットワークの使用率を改善したり、コストを削減したりできます。topologyKey は、ラック ID を含むノードラベルと一致する必要があります。この設定で使用される例では、標準の topology.kubernetes.io/zone ラベルを使用するゾーンを指定します。最も近いレプリカから消費するには、Kafka ブローカー設定で RackAwareReplicaSelector を有効にします。
19
テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
20
分散トレース用に環境変数が設定されます。
21
分散トレーシングは、OpenTelemetry を使用して有効になります。

8.6.1. Kafka Connect のユーザー承認の設定

この手順では、Kafka Connect のユーザーアクセスを承認する方法を説明します。

Kafka でいずれかのタイプの承認が使用される場合、Kafka Connect ユーザーは Kafka Connect のコンシューマーグループおよび内部トピックへの読み書きアクセス権限が必要になります。

コンシューマーグループおよび内部トピックのプロパティーは AMQ Streams によって自動設定されますが、KafkaConnect リソースの spec で明示的に指定することもできます。

KafkaConnect リソースの設定プロパティーの例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect
spec:
  # ...
  config:
    group.id: my-connect-cluster 1
    offset.storage.topic: my-connect-cluster-offsets 2
    config.storage.topic: my-connect-cluster-configs 3
    status.storage.topic: my-connect-cluster-status 4
    # ...
  # ...

1
Kafka 内の Kafka Connect クラスター ID。
2
コネクターオフセットを保存する Kafka トピック。
3
コネクターおよびタスクステータスの設定を保存する Kafka トピック。
4
コネクターおよびタスクステータスの更新を保存する Kafka トピック。

この手順では、simple 承認の使用時にアクセス権限が付与される方法を説明します。

簡易承認では、Kafka AclAuthorizer プラグインによって処理される ACL ルールを使用し、適切なレベルのアクセス権限が提供されます。KafkaUser リソースに簡易認証を使用するように設定する方法については、AclRule スキーマリファレンスを参照してください。

注記

複数のインスタンスを実行 している場合、コンシューマーグループとトピックのデフォルト値は異なります。

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator

手順

  1. KafkaUser リソースの authorization プロパティーを編集し、アクセス権限をユーザーに付与します。

    以下の例では、literal の名前の値を使用して Kafka Connect トピックおよびコンシューマーグループにアクセス権限が設定されます。

    プロパティー名前

    offset.storage.topic

    connect-cluster-offsets

    status.storage.topic

    connect-cluster-status

    config.storage.topic

    connect-cluster-configs

    group

    connect-cluster

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaUser
    metadata:
      name: my-user
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      # ...
      authorization:
        type: simple
        acls:
          # access to offset.storage.topic
          - resource:
              type: topic
              name: connect-cluster-offsets
              patternType: literal
            operations:
              - Create
              - Describe
              - Read
              - Write
            host: "*"
          # access to status.storage.topic
          - resource:
              type: topic
              name: connect-cluster-status
              patternType: literal
            operations:
              - Create
              - Describe
              - Read
              - Write
            host: "*"
          # access to config.storage.topic
          - resource:
              type: topic
              name: connect-cluster-configs
              patternType: literal
            operations:
              - Create
              - Describe
              - Read
              - Write
            host: "*"
          # consumer group
          - resource:
              type: group
              name: connect-cluster
              patternType: literal
            operations:
              - Read
            host: "*"
  2. リソースを作成または更新します。

    oc apply -f KAFKA-USER-CONFIG-FILE

8.7. Kafka MirrorMaker 2 の設定

KafkaMirrorMaker2 カスタムリソースの spec プロパティーを更新して、MirrorMaker 2 デプロイメントを設定します。MirrorMaker 2 は、データ消費にソースクラスター設定を使用し、データ出力にターゲットクラスター設定を使用します。

MirrorMaker 2 は、クラスター間のデータ転送を管理する コネクター である Kafka Connect フレームワークに基づいています。

MirrorMaker 2 を設定して、ソースクラスターとターゲットクラスターの接続の詳細を含む Kafka Connect デプロイメントを定義し、一連の MirrorMaker 2 コネクターを実行して接続を確立します。

MirrorMaker 2 は、ソースクラスターとターゲットクラスター間のトピック設定の同期をサポートします。MirrorMaker 2 設定でソーストピックを指定します。MirrorMaker 2 はソーストピックを監視します。MirrorMaker 2 は、ソーストピックへの変更を検出し、リモートトピックに伝達します。変更には、欠けているトピックおよびパーティションの自動作成が含まれる場合があります。

注記

ほとんどの場合、ローカルトピックに書き込み、リモートトピックから読み取ります。リモートトピックでは書き込み操作ができないわけではありませんが、使用しないようにしてください。

設定では以下を指定する必要があります。

  • 各 Kafka クラスター
  • 認証を含む各クラスターの接続情報
  • レプリケーションのフローおよび方向

    • クラスターからクラスターへ
    • トピックからトピックへ

Kafka MirrorMaker 2 クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

注記

MirrorMaker 2 のリソース設定は、現在非推奨になっている以前のバージョンの MirrorMaker とは異なります。現在、レガシーサポートはないため、リソースは手動で新しい形式に変換する必要があります。

デフォルト設定

MirrorMaker 2 は、レプリケーション係数などのプロパティーのデフォルト設定値を提供します。デフォルトに変更がない最小設定の例は以下のようになります。

MirrorMaker 2 の最小設定

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  version: 3.5.0
  connectCluster: "my-cluster-target"
  clusters:
  - alias: "my-cluster-source"
    bootstrapServers: my-cluster-source-kafka-bootstrap:9092
  - alias: "my-cluster-target"
    bootstrapServers: my-cluster-target-kafka-bootstrap:9092
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    sourceConnector: {}

mTLS または SASL 認証を使用して、ソースおよびターゲットクラスターのアクセス制御を設定できます。この手順では、ソースおよびターゲットクラスターに対して mTLS による暗号化および認証を使用する設定を説明します。

KafkaMirrorMaker2 リソースのソースクラスターからレプリケートするトピックとコンシューマーグループを指定できます。これを行うには、topicsPattern および groupsPattern プロパティーを使用します。名前のリストを指定したり、正規表現を使用したりできます。デフォルトでは、topicsPattern および groupsPattern プロパティーを設定しない場合、すべてのトピックとコンシューマーグループがレプリケートされます。.* を正規表現として使用して、すべてのトピックとコンシューマーグループを複製することもできます。ただし、クラスターに不要な負荷が余分にかかるのを避けるため、必要なトピックとコンシューマーグループのみを指定するようにしてください。

大量のメッセージ処理

設定を調整して、大量のメッセージを処理できます。詳細は、大量のメッセージの処理 を参照してください。

KafkaMirrorMaker2 カスタムリソース設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  version: 3.5.0 1
  replicas: 3 2
  connectCluster: "my-cluster-target" 3
  clusters: 4
  - alias: "my-cluster-source" 5
    authentication: 6
      certificateAndKey:
        certificate: source.crt
        key: source.key
        secretName: my-user-source
      type: tls
    bootstrapServers: my-cluster-source-kafka-bootstrap:9092 7
    tls: 8
      trustedCertificates:
      - certificate: ca.crt
        secretName: my-cluster-source-cluster-ca-cert
  - alias: "my-cluster-target" 9
    authentication: 10
      certificateAndKey:
        certificate: target.crt
        key: target.key
        secretName: my-user-target
      type: tls
    bootstrapServers: my-cluster-target-kafka-bootstrap:9092 11
    config: 12
      config.storage.replication.factor: 1
      offset.storage.replication.factor: 1
      status.storage.replication.factor: 1
    tls: 13
      trustedCertificates:
      - certificate: ca.crt
        secretName: my-cluster-target-cluster-ca-cert
  mirrors: 14
  - sourceCluster: "my-cluster-source" 15
    targetCluster: "my-cluster-target" 16
    sourceConnector: 17
      tasksMax: 10 18
      autoRestart: 19
        enabled: true
      config:
        replication.factor: 1 20
        offset-syncs.topic.replication.factor: 1 21
        sync.topic.acls.enabled: "false" 22
        refresh.topics.interval.seconds: 60 23
        replication.policy.class: "org.apache.kafka.connect.mirror.IdentityReplicationPolicy" 24
    heartbeatConnector: 25
      autoRestart:
        enabled: true
      config:
        heartbeats.topic.replication.factor: 1 26
        replication.policy.class: "org.apache.kafka.connect.mirror.IdentityReplicationPolicy"
    checkpointConnector: 27
      autoRestart:
        enabled: true
      config:
        checkpoints.topic.replication.factor: 1 28
        refresh.groups.interval.seconds: 600 29
        sync.group.offsets.enabled: true 30
        sync.group.offsets.interval.seconds: 60 31
        emit.checkpoints.interval.seconds: 60 32
        replication.policy.class: "org.apache.kafka.connect.mirror.IdentityReplicationPolicy"
    topicsPattern: "topic1|topic2|topic3" 33
    groupsPattern: "group1|group2|group3" 34
  resources: 35
    requests:
      cpu: "1"
      memory: 2Gi
    limits:
      cpu: "2"
      memory: 2Gi
  logging: 36
    type: inline
    loggers:
      connect.root.logger.level: INFO
  readinessProbe: 37
    initialDelaySeconds: 15
    timeoutSeconds: 5
  livenessProbe:
    initialDelaySeconds: 15
    timeoutSeconds: 5
  jvmOptions: 38
    "-Xmx": "1g"
    "-Xms": "1g"
  image: my-org/my-image:latest 39
  rack:
    topologyKey: topology.kubernetes.io/zone 40
  template: 41
    pod:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: application
                    operator: In
                    values:
                      - postgresql
                      - mongodb
              topologyKey: "kubernetes.io/hostname"
    connectContainer: 42
      env:
        - name: OTEL_SERVICE_NAME
          value: my-otel-service
        - name: OTEL_EXPORTER_OTLP_ENDPOINT
          value: "http://otlp-host:4317"
  tracing:
    type: opentelemetry 43
  externalConfiguration: 44
    env:
      - name: AWS_ACCESS_KEY_ID
        valueFrom:
          secretKeyRef:
            name: aws-creds
            key: awsAccessKey
      - name: AWS_SECRET_ACCESS_KEY
        valueFrom:
          secretKeyRef:
            name: aws-creds
            key: awsSecretAccessKey

1
常に同じになる Kafka Connect と Mirror Maker 2.0 のバージョン。
2
タスクを実行するワーカーのレプリカノード数。
3
Kafka Connect の Kafka クラスターエイリアス。ターゲット Kafka クラスターを指定する必要があります。Kafka クラスターは、その内部トピックのために Kafka Connect によって使用されます。
4
同期される Kafka クラスターの指定。
5
ソースの Kafka クラスターのクラスターエイリアス。
6
ソースクラスターの認証。mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定します。
7
ソース Kafka クラスターに接続するためのブートストラップサーバー。
8
ソース Kafka クラスターの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
9
ターゲット Kafka クラスターのクラスターエイリアス。
10
ターゲット Kafka クラスターの認証は、ソース Kafka クラスターと同様に設定されます。
11
ターゲット Kafka クラスターに接続するためのブートストラップサーバー。
12
Kafka Connect の設定。標準の Apache Kafka 設定が提供されることがありますが、AMQ Streams によって直接管理されないプロパティーに限定されます。
13
ターゲット Kafka クラスターの TLS による暗号化は、ソース Kafka クラスターと同様に設定されます。
14
MirrorMaker 2 コネクター。
15
MirrorMaker 2 コネクターによって使用されるソースクラスターのクラスターエイリアス。
16
MirrorMaker 2 コネクターによって使用されるターゲットクラスターのクラスターエイリアス。
17
リモートトピックを作成する MirrorSourceConnector の設定。デフォルトの設定オプションは config によって上書きされます。
18
コネクターによる作成が可能なタスクの最大数。タスクは、データのレプリケーションを処理し、並行して実行されます。インフラストラクチャーが処理のオーバーヘッドをサポートする場合、この値を大きくするとスループットが向上されます。Kafka Connect は、クラスターのメンバー間でタスクを分散します。ワーカーよりも多くのタスクがある場合は、ワーカーには複数のタスクが割り当てられます。シンクコネクターでは、消費される各トピックパーティションに 1 つタスクがあるようになることを目指します。ソースコネクターでは、並行して実行できるタスクの数は外部システムによって異なる場合もあります。並列処理を実現できない場合、コネクターは最大数より少ないタスクを作成します。
19
失敗したコネクターとタスクの自動再起動を有効にします。再起動は最大 7 回試行され、その後は手動で再起動する必要があります。
20
ターゲットクラスターで作成されるミラーリングされたトピックのレプリケーション係数。
21
ソースおよびターゲットクラスターのオフセットをマップする MirrorSourceConnector offset-syncs 内部トピックのレプリケーション係数。
22
ACL ルールの同期が有効になっていると、同期されたトピックに ACL が適用されます。デフォルトは true です。この機能は User Operator と互換性がありません。User Operator を使用している場合は、このプロパティーを false に設定します。
23
新規トピックのチェック頻度を変更する任意設定。デフォルトでは 10 分毎にチェックされます。
24
リモートトピック名の自動変更をオーバーライドするポリシーを追加します。その名前の前にソースクラスターの名前を追加する代わりに、トピックが元の名前を保持します。このオプションの設定は、active/passive バックアップおよびデータ移行に役立ちます。このプロパティーはすべてのコネクターに指定する必要があります。双方向 (アクティブ/アクティブ) レプリケーションの場合、DefaultReplicationPolicy クラスを使用してリモートトピックの名前を自動的に変更し、すべてのコネクターに replication.policy.separator プロパティーを指定してカスタムセパレーターを追加します。
25
接続チェックを実行する MirrorHeartbeatConnector の設定。デフォルトの設定オプションは config によって上書きされます。
26
ターゲットクラスターで作成されたハートビートトピックのレプリケーション係数。
27
オフセットを追跡する MirrorCheckpointConnector の設定。デフォルトの設定オプションは config によって上書きされます。
28
ターゲットクラスターで作成されたチェックポイントトピックのレプリケーション係数。
29
新規コンシューマーグループのチェック頻度を変更する任意設定。デフォルトでは 10 分毎にチェックされます。
30
コンシューマーグループのオフセットを同期する任意設定。これは、active/passive 設定でのリカバリーに便利です。同期はデフォルトでは有効になっていません。
31
コンシューマーグループオフセットの同期が有効な場合は、同期の頻度を調整できます。
32
オフセット追跡のチェック頻度を調整します。オフセット同期の頻度を変更する場合は、これらのチェックの頻度も調整することを推奨します。
33
コンマ区切りリストまたは正規表現パターンとして定義されたソースクラスターからのトピックレプリケーション。ソースコネクターは指定のトピックをレプリケーションします。チェックポイントコネクターは、指定されたトピックのオフセットを追跡します。ここでは、3 つのトピックを名前でリクエストします。
34
コンマ区切りリストまたは正規表現パターンとして定義されたソースクラスターからのコンシューマーグループのレプリケーション。チェックポイントコネクターは、指定されたコンシューマーグループをレプリケーションします。ここで、3 つのコンシューマーグループを名前で要求します。
35
現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。
36
指定された Kafka ロガーおよびログレベルが ConfigMap を介して直接的に (inline) または間接的に (external) に追加されます。カスタム Log4j 設定は、ConfigMap の log4j.properties キーまたは log4j2.properties キーの下に配置する必要があります。Kafka Connect log4j.rootLogger ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。
37
コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
38
Kafka MirrorMaker を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
39
高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
40
特別なオプション: 展開のための Rack awareness 設定。これは、リージョン間ではなく、同じロケーション内でのデプロイメントを目的とした特殊なオプションです。このオプションは、コネクターがリーダーレプリカではなく、最も近いレプリカから消費する場合に使用できます。場合によっては、最も近いレプリカから消費することで、ネットワークの使用率を改善したり、コストを削減したりできます。topologyKey は、ラック ID を含むノードラベルと一致する必要があります。この設定で使用される例では、標準の topology.kubernetes.io/zone ラベルを使用するゾーンを指定します。最も近いレプリカから消費するには、Kafka ブローカー設定で RackAwareReplicaSelector を有効にします。
41
テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
42
分散トレース用に環境変数が設定されます。
43
分散トレーシングは、OpenTelemetry を使用して有効になります。
44
環境変数として Kafka MirrorMaker にマウントされた OpenShift Secret の外部設定。設定プロバイダープラグインを使用して、外部ソースから設定値を読み込むこともできます。

8.7.1. アクティブ/アクティブまたはアクティブ/パッシブモードの設定

MirrorMaker 2 は、active/passive または active/active クラスター設定で使用できます。

アクティブ/アクティブのクラスター設定
アクティブ/アクティブ設定には、双方向でデータをレプリケーションするアクティブなクラスターが 2 つあります。アプリケーションはいずれかのクラスターを使用できます。各クラスターは同じデータを提供できます。これにより、地理的に異なる場所で同じデータを利用できるようにします。コンシューマーグループは両方のクラスターでアクティブであるため、レプリケーションされたトピックのコンシューマーオフセットはソースクラスターに同期されません。
active/passive クラスター設定
active/passive 設定には、passive クラスターにデータをレプリケーションする active クラスターがあります。passive クラスターはスタンバイのままになります。システムに障害が発生した場合に、データ復旧に passive クラスターを使用できます。

プロデューサーとコンシューマーがアクティブなクラスターのみに接続することを前提とします。MirrorMaker 2 クラスターはターゲットごとに必要です。

8.7.1.1. 双方向レプリケーション (active/active)

MirrorMaker 2 アーキテクチャーは、アクティブ/アクティブ クラスター設定での双方向レプリケーションをサポートします。

各クラスターは、source および remote トピックの概念を使用して、別のクラスターのデータをレプリケーションします。同じトピックが各クラスターに保存されるため、リモートトピックの名前は MirrorMaker 2 によってソースクラスターを表すように自動的に変更されます。元のクラスターの名前の先頭には、トピックの名前が追加されます。

図8.1 トピック名の変更

MirrorMaker 2 双方向アーキテクチャー

ソースクラスターにフラグを付けると、トピックはそのクラスターにレプリケーションされません。

remote トピックを介したレプリケーションの概念は、データの集約が必要なアーキテクチャーの設定に役立ちます。コンシューマーは、同じクラスター内でソースおよびリモートトピックにサブスクライブできます。これに個別の集約クラスターは必要ありません。

8.7.1.2. 一方向レプリケーション (active/passive)

MirrorMaker 2 アーキテクチャーは、active/passive クラスター設定での一方向レプリケーションをサポートします。

active/passive のクラスター設定を使用してバックアップを作成したり、データを別のクラスターに移行したりできます。この場合、リモートトピックの名前の自動変更は推奨しません。

IdentityReplicationPolicy をソースコネクター設定に追加することで、名前の自動変更をオーバーライドできます。この設定が適用されると、トピックには元の名前が保持されます。

8.7.2. MirrorMaker 2 コネクターの設定

Kafka クラスター間のデータの同期を調整する内部コネクターには、MirrorMaker 2 コネクター設定を使用します。

MirrorMaker 2 は次のコネクターで設定されます。

MirrorSourceConnector
ソースコネクターは、トピックをソースクラスターからターゲットクラスターにレプリケーションします。また、ACL をレプリケーションし、MirrorCheckpointConnector を実行する必要があります。
MirrorCheckpointConnector
チェックポイントコネクターは定期的にオフセットを追跡します。有効にすると、ソースクラスターとターゲットクラスター間のコンシューマーグループオフセットも同期されます。
MirrorHeartbeatConnector
ハートビートコネクターは、ソースクラスターとターゲットクラスター間の接続を定期的にチェックします。

以下の表は、コネクタープロパティーと、これらを使用するために設定するコネクターについて説明しています。

表8.2 MirrorMaker 2 コネクター設定プロパティー
プロパティーsourceConnectorcheckpointConnectorheartbeatConnector
admin.timeout.ms
新規トピックの検出などの管理タスクのタイムアウト。デフォルトは 60000 (1 分) です。

replication.policy.class
リモートトピックの命名規則を定義するポリシー。デフォルトは org.apache.kafka.connect.mirror.DefaultReplicationPolicy です。

replication.policy.separator
ターゲットクラスターのトピックの命名に使用されるセパレーター。デフォルトでは、区切り文字はドット (.) に設定されています。区切り文字の設定は、リモートトピック名を定義する DefaultReplicationPolicy レプリケーションポリシークラスにのみ適用されます。トピックは元の名前を保持するため、IdentityReplicationPolicy クラスはこのプロパティーを使用しません。

consumer.poll.timeout.ms
ソースクラスターをポーリングする際のタイムアウト。デフォルトは 1000 (1 秒) です。

 
offset-syncs.topic.location
offset-syncs トピックの場所。これは、source (デフォルト) または target クラスターになります。

 
topic.filter.class
レプリケーションするトピックを選択するためのトピックフィルター。デフォルトは org.apache.kafka.connect.mirror.DefaultTopicFilter です。

 
config.property.filter.class
レプリケーションするトピック設定プロパティーを選択するトピックフィルター。デフォルトは org.apache.kafka.connect.mirror.DefaultConfigPropertyFilter です。

  
config.properties.exclude
レプリケーションすべきでないトピック設定プロパティー。コンマ区切りのプロパティー名と正規表現をサポートします。

  
offset.lag.max
リモートパーティションが同期されるまでの最大許容 (同期外) オフセットラグ。デフォルトは 100 です。

  
offset-syncs.topic.replication.factor
内部 offset-syncs トピックのレプリケーション係数。デフォルトは 3 です。

  
refresh.topics.enabled
新しいトピックおよびパーティションの確認を有効にします。デフォルトは true です。

  
refresh.topics.interval.seconds
トピック更新の頻度。デフォルトは 600 (10 分) です。デフォルトでは、ソースクラスターの新規トピックのチェックは 10 分ごとに行われます。頻度は、refresh.topics.interval.seconds をソースコネクター設定に追加することで変更できます。

  
replication.factor
新しいトピックのレプリケーション係数。デフォルトは 2 です。

  
sync.topic.acls.enabled
ソースクラスターからの ACL の同期を有効にします。デフォルトは true です。詳細は、「リモートトピックの ACL ルールの同期」 を参照してください。

  
sync.topic.acls.interval.seconds
ACL 同期の頻度。デフォルトは 600 (10 分) です。

  
sync.topic.configs.enabled
ソースクラスターからのトピック設定の同期を有効にします。デフォルトは true です。

  
sync.topic.configs.interval.seconds
トピック設定の同期頻度。デフォルトは 600 (10 分) です。

  
checkpoints.topic.replication.factor
内部 checkpoints トピックのレプリケーション係数。デフォルトは 3 です。
 

 
emit.checkpoints.enabled
コンシューマーオフセットをターゲットクラスターに同期できるようにします。デフォルトは true です。
 

 
emit.checkpoints.interval.seconds
コンシューマーオフセット同期の頻度。デフォルトは 60 (1 分) です。
 

 
group.filter.class
レプリケーションするコンシューマーグループを選択するためのグループフィルター。デフォルトは org.apache.kafka.connect.mirror.DefaultGroupFilter です。
 

 
refresh.groups.enabled
新規コンシューマーグループの確認を有効にします。デフォルトは true です。
 

 
refresh.groups.interval.seconds
コンシューマーグループ更新の頻度。デフォルトは 600 (10 分) です。
 

 
sync.group.offsets.enabled
ターゲットクラスターの __consumer_offsets トピックへのコンシューマーグループオフセットの同期を有効にします。デフォルトは false です。
 

 
sync.group.offsets.interval.seconds
コンシューマーグループオフセット同期の頻度。デフォルトは 60 (1 分) です。
 

 
emit.heartbeats.enabled
ターゲットクラスターでの接続性チェックを有効にします。デフォルトは true です。
  

emit.heartbeats.interval.seconds
接続性チェックの頻度。デフォルトは 1 (1 秒) です。
  

heartbeats.topic.replication.factor
内部 heartbeats トピックのレプリケーション係数。デフォルトは 3 です。
  

8.7.2.1. コンシューマーグループオフセットの場所の変更トピック

MirrorMaker 2 は、内部トピックを使用してコンシューマーグループのオフセットを追跡します。

offset-syncs トピック
offset-syncs トピックは、レプリケーションされたトピックパーティションのソースおよびターゲットオフセットをレコードメタデータからマッピングします。
checkpoints トピック
checkpoints トピックは、各コンシューマーグループでレプリケーションされたトピックパーティションのソースおよびターゲットクラスターで、最後にコミットされたオフセットをマッピングします。

これらは MirrorMaker 2 によって内部的に使用されるため、これらのトピックと直接対話することはありません。

MirrorCheckpointConnector は、オフセット追跡用の チェックポイント を発行します。checkpoints トピックのオフセットは、設定によって事前に決定された間隔で追跡されます。両方のトピックは、フェイルオーバー時に正しいオフセットの位置からレプリケーションの完全復元を可能にします。

offset-syncs トピックの場所は、デフォルトで source クラスターです。offset-syncs.topic.location コネクター設定を使用して、これを target クラスターに変更することができます。トピックが含まれるクラスターへの読み取り/書き込みアクセスが必要です。ターゲットクラスターを offset-syncs トピックの場所として使用すると、ソースクラスターへの読み取りアクセス権しかない場合でも、MirrorMaker 2 を使用できるようになります。

8.7.2.2. コンシューマーグループオフセットの同期

__consumer_offsets トピックには、各コンシューマーグループのコミットされたオフセットに関する情報が保存されます。オフセットの同期は、ソースクラスターのコンシューマーグループのコンシューマーオフセットをターゲットクラスターのコンシューマーオフセットに定期的に転送します。

オフセットの同期は、特に active/passive 設定で便利です。アクティブなクラスターがダウンした場合、コンシューマーアプリケーションを passive (スタンバイ) クラスターに切り替え、最後に転送されたオフセットの位置からピックアップできます。

トピックオフセットの同期を使用するには、sync.group.offsets.enabled を checkpoint コネクター設定に追加し、プロパティーを true に設定して、同期を有効にします。同期はデフォルトで無効になっています。

ソースコネクターで IdentityReplicationPolicy を使用する場合は、チェックポイントコネクター設定でも設定する必要があります。これにより、ミラーリングされたコンシューマーオフセットが正しいトピックに適用されます。

コンシューマーオフセットは、ターゲットクラスターでアクティブではないコンシューマーグループに対してのみ同期されます。コンシューマーグループがターゲットクラスターにある場合、Synchronization を実行できず、UNKNOWN_MEMBER_ID エラーが返されます。

同期を有効にすると、ソースクラスターからオフセットの同期が定期的に行われます。この頻度は、sync.group.offsets.interval.seconds および emit.checkpoints.interval.seconds をチェックポイントコネクター設定に追加することで変更できます。これらのプロパティーは、コンシューマーグループのオフセットが同期される頻度 (秒単位) と、オフセットを追跡するためにチェックポイントが生成される頻度を指定します。両方のプロパティーのデフォルトは 60 秒です。refresh.groups.interval.seconds プロパティーを使用して、新規コンシューマーグループのチェック頻度を変更することもできます。デフォルトでは 10 分ごとに実行されます。

同期は時間ベースであるため、コンシューマーによって passive クラスターへ切り替えられると、一部のメッセージが重複する可能性があります。

注記

Java で作成されたアプリケーションがある場合は、RemoteClusterUtils.java ユーティリティーを使用して、アプリケーションを通じてオフセットを同期できます。ユーティリティーは、checkpoints トピックからコンシューマーグループのリモートオフセットを取得します。

8.7.2.3. ハートビートコネクターを使用するタイミングの決定

ハートビートコネクターはハートビートを出力して、ソース Kafka クラスターとターゲット Kafka クラスター間の接続を確認します。内部 heartbeat トピックはソースクラスターからレプリケートされます。つまり、ハートビートコネクターがソースクラスターに接続されている必要があります。heartbeat トピックはターゲットクラスターに配置されているため、次のことが可能になります。

  • データのミラーリング元のすべてのソースクラスターを特定します。
  • ミラーリングプロセスの稼働状況と遅延を確認する

これは、プロセスが何らかの理由でスタックしたり停止したりしていないことを確認するのに役立ちます。ハートビートコネクターは、Kafka クラスター間のミラーリングプロセスを監視するための貴重なツールですが、必ずしも使用する必要があるわけではありません。たとえば、デプロイメントのネットワーク遅延が低い場合、またはトピックの数が少ない場合は、ログメッセージやその他の監視ツールを使用してミラーリングプロセスを監視することが推奨されます。ハートビートコネクターを使用しない場合は、MirrorMaker 2 設定からハートビートコネクターを省略してください。

8.7.2.4. MirrorMaker 2 コネクターの設定の調整

MirrorMaker 2 コネクターが正しく動作することを確認するには、コネクター全体で特定の設定を調整してください。具体的には、次のプロパティーが該当するすべてのコネクターで同じ値であることを確認してください。

  • replication.policy.class
  • replication.policy.separator
  • offset-syncs.topic.location
  • topic.filter.class

たとえば、replication.policy.class の値は、ソース、チェックポイント、およびハートビートコネクターで同じである必要があります。設定が一致していないか欠落していると、データレプリケーションやオフセット同期で問題が発生するため、関連するすべてのコネクターを同じ設定で設定しておくことが重要です。

8.7.3. MirrorMaker 2 コネクターのプロデューサとコンシューマーの設定

MirrorMaker 2 コネクターは、内部プロデューサーとコンシューマーを使用します。必要に応じて、これらのプロデューサーおよびコンシューマーを設定して、デフォルト設定を上書きできます。

たとえば、トピックをターゲットの Kafka クラスターに送信するソースプロデューサーの batch.size を増やして、大量のデータをより適切に対応できます。

重要

プロデューサおよびコンシューマーの設定オプションは MirrorMaker 2 の実装に依存しており、変更される可能性があります。

次の表では、各コネクターのプロデューサーとコンシューマー、および設定を追加できる場所について説明します。

表8.3 ソースコネクターのプロデューサーとコンシューマー
タイプ説明設定

producer

トピックメッセージをターゲット Kafka クラスターに送信します。大量のデータを処理する場合は、このプロデューサーの設定を調整することを検討してください。

mirrors.sourceConnector.config: producer.override.*

producer

レプリケートされたトピックパーティションのソースオフセットとターゲットオフセットをマップする、offset-syncs トピックに書き込みます。

mirrors.sourceConnector.config: producer.*

コンシューマー

ソース Kafka クラスターからトピックメッセージを取得します。

mirrors.sourceConnector.config: consumer.*

表8.4 チェックポイントコネクターのプロデューサーとコンシューマー
タイプ説明設定

producer

コンシューマーオフセットチェックポイントを発行します。

mirrors.checkpointConnector.config: producer.override.*

コンシューマー

offset-syncs トピックを読み込みます。

mirrors.checkpointConnector.config: consumer.*

注記

offset-syncs.topic.locationtarget に設定して、ターゲット Kafka クラスターを offset-syncs トピックの場所として使用できます。

表8.5 ハートビートコネクタープロデューサー
タイプ説明設定

producer

ハートビートを生成します。

mirrors.heartbeatConnector.config: producer.override.*

次の例は、プロデューサーとコンシューマーを設定する方法を示しています。

コネクターのプロデューサーとコンシューマーの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  version: 3.5.0
  # ...
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    sourceConnector:
      tasksMax: 5
      config:
        producer.override.batch.size: 327680
        producer.override.linger.ms: 100
        producer.request.timeout.ms: 30000
        consumer.fetch.max.bytes: 52428800
        # ...
    checkpointConnector:
      config:
        producer.override.request.timeout.ms: 30000
        consumer.max.poll.interval.ms: 300000
        # ...
    heartbeatConnector:
      config:
        producer.override.request.timeout.ms: 30000
        # ...

8.7.4. データ複製タスクの最大数の指定

コネクターは、Kafka にデータを出し入れするタスクを作成します。各コネクターは、タスクを実行するワーカー Pod のグループ全体に分散される 1 つ以上のタスクで設定されます。タスクの数を増やすと、多数のパーティションをレプリケーションするとき、または多数のコンシューマーグループのオフセットを同期するときのパフォーマンスの問題に役立ちます。

タスクは並行して実行されます。ワーカーには 1 つ以上のタスクが割り当てられます。1 つのタスクが 1 つのワーカー Pod によって処理されるため、タスクよりも多くのワーカー Pod は必要ありません。ワーカーよりも多くのタスクがある場合、ワーカーは複数のタスクを処理します。

tasksMax プロパティーを使用して、MirrorMaker 設定でコネクタータスクの最大数を指定できます。タスクの最大数を指定しない場合、デフォルト設定のタスク数は 1 つです。

ハートビートコネクターは常に単一のタスクを使用します。

ソースおよびチェックポイントコネクターに対して開始されるタスクの数は、可能なタスクの最大数と tasksMax の値の間の低い値です。ソースコネクターの場合、可能なタスクの最大数は、ソースクラスターからレプリケーションされるパーティションごとに 1 つです。チェックポイントコネクターの場合、可能なタスクの最大数は、ソースクラスターからレプリケーションされるコンシューマーグループごとに 1 つです。タスクの最大数を設定するときは、プロセスをサポートするパーティションの数とハードウェアリソースを考慮してください。

インフラストラクチャーが処理のオーバーヘッドをサポートしている場合、タスクの数を増やすと、スループットと待機時間が向上する可能性があります。たとえば、タスクを追加すると、多数のパーティションまたはコンシューマーグループがある場合に、ソースクラスターのポーリングにかかる時間が短縮されます。

ソースコネクターのタスク数を増やすと、多数のパーティションがある場合に役立ちます。

ソースコネクターのタスク数を増やす

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  # ...
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    sourceConnector:
      tasksMax: 10
  # ...

多数のコンシューマーグループがある場合は、チェックポイントコネクターのタスク数を増やすと便利です。

チェックポイントコネクターのタスク数の増加

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  # ...
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    checkpointConnector:
      tasksMax: 10
  # ...

デフォルトでは、MirrorMaker 2 は 10 分ごとに新しいコンシューマーグループをチェックします。refresh.groups.interval.seconds 設定を調整して、頻度を変更できます。低く調整するときは注意してください。より頻繁なチェックは、パフォーマンスに悪影響を及ぼす可能性があります。

8.7.4.1. コネクタータスクの動作の確認

Prometheus と Grafana を使用してデプロイメントを監視している場合は、MirrorMaker 2 のパフォーマンスをチェックできます。AMQ Streams で提供される MirrorMaker 2 Grafana ダッシュボードの例には、タスクとレイテンシーに関連する次のメトリックが表示されます。

  • タスクの数
  • レプリケーションのレイテンシー
  • オフセット同期のレイテンシー

8.7.5. リモートトピックの ACL ルールの同期

MirrorMaker 2 を AMQ Streams とともに使用すると、リモートトピックの ACL ルールを同期できます。ただし、この機能はユーザーオペレーターを使用していない場合にのみ使用できます。

User Operator を使用せずに type: simple 認可を使用している場合、ブローカーへのアクセスを管理する ACL ルールはリモートトピックにも適用されます。これは、ソーストピックへの読み取りアクセス権を持つユーザーが、リモートの同等のトピックを読み取ることもできることを意味します。

注記

OAuth 2.0 での承認は、このようなリモートトピックへのアクセスをサポートしません。

8.7.6. Kafka MirrorMaker 2 デプロイメントの保護

この手順では、MirrorMaker 2 デプロイメントを保護するために必要な設定の概要を説明します。

ソース Kafka クラスターとターゲット Kafka クラスターには別々の設定が必要です。また、MirrorMaker がソースおよびターゲットの Kafka クラスターに接続するために必要な認証情報を提供するために、個別のユーザー設定が必要です。

Kafka クラスターの場合、OpenShift クラスター内のセキュア接続用の内部リスナーと、OpenShift クラスター外の接続用の外部リスナーを指定します。

認証および許可メカニズムを設定できます。ソースおよびターゲットの Kafka クラスターに実装されたセキュリティーオプションは、MirrorMaker 2 に実装されたセキュリティーオプションと互換性がある必要があります。

クラスターとユーザー認証情報を作成したら、セキュアな接続のために MirrorMaker 設定でそれらを指定します。

注記

この手順では、Cluster Operator によって生成された証明書が使用されますが、独自の証明書をインストール してそれらを置き換えることができます。外部 CA (認証局) によって管理される Kafka リスナー証明書を使用 するようにリスナーを設定することもできます。

作業を開始する前の注意事項

この手順を開始する前に、AMQ Streams が提供する 設定ファイルの例 を確認してください。これらには、mTLS または SCRAM-SHA-512 認証を使用して MirrorMaker 2 のデプロイメントを保護するための例が含まれています。例では、OpenShift クラスター内で接続するための内部リスナーを指定しています。

この例では、ソースおよびターゲットの Kafka クラスターでの操作を許可するために MirrorMaker 2 で必要なすべての ACL を含む、完全な承認の設定を提供します。

前提条件

  • AMQ Streams が実行されている
  • ソースクラスターとターゲットクラスターの namespace が分離されている

この手順では、ソースとターゲットの Kafka クラスターが別々の namespace にインストールされていることを前提としています。Topic Operator を使用する場合は、これを行う必要があります。Topoic Operator は、指定された namespace 内の単一クラスターのみをモニタリングします。

クラスターを namespace に分割することにより、クラスターシークレットをコピーして、namespace の外部からアクセスできるようにする必要があります。MirrorMaker 設定でシークレットを参照する必要があります。

手順

  1. 2 つの Kafka リソースを設定します。1 つはソース Kafka クラスターを保護するためのもので、もう 1 つはターゲット Kafka クラスターを保護するためのものです。

    認証用のリスナー設定を追加し、認可を有効にすることができます。

    この例の場合、内部リスナーは mTLS 暗号化と認証を使用して Kafka クラスター用に設定されています。Kafka の simple 認証が有効になっています。

    TLS 暗号化と mTLS 認証を使用したソース Kafka クラスター設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-source-cluster
    spec:
      kafka:
        version: 3.5.0
        replicas: 1
        listeners:
          - name: tls
            port: 9093
            type: internal
            tls: true
            authentication:
              type: tls
        authorization:
          type: simple
        config:
          offsets.topic.replication.factor: 1
          transaction.state.log.replication.factor: 1
          transaction.state.log.min.isr: 1
          default.replication.factor: 1
          min.insync.replicas: 1
          inter.broker.protocol.version: "3.5"
        storage:
          type: jbod
          volumes:
          - id: 0
            type: persistent-claim
            size: 100Gi
            deleteClaim: false
      zookeeper:
        replicas: 1
        storage:
          type: persistent-claim
          size: 100Gi
          deleteClaim: false
      entityOperator:
        topicOperator: {}
        userOperator: {}

    TLS 暗号化と mTLS 認証を使用したターゲット Kafka クラスター設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-target-cluster
    spec:
      kafka:
        version: 3.5.0
        replicas: 1
        listeners:
          - name: tls
            port: 9093
            type: internal
            tls: true
            authentication:
              type: tls
        authorization:
          type: simple
        config:
          offsets.topic.replication.factor: 1
          transaction.state.log.replication.factor: 1
          transaction.state.log.min.isr: 1
          default.replication.factor: 1
          min.insync.replicas: 1
          inter.broker.protocol.version: "3.5"
        storage:
          type: jbod
          volumes:
            - id: 0
              type: persistent-claim
              size: 100Gi
              deleteClaim: false
      zookeeper:
        replicas: 1
        storage:
          type: persistent-claim
          size: 100Gi
          deleteClaim: false
      entityOperator:
        topicOperator: {}
        userOperator: {}

  2. 別の namespace で Kafka リソースを作成または更新します。

    oc apply -f <kafka_configuration_file> -n <namespace>

    Cluster Operator はリスナーを作成し、クラスターおよびクライアント認証局 (CA) 証明書を設定して Kafka クラスター内で認証を有効にします。

    証明書は、シークレット <cluster_name>-cluster-ca-cert に作成されます。

  3. 2 つの KafkaUser リソースを設定します。1 つはソース Kafka クラスターのユーザー用で、もう 1 つはターゲット Kafka クラスターのユーザー用です。

    1. 対応するソースおよびターゲットの Kafka クラスターと同じ認証および認可タイプを設定します。たとえば、ソース Kafka クラスターの Kafka 設定で tls 認証と simple 認可タイプを使用した場合は、KafkaUser 設定でも同じものを使用します。
    2. MirrorMaker 2 に必要な ACL を設定して、ソースおよびターゲットの Kafka クラスターでの操作を許可します。

      ACL は、内部 MirrorMaker コネクター、および基盤となる Kafka Connect フレームワークによって使用されます。

    mTLS 認証のソースユーザー設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaUser
    metadata:
      name: my-source-user
      labels:
        strimzi.io/cluster: my-source-cluster
    spec:
      authentication:
        type: tls
      authorization:
        type: simple
        acls:
          # MirrorSourceConnector
          - resource: # Not needed if offset-syncs.topic.location=target
              type: topic
              name: mm2-offset-syncs.my-target-cluster.internal
            operations:
              - Create
              - DescribeConfigs
              - Read
              - Write
          - resource: # Needed for every topic which is mirrored
              type: topic
              name: "*"
            operations:
              - DescribeConfigs
              - Read
          # MirrorCheckpointConnector
          - resource:
              type: cluster
            operations:
              - Describe
          - resource: # Needed for every group for which offsets are synced
              type: group
              name: "*"
            operations:
              - Describe
          - resource: # Not needed if offset-syncs.topic.location=target
              type: topic
              name: mm2-offset-syncs.my-target-cluster.internal
            operations:
              - Read

    mTLS 認証のターゲットユーザー設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaUser
    metadata:
      name: my-target-user
      labels:
        strimzi.io/cluster: my-target-cluster
    spec:
      authentication:
        type: tls
      authorization:
        type: simple
        acls:
          # Underlying Kafka Connect internal topics to store configuration, offsets, or status
          - resource:
              type: group
              name: mirrormaker2-cluster
            operations:
              - Read
          - resource:
              type: topic
              name: mirrormaker2-cluster-configs
            operations:
              - Create
              - Describe
              - DescribeConfigs
              - Read
              - Write
          - resource:
              type: topic
              name: mirrormaker2-cluster-status
            operations:
              - Create
              - Describe
              - DescribeConfigs
              - Read
              - Write
          - resource:
              type: topic
              name: mirrormaker2-cluster-offsets
            operations:
              - Create
              - Describe
              - DescribeConfigs
              - Read
              - Write
          # MirrorSourceConnector
          - resource: # Needed for every topic which is mirrored
              type: topic
              name: "*"
            operations:
              - Create
              - Alter
              - AlterConfigs
              - Write
          # MirrorCheckpointConnector
          - resource:
              type: cluster
            operations:
              - Describe
          - resource:
              type: topic
              name: my-source-cluster.checkpoints.internal
            operations:
              - Create
              - Describe
              - Read
              - Write
          - resource: # Needed for every group for which the offset is synced
              type: group
              name: "*"
            operations:
              - Read
              - Describe
          # MirrorHeartbeatConnector
          - resource:
              type: topic
              name: heartbeats
            operations:
              - Create
              - Describe
              - Write

    注記

    typetls-external に設定することにより、User Operator の外部で発行された証明書を使用できます。詳細は、 KafkaUserSpec スキーマリファレンス を参照してください。

  4. ソースおよびターゲットの Kafka クラスター用に作成した各 namespace で、KafkaUser リソースを作成または更新します。

    oc apply -f <kafka_user_configuration_file> -n <namespace>

    User Operator はクライアント (MirrorMaker) に対応するユーザーを作成すると共に、選択した認証タイプに基づいて、クライアント認証に使用されるセキュリティークレデンシャルを作成します。

    User Operator は、KafkaUser リソースと同じ名前の新しいシークレットを作成します。シークレットには、mTLS 認証用の秘密鍵と公開鍵が含まれています。公開鍵は、クライアント CA によって署名されたユーザー証明書に含まれます。

  5. ソースおよびターゲットの Kafka クラスターに接続するための認証の詳細を使用して KafkaMirrorMaker2 リソースを設定します。

    TLS 暗号化と mTLS 認証を使用した MirrorMaker 2 設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaMirrorMaker2
    metadata:
      name: my-mirror-maker-2
    spec:
      version: 3.5.0
      replicas: 1
      connectCluster: "my-target-cluster"
      clusters:
        - alias: "my-source-cluster"
          bootstrapServers: my-source-cluster-kafka-bootstrap:9093
          tls: 1
            trustedCertificates:
              - secretName: my-source-cluster-cluster-ca-cert
                certificate: ca.crt
          authentication: 2
            type: tls
            certificateAndKey:
              secretName: my-source-user
              certificate: user.crt
              key: user.key
        - alias: "my-target-cluster"
          bootstrapServers: my-target-cluster-kafka-bootstrap:9093
          tls: 3
            trustedCertificates:
              - secretName: my-target-cluster-cluster-ca-cert
                certificate: ca.crt
          authentication: 4
            type: tls
            certificateAndKey:
              secretName: my-target-user
              certificate: user.crt
              key: user.key
          config:
            # -1 means it will use the default replication factor configured in the broker
            config.storage.replication.factor: -1
            offset.storage.replication.factor: -1
            status.storage.replication.factor: -1
      mirrors:
        - sourceCluster: "my-source-cluster"
          targetCluster: "my-target-cluster"
          sourceConnector:
            config:
              replication.factor: 1
              offset-syncs.topic.replication.factor: 1
              sync.topic.acls.enabled: "false"
          heartbeatConnector:
            config:
              heartbeats.topic.replication.factor: 1
          checkpointConnector:
            config:
              checkpoints.topic.replication.factor: 1
              sync.group.offsets.enabled: "true"
          topicsPattern: "topic1|topic2|topic3"
          groupsPattern: "group1|group2|group3"

    1
    ソース Kafka クラスターの TLS 証明書。それらが別の namespace にある場合は、Kafka クラスターの namespace からクラスターシークレットをコピーします。
    2
    TLS mechanism を使用してソース Kafka クラスターにアクセスするためのユーザー認証。
    3
    ターゲット Kafka クラスターの TLS 証明書。
    4
    ターゲット Kafka クラスターにアクセスするためのユーザー認証。
  6. ターゲット Kafka クラスターと同じ namespace で KafkaMirrorMaker2 リソースを作成または更新します。

    oc apply -f <mirrormaker2_configuration_file> -n <namespace_of_target_cluster>

8.8. Kafka MirrorMaker の設定 (非推奨)

KafkaMirrorMaker カスタムリソースの spec プロパティーを更新して、Kafka MirrorMaker デプロイメントを設定します。

TLS または SASL 認証を使用して、プロデューサーおよびコンシューマーのアクセス制御を設定できます。この手順では、コンシューマーおよびプロデューサー側で mTLS による暗号化および認証を使用する設定を説明します。

Kafka MirrorMaker クラスター設定オプションの詳細については、AMQ Streams Custom Resource API Reference を参照してください。

重要

Kafka MirrorMaker 1 (ドキュメントでは単に MirrorMaker と呼ばれる) は Apache Kafka 3.0.0 で非推奨となり、Apache Kafka 4.0.0 で削除されます。そのため、Kafka MirrorMaker 1 のデプロイに使用される KafkaMirrorMaker カスタムリソースも、AMQ Streams で非推奨となりました。Apache Kafka 4.0.0 を導入すると、KafkaMirrorMaker リソースは AMQ Streams から削除されます。代わりに、IdentityReplicationPolicyKafkaMirrorMaker2 カスタムリソースを使用します。

KafkaMirrorMaker カスタムリソース設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker
metadata:
  name: my-mirror-maker
spec:
  replicas: 3 1
  consumer:
    bootstrapServers: my-source-cluster-kafka-bootstrap:9092 2
    groupId: "my-group" 3
    numStreams: 2 4
    offsetCommitInterval: 120000 5
    tls: 6
      trustedCertificates:
      - secretName: my-source-cluster-ca-cert
        certificate: ca.crt
    authentication: 7
      type: tls
      certificateAndKey:
        secretName: my-source-secret
        certificate: public.crt
        key: private.key
    config: 8
      max.poll.records: 100
      receive.buffer.bytes: 32768
  producer:
    bootstrapServers: my-target-cluster-kafka-bootstrap:9092
    abortOnSendFailure: false 9
    tls:
      trustedCertificates:
      - secretName: my-target-cluster-ca-cert
        certificate: ca.crt
    authentication:
      type: tls
      certificateAndKey:
        secretName: my-target-secret
        certificate: public.crt
        key: private.key
    config:
      compression.type: gzip
      batch.size: 8192
  include: "my-topic|other-topic" 10
  resources: 11
    requests:
      cpu: "1"
      memory: 2Gi
    limits:
      cpu: "2"
      memory: 2Gi
  logging: 12
    type: inline
    loggers:
      mirrormaker.root.logger: INFO
  readinessProbe: 13
    initialDelaySeconds: 15
    timeoutSeconds: 5
  livenessProbe:
    initialDelaySeconds: 15
    timeoutSeconds: 5
  metricsConfig: 14
   type: jmxPrometheusExporter
   valueFrom:
     configMapKeyRef:
       name: my-config-map
       key: my-key
  jvmOptions: 15
    "-Xmx": "1g"
    "-Xms": "1g"
  image: my-org/my-image:latest 16
  template: 17
    pod:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: application
                    operator: In
                    values:
                      - postgresql
                      - mongodb
              topologyKey: "kubernetes.io/hostname"
    mirrorMakerContainer: 18
      env:
        - name: OTEL_SERVICE_NAME
          value: my-otel-service
        - name: OTEL_EXPORTER_OTLP_ENDPOINT
          value: "http://otlp-host:4317"
  tracing: 19
    type: opentelemetry

1
レプリカノードの数。
2
コンシューマーおよびプロデューサーのブートストラップサーバー。
3
コンシューマーのグループ ID。
4
コンシューマーストリームの数。
5
オフセットの自動コミット間隔 (ミリ秒単位)。
6
コンシューマーまたはプロデューサーの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
7
mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定されたコンシューマーまたはプロデューサーの認証。
8
コンシューマーおよびプロデューサーの Kafka 設定オプション。
9
abortOnSendFailure プロパティーが true に設定されている場合、メッセージの送信に失敗した後、Kafka MirrorMaker は終了し、コンテナーは再起動します。
10
ソースからターゲット Kafka クラスターにミラーリングされた含まれるトピックの一覧。
11
現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。
12
ConfigMap より直接的 (inline) または間接的 (external) に追加されたロガーおよびログレベルを指定します。カスタム Log4j 設定は、ConfigMap の log4j.properties キーまたは log4j2.properties キーの下に配置する必要があります。MirrorMaker には mirrormaker.root.logger と呼ばれる単一のロガーがあります。ログレベルは INFO、ERROR、WARN、TRACE、DEBUG、FATAL、または OFF に設定できます。
13
コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
14
Prometheus メトリクス。この例では、Prometheus JMX エクスポーターの設定が含まれる ConfigMap を参照して有効になります。metricsConfig.valueFrom.configMapKeyRef.key 配下に空のファイルが含まれる ConfigMap の参照を使用して、追加設定なしでメトリックを有効にできます。
15
Kafka MirrorMaker を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
16
高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
17
テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
18
分散トレース用に環境変数が設定されます。
19
分散トレーシングは、OpenTelemetry を使用して有効になります。
警告

abortOnSendFailure プロパティーが false に設定されると、プロデューサーはトピックの次のメッセージを送信しようとします。失敗したメッセージは再送されないため、元のメッセージが失われる可能性があります。

8.9. Kafka Bridge の設定

KafkaBridge カスタムリソースの spec プロパティーを更新して、Kafka Bridge デプロイメントを設定します。

クライアントのコンシューマーリクエストが異なる Kafka Bridge インスタンスによって処理された場合に発生する問題を防ぐには、アドレスベースのルーティングを利用して、要求が適切な Kafka Bridge インスタンスにルーティングされるようにする必要があります。また、独立した各 Kafka Bridge インスタンスにレプリカが必要です。Kafka Bridge インスタンスには、別のインスタンスと共有されない独自の状態があります。

Kafka Bridge クラスター設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

KafkaBridge カスタムリソース設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaBridge
metadata:
  name: my-bridge
spec:
  replicas: 3 1
  bootstrapServers: <cluster_name>-cluster-kafka-bootstrap:9092 2
  tls: 3
    trustedCertificates:
      - secretName: my-cluster-cluster-cert
        certificate: ca.crt
      - secretName: my-cluster-cluster-cert
        certificate: ca2.crt
  authentication: 4
    type: tls
    certificateAndKey:
      secretName: my-secret
      certificate: public.crt
      key: private.key
  http: 5
    port: 8080
    cors: 6
      allowedOrigins: "https://strimzi.io"
      allowedMethods: "GET,POST,PUT,DELETE,OPTIONS,PATCH"
  consumer: 7
    config:
      auto.offset.reset: earliest
  producer: 8
    config:
      delivery.timeout.ms: 300000
  resources: 9
    requests:
      cpu: "1"
      memory: 2Gi
    limits:
      cpu: "2"
      memory: 2Gi
  logging: 10
    type: inline
    loggers:
      logger.bridge.level: INFO
      # enabling DEBUG just for send operation
      logger.send.name: "http.openapi.operation.send"
      logger.send.level: DEBUG
  jvmOptions: 11
    "-Xmx": "1g"
    "-Xms": "1g"
  readinessProbe: 12
    initialDelaySeconds: 15
    timeoutSeconds: 5
  livenessProbe:
    initialDelaySeconds: 15
    timeoutSeconds: 5
  image: my-org/my-image:latest 13
  template: 14
    pod:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: application
                    operator: In
                    values:
                      - postgresql
                      - mongodb
              topologyKey: "kubernetes.io/hostname"
    bridgeContainer: 15
      env:
        - name: OTEL_SERVICE_NAME
          value: my-otel-service
        - name: OTEL_EXPORTER_OTLP_ENDPOINT
          value: "http://otlp-host:4317"
  tracing:
    type: opentelemetry 16

1
レプリカノードの数。
2
ターゲット Kafka クラスターに接続するためのブートストラップサーバー。Kafka クラスターの名前は <cluster_name> を使用します。
3
ソース Kafka クラスターの TLS 証明書が X.509 形式で保存されるキー名のある TLS による暗号化。複数の証明書が同じシークレットに保存されている場合は、複数回リストできます。
4
mTLS、トークンベースの OAuth、SASL ベース SCRAM-SHA-256/SCRAM-SHA-512、または PLAIN として指定された Kafka Bridge クラスターの認証。デフォルトでは、Kafka Bridge は認証なしで Kafka ブローカーに接続します。
5
Kafka ブローカーへの HTTP アクセス。
6
選択されたリソースおよびアクセスメソッドを指定する CORS アクセス。要求に別の HTTP ヘッダーを追加して、Kafka クラスターへのアクセスが許可されるオリジンが記述されます。
7
コンシューマー設定オプション。
8
プロデューサー設定オプション。
9
現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。
10
指定された Kafka Bridge ロガーおよびログレベルが ConfigMap を介して直接的に (inline) または間接的に (external) に追加されます。カスタム Log4j 設定は、ConfigMap の log4j.properties キーまたは log4j2.properties キーの下に配置する必要があります。Kafka Bridge ロガーでは、ログレベルを INFO、ERROR、WARN、TRACE、DEBUG、FATAL または OFF に設定できます。
11
Kafka Bridge を実行している仮想マシン (VM) のパフォーマンスを最適化するための JVM 設定オプション。
12
コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
13
オプション: コンテナーイメージの設定。これは、特別な状況でのみ推奨されます。
14
テンプレートのカスタマイズ。ここでは、Pod は非アフィニティーでスケジュールされるため、Pod は同じホスト名のノードではスケジュールされません。
15
分散トレース用に環境変数が設定されます。
16
分散トレーシングは、OpenTelemetry を使用して有効になります。

8.10. Kafka および ZooKeeper ストレージの設定

Kafka および ZooKeeper はステートフルなアプリケーションであるため、データをディスクに格納します。AMQ Streams では、3 つのタイプのストレージがサポートされます。

  • 一時データストレージ (開発用のみで推奨されます)
  • 永続ストレージ
  • JBOD (ZooKeeper ではなく Kafka のみ)

Kafka リソースを設定する場合、Kafka ブローカーおよび対応する ZooKeeper ノードで使用されるストレージのタイプを指定できます。以下のリソースの storage プロパティーを使用して、ストレージタイプを設定します。

  • Kafka.spec.kafka
  • Kafka.spec.zookeeper

ストレージタイプは type フィールドで設定されます。

ストレージ設定プロパティーの詳細は、スキーマリファレンスを参照してください。

警告

Kafka クラスターをデプロイした後に、ストレージタイプを変更することはできません。

8.10.1. データストレージに関する留意事項

AMQ Streams がうまく機能するには、効率的なデータストレージインフラストラクチャーが不可欠です。ブロックストレージを使用することを強く推奨します。AMQ Streams は、ブロックストレージでの使用についてのみテストされています。NFS などのファイルストレージはテストされておらず、動作するという保証はありません。

ブロックストレージには、以下のいずれかのオプションを選択します。

  • Amazon Elastic Block Store (EBS) などのクラウドベースのブロックストレージソリューション。
  • ローカル永続ボリューム を使用した永続ストレージ
  • ファイバーチャネルiSCSI などのプロトコルがアクセスする SAN (ストレージエリアネットワーク) ボリューム
注記

AMQ Streams には OpenShift の raw ブロックボリュームは必要ありません。

8.10.1.1. ファイルシステム

Kafka は、メッセージの保存にファイルシステムを使用します。AMQ Streams は、Kafka で一般的に使用される XFS および ext4 ファイルシステムと互換性があります。ファイルシステムを選択して設定するときは、デプロイメントの基盤となるアーキテクチャーと要件を考慮してください。

詳細については、Kafka ドキュメントの Filesystem Selection を参照してください。

8.10.1.2. ディスク使用量

Apache Kafka と ZooKeeper には別々のディスクを使用します。

ソリッドステートドライブ (SSD) は必須ではありませんが、複数のトピックに対してデータが非同期的に送受信される大規模なクラスターで Kafka のパフォーマンスを向上させることができます。SSD は、高速で低レイテンシーのデータアクセスが必要な ZooKeeper で特に有効です。

注記

Kafka と ZooKeeper の両方にデータレプリケーションが組み込まれているため、レプリケーションされたストレージのプロビジョニングは必要ありません。

8.10.2. 一時ストレージ

一時データストレージは一時的なものです。ノード上のすべての Pod は、ローカルの一時ストレージスペースを共有します。データは、それを使用する Pod が実行されている限り保持されます。Pod が削除されると、データは失われます。ただし、Pod は高可用性環境でデータを回復できます。

その一時的な性質のため、一時ストレージは開発とテストにのみ推奨されます。

一時ストレージは emptyDir ボリュームを使用してデータを保存します。Pod がノードに割り当てられると、emptyDir ボリュームが作成されます。sizeLimit プロパティーを使用して、emptyDir のストレージの合計量を設定できます。

重要

一時ストレージは、単一ノードの ZooKeeper クラスターやレプリケーション係数が 1 の Kafka トピックでの使用には適していません。

一時ストレージを使用するには、Kafka または ZooKeeper リソースのストレージタイプ設定を ephemeral に設定します。

一時ストレージ設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    storage:
      type: ephemeral
    # ...
  zookeeper:
    # ...
    storage:
      type: ephemeral
    # ...

8.10.2.1. Kafka ログディレクトリーのマウントパス

一時ボリュームは、以下のパスにマウントされるログディレクトリーとして Kafka ブローカーによって使用されます。

/var/lib/kafka/data/kafka-logIDX

IDX は、Kafka ブローカー Pod インデックスです。たとえば、/var/lib/kafka/data/kafka-log0 のようになります。

8.10.3. 永続ストレージ

永続的なデータストレージは、システムが中断した場合でもデータを保持します。永続的なデータストレージを使用する Pod の場合、データは Pod の障害や再起動後も保持されます。

動的プロビジョニングフレームワークにより、永続的なストレージを使用してクラスターを作成できます。Pod 設定では、永続ボリューム要求 (PVC) を使用して、永続ボリューム (PV) でストレージ要求を行います。PV は、ストレージボリュームを表すストレージリソースです。PV は、それを使用する Pod から独立しています。PVC は、Pod の作成時に必要なストレージの量を要求します。PV の基盤となるストレージインフラストラクチャーを理解する必要はありません。PV がストレージ基準に一致する場合、PVC は PV にバインドされます。

永続的な性質のため、本番環境には永続ストレージを推奨します。

PVC は、StorageClass を指定することにより、さまざまなタイプの永続ストレージを要求できます。ストレージクラスはストレージプロファイルを定義し、PV を動的にプロビジョニングします。ストレージクラスが指定されていない場合、デフォルトのストレージクラスが使用されます。永続ストレージオプションには、SAN ストレージタイプまたは ローカル永続ボリューム が含まれる場合があります。

永続ストレージを使用するには、Kafka または ZooKeeper リソースのストレージタイプ設定を persistent-claim に設定します。

本番環境では、次の設定が推奨されます。

  • Kafka の場合、type: jbod を 1 つ以上の type: persistent-claim ボリュームで設定します
  • ZooKeeper の場合は、type: persistent-claim を設定します。

永続ストレージには、次の設定オプションもあります。

id (任意)
ストレージ ID 番号。このオプションは、JBOD ストレージ宣言で定義されるストレージボリュームには必須です。デフォルトは 0 です。
size (必須)
永続ボリューム要求のサイズ (例: 1000Gi)。
class (任意)
動的ボリュームプロビジョニングに使用する OpenShift の ストレージクラス。ストレージ class の設定には、ボリュームのプロファイルを詳細に記述するパラメーターが含まれます。
selector (任意)
特定の PV を指定する設定。選択したボリュームのラベルを表す key:value ペアを提供します。
deleteClaim (任意)
クラスターのアンインストール時に PVC を削除するかどうかを指定するブール値。デフォルトは false です。
警告

既存の AMQ Streams クラスターで永続ボリュームのサイズを増やすことは、永続ボリュームのサイズ変更をサポートする OpenShift バージョンでのみサポートされます。サイズを変更する永続ボリュームには、ボリューム拡張をサポートするストレージクラスを使用する必要があります。ボリューム拡張をサポートしないその他のバージョンの OpenShift およびストレージクラスでは、クラスターをデプロイする前に必要なストレージサイズを決定する必要があります。既存の永続ボリュームのサイズを縮小することはできません。

Kafka と ZooKeeper の永続ストレージ設定の例

# ...
spec:
  kafka:
    # ...
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
      - id: 1
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
      - id: 2
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
    # ...
  zookeeper:
    storage:
      type: persistent-claim
      size: 1000Gi
# ...

ストレージクラスを指定しない場合、デフォルトが使用されます。次の例では、ストレージクラスを指定します。

特定のストレージクラスを使用した永続ストレージ設定の例

# ...
storage:
  type: persistent-claim
  size: 1Gi
  class: my-storage-class
# ...

selector を使用して、SSD などの特定の機能を提供するラベル付き永続ボリュームを指定します。

セレクターを使用した永続ストレージ設定の例

# ...
storage:
  type: persistent-claim
  size: 1Gi
  selector:
    hdd-type: ssd
  deleteClaim: true
# ...

8.10.3.1. ストレージクラスのオーバーライド

デフォルトのストレージクラスを使用する代わりに、1 つ以上の Kafka ブローカー または ZooKeeper ノードに異なるストレージクラスを指定できます。これは、ストレージクラスが、異なるアベイラビリティーゾーンやデータセンターに制限されている場合などに便利です。この場合、overrides フィールドを使用できます。

以下の例では、デフォルトのストレージクラスの名前は my-storage-class になります。

ストレージクラスのオーバーライドを使用した AMQ Streams クラスターの例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  labels:
    app: my-cluster
  name: my-cluster
  namespace: myproject
spec:
  # ...
  kafka:
    replicas: 3
    storage:
      type: jbod
      volumes:
      - id: 0
        type: persistent-claim
        size: 100Gi
        deleteClaim: false
        class: my-storage-class
        overrides:
        - broker: 0
          class: my-storage-class-zone-1a
        - broker: 1
          class: my-storage-class-zone-1b
        - broker: 2
          class: my-storage-class-zone-1c
      # ...
  # ...
  zookeeper:
    replicas: 3
    storage:
      deleteClaim: true
      size: 100Gi
      type: persistent-claim
      class: my-storage-class
      overrides:
        - broker: 0
          class: my-storage-class-zone-1a
        - broker: 1
          class: my-storage-class-zone-1b
        - broker: 2
          class: my-storage-class-zone-1c
  # ...

overrides プロパティーが設定され、ボリュームによって以下のストレージクラスが使用されます。

  • ZooKeeper ノード 0 の永続ボリュームでは my-storage-class-zone-1a が使用されます。
  • ZooKeeper ノード 1 の永続ボリュームでは my-storage-class-zone-1b が使用されます。
  • ZooKeeepr ノード 2 の永続ボリュームでは my-storage-class-zone-1c が使用されます。
  • Kafka ブローカー 0 の永続ボリュームでは my-storage-class-zone-1a が使用されます。
  • Kafka ブローカー 1 の永続ボリュームでは my-storage-class-zone-1b が使用されます。
  • Kafka ブローカー 2 の永続ボリュームでは my-storage-class-zone-1c が使用されます。

現在、overrides プロパティーは、ストレージクラスの設定をオーバーライドするためのみに使用されます。他のストレージ設定プロパティーのオーバーライドは現在サポートされていません。他のストレージ設定プロパティーは現在サポートされていません。

8.10.3.2. 永続ストレージ用の PVC リソース

永続ストレージを使用すると、次の名前で PVC が作成されます。

data-cluster-name-kafka-idx
Kafka ブローカー Pod idx のデータを格納するために使用されるボリュームの PVC。
data-cluster-name-zookeeper-idx
ZooKeeper ノード Pod idx のデータを格納するために使用されるボリュームの PVC。
8.10.3.3. Kafka ログディレクトリーのマウントパス

永続ボリュームは、以下のパスにマウントされるログディレクトリーとして Kafka ブローカーによって使用されます。

/var/lib/kafka/data/kafka-logIDX

IDX は、Kafka ブローカー Pod インデックスです。たとえば、/var/lib/kafka/data/kafka-log0 のようになります。

8.10.4. 永続ボリュームのサイズ変更

クラスターで使用される永続ボリュームは、ストレージインフラストラクチャーがサポートしている限り、データ損失のリスクなしにサイズ変更できます。ストレージのサイズを変更するための設定更新に続いて、AMQ Streams はストレージインフラストラクチャーに変更を行うように指示します。ストレージ拡張は、persistent-claim ボリュームを使用する AMQ Streams クラスターでサポートされています。

ストレージの削減は、ブローカーごとに複数のディスクを使用する場合にのみ可能です。ディスク上のすべてのパーティションを同じブローカー内の他のボリューム (ブローカー内) または同じクラスター内の他のブローカー (クラスター内) に移動した後、ディスクを削除できます。

重要

永続ボリュームのサイズは OpenShift で現在サポートされていないため、減らすことはできません。

前提条件

  • ボリュームのサイズ変更をサポートする OpenShift クラスター。
  • Cluster Operator が稼働中である。
  • ボリューム拡張をサポートするストレージクラスを使用して作成された永続ボリュームを使用する Kafka クラスター。

手順

  1. クラスターの Kafka リソースを編集します。

    size プロパティーを変更して、Kafka クラスター、ZooKeeper クラスター、またはその両方に割り当てられた永続ボリュームのサイズを増やします。

    • Kafka クラスターの場合は、spec.kafka.storage の下にある size プロパティーを更新します。
    • ZooKeeper クラスターの場合は、spec.zookeeper.storage の下にある size プロパティーを更新します。

    ボリュームサイズを 2000Giに増やす Kafka 設定

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        storage:
          type: persistent-claim
          size: 2000Gi
          class: my-storage-class
        # ...
      zookeeper:
        # ...

  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

    OpenShift では、Cluster Operator からの要求に応じて、選択された永続ボリュームの容量が増やされます。サイズ変更が完了すると、サイズ変更された永続ボリュームを使用するすべての Pod が Cluster Operator によって再起動されます。これは自動的に行われます。

  3. クラスター上の関連する Pod のストレージ容量が増加したことを確認します。

    oc get pv

    ストレージが増加した Kafka ブローカー Pod

    NAME               CAPACITY   CLAIM
    pvc-0ca459ce-...   2000Gi     my-project/data-my-cluster-kafka-2
    pvc-6e1810be-...   2000Gi     my-project/data-my-cluster-kafka-0
    pvc-82dc78c9-...   2000Gi     my-project/data-my-cluster-kafka-1

    出力には、ブローカー Pod に関連付けられた各 PVC の名前が表示されます。

関連情報

8.10.5. JBOD ストレージ

AMQ Streams で、複数のディスクやボリュームのデータストレージ設定である JBOD を使用するように設定できます。JBOD は、Kafka ブローカーのデータストレージを増やす方法の 1 つです。また、パフォーマンスを向上することもできます。

注記

JBOD ストレージは Kafka でのみ サポートされ、ZooKeeper ではサポートされません。

JBOD 設定は 1 つ以上のボリュームによって記述され、各ボリュームは 一時 または 永続 ボリュームのいずれかになります。JBOD ボリューム宣言のルールおよび制約は、一時および永続ストレージのルールおよび制約と同じです。たとえば、プロビジョニング後に永続ストレージのボリュームのサイズを縮小することはできません。また、タイプが ephemeral の場合は、sizeLimit の値を変更することはできません。

JBOD ストレージを使用するには、Kafka リソースのストレージタイプ設定を jbod に設定します。volumes プロパティーを使用すると、JBOD ストレージアレイまたは設定を設定するディスクを記述できます。

JBOD ストレージ設定の例

# ...
storage:
  type: jbod
  volumes:
  - id: 0
    type: persistent-claim
    size: 100Gi
    deleteClaim: false
  - id: 1
    type: persistent-claim
    size: 100Gi
    deleteClaim: false
# ...

JBOD ボリュームが作成されると、ID を変更することはできません。JBOD 設定からボリュームを追加または削除できます。

8.10.5.1. JBOD ストレージの PVC リソース

永続ストレージを使用して JBOD ボリュームを宣言すると、次の名前の PVC が作成されます。

data-id-cluster-name-kafka-idx
Kafka ブローカー Pod idx のデータを格納するために使用されるボリュームの PVC。id は、Kafka ブローカー Pod のデータを格納するために使用されるボリュームの ID になります。
8.10.5.2. Kafka ログディレクトリーのマウントパス

JBOD ボリュームは、以下のパスにマウントされるログディレクトリーとして Kafka ブローカーによって使用されます。

/var/lib/kafka/data-id/kafka-logidx

id は、Kafka ブローカー Pod idx のデータを保存するために使用されるボリュームの ID に置き換えます。たとえば、/var/lib/kafka/data-0/kafka-log0 のようになります。

8.10.6. JBOD ストレージへのボリュームの追加

この手順では、JBOD ストレージを使用するように設定されている Kafka クラスターにボリュームを追加する方法を説明します。この手順は、他のストレージタイプを使用するように設定されている Kafka クラスターには適用できません。

注記

以前使用され、削除された id の下に新規ボリュームを追加する場合、以前使用された PersistentVolumeClaims が必ず削除されているよう確認する必要があります。

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator
  • JBOD ストレージのある Kafka クラスター。

手順

  1. Kafka リソースの spec.kafka.storage.volumes プロパティーを編集します。新しいボリュームを volumes アレイに追加します。たとえば、id が 2 の新しいボリュームを追加します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        storage:
          type: jbod
          volumes:
          - id: 0
            type: persistent-claim
            size: 100Gi
            deleteClaim: false
          - id: 1
            type: persistent-claim
            size: 100Gi
            deleteClaim: false
          - id: 2
            type: persistent-claim
            size: 100Gi
            deleteClaim: false
        # ...
      zookeeper:
        # ...
  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>
  3. 新しいトピックを作成するか、既存のパーティションを新しいディスクに再度割り当てます。

    ヒント

    Cruise Control は、パーティションを再割り当てするための効果的なツールです。ブローカー内のディスク分散を実行するには、KafkaRebalance.specrebalanceDisktrue に設定します。

8.10.7. JBOD ストレージからのボリュームの削除

この手順では、JBOD ストレージを使用するように設定されている Kafka クラスターからボリュームを削除する方法を説明します。この手順は、他のストレージタイプを使用するように設定されている Kafka クラスターには適用できません。JBOD ストレージには、常に 1 つのボリュームが含まれている必要があります。

重要

データの損失を避けるには、ボリュームを削除する前にすべてのパーティションを移動する必要があります。

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator
  • 複数のボリュームがある JBOD ストレージのある Kafka クラスター

手順

  1. 削除するディスクからすべてのパーティションを再度割り当てます。削除するディスクに割り当てられたままになっているパーティションのデータは削除される可能性があります。

    ヒント

    kafka-reassign-partitions.sh ツールを使用してパーティションを再割り当てできます。

  2. Kafka リソースの spec.kafka.storage.volumes プロパティーを編集します。volumes アレイから 1 つまたは複数のボリュームを削除します。たとえば、ID が 12 のボリュームを削除します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        storage:
          type: jbod
          volumes:
          - id: 0
            type: persistent-claim
            size: 100Gi
            deleteClaim: false
        # ...
      zookeeper:
        # ...
  3. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

8.11. CPU およびメモリーのリソース制限とリクエストの設定

デフォルトでは、AMQ Streams Cluster Operator は、デプロイされたオペランドの CPU およびメモリーリソースのリクエストと制限を指定しません。Kafka の安定性を維持し、最適なパフォーマンスを達成するには、リソースの適切な割り当てを確保することが重要です。理想的なリソース割り当ては、特定の要件とユースケースによって異なります。

適切なリクエストと制限を設定 して、各コンテナーの CPU およびメモリーリソースを設定することを推奨します。

8.12. Pod スケジューリングの設定

同じ OpenShift ノード上でスケジュールされたアプリケーション間のリソース競合によるパフォーマンスの低下を回避するために、Kafka Pod を重要なワークロードとは別にスケジュールできます。これは、特定のノードを選択するか、ノードのセットを Kafka 専用にすることで実現できます。

8.12.1. アフィニティー、容認 (Toleration)、およびトポロジー分散制約の指定

アフィニティー、容認 (Toleration)、およびトポロジー分散制約を使用して、kafka リソースの Pod をノードにスケジュールします。アフィニティー、容認 (Toleration)、およびトポロジー分散制約は、以下のリソースの affinitytolerations、および topologySpreadConstraint プロパティーを使用して設定されます。

  • Kafka.spec.kafka.template.pod
  • Kafka.spec.zookeeper.template.pod
  • Kafka.spec.entityOperator.template.pod
  • KafkaConnect.spec.template.pod
  • KafkaBridge.spec.template.pod
  • KafkaMirrorMaker.spec.template.pod
  • KafkaMirrorMaker2.spec.template.pod

affinitytolerations、および topologySpreadConstraint プロパティーの形式は、OpenShift の仕様に準拠します。アフィニティー設定には、さまざまなタイプのアフィニティーを含めることができます。

  • Pod のアフィニティーおよび非アフィニティー
  • ノードのアフィニティー
8.12.1.1. Pod の非アフィニティーを使用して重要なアプリケーションがノードを共有しないようにする

Pod の非アフィニティーを使用して、重要なアプリケーションが同じディスクにスケジュールされないようにします。Kafka クラスターの実行時に、Pod の非アフィニティーを使用して、Kafka ブローカーがデータベースなどの他のワークロードとノードを共有しないようにすることが推奨されます。

8.12.1.2. ノードのアフィニティーを使用したワークロードの特定ノードへのスケジュール

OpenShift クラスターは、通常多くの異なるタイプのワーカーノードで設定されます。ワークロードが非常に大きい環境の CPU に対して最適化されたものもあれば、メモリー、ストレージ (高速のローカル SSD)、または ネットワークに対して最適化されたものもあります。異なるノードを使用すると、コストとパフォーマンスの両面で最適化しやすくなります。最適なパフォーマンスを実現するには、AMQ Streams コンポーネントのスケジューリングで適切なノードを使用できるようにすることが重要です。

OpenShift はノードのアフィニティーを使用してワークロードを特定のノードにスケジュールします。ノードのアフィニティーにより、Pod がスケジュールされるノードにスケジューリングの制約を作成できます。制約はラベルセレクターとして指定されます。beta.kubernetes.io/instance-type などの組み込みノードラベルまたはカスタムラベルのいずれかを使用してラベルを指定すると、適切なノードを選択できます。

8.12.1.3. 専用ノードへのノードのアフィニティーと容認 (Toleration) の使用

テイントを使用して専用ノードを作成し、ノードのアフィニティーおよび容認 (Toleration) を設定して専用ノードに Kafka Pod をスケジュールします。

クラスター管理者は、選択した OpenShift ノードをテイントとしてマーク付けできます。テイントのあるノードは、通常のスケジューリングから除外され、通常の Pod はそれらのノードでの実行はスケジュールされません。ノードに設定されたテイントを許容できるサービスのみをスケジュールできます。このようなノードで実行されるその他のサービスは、ログコレクターやソフトウェア定義のネットワークなどのシステムサービスのみです。

専用のノードで Kafka とそのコンポーネントを実行する利点は多くあります。障害の原因になったり、Kafka に必要なリソースを消費するその他のアプリケーションが同じノードで実行されません。これにより、パフォーマンスと安定性が向上します。

8.12.2. それぞれの Kafka ブローカーを別のワーカーノードでスケジュールするための Pod の非アフィニティーの設定

多くの Kafka ブローカーまたは ZooKeeper ノードは、同じ OpenShift ワーカーノードで実行できます。ワーカーノードが失敗すると、それらはすべて同時に利用できなくなります。信頼性を向上させるために、podAntiAffinity 設定を使用して、各 Kafka ブローカーまたは ZooKeeper ノードを異なる OpenShift ワーカーノードにスケジュールすることができます。

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator

手順

  1. クラスターデプロイメントを指定するリソースの affinity プロパティーを編集します。ワーカーノードが Kafka ブローカーまたは ZooKeeper ノードで共有されないようにするには、strimzi.io/name ラベルを使用します。topologyKeykubernetes.io/hostname に設定して、選択した Pod が同じホスト名のノードでスケジュールされないように指定します。これにより、同じワーカーノードを単一の Kafka ブローカーと単一の ZooKeeper ノードで共有できます。以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      kafka:
        # ...
        template:
          pod:
            affinity:
              podAntiAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  - labelSelector:
                      matchExpressions:
                        - key: strimzi.io/name
                          operator: In
                          values:
                            - CLUSTER-NAME-kafka
                    topologyKey: "kubernetes.io/hostname"
        # ...
      zookeeper:
        # ...
        template:
          pod:
            affinity:
              podAntiAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  - labelSelector:
                      matchExpressions:
                        - key: strimzi.io/name
                          operator: In
                          values:
                            - CLUSTER-NAME-zookeeper
                    topologyKey: "kubernetes.io/hostname"
        # ...

    CLUSTER-NAME は、Kafka カスタムリソースの名前です。

  2. Kafka ブローカーと ZooKeeper ノードが同じワーカーノードを共有しないようにする場合は、strimzi.io/cluster ラベルを使用します。以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      kafka:
        # ...
        template:
          pod:
            affinity:
              podAntiAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  - labelSelector:
                      matchExpressions:
                        - key: strimzi.io/cluster
                          operator: In
                          values:
                            - CLUSTER-NAME
                    topologyKey: "kubernetes.io/hostname"
        # ...
      zookeeper:
        # ...
        template:
          pod:
            affinity:
              podAntiAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  - labelSelector:
                      matchExpressions:
                        - key: strimzi.io/cluster
                          operator: In
                          values:
                            - CLUSTER-NAME
                    topologyKey: "kubernetes.io/hostname"
        # ...

    CLUSTER-NAME は、Kafka カスタムリソースの名前です。

  3. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

8.12.3. Kafka コンポーネントでの Pod の非アフィニティーの設定

Pod の非アフィニティー設定は、Kafka ブローカーの安定性とパフォーマンスに役立ちます。podAntiAffinity を使用すると、OpenShift は他のワークロードと同じノードで Kafka ブローカーをスケジュールしません。通常、Kafka が他のネットワークと同じワーカーノードで実行されないようにし、データベース、ストレージ、その他のメッセージングプラットフォームなどのストレージを大量に消費するアプリケーションで実行されないようにします。

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator

手順

  1. クラスターデプロイメントを指定するリソースの affinity プロパティーを編集します。ラベルを使用して、同じノードでスケジュールすべきでない Pod を指定します。topologyKeykubernetes.io/hostname に設定し、選択した Pod が同じホスト名のノードでスケジュールされてはならないことを指定する必要があります。以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      kafka:
        # ...
        template:
          pod:
            affinity:
              podAntiAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  - labelSelector:
                      matchExpressions:
                        - key: application
                          operator: In
                          values:
                            - postgresql
                            - mongodb
                    topologyKey: "kubernetes.io/hostname"
        # ...
      zookeeper:
        # ...
  2. リソースを作成または更新します。

    oc apply を使用して、これを行うことができます。

    oc apply -f <kafka_configuration_file>

8.12.4. Kafka コンポーネントでのノードのアフィニティーの設定

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator

手順

  1. AMQ Streams コンポーネントをスケジュールする必要のあるノードにラベルを付けます。

    oc label を使用してこれを行うことができます。

    oc label node NAME-OF-NODE node-type=fast-network

    または、既存のラベルによっては再利用が可能です。

  2. クラスターデプロイメントを指定するリソースの affinity プロパティーを編集します。以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      kafka:
        # ...
        template:
          pod:
            affinity:
              nodeAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  nodeSelectorTerms:
                    - matchExpressions:
                      - key: node-type
                        operator: In
                        values:
                        - fast-network
        # ...
      zookeeper:
        # ...
  3. リソースを作成または更新します。

    oc apply を使用して、これを行うことができます。

    oc apply -f <kafka_configuration_file>

8.12.5. 専用ノードの設定と Pod のスケジューリング

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator

手順

  1. 専用ノードとして使用するノードを選択します。
  2. これらのノードにスケジュールされているワークロードがないことを確認します。
  3. 選択したノードにテイントを設定します。

    oc adm taint を使用してこれを行うことができます。

    oc adm taint node NAME-OF-NODE dedicated=Kafka:NoSchedule
  4. さらに、選択したノードにラベルも追加します。

    oc label を使用してこれを行うことができます。

    oc label node NAME-OF-NODE dedicated=Kafka
  5. クラスターデプロイメントを指定するリソースの affinity および tolerations プロパティーを編集します。

    以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      kafka:
        # ...
        template:
          pod:
            tolerations:
              - key: "dedicated"
                operator: "Equal"
                value: "Kafka"
                effect: "NoSchedule"
            affinity:
              nodeAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  nodeSelectorTerms:
                  - matchExpressions:
                    - key: dedicated
                      operator: In
                      values:
                      - Kafka
        # ...
      zookeeper:
        # ...
  6. リソースを作成または更新します。

    oc apply を使用して、これを行うことができます。

    oc apply -f <kafka_configuration_file>

8.13. ロギングレベルの設定

Kafka コンポーネントおよび AMQ Streams Operator のカスタムリソースでロギングレベルを設定します。ログレベルは、カスタムリソースの spec.logging プロパティーに直接指定できます。あるいは、configMapKeyRef プロパティーを使用してカスタムリソースで参照される ConfigMap でロギングプロパティーを定義することもできます。

ConfigMap を使用する利点は、ロギングプロパティーが 1 カ所で維持され、複数のリソースにアクセスできることです。複数のリソースに ConfigMap を再利用することもできます。ConfigMap を使用して AMQ Streams Operator のロガーを指定する場合は、ロギング仕様を追加してフィルターを追加することもできます。

ロギング仕様でロギング type を指定します。

  • ロギングレベルを直接指定する場合は inline
  • ConfigMap を参照する場合は external

inline ロギングの設定例

spec:
  # ...
  logging:
    type: inline
    loggers:
      kafka.root.logger.level: INFO

external 設定の例

spec:
  # ...
  logging:
    type: external
    valueFrom:
      configMapKeyRef:
        name: my-config-map
        key: my-config-map-key

ConfigMap の namekey の値は必須です。namekey が設定されていない場合は、デフォルトのロギングが使用されます。

8.13.1. Kafka コンポーネントおよび Operator のロギングオプション

特定の Kafka コンポーネントまたは Operator のログ設定の詳細は、次のセクションを参照してください。

8.13.2. ロギングの ConfigMap の作成

ConfigMap を使用してロギングプロパティーを定義するには、ConfigMap を作成してから、リソースの spec にあるロギング定義の一部としてそれを参照します。

ConfigMap には適切なロギング設定が含まれる必要があります。

  • Kafka コンポーネント、ZooKeeper、および Kafka Bridge の log4j.properties
  • Topic Operator および User Operator の log4j2.properties

設定はこれらのプロパティーの配下に配置する必要があります。

この手順では、ConfigMap は Kafka リソースのルートロガーを定義します。

手順

  1. ConfigMap を作成します。

    ConfigMap を YAML ファイルとして作成するか、プロパティーファイルから Config Map を作成します。

    Kafka のルートロガー定義が含まれる ConfigMap の例:

    kind: ConfigMap
    apiVersion: v1
    metadata:
      name: logging-configmap
    data:
      log4j.properties:
        kafka.root.logger.level="INFO"

    プロパティーファイルを使用している場合は、コマンドラインでファイルを指定します。

    oc create configmap logging-configmap --from-file=log4j.properties

    プロパティーファイルではロギング設定が定義されます。

    # Define the logger
    kafka.root.logger.level="INFO"
    # ...
  2. リソースの specexternal ロギングを定義し、logging.valueFrom.configMapKeyRef.name に ConfigMap の名前を、logging.valueFrom.configMapKeyRef.key にこの ConfigMap のキーを設定します。

    spec:
      # ...
      logging:
        type: external
        valueFrom:
          configMapKeyRef:
            name: logging-configmap
            key: log4j.properties
  3. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

8.13.3. Cluster Operator のロギングの設定

Cluster Operator のロギングは、strimzi-cluster-operator という名前の ConfigMap を使用して設定されます。ロギング設定が含まれる ConfigMap は、Cluster Operator のインストール時に作成されます。この ConfigMap は、install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml ファイルに記述されます。この ConfigMap のデータフィールド data.log4j2.properties を変更することで、Cluster Operator のロギングを設定します。

ロギング設定を更新するには、050-ConfigMap-strimzi-cluster-operator.yaml ファイルを編集し、以下のコマンドを実行します。

oc create -f install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml

または、ConfigMap を直接編集することもできます。

oc edit configmap strimzi-cluster-operator

この ConfigMap を使用すると、ルートロガーレベル、ログ出力形式、さまざまなコンポーネントのログレベルなど、ログのさまざまな側面を制御できます。monitorInterval 設定は、ログ設定をリロードする頻度を決定します。Kafka AdminClient、ZooKeeper ZKTrustManager、Netty、および OkHttp クライアントのログレベルを制御することもできます。Netty は AMQ Streams でネットワーク通信に使用されるフレームワークで、OkHttp は HTTP リクエストの作成に使用されるライブラリーです。

クラスターオペレータのデプロイ時に ConfigMap がない場合、デフォルトのロギング値が使用されます。

Cluster Operator のデプロイ後に ConfigMap が誤って削除される場合、最後に読み込まれたロギング設定が使用されます。新規のロギング設定を読み込むために新規 ConfigMap を作成します。

注記

ConfigMap から monitorInterval オプションを削除しないでください。

8.13.4. AMQ Streams Operator へのロギングフィルターの追加

ConfigMap を使用して AMQ Streams Operator のロギングレベル (log4j2) ロギングレベルを設定する場合、ロギングフィルターを定義して、ログに返される内容も制限できます。

ロギングフィルターは、ロギングメッセージが多数ある場合に役に立ちます。ロガーのログレベルを DEBUG(rootLogger.level="DEBUG") に設定すると仮定します。ロギングフィルターは、このレベルでロガーに対して返されるログ数を減らし、特定のリソースに集中できるようにします。フィルターが設定されると、フィルターに一致するログメッセージのみがログに記録されます。

フィルターはマーカーを使用して、ログに含まれる内容を指定します。マーカーの種類、namespace、および名前を指定します。たとえば、Kafka クラスターで障害が発生した場合、種類を Kafka に指定してログを分離し、障害が発生しているクラスターの namespace および名前を使用します。

以下の例は、my-kafka-cluster という名前の Kafka クラスターのマーカーフィルターを示しています。

基本的なロギングフィルターの設定

rootLogger.level="INFO"
appender.console.filter.filter1.type=MarkerFilter 1
appender.console.filter.filter1.onMatch=ACCEPT 2
appender.console.filter.filter1.onMismatch=DENY 3
appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster) 4

1
MarkerFilter 型は、フィルターを行うために指定されたマーカーを比較します。
2
onMatch プロパティーは、マーカーが一致するとログを受け入れます。
3
onMismatch プロパティーは、マーカーが一致しない場合にログを拒否します。
4
フィルター処理に使用されるマーカーの形式は KIND(NAMESPACE/NAME-OF-RESOURCE) です。

フィルターは 1 つまたは複数作成できます。ここでは、ログは 2 つの Kafka クラスターに対してフィルターされます。

複数のロギングフィルターの設定

appender.console.filter.filter1.type=MarkerFilter
appender.console.filter.filter1.onMatch=ACCEPT
appender.console.filter.filter1.onMismatch=DENY
appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster-1)
appender.console.filter.filter2.type=MarkerFilter
appender.console.filter.filter2.onMatch=ACCEPT
appender.console.filter.filter2.onMismatch=DENY
appender.console.filter.filter2.marker=Kafka(my-namespace/my-kafka-cluster-2)

フィルターの Cluster Operator への追加

フィルターを Cluster Operator に追加するには、そのロギング ConfigMap YAML ファイルを更新します (install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml)。

手順

  1. 050-ConfigMap-strimzi-cluster-operator.yaml ファイルを更新して、フィルタープロパティーを ConfigMap に追加します。

    この例では、フィルタープロパティーは my-kafka-cluster Kafka クラスターのログのみを返します。

    kind: ConfigMap
    apiVersion: v1
    metadata:
      name: strimzi-cluster-operator
    data:
      log4j2.properties:
        #...
        appender.console.filter.filter1.type=MarkerFilter
        appender.console.filter.filter1.onMatch=ACCEPT
        appender.console.filter.filter1.onMismatch=DENY
        appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster)

    または、ConfigMap を直接編集することもできます。

    oc edit configmap strimzi-cluster-operator
  2. ConfigMap を直接編集せずに YAML ファイルを更新する場合は、ConfigMap をデプロイして変更を適用します。

    oc create -f install/cluster-operator/050-ConfigMap-strimzi-cluster-operator.yaml

Topic Operator または User Operator へのフィルターの追加

フィルターを Topic Operator または User Operator に追加するには、ロギング ConfigMap を作成または編集します。

この手順では、ロギング ConfigMap は、Topic Operator のフィルターで作成されます。User Operator に同じアプローチが使用されます。

手順

  1. ConfigMap を作成します。

    ConfigMap を YAML ファイルとして作成するか、プロパティーファイルから Config Map を作成します。

    この例では、フィルタープロパティーは my-topic トピックに対してのみログを返します。

    kind: ConfigMap
    apiVersion: v1
    metadata:
      name: logging-configmap
    data:
      log4j2.properties:
        rootLogger.level="INFO"
        appender.console.filter.filter1.type=MarkerFilter
        appender.console.filter.filter1.onMatch=ACCEPT
        appender.console.filter.filter1.onMismatch=DENY
        appender.console.filter.filter1.marker=KafkaTopic(my-namespace/my-topic)

    プロパティーファイルを使用している場合は、コマンドラインでファイルを指定します。

    oc create configmap logging-configmap --from-file=log4j2.properties

    プロパティーファイルではロギング設定が定義されます。

    # Define the logger
    rootLogger.level="INFO"
    # Set the filters
    appender.console.filter.filter1.type=MarkerFilter
    appender.console.filter.filter1.onMatch=ACCEPT
    appender.console.filter.filter1.onMismatch=DENY
    appender.console.filter.filter1.marker=KafkaTopic(my-namespace/my-topic)
    # ...
  2. リソースの specexternal ロギングを定義し、logging.valueFrom.configMapKeyRef.name に ConfigMap の名前を、logging.valueFrom.configMapKeyRef.key にこの ConfigMap のキーを設定します。

    Topic Operator については、Kafka リソースの topicOperator 設定でロギングを指定します。

    spec:
      # ...
      entityOperator:
        topicOperator:
          logging:
            type: external
            valueFrom:
              configMapKeyRef:
                name: logging-configmap
                key: log4j2.properties
  3. Cluster Operator をデプロイして変更を適用します。
create -f install/cluster-operator -n my-cluster-operator-namespace

8.14. ConfigMap を使用した設定の追加

ConfigMap リソースを使用して、特定の設定を AMQ Streams デプロイメントに追加します。ConfigMap はキーと値のペアを使用して機密ではないデータを保存します。ConfigMap に追加された設定データは 1 か所に保持され、コンポーネント間で再利用できます。

ConfigMap は、次のタイプの設定データのみを保存できます。

  • ロギングの設定
  • メトリックの設定
  • Kafka Connect コネクターの外部設定

設定の他の領域に ConfigMap を使用することはできません。

コンポーネントを設定する場合、configMapKeyRef プロパティーを使用して ConfigMap への参照を追加できます。

たとえば、configMapKeyRef を使用してロギングの設定を提供する ConfigMap を参照できます。ConfigMap を使用して Log4j 設定ファイルを渡すことができます。参照を logging 設定に追加します。

ロギングの ConfigMap の例

spec:
  # ...
  logging:
    type: external
    valueFrom:
      configMapKeyRef:
        name: my-config-map
        key: my-config-map-key

メトリクス設定に ConfigMap を使用するには、同じ方法でコンポーネントの metricsConfig 設定への参照を追加します。

ExternalConfiguration プロパティーは、Pod にマウントされた ConfigMap (またはシークレット) からのデータを環境変数またはボリュームとして使用できるようにします。Kafka Connect によって使用されるコネクターの外部設定データを使用できます。データは外部データソースに関連する可能性があり、コネクターがそのデータソースと通信するために必要な値を指定します。

たとえば、configMapKeyRef プロパティーを使用して、ConfigMap から設定データを環境変数として渡すことができます。

環境変数の値を提供する ConfigMap の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect
spec:
  # ...
  externalConfiguration:
    env:
      - name: MY_ENVIRONMENT_VARIABLE
        valueFrom:
          configMapKeyRef:
            name: my-config-map
            key: my-key

外部で管理される ConfigMap を使用している場合は、設定プロバイダーを使用して ConfigMap にデータを読み込みます。

8.14.1. カスタム ConfigMap の命名

AMQ Streams は、OpenShift にデプロイされると、独自の ConfigMap およびその他のリソースを作成 します。ConfigMap には、コンポーネントの実行に必要なデータが含まれます。AMQ Streams によって作成された ConfigMap は編集しないでください。

作成するカスタム ConfigMap にはこれらのデフォルト ConfigMap と同じ名前がないことを確認します。名前が同じ場合は上書きされます。たとえば、ConfigMap が Kafka クラスターの ConfigMap と同じ名前である場合、Kafka クラスターの更新がある場合に上書きされます。

8.15. 外部ソースからの設定値の読み込み

設定プロバイダーを使用して、外部ソースから設定データを読み込みます。プロバイダーは AMQ Streams とは独立して動作します。これを使用して、プロデューサーやコンシューマーを含む、すべての Kafka コンポーネントの設定データを読み込むことができます。コンポーネントの設定で外部ソースを参照し、アクセス権を提供します。プロバイダーは、新しい外部ソースを参照する場合でも、Kafka コンポーネントの再起動やファイルの抽出を必要とせずにデータを読み込みます。たとえば、プロバイダーを使用して、Kafka Connect コネクター設定の認証情報を提供します。設定には、外部ソースへのアクセス権が含まれている必要があります。

8.15.1. 設定プロバイダーの有効化

コンポーネントの spec 設定で config.providers プロパティーを使用して、1 つ以上の設定プロバイダーを有効にできます。

設定プロバイダーを有効にするための設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  # ...
  config:
    # ...
    config.providers: env
    config.providers.env.class: io.strimzi.kafka.EnvVarConfigProvider
  # ...

KubernetesSecretConfigProvider
OpenShift シークレットから設定データを読み込みます。シークレットの名前と、設定データが保存されるシークレット内のキーを指定します。このプロバイダーは、パスワードやその他のユーザー認証情報などの機密設定データを保存するのに役立ちます。
KubernetesConfigMapConfigProvider
OpenShift config map から設定データを読み込みます。config map の名前と、設定データが保存される config map 内のキーを指定します。このプロバイダーは、機密性のない設定データを保存するのに役立ちます。
EnvVarConfigProvider
環境変数から設定データを読み込みます。設定データが保存される環境変数の名前を指定します。このプロバイダーは、コンテナー内で実行されるアプリケーションを設定する場合、たとえば、シークレットからマップされた環境変数から証明書や JAAS 設定をロードする場合に役立ちます。
FileConfigProvider
ファイルから設定データを読み込みます。設定データが保存されているファイルへのパスを指定します。このプロバイダーは、コンテナーにマウントされたファイルから設定データをロードする場合に役立ちます。
DirectoryConfigProvider
ディレクトリー内のファイルから設定データを読み込みます。設定ファイルが保存されているディレクトリーへのパスを指定します。このプロバイダーは、複数の設定ファイルを読み込んだり、設定データを個別のファイルに整理したりする場合に役立ちます。

OpenShift Configuration Provider プラグインの一部である KubernetesSecretConfigProvider および KubernetesConfigMapConfigProvider を使用するには、設定ファイルを含む namespace へのアクセス権を設定する必要があります。

アクセス権を設定せずに他のプロバイダーを使用できます。次の手順を実行することで、この方法で Kafka Connect または MirrorMaker 2 のコネクター設定を提供できます。

  • config map またはシークレットを環境変数またはボリュームとして Kafka Connect Pod にマウントします
  • Kafka Connect または MirrorMaker 2 設定で EnvVarConfigProviderFileConfigProvider、または DirectoryConfigProvider を有効にする
  • KafkaConnect または KafkaMirrorMaker2 リソースの specexternalConfiguration プロパティーを使用してコネクター設定を渡します。

プロバイダーを使用すると、Kafka Connect REST インターフェイスを介して制限された情報が渡されるのを防ぐことができます。このアプローチは次のシナリオで使用できます。

  • コネクターがデータソースとの接続と通信に使用する値を使用して環境変数をマウントする
  • Kafka Connect コネクターの設定に使用される値を含むプロパティーファイルをマウントする
  • コネクターが使用する TLS トラストストアとキーストアの値を含むディレクトリーにファイルをマウントする
注記

コネクターに新しい Secret または ConfigMap を使用する場合は再起動が必要であり、他のコネクターが中断される可能性があります。

8.15.2. シークレットまたは config map から設定値を読み込む

KubernetesSecretConfigProvider を使用してシークレットから設定プロパティーを提供するか、KubernetesConfigMapConfigProvider を使用して config map から設定プロパティーを提供します。

この手順では、config map はコネクターの設定プロパティーを提供します。プロパティーは、config map のキー値として指定されます。config map は、Kafka Connect Pod にボリュームとしてマウントされます。

前提条件

  • 稼働中の Kafka クラスター
  • Cluster Operator が稼働中である。
  • コネクター設定を含む config map がある。

コネクタープロパティーを含む config map の例

apiVersion: v1
kind: ConfigMap
metadata:
  name: my-connector-configuration
data:
  option1: value1
  option2: value2

手順

  1. KafkaConnect リソースを設定します。

    • KubernetesConfigMapConfigProvider を有効にする

    ここに示す仕様は、config map およびシークレットからの値のロードをサポートできます。

    config map とシークレットを使用するための Kafka Connect 設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect
      annotations:
        strimzi.io/use-connector-resources: "true"
    spec:
      # ...
      config:
        # ...
        config.providers: secrets,configmaps 1
        config.providers.configmaps.class: io.strimzi.kafka.KubernetesConfigMapConfigProvider 2
        config.providers.secrets.class: io.strimzi.kafka.KubernetesSecretConfigProvider 3
      # ...

    1
    設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。
    2
    KubernetesConfigMapConfigProvider は設定マップから値を指定します。
    3
    KubernetesSecretConfigProvider は Secret から値を指定します。
  2. リソースを作成または更新してプロバイダーを有効にします。

    oc apply -f <kafka_connect_configuration_file>
  3. 外部の設定マップの値へのアクセスを許可するロールを作成します。

    設定マップから値にアクセスするロールの例

    apiVersion: rbac.authorization.k8s.io/v1
    kind: Role
    metadata:
      name: connector-configuration-role
    rules:
    - apiGroups: [""]
      resources: ["configmaps"]
      resourceNames: ["my-connector-configuration"]
      verbs: ["get"]
    # ...

    このルールは、my-connector-configuration 設定マップにアクセスするためのロールパーミッションを付与します。

  4. ロールバインディングを作成し、設定マップが含まれる namespace へのアクセスを許可します。

    設定マップが含まれる namespace にアクセスするためのロールバインディングの例

    apiVersion: rbac.authorization.k8s.io/v1
    kind: RoleBinding
    metadata:
      name: connector-configuration-role-binding
    subjects:
    - kind: ServiceAccount
      name: my-connect-connect
      namespace: my-project
    roleRef:
      kind: Role
      name: connector-configuration-role
      apiGroup: rbac.authorization.k8s.io
    # ...

    ロールバインディングは、ロールに my-project 名前空間へのアクセス許可を与えます。

    サービスアカウントは、Kafka Connect デプロイメントによって使用されるものと同じである必要があります。サービスアカウント名の形式は <cluster_name>-connect で、<cluster_name>KafkaConnect のカスタムリソースの名前です。

  5. コネクター設定で設定マップを参照します。

    設定マップを参照するコネクター設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnector
    metadata:
      name: my-connector
      labels:
        strimzi.io/cluster: my-connect
    spec:
      # ...
      config:
        option: ${configmaps:my-project/my-connector-configuration:option1}
        # ...
    # ...

    プレースホルダー構造は、configmaps:<path_and_file_name>:<property> です。KubernetesConfigMapConfigProvider は、外部の ConfigMap から option1 プロパティーの値を読み込んで抽出します。

8.15.3. 環境変数から設定値の読み込み

EnvVarConfigProvider を使用して、設定プロパティーを環境変数として提供します。環境変数には、config map またはシークレットの値を含めることができます。

この手順では、環境変数は、Amazon AWS と通信するためのコネクターの設定プロパティーを提供します。コネクターは AWS_ACCESS_KEY_ID および AWS_SECRET_ACCESS_KEY の読み取みを可能にする必要があります。環境変数の値は、Kafka Connect Pod にマウントされたシークレットから派生します。

注記

ユーザー定義の環境変数に、KAFKA_ または STRIMZI_ で始まる名前を付けることはできません。

前提条件

  • 稼働中の Kafka クラスター
  • Cluster Operator が稼働中である。
  • コネクター設定を含むシークレットがある。

環境変数の値を含むシークレットの例

apiVersion: v1
kind: Secret
metadata:
  name: aws-creds
type: Opaque
data:
  awsAccessKey: QUtJQVhYWFhYWFhYWFhYWFg=
  awsSecretAccessKey: Ylhsd1lYTnpkMjl5WkE=

手順

  1. KafkaConnect リソースを設定します。

    • EnvVarConfigProvider を有効にする
    • externalConfiguration プロパティーを使用して環境変数を指定します。

    外部環境変数を使用するための Kafka Connect 設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect
      annotations:
        strimzi.io/use-connector-resources: "true"
    spec:
      # ...
      config:
        # ...
        config.providers: env 1
        config.providers.env.class: io.strimzi.kafka.EnvVarConfigProvider 2
      # ...
      externalConfiguration:
        env:
          - name: AWS_ACCESS_KEY_ID 3
            valueFrom:
              secretKeyRef:
                name: aws-creds 4
                key: awsAccessKey 5
          - name: AWS_SECRET_ACCESS_KEY
            valueFrom:
              secretKeyRef:
                name: aws-creds
                key: awsSecretAccessKey
      # ...

    1
    設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。
    2
    EnvVarConfigProvider は、環境変数から値を指定します。
    3
    環境変数はシークレットから値を取得します。
    4
    環境変数を含むシークレットの名前。
    5
    シークレットに保存されているキーの名前。
    注記

    SecretKeyRef プロパティーは、シークレット内のキーを参照します。シークレットの代わりに config map を使用している場合は、configMapKeyRef プロパティーを使用します。

  2. リソースを作成または更新してプロバイダーを有効にします。

    oc apply -f <kafka_connect_configuration_file>
  3. コネクター設定の環境変数を参照してください。

    環境変数を参照するコネクター設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnector
    metadata:
      name: my-connector
      labels:
        strimzi.io/cluster: my-connect
    spec:
      # ...
      config:
        option: ${env:AWS_ACCESS_KEY_ID}
        option: ${env:AWS_SECRET_ACCESS_KEY}
        # ...
    # ...

    プレースホルダー構造は env:<environment_variable_name> です。EnvVarConfigProvider は、マウントされたシークレットから環境変数値を読み取り、抽出します。

8.15.4. ディレクトリー内のファイルから設定値を読み込む

FileConfigProvider を使用して、ディレクトリー内のファイルから設定プロパティーを提供します。ファイルは config map またはシークレットにすることができます。

この手順では、ファイルによりコネクターの設定プロパティーが提供されます。データベース名とパスワードはシークレットのプロパティーとして指定されます。シークレットは、Kafka Connect Pod にボリュームとしてマウントされます。ボリュームはパス /opt/kafka/external-configuration/<volume-name> にマウントされます。

前提条件

  • 稼働中の Kafka クラスター
  • Cluster Operator が稼働中である。
  • コネクター設定を含むシークレットがある。

データベースプロパティーのあるシークレットの例

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
stringData:
  connector.properties: |- 1
    dbUsername: my-username 2
    dbPassword: my-password

1
プロパティーファイル形式のコネクター設定。
2
設定で使用されるデータベースのユーザー名およびパスワードプロパティー。

手順

  1. KafkaConnect リソースを設定します。

    • FileConfigProvider を有効にする
    • externalConfiguration プロパティーを使用してファイルを指定します。

    外部プロパティーファイルを使用するための Kafka Connect 設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect
    spec:
      # ...
      config:
        config.providers: file 1
        config.providers.file.class: org.apache.kafka.common.config.provider.FileConfigProvider 2
      #...
      externalConfiguration:
        volumes:
          - name: connector-config 3
            secret:
              secretName: mysecret 4

    1
    設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。
    2
    FileConfigProvider はプロパティーファイルから値を提供します。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。
    3
    シークレットが含まれるボリュームの名前。
    4
    シークレットの名前。
  2. リソースを作成または更新してプロバイダーを有効にします。

    oc apply -f <kafka_connect_configuration_file>
  3. コネクター設定内のファイルプロパティーをプレースホルダーとして参照します。

    ファイルを参照するコネクター設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnector
    metadata:
      name: my-source-connector
      labels:
        strimzi.io/cluster: my-connect-cluster
    spec:
      class: io.debezium.connector.mysql.MySqlConnector
      tasksMax: 2
      config:
        database.hostname: 192.168.99.1
        database.port: "3306"
        database.user: "${file:/opt/kafka/external-configuration/connector-config/mysecret:dbUsername}"
        database.password: "${file:/opt/kafka/external-configuration/connector-config/mysecret:dbPassword}"
        database.server.id: "184054"
        #...

    プレースホルダー構造は、file:<path_and_file_name>:<property> です。FileConfigProvider は、マウントされたシークレットからデータベースのユーザー名とパスワードのプロパティー値を読み取り、抽出します。

8.15.5. ディレクトリー内の複数のファイルから設定値を読み込む

DirectoryConfigProvider を使用して、ディレクトリー内の複数のファイルから設定プロパティーを提供します。ファイルは config map またはシークレットにすることができます。

この手順では、シークレットによって、コネクターの TLS キーストアとトラストストアのユーザー認証情報が提供されます。認証情報は別のファイルにあります。シークレットは、Kafka Connect Pod にボリュームとしてマウントされます。ボリュームはパス /opt/kafka/external-configuration/<volume-name> にマウントされます。

前提条件

  • 稼働中の Kafka クラスター
  • Cluster Operator が稼働中である。
  • ユーザー認証情報を含むシークレットを持っている。

ユーザー認証情報を含むシークレットの例

apiVersion: v1
kind: Secret
metadata:
  name: my-user
  labels:
    strimzi.io/kind: KafkaUser
    strimzi.io/cluster: my-cluster
type: Opaque
data:
  ca.crt: <public_key> # Public key of the clients CA
  user.crt: <user_certificate> # Public key of the user
  user.key: <user_private_key> # Private key of the user
  user.p12: <store> # PKCS #12 store for user certificates and keys
  user.password: <password_for_store> # Protects the PKCS #12 store

my-user シークレットは、コネクターのキーストア認証情報 (user.crt および user.key) を提供します。

Kafka クラスターのデプロイ時に生成される <cluster_name>-cluster-ca-cert シークレットは、クラスター CA 証明書をトラストストア認証情報 (ca.crt) として提供します。

手順

  1. KafkaConnect リソースを設定します。

    • DirectoryConfigProvider を有効にする
    • externalConfiguration プロパティーを使用してファイルを指定します。

    外部プロパティーファイルを使用するための Kafka Connect 設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect
    spec:
      # ...
      config:
        config.providers: directory 1
        config.providers.directory.class: org.apache.kafka.common.config.provider.DirectoryConfigProvider 2
      #...
      externalConfiguration:
        volumes: 3
          - name: cluster-ca 4
            secret:
              secretName: my-cluster-cluster-ca-cert 5
          - name: my-user
            secret:
              secretName: my-user 6

    1
    設定プロバイダーのエイリアスは、他の設定パラメーターを定義するために使用されます。
    2
    DirectoryConfigProvider はディレクトリー内のファイルからの値を提供します。プロバイダーパラメーターは config.providers からのエイリアスを使用し、config.providers.${alias}.class の形式を取ります。
    3
    シークレットを含むボリュームの名前。
    4
    トラストストア設定を提供するクラスター CA 証明書のシークレットの名前。
    5
    ユーザーがキーストア設定を指定するためのシークレットの名前。
  2. リソースを作成または更新してプロバイダーを有効にします。

    oc apply -f <kafka_connect_configuration_file>
  3. コネクター設定内のファイルプロパティーをプレースホルダーとして参照します。

    ファイルを参照するコネクター設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnector
    metadata:
      name: my-source-connector
      labels:
        strimzi.io/cluster: my-connect-cluster
    spec:
      class: io.debezium.connector.mysql.MySqlConnector
      tasksMax: 2
      config:
        # ...
        database.history.producer.security.protocol: SSL
        database.history.producer.ssl.truststore.type: PEM
        database.history.producer.ssl.truststore.certificates: "${directory:/opt/kafka/external-configuration/cluster-ca:ca.crt}"
        database.history.producer.ssl.keystore.type: PEM
        database.history.producer.ssl.keystore.certificate.chain: "${directory:/opt/kafka/external-configuration/my-user:user.crt}"
        database.history.producer.ssl.keystore.key: "${directory:/opt/kafka/external-configuration/my-user:user.key}"
        #...

    プレースホルダー構造は directory:<path>:<file_name> です。DirectoryConfigProvider は、マウントされたシークレットから認証情報を読み取り、抽出します。

8.16. OpenShift リソースのカスタマイズ

AMQ Streams デプロイメントでは、DeploymentPodService リソースなどの OpenShift リソースが作成されます。これらのリソースは AMQ Streams Operator が管理します。特定の OpenShift リソースの管理を担当する operator のみがそのリソースを変更できます。operator によって管理される OpenShift リソースを手動で変更しようとすると、operator はその変更を元に戻します。

operator が管理する OpenShift リソースの変更は、以下のような特定のタスクを実行する場合に役立ちます。

  • Pod が Istio またはその他のサービスによって処理される方法を制御するカスタムラベルまたはアノテーションの追加
  • Loadbalancer-type サービスがクラスターによって作成される方法の管理

OpenShift リソースに変更を加えるには、さまざまな AMQ Streams カスタムリソースの spec セクション内で template プロパティーを使用できます。

変更を適用できるカスタムリソースのリストは次のとおりです。

  • Kafka.spec.kafka
  • Kafka.spec.zookeeper
  • Kafka.spec.entityOperator
  • Kafka.spec.kafkaExporter
  • Kafka.spec.cruiseControl
  • KafkaNodePool.spec
  • KafkaConnect.spec
  • KafkaMirrorMaker.spec
  • KafkaMirrorMaker2.spec
  • KafkaBridge.spec
  • KafkaUser.spec

これらのプロパティーの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

AMQ Streams Custom Resource API Reference には、カスタマイズ可能なフィールドの詳細が記載されています。

以下の例では、template プロパティーを使用して Kafka ブローカーの Pod のラベルを変更します。

テンプレートのカスタマイズ例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
  labels:
    app: my-cluster
spec:
  kafka:
    # ...
    template:
      pod:
        metadata:
          labels:
            mylabel: myvalue
    # ...

8.16.1. イメージプルポリシーのカスタマイズ

AMQ Streams では、Cluster Operator によってデプロイされたすべての Pod のコンテナーのイメージプルポリシーをカスタマイズできます。イメージプルポリシーは、Cluster Operator デプロイメントの環境変数 STRIMZI_IMAGE_PULL_POLICY を使用して設定されます。STRIMZI_IMAGE_PULL_POLICY 環境変数に設定できる値は 3 つあります。

Always
Pod が起動または再起動されるたびにコンテナーイメージがレジストリーからプルされます。
IfNotPresent
以前プルされたことのないコンテナーイメージのみがレジストリーからプルされます。
Never
コンテナーイメージはレジストリーからプルされることはありません。

現在、イメージプルポリシーは、すべての Kafka、Kafka Connect、および Kafka MirrorMaker クラスターに対して一度にのみカスタマイズできます。ポリシーを変更すると、すべての Kafka、Kafka Connect、および Kafka MirrorMaker クラスターのローリング更新が実行されます。

関連情報

8.16.2. 終了時の猶予期間の適用

終了時の猶予期間を適用し、Kafka クラスターが正常にシャットダウンされるように十分な時間を確保します。

terminationGracePeriodSeconds プロパティーを使用して時間を指定します。プロパティーを Kafka カスタムリソースの template.pod 設定に追加します。

追加する時間は Kafka クラスターのサイズによって異なります。終了猶予期間の OpenShift のデフォルト値は 30 秒です。クラスターが正常にシャットダウンしていないことが判明した場合には、終了までの猶予期間を増やすことができます。

終了時の猶予期間は、Pod が再起動されるたびに適用されます。この期間は、OpenShift が Pod で実行されているプロセスに term (中断) シグナルを送信すると開始します。この期間は、終了する Pod のプロセスを、停止する前に別の Pod に転送するのに必要な時間を反映する必要があります。期間の終了後、kill シグナルにより、Pod で実行中のプロセスはすべて停止します。

以下の例では、終了猶予期間 120 秒を Kafka カスタムリソースに追加します。他の Kafka コンポーネントのカスタムリソースで設定を指定することもできます。

終了猶予期間の設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    template:
      pod:
        terminationGracePeriodSeconds: 120
        # ...
    # ...

第9章 Topic Operator を使用した Kafka トピックの管理

KafkaTopic リソースは、パーティションやレプリケーション係数の設定などのトピックを設定します。KafkaTopic を使用してトピックを作成、変更、または削除すると、Topic Operator はこれらの変更が Kafka クラスターに確実に反映されるようにします。

KafkaTopic リソースの詳細については、KafkaTopic スキーマ参照 を参照してください。

9.1. トピック管理モード

KafkaTopic リソースは、Kafka クラスター内の単一トピックを管理します。Topic Operator は、KafkaTopic リソースと Kafka トピックを管理するための 2 つのモードを提供します。

双方向モード
双方向モードでは、クラスター管理に ZooKeeper が必要です。KRaft モードでの AMQ Streams の使用とは互換性がありません。
(プレビュー) 単方向モード
一方向モードでは、クラスター管理に ZooKeeper は必要ありません。KRaft モードでの AMQ Streams の使用と互換性があります。
注記

一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには UnidirectionTopicOperator フィーチャーゲートを有効にする 必要があります。

9.1.1. 双方向のトピック管理

双方向モードでは、Topic Operator は次のように動作します。

  • KafkaTopic が作成、削除、または変更されると、Topic Operator は Kafka トピックに対して対応するアクションを実行します。
  • 同様に、Kafka クラスター内でトピックが作成、削除、または変更されると、Topic Operator は KafkaTopic リソースに対して対応する操作を実行します。
ヒント

KafkaTopic リソースまたは Kafka で直接トピックを管理する方法を 1 つ保持してみてください。特定のトピックで、両方の方法を頻繁に切り替えないでください。

9.1.2. (プレビュー) 一方向のトピック管理

双方向モードでは、Topic Operator は次のように動作します。

  • KafkaTopic が作成、削除、または変更されると、Topic Operator は Kafka トピックに対して対応するアクションを実行します。

対応する KafkaTopic リソースが存在せずに、トピックが Kafka クラスター内で直接作成、削除、または変更された場合、Topic Operator はそのトピックを管理しません。Topic Operator は KafkaTopic リソースに関連付けられた Kafka トピックのみを管理し、Kafka クラスター内で独立して管理されるトピックに干渉しません。Kafka トピックに KafkaTopic が存在する場合は、リソースの外部で行われた設定変更はすべて元に戻されます。

9.2. トピックの命名規則

KafkaTopic リソースには、トピックの名前と、そのトピックが属する Kafka クラスターの名前を識別するラベルが含まれます。

トピック処理用の Kafka クラスターの特定

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  name: topic-name-1
  labels:
    strimzi.io/cluster: my-cluster
spec:
  topicName: topic-name-1

ラベルは、Kafka リソースのクラスター名を指定します。Topic Operator は、管理する KafkaTopic リソースを決定するメカニズムとしてラベルを使用します。ラベルが Kafka クラスターと一致しない場合、トピックオペレーターは KafkaTopic を 認識できず、トピックは作成されません。

Kafka と OpenShift には独自の命名検証ルールがあり、Kafka トピック名は OpenShift では有効なリソース名ではない可能性があります。可能であれば、両方に有効な命名規則に従うようにしてください。

次のガイドラインを考慮してください。

  • トピックの性質を反映したトピック名を使用
  • 名前は簡潔にして 63 文字以内に
  • すべて小文字とハイフンを使用
  • 特殊文字、スペース、シンボルは避ける

KafkaTopic リソースを使用すると、metadata.name フィールドを使用して Kafka トピック名を指定できます。ただし、目的の Kafka トピック名が有効な OpenShift リソース名ではない場合は、spec.topicName プロパティーを使用して実際の名前を指定できます。spec.topicName フィールドはオプションであり、これが存在しない場合、Kafka トピック名はデフォルトでトピックの metadata.name になります。トピックを作成すると、後でトピック名を変更することはできません。

有効な Kafka トピック名を指定する例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  name: my-topic-1 1
spec:
  topicName: My.Topic.1 2
  # ...

1
OpenShift で機能する有効なトピック名。
2
大文字とピリオドを使用した Kafka トピック名。OpenShift では無効です。

複数の KafkaTopic リソースが同じ Kafka トピックを参照している場合、最初に作成されたリソースがトピックを管理しているリソースとみなされます。新しいリソースのステータスが更新されて競合が示され、その Ready ステータスが False に変更されます。

Kafka Streams などの Kafka クライアントアプリケーションが無効な OpenShift リソース名を持つトピックを自動的に作成する場合、Topic Operator は双方向モードで使用すると有効な metadata.name を生成します。無効な文字を置換し、名前にハッシュを追加します。ただし、この動作は (プレビュー) 単方向モードには適用されません。

無効なトピック名を置き換える例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  name: my-topic---c55e57fe2546a33f9e603caf57165db4072e827e
  # ...

注記

クラスター内の識別子と名前の要件の詳細は、OpenShift ドキュメントの オブジェクト名と ID を参照してください。

9.3. トピック変更の処理

Topic Operator がトピックへの変更をどのように処理するかは、トピック管理のモード によって異なります。

  • 双方向のトピック管理の場合、設定の変更は Kafka トピックと KafkaTopic リソースの間で両方向に同期されます。互換性のない変更では Kafka 設定が優先され、それに応じて KafkaTopic リソースが調整されます。
  • 単方向トピック管理 (現在プレビュー段階) の場合、設定変更は一方向 (KafkaTopic リソースから Kafka トピックへ) にのみ行われます。KafkaTopic リソースの外部で管理される Kafka トピックへの変更はすべて元に戻されます。

9.3.1. 双方向トピック管理のためのトピックストア

双方向のトピック管理の場合、Topic Operator は、唯一の信頼できる情報源がない場合でもトピックへの変更を処理できます。KafkaTopic リソースと Kafka トピックは独立して変更される可能性がありますが、特にトピックオペレーターが動作していない場合には、変更をリアルタイムに観察することが常に可能であるとは限りません。これに対処するために、Topic Operator は、各トピックに関するトピック設定情報を保存するトピックストアを維持します。Kafka クラスターと OpenShift の状態をトピックストアと比較して、同期に必要な変更を判断します。この評価は、起動中および Topic Operator がアクティブである間、定期的に行われます。

たとえば、Topic Operator が非アクティブで、my-topic という名前の新しい KafkaTopic が作成された場合、再起動時に Topic Operator はトピックストアに my-topic が存在しないことを認識します。KafkaTopic が最後の操作の後に作成されたことを認識します。その結果、Topic Operator は対応する Kafka トピックを生成し、メタデータをトピックストアに保存します。

トピックストアを使用すると、Topic Operator は、変更に互換性がある限り、Kafka トピックと KafkaTopic リソースの両方でトピック設定が変更される状況を管理できます。Kafka トピック設定が更新されるか、KafkaTopic カスタムリソースに変更が加えられると、変更に互換性がある限り、Kafka クラスターとの調整後にトピックストアが更新されます。

トピックストアは、Kafka トピックを使用して状態を永続化する Kafka Streams のキーバリューメカニズムを基にしています。トピックメタデータはインメモリーでキャッシュされ、Topic Operator 内にてローカルでアクセスされます。ローカルのインメモリーキャッシュに適用される操作からの更新は、ディスク上のバックアップトピックストアに永続化されます。トピックストアは、Kafka トピックまたは OpenShift KafkaTopic カスタムリソースからの更新と継続的に同期されます。操作は、このような方法で設定されたトピックストアで迅速に処理されますが、インメモリーキャッシュがクラッシュした場合は、永続ストレージから自動的にデータが再入力されます。

内部トピックは、トピックストアでのトピックメタデータの処理をサポートします。

__strimzi_store_topic
トピックメタデータを保存するための入力トピック
__strimzi-topic-operator-kstreams-topic-store-changelog
圧縮されたトピックストア値のログの維持
警告

これらのトピックは、Topic Operator の実行に不可欠であるため、削除しないでください。

9.3.2. ZooKeeper からトピックストアへのトピックメタデータの移行

これまでのリリースの AMQ Streams では、トピックメタデータは ZooKeeper に保存されていました。トピックストアによってこの要件は除外されたため、メタデータは Kafka クラスターに取り込まれ、Topic Operator の制御下となります。

AMQ Streams 2.5 にアップグレードする場合は、Topic Operator によってトピックストアが制御されるようにシームレスに移行されます。メタデータは ZooKeeper から検出および移行され、古いストアは削除されます。

9.3.3. ZooKeeper を使用してトピックメタデータを保存する AMQ Streams バージョンへのダウングレード

トピックメタデータの保存に ZooKeeper を使用する 1.7 より前のバージョンの AMQ Streams に戻す場合でも、Cluster Operator を前のバージョンにダウングレードしてから、Kafka ブローカーおよびクライアントアプリケーションを前の Kafka バージョンにダウングレードします。

ただし、Kafka クラスターのブートストラップアドレスを指定して、kafka-topics コマンドを使用してトピックストア用に作成されたトピックを削除する必要もあります。以下に例を示します。

oc run kafka-admin -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi-topic-operator-kstreams-topic-store-changelog --delete && ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi_store_topic --delete

このコマンドは、Kafka クラスターへのアクセスに使用されるリスナーおよび認証のタイプに対応している必要があります。

Topic Operator は、Kafka のトピックの状態から ZooKeeper トピックメタデータを再構築します。

9.3.4. トピックの自動作成

アプリケーションは、Kafka クラスター内のトピックの自動作成をトリガーできます。デフォルトでは、Kafka ブローカー設定 auto.create.topics.enabletrue に設定されており、アプリケーションが存在しないトピックから生成または消費しようとしたときに、ブローカーがトピックを自動的に作成できるようになります。アプリケーションは、Kafka AdminClient を使用してトピックを自動的に作成する場合もあります。アプリケーションが KafkaTopic リソースとともにデプロイされる場合、トピックオペレーターが KafkaTopic に反応する前に、クラスター内でトピックの自動作成が行われる可能性があります。

双方向のトピック管理の場合、Topic Operator はトピックと KafkaTopic リソース間の変更を同期します。

単方向トピック管理プレビューを試している場合、これは、アプリケーションのデプロイメント用に作成されたトピックが、最初はデフォルトのトピック設定で作成されることを意味する可能性があります。トピックオペレーターがアプリケーションデプロイメントに含まれる KafkaTopic リソース仕様に基づいてトピックを再設定しようとすると、必要な設定変更が許可されていないため、操作が失敗する可能性があります。たとえば、変更がトピックパーティションの数を減らすことを意味する場合です。このため、一方向トピック管理を使用する場合は、Kafka クラスター設定で auto.create.topics.enable を無効にすることを推奨します。

9.4. Kafka トピックの設定

KafkaTopic リソースのプロパティーを使用して、Kafka トピックを設定します。KafkaTopic 内のトピック設定に加えられた変更は、Kafka に伝播されます。

oc apply を使用すると、トピックを作成または編集できます。oc delete を使用すると、既存のトピックを削除できます。

以下に例を示します。

  • oc apply -f <topic_config_file>
  • oc delete KafkaTopic <topic_name>

トピックを削除できるようにするには、Kafka リソースの spec.kafka.configdelete.topic.enabletrue (デフォルト) に設定する必要があります。

この手順では、10 個のパーティションと 2 つのレプリカがあるトピックを作成する方法を説明します。

注記

この手順は、トピック管理の双方向モードと (プレビュー) 単方向モードでも同じです。

作業を開始する前に

KafkaTopic リソースでは、次の変更は許可されません。

  • spec.topicName で定義されたトピックの名前を変更します。spec.topicNamestatus.topicName の不一致が検出されます。
  • spec.partitions を使用してパーティションの数を減らす (Kafka ではサポートされていません)。
  • spec.replicas で指定されたレプリカの数を変更します。
警告

キーを持つトピックの spec.partitions を増やすと、レコードのパーティション分割が変更され、特にトピックでセマンティックパーティション分割が使用されている場合に問題が発生する可能性があります。

前提条件

  • mTLS 認証と TLS 暗号化を使用する Kafka ブローカーリスナーで設定された実行中の Kafka クラスター。
  • 実行中の Topic Operator (通常は、Entity Operator とともにデプロイされます)。
  • トピックを削除する場合は、 Kafka リソースの spec.kafka.configdelete.topic.enable=true (デフォルト) である必要があります。

手順

  1. KafkaTopic リソースを設定します。

    Kafka トピックの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      name: my-topic-1
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 10
      replicas: 2

    ヒント

    トピックを変更する場合、oc get kafkatopic my-topic-1 -o yaml を使用してリソースの現在のバージョンを取得できます。

  2. OpenShift で KafkaTopic リソースを作成します。

    oc apply -f <topic_config_file>
  3. トピックの準備完了ステータスが True に変わるまで待ちます。

    oc get kafkatopics -o wide -w -n <namespace>

    Kafka トピックのステータス

    NAME         CLUSTER     PARTITIONS  REPLICATION FACTOR READY
    my-topic-1   my-cluster  10          3                  True
    my-topic-2   my-cluster  10          3
    my-topic-3   my-cluster  10          3                  True

    READY 出力が True を示す場合、トピックの作成は成功です。

  4. READY 列が空白のままの場合は、リソース YAML または Topic Operator ログからステータスの詳細を取得してください。

    ステータスメッセージには、現在のステータスの理由の詳細が示されます。

    oc get kafkatopics my-topic-2 -o yaml

    NotReady ステータスのトピックの詳細

    # ...
    status:
      conditions:
      - lastTransitionTime: "2022-06-13T10:14:43.351550Z"
        message: Number of partitions cannot be decreased
        reason: PartitionDecreaseException
        status: "True"
        type: NotReady

    この例では、トピックの準備ができていない理由は、KafkaTopic 設定で元のパーティション数が減ったためです。Kafka はこれをサポートしていません。

    トピック設定をリセットした後、ステータスはトピックの準備ができていることを示します。

    oc get kafkatopics my-topic-2 -o wide -w -n <namespace>

    トピックのステータス更新

    NAME         CLUSTER     PARTITIONS  REPLICATION FACTOR READY
    my-topic-2   my-cluster  10          3                  True

    詳細のフェッチではメッセージが表示されない

    oc get kafkatopics my-topic-2 -o yaml

    READY ステータスのトピックの詳細

    # ...
    status:
      conditions:
      - lastTransitionTime: '2022-06-13T10:15:03.761084Z'
        status: 'True'
        type: Ready

9.5. レプリケーションとパーティション数のトピックの設定

Topic Operator によって管理されるトピックには、トピックレプリケーション係数を 3 に設定し、最低でも 2 つの In-Sync レプリカを設定することが推奨されます。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  name: my-topic
  labels:
    strimzi.io/cluster: my-cluster
spec:
  partitions: 10 1
  replicas: 3 2
  config:
    min.insync.replicas: 2 3
  #...
1
トピックのパーティション数。
2
レプリカトピックパーティションの数。現在のところ、これは KafkaTopic リソースでは変更できませんが、kafka-reassign-partitions.sh ツールを使用して変更することができます。
3
メッセージが正常に書き込まれる必要があるレプリカパーティションの最小数。この条件を満たさない場合は例外が発生します。
注記

インシンクレプリカは、プロデューサーアプリケーションの acks 設定と組み合わせて使用します。acks 設定は、メッセージが正常に受信されたことを確認するまでに、メッセージを複製しなければならないフォロワーパーティションの数を決定します。双方向トピックオペレーターは、その内部トピックに対して acks=all を指定して実行されます。これにより、メッセージはすべての同期レプリカによって確認応答される必要があります。

ブローカーを追加または削除して Kafka クラスターをスケーリングする場合、レプリケーション係数設定は変更されず、レプリカは自動的に再割り当てされません。しかし、kafka-reassign-partitions.sh ツールを使用してレプリケーション係数を変更し、手動でレプリカをブローカーに再割り当てすることができます。

また、AMQ Streams の Cruise Control の統合ではトピックのレプリケーション係数を変更することはできませんが、Kafka をリバランスするために生成された最適化プロポーザルには、パーティションレプリカを転送し、パーティションリーダーを変更するコマンドが含まれます。

9.6. (プレビュー) Kafka トピックに影響を与えずに KafkaTopic リソースを管理する

この手順では、現在 KafkaTopic リソースを通じて管理されている Kafka トピックを非管理トピックに変換する方法について説明します。この機能はさまざまなシナリオで役立ちます。たとえば、KafkaTopic リソースの metadata.name を更新したい場合があります。これを行うには、元の KafkaTopic リソースを削除し、新しいリソースを再作成する必要があります。

KafkaTopic リソースに strimzi.io/managed=false のアノテーションを付けることにより、Topic Operator がその特定のトピックを管理すべきでないことを示します。これにより、リソースの設定やその他の管理タスクを変更しながら、Kafka トピックを保持できるようになります。

一方向トピック管理を使用している場合は、このタスクを実行できます。

注記

一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには UnidirectionTopicOperator フィーチャーゲートを有効にする 必要があります。

手順

  1. OpenShift で KafkaTopic リソースにアノテーションを付け、strimzi.io/managedfalse に設定します。

    oc annotate kafkatopic my-topic-1 strimzi.io/managed=false

    KafkaTopic リソース内のトピックの metadata.name を指定します。この例では my-topic-1 です。

  2. KafkaTopic リソースのステータスをチェックして、リクエストが成功したことを確認します。

    oc get kafkatopics my-topic-1 -o yaml

    Ready ステータスのトピックの例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      generation: 124
      name: my-topic-1
      finalizer:
        strimzi.io/topic-operator
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 10
      replicas: 2
    
    # ...
    status:
      observedGeneration: 124 1
      topicName: my-topic-1
      conditions:
      - type: Ready
        status: True
        lastTransitionTime: 20230301T103000Z

    1
    リソースの調整が成功すると、トピックは管理されなくなります。

    metadata.generation (デプロイの現在のバージョン) の値は、status.observedGeneration (リソースの最新の調整) と一致する必要があります。

  3. これで、管理していた Kafka トピックに影響を与えることなく、KafkaTopic リソースを変更できるようになりました。

    たとえば、metadata.name を変更するには、次のように実行します。

    1. 元の KafkTopic リソースを削除します。

      oc delete kafkatopic <kafka_topic_name>
    2. 別の metadata.name を使用して KafkTopic リソースを再作成しますが、元のリソースで管理されていたのと同じトピックを参照するには spec.topicName を使用します。
  4. 元の KafkaTopic リソースを削除していないが、Kafka トピックの管理を再度再開したい場合は、strimzi.io/managed アノテーションを true に設定するか、アノテーションを削除します。

9.7. (プレビュー) 既存の Kafka トピックのトピック管理を有効にする

この手順では、現在 KafkaTopic リソースを通じて管理されていないトピックのトピック管理を有効にする方法について説明します。これを行うには、一致する KafkaTopic リソースを作成します。

一方向トピック管理を使用している場合は、このタスクを実行できます。

注記

一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには UnidirectionTopicOperator フィーチャーゲートを有効にする 必要があります。

手順

  1. Kafka トピックと同じ metadata.name を使用して KafkaTopic リソースを作成します。

    または、Kafka のトピック名が有効な OpenShift リソース名ではない場合は、spec.topicName を使用します。

    Kafka トピックの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      name: my-topic-1
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 10
      replicas: 2

    この例では、Kafka トピックの名前は my-topic-1 です。

    Topic Operator は、トピックが別の KafkaTopic リソースによって管理されているかどうかを確認します。そうである場合、古いリソースが優先され、新しいリソースのステータスでリソース競合エラーが返されます。

  2. KafkaTopic リソースを適用します。

    oc apply -f <topic_configuration_file>
  3. operator が Kafka のトピックを更新するまで待ちます。

    operator は、同じ名前を持つ KafkaTopicspec で Kafka トピックを更新します。

  4. KafkaTopic リソースのステータスをチェックして、リクエストが成功したことを確認します。

    oc get kafkatopics my-topic-1 -o yaml

    Ready ステータスのトピックの例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      generation: 1
      name: my-topic-1
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 10
      replicas: 2
    # ...
    status:
      observedGeneration: 1 1
      topicName: my-topic-1
      conditions:
      - type: Ready
        status: True
        lastTransitionTime: 20230301T103000Z

    1
    リソースの調整が成功すると、トピックが管理されるようになりました。

    metadata.generation (デプロイの現在のバージョン) の値は、status.observedGeneration (リソースの最新の調整) と一致する必要があります。

9.8. (プレビュー) 管理トピックの削除

一方向トピック管理は、OpenShift ファイナライザーの有無にかかわらず、KafkaTopic リソースを通じて管理されるトピックの削除をサポートします。これは、STRIMZI_USE_FINALIZERS Topic Operator 環境変数によって制御されます。デフォルトでは、これは true に設定されます。ただし、Topic Operator でファイナライザーを追加する必要がない場合は、Topic Operator env 設定で false に設定できます。

注記

一方向トピック管理はプレビューとして利用できます。一方向トピック管理はデフォルトでは有効になっていないため、それを使用できるようにするには UnidirectionTopicOperator フィーチャーゲートを有効にする 必要があります。

ファイナライザーは、KafkaTopic リソースを順番に削除および制御します。Topic Operator のファイナライザーが KafkaTopic リソースのメタデータに追加されます。

トピックの削除を制御するファイナライザー

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  generation: 1
  name: my-topic-1
  finalizer:
    strimzi.io/topic-operator
  labels:
    strimzi.io/cluster: my-cluster

この例では、トピック my-topic-1 にファイナライザーが追加されます。ファイナライザーは、ファイナライズプロセスが完了するまでトピックが完全に削除されないようにします。次に、oc delete kafkatopic my-topic-1 を使用してトピックを削除すると、タイムスタンプがメタデータに追加されます。

削除時のファイナライザーのタイムスタンプ

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  generation: 1
  name: my-topic-1
  finalizer:
    strimzi.io/topic-operator
  labels:
    strimzi.io/cluster: my-cluster
  deletionTimestamp: 20230301T000000.000

リソースは引き続き存在します。削除に失敗した場合は、リソースのステータスにその旨が表示されます。

ファイナライゼーションタスクが正常に実行されると、ファイナライザーがメタデータから削除され、リソースが完全に削除されます。

ファイナライザーは、関連リソースが削除されることも防ぎます。一方向トピックオペレーターが実行されていない場合は、metadata.finalizer を削除できません。したがって、KafkaTopic リソースを含む namespace を削除する試みは、オペレーターが再起動されるか、ファイナライザーが削除されるまで (たとえば oc edit を使用して) 完了しません。

第10章 User Operator を使用した Kafka ユーザーの管理

KafkaUser リソースを使用してユーザーを作成、編集、または削除する場合、User Operator によって変更が確実に Kafka クラスターで反映されます。

KafkaUser リソースの詳細は、KafkaUser スキーマ参照 を参照してください。

10.1. Kafka ユーザーの設定

KafkaUser リソースのプロパティーを使用して、Kafka ユーザーを設定します。

oc apply を使用すると、ユーザーを作成または編集できます。oc delete を使用すると、既存のユーザーを削除できます。

以下に例を示します。

  • oc apply -f <user_config_file>
  • oc delete KafkaUser <user_name>

ユーザーは Kafka クライアントを表します。Kafka ユーザーを設定するとき、クライアントが Kafka にアクセスするのに必要なユーザーの認証および承認メカニズムを有効にします。使用するメカニズムは、同等の Kafka 設定と一致する必要があります。Kafka および KafkaUser リソースを使用して Kafka ブローカーへのアクセスを保護する方法の詳細については、Kafka ブローカーへの アクセスの保護 を参照してください。

前提条件

  • mTLS 認証と TLS 暗号化を使用する Kafka ブローカーリスナーで設定された実行中の Kafka クラスター。
  • 実行中の User Operator (通常は Entity Operator とともにデプロイされます)。

手順

  1. KafkaUser リソースを設定します。

    この例では、mTLS 認証と、ACL を使用した単純な承認を指定します。

    Kafka ユーザー設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaUser
    metadata:
      name: my-user-1
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      authentication:
        type: tls
      authorization:
        type: simple
        acls:
          # Example consumer Acls for topic my-topic using consumer group my-group
          - resource:
              type: topic
              name: my-topic
              patternType: literal
            operations:
              - Describe
              - Read
            host: "*"
          - resource:
              type: group
              name: my-group
              patternType: literal
            operations:
              - Read
            host: "*"
          # Example Producer Acls for topic my-topic
          - resource:
              type: topic
              name: my-topic
              patternType: literal
            operations:
              - Create
              - Describe
              - Write
            host: "*"

  2. OpenShift で KafkaUser リソースを作成します。

    oc apply -f <user_config_file>
  3. ユーザーの Ready ステータスが True に変わるまで待ちます。

    oc get kafkausers -o wide -w -n <namespace>

    Kafka ユーザーの状態

    NAME       CLUSTER     AUTHENTICATION  AUTHORIZATION READY
    my-user-1  my-cluster  tls             simple        True
    my-user-2  my-cluster  tls             simple
    my-user-3  my-cluster  tls             simple        True

    READY 出力が True を示す場合、ユーザーの作成は成功です。

  4. READY 列が空白のままの場合は、リソース YAML またはユーザー Operator ログからステータスの詳細を取得します。

    メッセージは、現在のステータスの理由に関する詳細を提供します。

    oc get kafkausers my-user-2 -o yaml

    NotReady ステータスのユーザーの詳細

    # ...
    status:
      conditions:
      - lastTransitionTime: "2022-06-10T10:07:37.238065Z"
        message: Simple authorization ACL rules are configured but not supported in the
          Kafka cluster configuration.
        reason: InvalidResourceException
        status: "True"
        type: NotReady

    この例では、ユーザーの準備ができていない理由は、Kafka 設定で簡易認証が有効になっていないためです。

    簡単な承認のための Kafka 設定

      apiVersion: kafka.strimzi.io/v1beta2
      kind: Kafka
      metadata:
        name: my-cluster
      spec:
        kafka:
          # ...
          authorization:
            type: simple

    Kafka 設定を更新した後、ステータスはユーザーの準備ができていることを示します。

    oc get kafkausers my-user-2 -o wide -w -n <namespace>

    ユーザーのステータス更新

    NAME       CLUSTER     AUTHENTICATION  AUTHORIZATION READY
    my-user-2  my-cluster  tls             simple        True

    詳細を取得してもメッセージは表示されません。

    oc get kafkausers my-user-2 -o yaml

    READY ステータスのユーザーの詳細

    # ...
    status:
      conditions:
      - lastTransitionTime: "2022-06-10T10:33:40.166846Z"
        status: "True"
        type: Ready

第11章 Apicurio Registry の Red Hat ビルドを使用したスキーマの検証

AMQ Streams で Apicurio Registry の Red Hat ビルドを使用できます。

Apicurio Registry は、API およびイベント駆動型アーキテクチャー全体で標準的なイベントスキーマおよび API 設計を共有するためのデータストアです。Apicurio Registry を使用して、クライアントアプリケーションからデータの構造を切り離し、REST インターフェイスを使用して実行時にデータ型と API の記述を共有および管理できます。

Apicurio Registry では、メッセージをシリアライズおよびデシリアライズするために使用されるスキーマが保存されます。その後、クライアントアプリケーションからスキーマを参照して、送受信されるメッセージとこれらのスキーマの互換性を維持するようにします。Apicurio Registry によって、Kafka プロデューサーおよびコンシューマーアプリケーションの Kafka クライアントシリアライザーおよびデシリアライザーが提供されます。Kafka プロデューサーアプリケーションは、シリアライザーを使用して、特定のイベントスキーマに準拠するメッセージをエンコードします。Kafka コンシューマーアプリケーションはデシリアライザーを使用して、特定のスキーマ ID に基づいてメッセージが適切なスキーマを使用してシリアライズされたことを検証します。

アプリケーションがレジストリーからスキーマを使用できるようにすることができます。これにより、スキーマが一貫して使用されるようにし、実行時にデータエラーが発生しないようにします。

関連情報

第12章 変更データキャプチャーのための Debezium の Red Hat ビルドとの統合

Red Hat build of Debezium は、分散型の変更データキャプチャープラットフォームです。データベースの行レベルの変更をキャプチャーして、変更イベントレコードを作成し、Kafka トピックにレコードをストリーミングします。Debezium は Apache Kafka に構築されます。AMQ Streams で Red Hat build of Debezium をデプロイおよび統合できます。AMQ Streams のデプロイ後に、Kafka Connect で Debezium をコネクター設定としてデプロイします。Debezium は変更イベントレコードを AMQ Streams on OpenShift に渡します。アプリケーションは 変更イベントストリーム を読み取りでき、変更イベントが発生した順にアクセスできます。

Debezium には、以下を含む複数の用途があります。

  • データレプリケーション
  • キャッシュの更新およびインデックスの検索
  • モノリシックアプリケーションの簡素化
  • データ統合
  • ストリーミングクエリーの有効化

データベースの変更をキャプチャーするには、Debezium データベースコネクターで Kafka Connect をデプロイします。KafkaConnector リソースを設定し、コネクターインスタンスを定義します。

AMQ Streams で Debezium の Red Hat ビルドをデプロイする方法の詳細は、製品ドキュメント を参照してください。ドキュメントには、Debezium スタートガイド が含まれています。このガイドでは、データベース更新の変更イベントレコードの表示に必要なサービスおよびコネクターの設定方法を説明しています。

第13章 Kafka クラスターへのクライアントアクセスの設定

AMQ Streams をデプロイ した後、Kafka クラスターへのクライアントアクセスをセットアップできます。デプロイメントを検証するために、サンプルのプロデューサークライアントとコンシューマークライアントをデプロイできます。それ以外の場合は、OpenShift クラスター内またはクラスター外でクライアントアクセスを提供するリスナーを作成します。

13.1. サンプルクライアントのデプロイ

サンプルのプロデューサークライアントとコンシューマークライアントをデプロイして、メッセージを送受信します。これらのクライアントを使用して、AMQ Streams のデプロイメントを検証できます。

前提条件

  • クライアントが Kafka クラスターを使用できる。

手順

  1. Kafka プロデューサーをデプロイします。

    oc run kafka-producer -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- bin/kafka-console-producer.sh --bootstrap-server cluster-name-kafka-bootstrap:9092 --topic my-topic
  2. プロデューサーが稼働しているコンソールにメッセージを入力します。
  3. Enter を押してメッセージを送信します。
  4. Kafka コンシューマーをデプロイします。

    oc run kafka-consumer -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- bin/kafka-console-consumer.sh --bootstrap-server cluster-name-kafka-bootstrap:9092 --topic my-topic --from-beginning
  5. コンシューマーコンソールに受信メッセージが表示されることを確認します。

13.2. Kafka ブローカーに接続するためのリスナー設定

Kafka ブローカーへのクライアント接続にはリスナーを使用します。AMQ Streams は、Kafka リソースを介してリスナーを設定するためのプロパティーを備えたジェネリックな GenericKafkaListener スキーマを提供しています。GenericKafkaListener は、リスナー設定に柔軟なアプローチを提供します。プロパティーを指定して、OpenShift クラスター内で接続する 内部 リスナーを設定したり、OpenShift クラスター外部で接続する 外部 リスナーを設定したりできます。

リスナー設定で Kafka を公開するための接続 type を指定します。要件ならびにお使いの環境およびインフラストラクチャーに応じて、選択するタイプは異なります。次のリスナータイプがサポートされています。

内部リスナー
  • 同じ OpenShift クラスター内で接続する internal
  • ブローカーごとの ClusterIP サービスを使用して Kafka を公開する cluster-ip
外部リスナー
  • OpenShift ノードのポートを使用する nodeport
  • ロードバランサーサービスを使用する loadbalancer
  • Kubernetes Ingress および Kubernetes 用 Ingress NGINX コントローラー を使用する ingress (Kubernetes のみ)
  • OpenShift Route とデフォルトの HAProxy ルーターを使用する route (OpenShift のみ)
重要

OpenShift では ingress を使用せず、代わりに route タイプを使用してください。Ingress NGINX コントローラーは、Kubernetes でのみ使用することを目的としています。route タイプは OpenShift でのみサポートされます。

internal タイプのリスナー設定は、ヘッドレスサービスと、ブローカー Pod に指定された DNS 名を使用します。OpenShift ネットワークを外部ネットワークに参加させたい場合があります。その場合、OpenShift サービスの DNS ドメイン (通常は .cluster.local) が使用されないように、内部 タイプのリスナーを (useServiceDnsDomain プロパティーを使用して) 設定できます。ブローカーごとの ClusterIP サービスに基づいて Kafka クラスターを公開する cluster-ip タイプのリスナーを設定することもできます。これは、ヘッドレスサービスを介してルーティングできない場合や、カスタムアクセスメカニズムを組み込みたい場合に便利なオプションです。たとえば、特定の Ingress コントローラーまたは OpenShift Gateway API 用に独自のタイプの外部リスナーを構築するときに、このリスナーを使用できます。

外部リスナーは、さまざまな認証メカニズムを必要とするネットワークから Kafka クラスターへのアクセスを処理します。ロードバランサーやルートなどの指定された接続メカニズムを使用して、OpenShift 環境外部のクライアントアクセスに対して外部リスナーを設定できます。たとえば、ロードバランサーは、ベアメタルなどの特定のインフラストラクチャーには適さない場合があります。ベアメタルでは、ノードポートがより適したオプションを提供します。

各リスナーは、Kafka リソース内の配列として定義されます。

リスナーの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: false
        configuration:
          useServiceDnsDomain: true
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication:
          type: tls
      - name: external
        port: 9094
        type: route
        tls: true
        configuration:
          brokerCertChainAndKey:
            secretName: my-secret
            certificate: my-certificate.crt
            key: my-key.key
    # ...

名前とポートが一意であれば、必要なリスナーをいくつでも設定できます。認証を使用してセキュアな接続を行うようにリスナーを設定することもできます。

各接続タイプの長所と短所については、Strimzi での Apache Kafka へのアクセスを参照してください。

注記

外部リスナーの使用時に Kafka クラスターをスケーリングする場合、すべての Kafka ブローカーのローリング更新がトリガーされる可能性があります。これは設定によって異なります。

13.3. リスナーを使用した Kafka クラスターへのクライアントアクセス設定

Kafka クラスターのアドレスを使用して、同じ OpenShift クラスター内のクライアントへのアクセスを提供できます。または、別の OpenShift namespace または完全に OpenShift の外部にあるクライアントへの外部アクセスを提供できます。この手順では、OpenShift の外部または別の OpenShift クラスターから、Kafka クラスターへのクライアントアクセスを設定する方法を示します。

Kafka リスナーは、Kafka クラスターへのアクセスを提供します。クライアントアクセスは、次の設定を使用して保護されます。

  1. mTLS 暗号化および認証、ならびに Kafka simple 承認を有効にして、Kafka クラスターに外部リスナーが設定されます。
  2. simple 承認用に mTLS 認証および アクセス制御リスト (ACL) を定義して、クライアントに KafkaUser が作成されます。

相互 tlsscram-sha-512、または oauth 認証を使用するようにリスナーを設定できます。mTLS は常に暗号化を使用しますが、SCRAM-SHA-512 および OAuth 2.0 認証を使用する場合は暗号化も推奨されます。

Kafka ブローカーに simpleoauthopa、または custom 承認を設定できます。承認を有効にすると、承認は有効なすべてのリスナーに適用されます。

KafkaUser 認証および承認メカニズムを設定する場合は、必ず同等の Kafka 設定と一致させてください。

  • KafkaUser.spec.authenticationKafka.spec.kafka.listeners[*].authentication と一致します。
  • KafkaUser.spec.authorizationKafka.spec.kafka.authorization と一致します。

KafkaUser に使用する認証をサポートするリスナーが少なくとも 1 つ必要です。

注記

Kafka ユーザーと Kafka ブローカー間の認証は、それぞれの認証設定によって異なります。たとえば、mTLS が Kafka 設定で有効になっていない場合は、mTLS でユーザーを認証できません。

AMQ Streams Operator は設定プロセスを自動化し、認証に必要な証明書を作成します。

  • Cluster Operator はリスナーを作成し、クラスターとクライアント認証局 (CA) 証明書を設定して、Kafka クラスターでの認証を有効にします。
  • User Operator はクライアントに対応するユーザーを作成すると共に、選択した認証タイプに基づいて、クライアント認証に使用されるセキュリティークレデンシャルを作成します。

証明書をクライアント設定に追加します。

この手順では、Cluster Operator によって生成された CA 証明書が使用されますが、独自の証明書をインストール して証明書を置き換えることもできます。外部 CA (認証局) によって管理される Kafka リスナー証明書を使用 するようにリスナーを設定することもできます。

証明書は、PEM (.crt) および PKCS #12 (.p12) 形式で利用できます。この手順では、PEM 証明書を使用します。X.509 形式の証明書を使用するクライアントで PEM 証明書を使用します。

注記

同じ OpenShift クラスターおよび namespace の内部クライアントの場合、Pod 仕様でクラスター CA 証明書をマウントできます。詳細については、クラスター CA を信頼するように内部クライアントを設定する を参照してください。

前提条件

  • OpenShift クラスターの外部で実行されているクライアントによる接続に、Kafka クラスターを使用できる。
  • Cluster Operator および User Operator がクラスターで実行されている。

手順

  1. Kafka リスナーを使用して Kafka クラスターを設定します。

    • リスナーを通じて Kafka ブローカーにアクセスするために必要な認証を定義します。
    • Kafka ブローカーで承認を有効にします。

      リスナーの設定例

      apiVersion: kafka.strimzi.io/v1beta2
      kind: Kafka
      metadata:
        name: my-cluster
        namespace: myproject
      spec:
        kafka:
          # ...
          listeners: 1
          - name: external 2
            port: 9094 3
            type: <listener_type> 4
            tls: true 5
            authentication:
              type: tls 6
            configuration: 7
              #...
          authorization: 8
            type: simple
            superUsers:
              - super-user-name 9
        # ...

      1
      外部リスナーを有効にする設定オプションは、汎用 Kafka リスナースキーマ参照 に記載されています。
      2
      リスナーを識別するための名前。Kafka クラスター内で一意である必要があります。
      3
      Kafka 内でリスナーによって使用されるポート番号。ポート番号は指定の Kafka クラスター内で一意である必要があります。許可されるポート番号は 9092 以上ですが、すでに Prometheus および JMX によって使用されているポート 9404 および 9999 以外になります。リスナーのタイプによっては、ポート番号は Kafka クライアントに接続するポート番号と同じではない場合があります。
      4
      外部リスナーのタイプは、route (OpenShift のみ)、loadbalancernodeport または ingress (Kubernetes のみ) として指定されます。内部リスナーは internal または cluster-ip として指定されます。
      5
      必須。リスナーでの TLS 暗号化。route および ingress タイプのリスナーの場合は、true に設定する必要があります。mTLS 認証の場合は、authentication プロパティーも使用します。
      6
      リスナーでのクライアント認証メカニズム。mTLS を使用したサーバーおよびクライアント認証の場合、tls: true および authentication.type: tls を指定します。
      7
      (オプション) リスナータイプの要件に応じて、追加の リスナー設定 を指定できます。
      8
      simple と指定された承認 (AclAuthorizer Kafka プラグインを使用する)。
      9
      (任意設定) スーパーユーザーは、ACL で定義されたアクセス制限に関係なく、すべてのブローカーにアクセスできます。
      警告

      OpenShift Route アドレスは、Kafka クラスターの名前、リスナーの名前、および作成される namespace の名前で設定されます。たとえば、my-cluster-kafka-listener1-bootstrap-myproject (CLUSTER-NAME-kafka-LISTENER-NAME-bootstrap-NAMESPACE) となります。route リスナータイプを使用している場合、アドレス全体の長さが上限の 63 文字を超えないように注意してください。

  2. Kafka リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

    Kafka クラスターは、mTLS 認証を使用する Kafka ブローカーリスナーと共に設定されます。

    Kafka ブローカー Pod ごとにサービスが作成されます。

    サービスが作成され、Kafka クラスターに接続するための ブートストラップアドレス として機能します。

    サービスは、nodeport リスナーを使用した Kafka クラスターへの外部接続用 外部ブートストラップアドレス としても作成されます。

    kafka ブローカーのアイデンティティーを検証するクラスター CA 証明書もシークレット <cluster_name>-cluster-ca-cert に作成されます。

    注記

    外部リスナーの使用時に Kafka クラスターをスケーリングする場合、すべての Kafka ブローカーのローリング更新がトリガーされる可能性があります。これは設定によって異なります。

  3. Kafka リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。

    oc get kafka <kafka_cluster_name> -o=jsonpath='{.status.listeners[?(@.name=="<listener_name>")].bootstrapServers}{"\n"}'

    以下に例を示します。

    oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}'

    Kafka クライアントのブートストラップアドレスを使用して、Kafka クラスターに接続します。

  4. Kafka クラスターにアクセスする必要があるクライアントに対応するユーザーを作成または変更します。

    • Kafka リスナーと同じ認証タイプを指定します。
    • simple 承認の承認 ACL を指定します。

      ユーザー設定の例

      apiVersion: kafka.strimzi.io/v1beta2
      kind: KafkaUser
      metadata:
        name: my-user
        labels:
          strimzi.io/cluster: my-cluster 1
      spec:
        authentication:
          type: tls 2
        authorization:
          type: simple
          acls: 3
            - resource:
                type: topic
                name: my-topic
                patternType: literal
              operations:
                - Describe
                - Read
            - resource:
                type: group
                name: my-group
                patternType: literal
              operations:
                - Read

      1
      ラベルは、Kafka クラスターのラベルと一致する必要があります。
      2
      相互 tls として指定された認証。
      3
      簡易承認には、ユーザーに適用する ACL ルールのリストが必要です。ルールは、ユーザー名 (my-user) を基に Kafka リソースで許可される操作を定義します。
  5. KafkaUser リソースを作成または変更します。

    oc apply -f USER-CONFIG-FILE

    KafkaUser リソースと同じ名前のシークレットと共に、ユーザーが作成されます。シークレットには、mTLS 認証用の公開鍵と秘密鍵が含まれています。

    シークレットの例

    apiVersion: v1
    kind: Secret
    metadata:
      name: my-user
      labels:
        strimzi.io/kind: KafkaUser
        strimzi.io/cluster: my-cluster
    type: Opaque
    data:
      ca.crt: <public_key> # Public key of the clients CA
      user.crt: <user_certificate> # Public key of the user
      user.key: <user_private_key> # Private key of the user
      user.p12: <store> # PKCS #12 store for user certificates and keys
      user.password: <password_for_store> # Protects the PKCS #12 store

  6. Kafka クラスターの <cluster_name>-cluster-ca-cert シークレットからクラスター CA 証明書を抽出します。

    oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
  7. <user_name> シークレットからユーザー CA 証明書を抽出します。

    oc get secret <user_name> -o jsonpath='{.data.user\.crt}' | base64 -d > user.crt
  8. <user_name> シークレットからユーザーの秘密鍵を抽出します。

    oc get secret <user_name> -o jsonpath='{.data.user\.key}' | base64 -d > user.key
  9. Kafka クラスターに接続するためのブートストラップアドレスのホスト名とポートを使用してクライアントを設定します。

    props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "<hostname>:<port>");
  10. Kafka クラスターの ID を検証するために、トラストストア認証情報を使用してクライアントを設定します。

    パブリッククラスター CA 証明書を指定します。

    トラストストア設定の例

    props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SSL");
    props.put(SslConfigs.SSL_TRUSTSTORE_TYPE_CONFIG, "PEM");
    props.put(SslConfigs.SSL_TRUSTSTORE_CERTIFICATES_CONFIG, "<ca.crt_file_content>");

    SSL は、mTLS 認証用に指定されたセキュリティープロトコルです。TLS を介した SCRAM-SHA-512 認証には SASL_SSL を指定します。PEM はトラストストアのファイル形式です。

  11. Kafka クラスターに接続する際にユーザーを検証するために、キーストア認証情報を使用してクライアントを設定します。

    公開証明書と秘密鍵を指定します。

    キーストア設定の例

    props.put(CommonClientConfigs.SECURITY_PROTOCOL_CONFIG, "SSL");
    props.put(SslConfigs.SSL_KEYSTORE_TYPE_CONFIG, "PEM");
    props.put(SslConfigs.SSL_KEYSTORE_CERTIFICATE_CHAIN_CONFIG, "<user.crt_file_content>");
    props.put(SslConfigs.SSL_KEYSTORE_KEY_CONFIG, "<user.key_file_content>");

    キーストア証明書と秘密鍵を設定に直接追加します。1 行形式で追加します。BEGIN CERTIFICATEEND CERTIFICATE 区切り文字の間は、改行文字 (\n) で始まります。元の証明書の各行も \n で終了します。

    キーストア設定の例

    props.put(SslConfigs.SSL_KEYSTORE_CERTIFICATE_CHAIN_CONFIG, "-----BEGIN CERTIFICATE----- \n<user_certificate_content_line_1>\n<user_certificate_content_line_n>\n-----END CERTIFICATE---");
    props.put(SslConfigs.SSL_KEYSTORE_KEY_CONFIG, "----BEGIN PRIVATE KEY-----\n<user_key_content_line_1>\n<user_key_content_line_n>\n-----END PRIVATE KEY-----");

    関連情報

13.4. ノードポートを使用した Kafka へのアクセス

ノードポートを使用して、OpenShift クラスターの外部の外部クライアントから AMQ Streams Kafka クラスターにアクセスします。

ブローカーに接続するには、Kafka ブートストラップアドレスのホスト名とポート番号、および TLS 暗号化に使用される証明書を指定します。

この手順では、基本的な nodeport リスナーの設定を示します。リスナープロパティーを使用して、TLS 暗号化 (tls) を有効にし、クライアント認証メカニズム (authentication) を指定できます。configuration プロパティーを使用して追加の設定を追加します。たとえば、nodeport リスナーで次の設定プロパティーを使用できます。

preferredNodePortAddressType
ノードアドレスとしてチェックされる最初のアドレスタイプを指定します。
externalTrafficPolicy
サービスによって外部トラフィックがローカルノードのエンドポイントまたはクラスター全体のエンドポイントにルーティングされるかどうかを指定します。
nodePort
ブートストラップおよびブローカーサービスに割り当てられたノードポート番号をオーバーライドします。

リスナー設定の詳細は、GenericKafkaListener スキーマ参照 を参照してください。

前提条件

  • 稼働中の Cluster Operator

この手順では、Kafka クラスター名は my-cluster です。リスナーの名前は external です。

手順

  1. 外部リスナーを nodeport タイプに設定して Kafka リソースを設定します。

    以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      labels:
        app: my-cluster
      name: my-cluster
      namespace: myproject
    spec:
      kafka:
        # ...
        listeners:
          - name: external
            port: 9094
            type: nodeport
            tls: true
            authentication:
              type: tls
            # ...
        # ...
      zookeeper:
        # ...
  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

    kafka ブローカーの ID を確認するためのクラスター CA 証明書は、シークレットの my-cluster-cluster-ca-cert に作成されます。

    NodePort タイプのサービスは、外部ブートストラップサービスと同様に、Kafka ブローカーごとに作成されます。

    ブートストラップおよびブローカー用に作成されたノードポートサービス

    NAME                                 TYPE      CLUSTER-IP      PORT(S)
    my-cluster-kafka-external-0          NodePort  172.30.55.13    9094:31789/TCP
    my-cluster-kafka-external-1          NodePort  172.30.250.248  9094:30028/TCP
    my-cluster-kafka-external-2          NodePort  172.30.115.81   9094:32650/TCP
    my-cluster-kafka-external-bootstrap  NodePort  172.30.30.23    9094:32650/TCP

    クライアント接続に使用されるブートストラップアドレスは、Kafka リソースの status に伝播されます。

    ブートストラップアドレスのステータスの例

    status:
      clusterId: Y_RJQDGKRXmNF7fEcWldJQ
      conditions:
        - lastTransitionTime: '2023-01-31T14:59:37.113630Z'
          status: 'True'
          type: Ready
      listeners:
        # ...
        - addresses:
            - host: ip-10-0-224-199.us-west-2.compute.internal
              port: 32650
          bootstrapServers: 'ip-10-0-224-199.us-west-2.compute.internal:32650'
          certificates:
            - |
              -----BEGIN CERTIFICATE-----
    
              -----END CERTIFICATE-----
          name: external
          type: external
      observedGeneration: 2
     # ...

  3. Kafka リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。

    oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}'
    
    ip-10-0-224-199.us-west-2.compute.internal:32650
  4. クラスター CA 証明書を抽出します。

    oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
  5. ブローカーに接続するようにクライアントを設定します。

    1. Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、ip-10-0-224-199.us-west-2.compute.internal:32650 です。
    2. 抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。

      クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。

注記

独自のリスナー証明書を使用している場合は、CA 証明書をクライアントのトラストストア設定に追加する必要があるかどうかを確認してください。パブリック (外部) CA の場合、通常は追加する必要はありません。

13.5. ロードバランサーを使用した Kafka へのアクセス

ロードバランサーを使用して、OpenShift クラスターの外部の外部クライアントから AMQ Streams Kafka クラスターにアクセスします。

ブローカーに接続するには、Kafka ブートストラップアドレスのホスト名とポート番号、および TLS 暗号化に使用される証明書を指定します。

この手順では、基本的な loadbalancer リスナーの設定を示します。リスナープロパティーを使用して、TLS 暗号化 (tls) を有効にし、クライアント認証メカニズム (authentication) を指定できます。configuration プロパティーを使用して追加の設定を追加します。たとえば、loadbalancer リスナーで次の設定プロパティーを使用できます。

loadBalancerSourceRanges
トラフィックを CIDR (クラスレスドメイン間ルーティング) 範囲の指定されたリストに制限します。
externalTrafficPolicy
サービスによって外部トラフィックがローカルノードのエンドポイントまたはクラスター全体のエンドポイントにルーティングされるかどうかを指定します。
loadBalancerIP
ロードバランサーの作成時に特定の IP アドレスを要求します。

リスナー設定の詳細は、GenericKafkaListener スキーマ参照 を参照してください。

前提条件

  • 稼働中の Cluster Operator

この手順では、Kafka クラスター名は my-cluster です。リスナーの名前は external です。

手順

  1. 外部リスナーを loadbalancer タイプに設定して Kafka リソースを設定します。

    以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      labels:
        app: my-cluster
      name: my-cluster
      namespace: myproject
    spec:
      kafka:
        # ...
        listeners:
          - name: external
            port: 9095
            type: loadbalancer
            tls: true
            authentication:
              type: tls
            # ...
        # ...
      zookeeper:
        # ...
  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

    Kafka ブローカーの ID を検証するためのクラスター CA 証明書も、シークレット my-cluster-cluster-ca-cert に作成されます。

    loadbalancer タイプのサービスとロードバランサーは、外部ブートストラップサービスと同様に、Kafka ブローカーごとに作成されます。

    ロードバランサーサービス、ブートストラップおよびブローカー用に作成されたロードバランサー

    NAME                                  TYPE            CLUSTER-IP      PORT(S)
    my-cluster-kafka-external-0          LoadBalancer     172.30.204.234  9095:30011/TCP
    my-cluster-kafka-external-1          LoadBalancer     172.30.164.89   9095:32544/TCP
    my-cluster-kafka-external-2          LoadBalancer     172.30.73.151   9095:32504/TCP
    my-cluster-kafka-external-bootstrap  LoadBalancer     172.30.30.228   9095:30371/TCP
    
    NAME                                 EXTERNAL-IP (loadbalancer)
    my-cluster-kafka-external-0          a8a519e464b924000b6c0f0a05e19f0d-1132975133.us-west-2.elb.amazonaws.com
    my-cluster-kafka-external-1          ab6adc22b556343afb0db5ea05d07347-611832211.us-west-2.elb.amazonaws.com
    my-cluster-kafka-external-2          a9173e8ccb1914778aeb17eca98713c0-777597560.us-west-2.elb.amazonaws.com
    my-cluster-kafka-external-bootstrap  a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com

    クライアント接続に使用されるブートストラップアドレスは、Kafka リソースの status に伝播されます。

    ブートストラップアドレスのステータスの例

    status:
      clusterId: Y_RJQDGKRXmNF7fEcWldJQ
      conditions:
        - lastTransitionTime: '2023-01-31T14:59:37.113630Z'
          status: 'True'
          type: Ready
      listeners:
        # ...
        - addresses:
            - host: >-
                a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
              port: 9095
          bootstrapServers: >-
            a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095
          certificates:
            - |
              -----BEGIN CERTIFICATE-----
    
              -----END CERTIFICATE-----
          name: external
          type: external
      observedGeneration: 2
     # ...

    クライアント接続に使用される DNS アドレスは、各ロードバランサーサービスの status に伝達されます。

    ブートストラップロードバランサーのステータスの例

    status:
      loadBalancer:
        ingress:
          - hostname: >-
              a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
     # ...

  3. Kafka リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。

    oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}'
    
    a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095
  4. クラスター CA 証明書を抽出します。

    oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
  5. ブローカーに接続するようにクライアントを設定します。

    1. Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095 です。
    2. 抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。

      クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。

注記

独自のリスナー証明書を使用している場合は、CA 証明書をクライアントのトラストストア設定に追加する必要があるかどうかを確認してください。パブリック (外部) CA の場合、通常は追加する必要はありません。

13.6. OpenShift ルートを使用した Kafka へのアクセス

OpenShift ルートを使用して、OpenShift クラスター外のクライアントから AMQ Streams Kafka クラスターにアクセスします。

ルートを使用できるようにするには、Kafka カスタムリソースに route タイプリスナーの設定を追加します。適用すると、設定により、外部ブートストラップとクラスター内の各ブローカーに専用のルートとサービスが作成されます。クライアントはブートストラップルートに接続し、ブートストラップサービスを経由してクライアントをルーティングし、ブローカーに接続します。その後、ブローカーごとの接続が DNS 名を使用して確立されます。DNS 名は、ブローカー固有のルートとサービスを介してクライアントからブローカーにトラフィックをルーティングします。

ブローカーに接続するには、ルートブートストラップアドレスのホスト名と、TLS 暗号化に使用される証明書を指定します。ルートを使用したアクセスでは、ポートは常に 443 になります。

警告

OpenShift ルートアドレスは、Kafka クラスターの名前、リスナーの名前、および作成されるプロジェクトの名前で構成されます。たとえば、my-cluster-kafka-external-bootstrap-myproject (<cluster_name>-kafka-<listener_name>-bootstrap-<namespace>) です。アドレスの全体の長さが上限の 63 文字を超えないように注意してください。

この手順では、基本的なリスナー設定を示します。TLS 暗号化 (tls) を有効にする必要があります。クライアント認証メカニズム (authentication) を指定することもできます。configuration プロパティーを使用して追加の設定を追加します。たとえば、route リスナーで host 設定プロパティーを使用して、ブートストラップサービスおよびブローカーごとのサービスで使用されるホスト名を指定できます。

リスナー設定の詳細は、GenericKafkaListener スキーマ参照 を参照してください。

TLS パススルー

AMQ Streams によって作成されたルートに対して TLS パススルーが有効になります。Kafka は TCP 経由でバイナリープロトコルを使用しますが、ルートは HTTP プロトコルで動作するように設計されています。ルートを介して TCP トラフィックをルーティングできるようにするために、AMQ Streams は Server Name Indication (SNI) で TLS パススルーを使用します。

SNI は、Kafka ブローカーへの接続を識別して渡すのに役立ちます。パススルーモードでは、TLS 暗号化が常に使用されます。接続はブローカーに渡されるため、リスナーは、ingress 証明書ではなく、内部クラスター CA によって署名された TLS 証明書を使用します。独自のリスナー証明書を使用するようにリスナーを設定するには、brokerCertChainAndKey プロパティーを使用します

前提条件

  • 稼働中の Cluster Operator

この手順では、Kafka クラスター名は my-cluster です。リスナーの名前は external です。

手順

  1. 外部リスナーを route タイプに設定した Kafka リソースを設定します。

    以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      labels:
        app: my-cluster
      name: my-cluster
      namespace: myproject
    spec:
      kafka:
        # ...
        listeners:
          - name: external
            port: 9094
            type: route
            tls: true 1
            authentication:
              type: tls
            # ...
        # ...
      zookeeper:
        # ...
    1
    route タイプリスナーの場合、TLS 暗号化を有効にする必要があります (true)。
  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

    kafka ブローカーの ID を確認するためのクラスター CA 証明書は、シークレットの my-cluster-cluster-ca-cert に作成されます。

    ClusterIP タイプサービスは、各 Kafka ブローカーと、外部のブートストラップサービスに対して作成されます。

    デフォルトの OpenShift HAProxy ルーターを使用してサービスを公開するための DNS アドレス (ホスト/ポート) を使用して、サービスごとに route も作成されます。

    ルートは、TLS パススルーで事前設定されています。

    ブートストラップとブローカー用に作成されたルート

    NAME                                  HOST/PORT                                                   SERVICES                              PORT  TERMINATION
    my-cluster-kafka-external-0          my-cluster-kafka-external-0-my-project.router.com          my-cluster-kafka-external-0          9094  passthrough
    my-cluster-kafka-external-1          my-cluster-kafka-external-1-my-project.router.com          my-cluster-kafka-external-1          9094  passthrough
    my-cluster-kafka-external-2          my-cluster-kafka-external-2-my-project.router.com          my-cluster-kafka-external-2          9094  passthrough
    my-cluster-kafka-external-bootstrap  my-cluster-kafka-external-bootstrap-my-project.router.com  my-cluster-kafka-external-bootstrap  9094  passthrough

    クライアント接続に使用される DNS アドレスは、各ルートの status に伝播されます。

    ブートストラップルートのステータスの例

    status:
      ingress:
        - host: >-
            my-cluster-kafka-external-bootstrap-my-project.router.com
     # ...

  3. ターゲットブローカーを使用して、OpenSSL s_client を使用するポート 443 でクライアントサーバーの TLS 接続を確認します。

    openssl s_client -connect my-cluster-kafka-external-0-my-project.router.com:443 -servername my-cluster-kafka-external-0-my-project.router.com -showcerts

    サーバー名は、接続をブローカーに渡すための SNI です。

    接続が成功すると、ブローカーの証明書が返されます。

    ブローカーの証明書

    Certificate chain
     0 s:O = io.strimzi, CN = my-cluster-kafka
       i:O = io.strimzi, CN = cluster-ca v0

  4. Kafka リソースのステータスからブートストラップサービスのアドレスを取得します。

    oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}'
    
    my-cluster-kafka-external-bootstrap-my-project.router.com:443

    アドレスは、クラスター名、リスナー名、プロジェクト名、およびルーターのドメイン (この例では router.com) で構成されます。

  5. クラスター CA 証明書を抽出します。

    oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
  6. ブローカーに接続するようにクライアントを設定します。

    1. Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントでブートストラップサービスのアドレスとポート 443 を指定します。
    2. 抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。

      クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。

注記

独自のリスナー証明書を使用している場合は、CA 証明書をクライアントのトラストストア設定に追加する必要があるかどうかを確認してください。パブリック (外部) CA の場合、通常は追加する必要はありません。

第14章 Kafka へのセキュアなアクセスの管理

クライアントが Kafka ブローカーに対して持つアクセスを管理することで、Kafka クラスターを保護します。Kafka ブローカーとクライアントをセキュリティー保護するための設定オプションを指定する

Kafka ブローカーとクライアント間のセキュアな接続には、次のものが含まれます。

  • データ交換の暗号化
  • アイデンティティー証明に使用する認証
  • ユーザーが実行するアクションを許可または拒否する認可

クライアントに指定された認証および認可メカニズムは、Kafka ブローカーに指定されたものと一致する必要があります。AMQ Streams Operator は設定プロセスを自動化し、認証に必要な証明書を作成します。Cluster Operator は、クラスター内のデータ暗号化と認証に対して TLS 証明書を自動設定します。

14.1. Kafka のセキュリティーオプション

Kafka リソースを使用して、Kafka の認証および承認に使用されるメカニズムを設定します。

14.1.1. リスナー認証

リスナーの作成時に、Kafka ブローカーのクライアント認証を設定します。Kafka リソースの Kafka.spec.kafka.listeners.authentication プロパティーを使用して、リスナー認証タイプを指定します。

OpenShift クラスター内のクライアントの場合は、plain (暗号化なし) または tls internal リスナーを作成できます。internal リスナータイプは、ヘッドレスサービスと、ブローカー Pod に指定された DNS 名を使用します。ヘッドレスサービスの代わりに、内部リスナーの cluster-ip タイプを作成して、ブローカーごとの ClusterIP サービスを使用して Kafka を公開することもできます。OpenShift クラスターの外部にあるクライアントの場合は、外部 リスナーを作成し、接続メカニズム (nodeportloadbalanceringress (Kubernetes のみ)、または route (OpenShift のみ)) を指定します。

外部クライアントを接続するための設定オプションの詳細については、13章Kafka クラスターへのクライアントアクセスの設定 を参照してください。

サポートされる認証オプションは次のとおりです。

  1. mTLS 認証 (TLS が有効な暗号化を使用するリスナーのみ)
  2. SCRAM-SHA-512 認証
  3. OAuth 2.0 のトークンベースの認証
  4. カスタム認証

選択する認証オプションは、Kafka ブローカーへのクライアントアクセスを認証する方法によって異なります。

注記

カスタム認証を使用する前に、標準の認証オプションを試してみてください。カスタム認証では、kafka でサポートされているあらゆるタイプの認証が可能です。柔軟性を高めることができますが、複雑さも増します。

図14.1 Kafka リスナーの認証オプション

リスナー認証設定のオプション

リスナーの authentication プロパティーは、そのリスナーに固有の認証メカニズムを指定するために使用されます。

authentication プロパティーが指定されていない場合、リスナーはそのリスナー経由で接続するクライアントを認証しません。認証がないと、リスナーではすべての接続が許可されます。

認証は、User Operator を使用して KafkaUsers を管理する場合に設定する必要があります。

以下の例で指定されるものは次のとおりです。

  • SCRAM-SHA-512 認証に設定された plain リスナー
  • mTLS 認証を使用する TLS リスナー
  • mTLS 認証を使用する external リスナー

各リスナーは、Kafka クラスター内で一意の名前およびポートで設定されます。

重要

ブローカーへのクライアントアクセス用にリスナーを設定する場合、いくつかの例外を除き、ポート 9092 以降 (9093、9094 など) を使用できます。ブローカー間通信 (9090 および 9091)、Prometheus メトリック (9404)、および JMX (Java Management Extensions) モニタリング (9999) 用に予約されているポートを使用するようにリスナーを設定できません。

リスナー認証の設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
  namespace: myproject
spec:
  kafka:
    # ...
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: true
        authentication:
          type: scram-sha-512
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication:
          type: tls
      - name: external
        port: 9094
        type: loadbalancer
        tls: true
        authentication:
          type: tls
# ...

14.1.1.1. mTLS 認証

mTLS 認証は、Kafka ブローカーと ZooKeeper Pod 間の通信で常に使用されます。

AMQ Streams では、Kafka が TLS (Transport Layer Security) を使用して、相互認証の有無を問わず、Kafka ブローカーとクライアントとの間で暗号化された通信が行われるよう設定できます。相互 (双方向) 認証の場合、サーバーとクライアントの両方が証明書を提示します。mTLS 認証を設定すると、ブローカーはクライアントを認証し (クライアント認証)、クライアントはブローカーを認証します (サーバー認証)。

Kafka リソースの mTLS リスナー設定には、次のものが必要です。

  • TLS 暗号化とサーバー認証を指定する場合は tls: true
  • クライアント認証を指定する場合は authentication.type: tls

Cluster Operator によって Kafka クラスターが作成されると、<cluster_name>-cluster-ca-cert という名前の新しいシークレットが作成されます。シークレットには CA 証明書が含まれています。CA 証明書は PEM および PKCS #12 形式 です。Kafka クラスターを検証するには、CA 証明書をクライアント設定のトラストストアに追加します。クライアントを確認するには、クライアント設定のキーストアにユーザー証明書とキーを追加します。mTLS 用のクライアントの設定の詳細については、「ユーザー認証」 を参照してください。

注記

TLS 認証は一般的には一方向で、一方が他方のアイデンティティーを認証します。たとえば、Web ブラウザーと Web サーバーの間で HTTPS が使用される場合、ブラウザーは Web サーバーのアイデンティティーの証明を取得します。

14.1.1.2. SCRAM-SHA-512 認証

SCRAM (Salted Challenge Response Authentication Mechanism) は、パスワードを使用して相互認証を確立できる認証プロトコルです。AMQ Streams では、Kafka が SASL (Simple Authentication and Security Layer) SCRAM-SHA-512 を使用するよう設定し、暗号化されていないクライアントの接続と暗号化されたクライアントの接続の両方で認証を提供できます。

SCRAM-SHA-512 認証が TLS 接続で使用される場合、TLS プロトコルは暗号化を提供しますが、認証には使用されません。

SCRAM の以下のプロパティーは、暗号化されていない接続でも SCRAM-SHA-512 を安全に使用できるようにします。

  • 通信チャネル上では、パスワードはクリアテキストで送信されません。代わりに、クライアントとサーバーはお互いにチャレンジを生成し、認証するユーザーのパスワードを認識していることを証明します。
  • サーバーとクライアントは、認証を交換するたびに新しいチャレンジを生成します。よって、この交換はリレー攻撃に対する回復性を備えています。

KafkaUser.spec.authentication.typescram-sha-512 で設定されている場合、User Operator は大文字と小文字の ASCII 文字と数字で設定されるランダムな 12 文字のパスワードを生成します。

14.1.1.3. ネットワークポリシー

デフォルトでは、AMQ Streams では、Kafka ブローカーで有効になっているリスナーごとに NetworkPolicy リソースが自動的に作成されます。この NetworkPolicy により、アプリケーションはすべての namespace のリスナーに接続できます。リスナー設定の一部としてネットワークポリシーを使用します。

ネットワークレベルでのリスナーへのアクセスを指定のアプリケーションまたは namespace のみに制限するには、networkPolicyPeers プロパティーを使用します。各リスナーは異なる networkPolicyPeers 設定 を持つことができます。ネットワークポリシーピアの詳細は、NetworkPolicyPeer API reference を参照してください。

カスタムネットワークポリシーを使用する場合は、Cluster Operator 設定で STRIMZI_NETWORK_POLICY_GENERATION 環境変数を false に設定できます。詳細は、「Cluster Operator の設定」 を参照してください。

注記

AMQ Streams でネットワークポリシーを使用するためには、OpenShift の設定が ingress NetworkPolicies をサポートしている必要があります。

14.1.1.4. リスナー証明書の提供

TLS 暗号化が有効になっている TLS リスナーまたは外部リスナーの、Kafka リスナー証明書 と呼ばれる独自のサーバー証明書を提供できます。詳細は、「TLS 暗号化用の独自の Kafka リスナー証明書を提供する」 を参照してください。

14.1.2. Kafka の承認

Kafka リソースの Kafka.spec.kafka.authorization プロパティーを使用して、Kafka ブローカーの承認を設定します。authorization プロパティーがないと、承認が有効になりず、クライアントには制限がありません。承認を有効にすると、承認は有効なすべてのリスナーに適用されます。承認方法は type フィールドで定義されます。

サポートされる承認オプションは次のとおりです。

図14.2 Kafka クラスター承認オプション

kafka 承認設定のオプション
14.1.2.1. スーパーユーザー

スーパーユーザーは、アクセスの制限に関係なく Kafka クラスターのすべてのリソースにアクセスでき、すべての承認メカニズムでサポートされます。

Kafka クラスターのスーパーユーザーを指定するには、superUsers プロパティーにユーザープリンシパルのリストを追加します。ユーザーが mTLS 認証を使用する場合、ユーザー名は CN= で始まる TLS 証明書サブジェクトの共通名です。User Operator を使用せず、mTLS に独自の証明書を使用している場合、ユーザー名は完全な証明書サブジェクトです。完全な証明書サブジェクトには次のフィールドを含めることができます。CN=user,OU=my_ou,O=my_org,L=my_location,ST=my_state,C=my_country_code存在しないフィールドは省略します。

スーパーユーザーを使用した設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
  namespace: myproject
spec:
  kafka:
    # ...
    authorization:
      type: simple
      superUsers:
        - CN=client_1
        - user_2
        - CN=client_3
        - CN=client_4,OU=my_ou,O=my_org,L=my_location,ST=my_state,C=US
        - CN=client_5,OU=my_ou,O=my_org,C=GB
        - CN=client_6,O=my_org
    # ...

14.2. Kafka クライアントのセキュリティーオプション

KafkaUser リソースを使用して、Kafka クライアントの認証メカニズム、承認メカニズム、およびアクセス権限を設定します。セキュリティーの設定では、クライアントはユーザーとして表されます。

Kafka ブローカーへのユーザーアクセスを認証および承認できます。認証によってアクセスが許可され、承認によって許容されるアクションへのアクセスが制限されます。

Kafka ブローカーへのアクセスが制限されない スーパーユーザー を作成することもできます。

認証および承認メカニズムは、Kafka ブローカーへのアクセスに使用されるリスナーの仕様 と一致する必要があります。

Kafka ブローカーにセキュアにアクセスするための KafkaUser リソースの設定の詳細については、「リスナーを使用した Kafka クラスターへのクライアントアクセス設定」 を参照してください。

14.2.1. ユーザー処理用の Kafka クラスターの特定

KafkaUser リソースには、このリソースが属する Kafka クラスターに適した名前 (Kafka リソースの名前から派生) を定義するラベルが含まれています。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster

このラベルは、KafkaUser リソースを特定し、新しいユーザーを作成するために、User Operator によって使用されます。また、以降のユーザーの処理でも使用されます。

ラベルが Kafka クラスターと一致しない場合、User Operator は KafkaUser を識別できず、ユーザーは作成されません。

KafkaUser リソースの状態が空のままの場合は、ラベルを確認します。

14.2.2. ユーザー認証

KafkaUser カスタムリソースを使用して、Kafka クラスターへのアクセスを必要とするユーザー (クライアント) の認証認証情報を設定します。KafkaUser.specauthentication プロパティーを使用して認証情報を設定します。type を指定することで、生成される認証情報を制御します。

サポートされる認証タイプ

  • mTLS 認証用の tls
  • 外部証明書を使用した mTLS 認証用の tls-external
  • scram-sha-512(SCRAM-SHA-512 認証用)

tls または scram-sha-512 が指定された場合、User Operator がユーザーを作成する際に、認証用のクレデンシャルを作成します。tls-external が指定されている場合、ユーザーは引き続き mTLS を使用しますが、認証認証情報は作成されません。独自の証明書を指定する場合は、このオプションを使用します。認証タイプが指定されていない場合、User Operator はユーザーまたはそのクレデンシャルを作成しません。

tls-external を使用して、User Operator の外部で発行された証明書を使用して mTLS で認証できます。User Operator は TLS 証明書またはシークレットを生成しません。tls メカニズムを使用する場合と同様に、User Operator を使用して ACL ルールおよびクォータを管理できます。これは、ACL ルールおよびクォータを指定する際に CN=USER-NAME 形式を使用することを意味します。USER-NAME は、TLS 証明書で指定したコモンネームです。

14.2.2.1. mTLS 認証

mTLS 認証を使用するには、KafkaUser リソースの type フィールドを tls に設定します。

mTLS 認証が有効になっているユーザーの例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  authentication:
    type: tls
  # ...

認証タイプは、Kafka クラスターへのアクセスに使用される Kafka リスナーの同等の設定と一致する必要があります。

ユーザーが User Operator によって作成されると、KafkaUser リソースと同じ名前で新しいシークレットが作成されます。シークレットには、mTLS の秘密鍵と公開鍵が含まれています。公開鍵はユーザー証明書に含まれており、作成時にクライアント CA (認証局) によって署名されます。すべての鍵は X.509 形式です。

注記

Cluster Operator によって生成されたクライアント CA を使用している場合、Cluster Operator によってクライアント CA が更新されると、User Operator によって生成されたユーザー証明書も更新されます。

ユーザーシークレットは、キーと証明書を PEM および PKCS #12 形式で提供します

ユーザー認証情報を含むシークレットの例

apiVersion: v1
kind: Secret
metadata:
  name: my-user
  labels:
    strimzi.io/kind: KafkaUser
    strimzi.io/cluster: my-cluster
type: Opaque
data:
  ca.crt: <public_key> # Public key of the clients CA
  user.crt: <user_certificate> # Public key of the user
  user.key: <user_private_key> # Private key of the user
  user.p12: <store> # PKCS #12 store for user certificates and keys
  user.password: <password_for_store> # Protects the PKCS #12 store

クライアントを設定するときは、次を指定します。

  • Kafka クラスターの ID を検証するためのパブリッククラスター CA 証明書の トラストストア プロパティー
  • クライアントを検証するためのユーザー認証クレデンシャルの キーストア プロパティー

設定は、ファイル形式 (PEM または PKCS #12) によって異なります。この例では、PKCS #12 ストアと、ストア内の認証情報にアクセスするために必要なパスワードを使用しています。

PKCS #12 形式の mTLS を使用したクライアント設定の例

bootstrap.servers=<kafka_cluster_name>-kafka-bootstrap:9093 1
security.protocol=SSL 2
ssl.truststore.location=/tmp/ca.p12 3
ssl.truststore.password=<truststore_password> 4
ssl.keystore.location=/tmp/user.p12 5
ssl.keystore.password=<keystore_password> 6

1
Kafka クラスターに接続するためのブートストラップサーバーアドレス。
2
暗号化に TLS を使用する場合のセキュリティープロトコルオプション。
3
トラストストアの場所には、Kafka クラスターの公開鍵証明書 (ca.p12) が含まれます。クラスター CA 証明書とパスワードは、Kafka クラスターの作成時に <cluster_name>-cluster-ca-cert シークレットで Cluster Operator によって生成されます。
4
トラストストアにアクセスするためのパスワード (ca.password)。
5
キーストアの場所には、Kafka ユーザーの公開鍵証明書 (user.p12) が含まれます。
6
キーストアにアクセスするためのパスワード (user.password)。
14.2.2.2. User Operator の外部で発行された証明書を使用した mTLS 認証

User Operator の外部で発行された証明書を使用して mTLS 認証を使用するには、KafkaUser リソースの type フィールドを tls-external に設定します。シークレットおよび認証情報はユーザー用には作成されません。

User Operator 以外で発行された証明書を使用する mTLS 認証を使用するユーザーの例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  authentication:
    type: tls-external
  # ...

14.2.2.3. SCRAM-SHA-512 認証

SCRAM-SHA-512 認証メカニズムを使用するには、KafkaUser リソースの type フィールドを scram-sha-512 に設定します。

SCRAM-SHA-512 認証が有効になっているユーザーの例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  authentication:
    type: scram-sha-512
  # ...

ユーザーが User Operator によって作成されると、KafkaUser リソースと同じ名前で新しいシークレットが作成されます。シークレットの password キーには、生成されたパスワードが含まれ、base64 でエンコードされます。パスワードを使用するにはデコードする必要があります。

ユーザー認証情報を含むシークレットの例

apiVersion: v1
kind: Secret
metadata:
  name: my-user
  labels:
    strimzi.io/kind: KafkaUser
    strimzi.io/cluster: my-cluster
type: Opaque
data:
  password: Z2VuZXJhdGVkcGFzc3dvcmQ= 1
  sasl.jaas.config: b3JnLmFwYWNoZS5rYWZrYS5jb21tb24uc2VjdXJpdHkuc2NyYW0uU2NyYW1Mb2dpbk1vZHVsZSByZXF1aXJlZCB1c2VybmFtZT0ibXktdXNlciIgcGFzc3dvcmQ9ImdlbmVyYXRlZHBhc3N3b3JkIjsK 2

1
base64 でエンコードされた生成されたパスワード。
2
base64 でエンコードされた SASL SCRAM-SHA-512 認証の JAAS 設定文字列。

生成されたパスワードをデコードします。

echo "Z2VuZXJhdGVkcGFzc3dvcmQ=" | base64 --decode
14.2.2.3.1. カスタムパスワード設定

ユーザーが作成されると、AMQ Streams は無作為にパスワードを生成します。AMQ Streams によって生成されたパスワードの代わりに、独自のパスワードを使用できます。これを行うには、パスワードでシークレットを作成し、KafkaUser リソースでこれを参照します。

SCRAM-SHA-512 認証に設定されたパスワードを持つユーザーの例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  authentication:
    type: scram-sha-512
    password:
      valueFrom:
        secretKeyRef:
          name: my-secret 1
          key: my-password 2
  # ...

1
事前に定義されたパスワードが含まれるシークレットの名前。
2
シークレット内に格納されているパスワードのキー。

14.2.3. ユーザーの承認

KafkaUser カスタムリソースを使用して、Kafka クラスターへのアクセスを必要とするユーザー (クライアント) の承認規則を設定します。KafkaUser.specauthorization プロパティーを使用してルールを設定します。type を指定することで、使用するルールを制御します。

簡易承認を使用するには、KafkaUser.spec.authorizationtype プロパティーを simple に設定します。簡易承認は、Kafka Admin API を使用して Kafka クラスター内で ACL ルールを管理します。User Operator の ACL 管理が有効であるかどうかは、Kafka クラスターの承認設定によって異なります。

  • 簡易承認では、ACL 管理が常に有効になります。
  • OPA 承認の場合、ACL 管理は常に無効になります。承認ルールは OPA サーバーで設定されます。
  • Red Hat Single Sign-On の承認では、Red Hat Single Sign-On で ACL ルールを直接管理できます。設定のフォールバックオプションとして、承認を簡単なオーソライザーに委譲することもできます。簡単なオーソライザーへの委譲が有効になっている場合、User Operator は ACL ルールの管理も有効にします。
  • カスタム承認プラグインを使用したカスタム承認では、Kafka カスタムリソースの .spec.kafka.authorization 設定の supportsAdminApi プロパティーを使用して、サポートを有効または無効にする必要があります。

承認はクラスター全体です。認証タイプは、Kafka カスタムリソースの同等の設定と一致する必要があります。

ACL 管理が有効になっていない場合は、AMQ Streams に ACL ルールが含まれる場合はリソースを拒否します。

User Operator のスタンドアロンデプロイメントを使用している場合、ACL 管理はデフォルトで有効にされます。STRIMZI_ACLS_ADMIN_API_SUPPORTED 環境変数を使用してこれを無効にすることができます。

承認が指定されていない場合は、User Operator によるユーザーのアクセス権限のプロビジョニングは行われません。このような KafkaUser がリソースにアクセスできるかどうかは、使用されているオーソライザーによって異なります。たとえば、AclAuthorizer の場合、これは allow.everyone.if.no.acl.found 設定によって決定されます。

14.2.3.1. ACL ルール

AclAuthorizer は ACL ルールを使用して Kafka ブローカーへのアクセスを管理します。

ACL ルールによって、acls プロパティーで指定したユーザーにアクセス権限が付与されます。

AclRule オブジェクトの詳細は、AclRule スキーマ参照 を参照してください。

14.2.3.2. Kafka ブローカーへのスーパーユーザーアクセス

ユーザーを Kafka ブローカー設定のスーパーユーザーのリストに追加すると、KafkaUser の ACL で定義された承認制約に関係なく、そのユーザーにはクラスターへのアクセスが無制限に許可されます。

ブローカーへのスーパーユーザーアクセスの設定に関する詳細は Kafka の承認 を参照してください。

14.2.3.3. ユーザークォータ

KafkaUser リソースの spec を設定してクォータを強制し、ユーザーが Kafka ブローカーへの設定されたアクセスレベルを超えないようにします。サイズベースのネットワーク使用量と時間ベースの CPU 使用率のしきい値を設定できます。また、パーティション mutation (変更) クォータを追加して、ユーザー要求に対して受け入れられるパーティション変更のリクエストのレートを制御することもできます。

ユーザークォータをともなう KafkaUser の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  # ...
  quotas:
    producerByteRate: 1048576 1
    consumerByteRate: 2097152 2
    requestPercentage: 55 3
    controllerMutationRate: 10 4

1
ユーザーが Kafka ブローカーにプッシュできるデータ量の、秒あたりのバイトクォータ。
2
ユーザーが Kafka ブローカーからフェッチできるデータ量の、秒あたりのバイトクォータ。
3
クライアントグループあたりの時間割合で示される、CPU 使用制限。
4
1 秒あたり許容される同時パーティション作成および削除操作 (mutations) の数

これらのプロパティーの詳細は、KafkaUserQuotas スキーマ参照 を参照してください。

14.3. Kafka ブローカーへのアクセスのセキュア化

Kafka ブローカーへのセキュアなアクセスを確立するには、以下を設定し、適用します。

  • 以下を行う Kafka リソース。

    • 指定された認証タイプでリスナーを作成します。
    • Kafka クラスター全体の承認を設定します。
  • Kafka ブローカーにリスナー経由でセキュアにアクセスするための KafkaUser リソース。

Kafka リソースを設定して以下を設定します。

  • リスナー認証
  • Kafka リスナーへのアクセスを制限するネットワークポリシー
  • Kafka の承認
  • ブローカーへのアクセスが制限されないスーパーユーザー

認証は、リスナーごとに独立して設定されます。承認は、常に Kafka クラスター全体に対して設定されます。

Cluster Operator はリスナーを作成し、クラスターおよびクライアント認証局 (CA) 証明書を設定して Kafka クラスター内で認証を有効にします。

独自の証明書をインストール することで、Cluster Operator によって生成された証明書を置き換えることができます。

TLS 暗号化が有効になっているリスナーに対して独自のサーバー証明書と秘密鍵を提供することもできます。これらのユーザー提供による証明書は、Kafka リスナー証明書 と呼ばれます。Kafka リスナー証明書を提供すると、組織のプライベート CA やパブリック CA などの既存のセキュリティーインフラストラクチャーを利用できます。Kafka クライアントは、リスナー証明書の署名に使用された CA を信頼する必要があります。Kafka リスナー証明書の更新が必要な場合は、手作業で更新する必要があります。PKCS #12 形式 (.p12) および PEM 形式 (.crt) の証明書を利用できます。

KafkaUser を使用して、特定のクライアントが Kafka にアクセスするために使用する認証および承認メカニズムを有効にします。

KafkaUser リソースを設定して以下を設定します。

  • 有効なリスナー認証と一致する認証
  • 有効な Kafka 承認と一致する承認
  • クライアントによるリソースの使用を制御するクォータ

User Operator はクライアントに対応するユーザーを作成すると共に、選択した認証タイプに基づいて、クライアント認証に使用されるセキュリティークレデンシャルを作成します。

アクセス設定プロパティーの詳細は、スキーマ参照を参照してください。

14.3.1. Kafka ブローカーのセキュア化

この手順では、AMQ Streams の実行時に Kafka ブローカーをセキュアにするためのステップを説明します。

Kafka ブローカーに実装されたセキュリティーは、アクセスを必要とするクライアントに実装されたセキュリティーとの互換性を維持する必要があります。

  • Kafka.spec.kafka.listeners[*].authentication matches KafkaUser.spec.authentication
  • Kafka.spec.kafka.authorizationKafkaUser.spec.authorization と一致します。

この手順では、mTLS 認証を使用した簡易承認とリスナーの設定を説明します。リスナー設定の詳細は、GenericKafkaListener スキーマ参照 を参照してください。

代わりに、リスナー認証 には SCRAM-SHA または OAuth 2.0、Kafka 承認 には OAuth 2.0 または OPA を使用することができます。

手順

  1. Kafka リソースを設定します。

    1. 承認には authorization プロパティーを設定します。
    2. listeners プロパティーを設定し、認証でリスナーを作成します。

      以下に例を示します。

      apiVersion: kafka.strimzi.io/v1beta2
      kind: Kafka
      spec:
        kafka:
          # ...
          authorization: 1
            type: simple
            superUsers: 2
              - CN=client_1
              - user_2
              - CN=client_3
          listeners:
            - name: tls
              port: 9093
              type: internal
              tls: true
              authentication:
                type: tls 3
          # ...
        zookeeper:
          # ...
      1
      2
      Kafka へのアクセスを制限されないユーザープリンシパルのリスト。CN は、mTLS による認証が使用される場合のクライアント証明書のコモンネームです。
      3
      リスナーの認証メカニズムは各リスナーに対して設定でき、mTLS、SCRAM-SHA-512、またはトークンベース OAuth 2.0 として指定 できます。

      外部リスナーを設定している場合、設定は選択した接続のメカニズムによって異なります。

  2. Kafka リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

    Kafka クラスターは、mTLS 認証を使用する Kafka ブローカーリスナーと共に設定されます。

    Kafka ブローカー Pod ごとにサービスが作成されます。

    サービスが作成され、Kafka クラスターに接続するための ブートストラップアドレス として機能します。

    kafka ブローカーのアイデンティティーを検証するクラスター CA 証明書もシークレット <cluster_name>-cluster-ca-cert に作成されます。

14.3.2. Kafka へのユーザーアクセスのセキュア化

KafkaUser を作成または変更して、Kafka クラスターへのセキュアなアクセスを必要とするクライアントを表します。

KafkaUser 認証および承認メカニズムを設定する場合、必ず同等の Kafka 設定と一致するようにしてください。

  • KafkaUser.spec.authenticationKafka.spec.kafka.listeners[*].authentication と一致します。
  • KafkaUser.spec.authorizationKafka.spec.kafka.authorization と一致します。

この手順は、mTLS 認証を使用してユーザーを作成する方法を示しています。SCRAM-SHA 認証でユーザーを作成することも可能です。

必要な認証は、Kafka ブローカーリスナーに設定された認証のタイプ によって異なります。

注記

Kafka ユーザーと Kafka ブローカー間の認証は、それぞれの認証設定によって異なります。たとえば、mTLS が Kafka 設定で有効になっていない場合は、mTLS でユーザーを認証できません。

前提条件

KafkaUser の認証タイプは、Kafka ブローカーに設定された認証と一致する必要があります。

手順

  1. KafkaUser リソースを設定します。

    以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaUser
    metadata:
      name: my-user
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      authentication: 1
        type: tls
      authorization:
        type: simple 2
        acls:
          - resource:
              type: topic
              name: my-topic
              patternType: literal
            operations:
              - Describe
              - Read
          - resource:
              type: group
              name: my-group
              patternType: literal
            operations:
              - Read
    1
    相互 tls または scram-sha-512 として定義されたユーザー認証メカニズム。
    2
    ACL ルールのリストが必要な簡易承認。
  2. KafkaUser リソースを作成または更新します。

    oc apply -f <user_config_file>

    KafkaUser リソースと同じ名前の Secret と共に、ユーザーが作成されます。Secret には、mTLS 認証用の秘密鍵と公開鍵が含まれています。

Kafka ブローカーへのセキュアな接続のためのプロパティーを使用して Kafka クライアントを設定する方法については、「リスナーを使用した Kafka クラスターへのクライアントアクセス設定」 を参照してください。

14.3.3. ネットワークポリシーを使用した Kafka リスナーへのアクセス制限

networkPolicyPeers プロパティーを使用すると、リスナーへのアクセスを指定のアプリケーションのみに制限できます。

前提条件

  • Ingress NetworkPolicies をサポートする OpenShift クラスター。
  • Cluster Operator が稼働中である。

手順

  1. Kafka リソースを開きます。
  2. networkPolicyPeers プロパティーで、Kafka クラスターへのアクセスが許可されるアプリケーション Pod または namespace を定義します。

    以下は、ラベル appkafka-client に設定されているアプリケーションからの接続のみを許可するよう tls リスナーを設定する例になります。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      kafka:
        # ...
        listeners:
          - name: tls
            port: 9093
            type: internal
            tls: true
            authentication:
              type: tls
            networkPolicyPeers:
              - podSelector:
                  matchLabels:
                    app: kafka-client
        # ...
      zookeeper:
        # ...
  3. リソースを作成または更新します。

    次のように oc apply を使用します。

    oc apply -f your-file

14.3.4. TLS 暗号化用の独自の Kafka リスナー証明書を提供する

リスナーは、Kafka ブローカーへのクライアントアクセスを提供します。TLS を使用したクライアントアクセスに必要な設定を含め、Kafka リソースでリスナーを設定します。

デフォルトでは、リスナーは、AMQ Streams によって生成された内部 CA (認証局) 証明書によって署名された証明書を使用します。CA 証明書は、Kafka クラスターを作成するときに Cluster Operator によって生成されます。クライアントを TLS 用に設定するときは、CA 証明書をそのトラストストア設定に追加して、Kafka クラスターを検証します。独自の CA 証明書をインストールして使用する こともできます。または、brokerCertChainAndKey プロパティーを使用してリスナーを設定し、カスタムサーバー証明書を使用することもできます。

brokerCertChainAndKey プロパティーを使用すると、リスナーレベルで独自のカスタム証明書を使用して Kafka ブローカーにアクセスできます。独自のプライベートキーとサーバー証明書を使用してシークレットを作成し、リスナーの brokerCertChainAndKey 設定でキーと証明書を指定します。パブリック (外部) CA またはプライベート CA によって署名された証明書を使用できます。パブリック CA によって署名されている場合、通常、それをクライアントのトラストストア設定に追加する必要はありません。カスタム証明書は AMQ Streams によって管理されないため、手動で更新する必要があります。

注記

リスナー証明書は、TLS 暗号化とサーバー認証のみに使用されます。これらは TLS クライアント認証には使用されません。TLS クライアント認証にも独自の証明書を使用する場合は、独自のクライアント CA をインストールして使用する 必要があります。

前提条件

  • Cluster Operator が稼働中である。
  • 各リスナーには次のものが必要です。

    • 外部 CA によって署名された互換性のあるサーバー証明書。(X.509 証明書を PEM 形式で提供します。)

      複数のリスナーに対して 1 つのリスナー証明書を使用できます。

    • サブジェクト代替名 (SAN) は、各リスナーの証明書で指定されます。詳細は、「Kafka リスナーのサーバー証明書の SAN」 を参照してください。

自己署名証明書を使用していない場合は、証明書に CA チェーン全体を含む証明書を提供できます。

リスナーに対して TLS 暗号化 (tls: true) が設定されている場合は、brokerCertChainAndKey プロパティーのみを使用できます。

注記

AMQ Streams は、TLS の暗号化された秘密鍵の使用をサポートしていません。これが機能するには、シークレットに保存されている秘密鍵が暗号化されていない必要があります。

手順

  1. 秘密鍵およびサーバー証明書が含まれる Secret を作成します。

    oc create secret generic my-secret --from-file=my-listener-key.key --from-file=my-listener-certificate.crt
  2. クラスターの Kafka リソースを編集します。

    Secret、証明書ファイル、および秘密鍵ファイルを使用するように、リスナーを configuration.brokerCertChainAndKey プロパティーで設定します。

    TLS 暗号化が有効な loadbalancer 外部リスナーの設定例

    # ...
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: false
      - name: external
        port: 9094
        type: loadbalancer
        tls: true
        configuration:
          brokerCertChainAndKey:
            secretName: my-secret
            certificate: my-listener-certificate.crt
            key: my-listener-key.key
    # ...

    TLS リスナーの設定例

    # ...
    listeners:
      - name: plain
        port: 9092
        type: internal
        tls: false
      - name: tls
        port: 9093
        type: internal
        tls: true
        configuration:
          brokerCertChainAndKey:
            secretName: my-secret
            certificate: my-listener-certificate.crt
            key: my-listener-key.key
    # ...

  3. 新しい設定を適用してリソースを作成または更新します。

    oc apply -f kafka.yaml

    Cluster Operator は、Kafka クラスターのローリング更新を開始し、これによりリスナーの設定が更新されます。

    注記

    リスナーによってすでに使用されている Secret の Kafka リスナー証明書を更新した場合でも、ローリング更新が開始されます。

14.3.5. Kafka リスナーのサーバー証明書の SAN

独自の Kafka リスナー証明書 で TLS ホスト名検証を使用するには、リスナーごとに正しいサブジェクト代替名 (SAN) を使用する必要があります。証明書 SAN では、次のホスト名を指定する必要があります。

  • クラスターのすべての Kafka ブローカー
  • Kafka クラスターブートストラップサービス

ワイルドカード証明書は、CA でサポートされれば使用できます。

14.3.5.1. 内部リスナー用の SAN の例

次の例は、内部リスナーの証明書で SAN のホスト名を指定するのに役立ちます。

<cluster-name> を Kafka クラスターの名前に置き換え、<namespace> をクラスターが実行されている OpenShift namespace に置き換えます。

type: internal リスナーのワイルドカードの例

//Kafka brokers
*.<cluster-name>-kafka-brokers
*.<cluster-name>-kafka-brokers.<namespace>.svc

// Bootstrap service
<cluster-name>-kafka-bootstrap
<cluster-name>-kafka-bootstrap.<namespace>.svc

type: internal リスナーのワイルドカード以外の例

// Kafka brokers
<cluster-name>-kafka-0.<cluster-name>-kafka-brokers
<cluster-name>-kafka-0.<cluster-name>-kafka-brokers.<namespace>.svc
<cluster-name>-kafka-1.<cluster-name>-kafka-brokers
<cluster-name>-kafka-1.<cluster-name>-kafka-brokers.<namespace>.svc
# ...

// Bootstrap service
<cluster-name>-kafka-bootstrap
<cluster-name>-kafka-bootstrap.<namespace>.svc

type: cluster-ip リスナーのワイルドカード以外の例

// Kafka brokers
<cluster-name>-kafka-<listener-name>-0
<cluster-name>-kafka-<listener-name>-0.<namespace>.svc
<cluster-name>-kafka-<listener-name>-1
<cluster-name>-kafka-<listener-name>-1.<namespace>.svc
# ...

// Bootstrap service
<cluster-name>-kafka-<listener-name>-bootstrap
<cluster-name>-kafka-<listener-name>-bootstrap.<namespace>.svc

14.3.5.2. 外部リスナー用の SAN の例

TLS 暗号化が有効になっている外部リスナーの場合、証明書に指定する必要があるホスト名は、外部リスナーの type によって異なります。

表14.1 外部リスナー各タイプの SAN
外部リスナータイプSAN で指定する内容

ingress

すべての Kafka ブローカー Ingress リソースのアドレスとブートストラップ Ingress のアドレス。

一致するワイルドカード名を使用できます。

route

すべての Kafka ブローカー Routes のアドレス、およびブートストラップ Route のアドレス。

一致するワイルドカード名を使用できます。

loadbalancer

すべての Kafka ブローカー loadbalancers のアドレス、およびブートストラップ loadbalancer のアドレス。

一致するワイルドカード名を使用できます。

nodeport

Kafka ブローカー Pod がスケジュールされるすべての OpenShift ワーカーノードのアドレス。

一致するワイルドカード名を使用できます。

14.4. OAuth 2.0 トークンベース認証の使用

AMQ Streams は、OAUTHBEARER および PLAIN メカニズムを使用して、OAuth 2.0 認証 の使用をサポートします。

OAuth 2.0 は、アプリケーション間で標準的なトークンベースの認証および認可を有効にし、中央の認可サーバーを使用してリソースに制限されたアクセス権限を付与するトークンを発行します。

OAuth 2.0 認証を設定した後に OAuth 2.0 認可 を設定できます。

Kafka ブローカーおよびクライアントの両方が OAuth 2.0 を使用するように設定する必要があります。OAuth 2.0 認証は、simple または OPA ベースの Kafka authorization と併用することもできます。

OAuth 2.0 のトークンベースの認証を使用すると、アプリケーションクライアントはアカウントのクレデンシャルを公開せずにアプリケーションサーバー (リソースサーバー と呼ばれる) のリソースにアクセスできます。

アプリケーションクライアントは、アクセストークンを認証の手段として渡します。アプリケーションサーバーはこれを使用して、付与するアクセス権限のレベルを決定することもできます。認可サーバーは、アクセスの付与とアクセスに関する問い合わせを処理します。

AMQ Streams のコンテキストでは以下が行われます。

  • Kafka ブローカーは OAuth 2.0 リソースサーバーとして動作します。
  • Kafka クライアントは OAuth 2.0 アプリケーションクライアントとして動作します。

Kafka クライアントは Kafka ブローカーに対して認証を行います。ブローカーおよびクライアントは、必要に応じて OAuth 2.0 認可サーバーと通信し、アクセストークンを取得または検証します。

AMQ Streams のデプロイメントでは、OAuth 2.0 インテグレーションは以下を提供します。

  • Kafka ブローカーのサーバー側 OAuth 2.0 サポート
  • Kafka MirrorMaker、Kafka Connect、および Kafka Bridge のクライアント側 OAuth 2.0 サポート。

14.4.1. OAuth 2.0 認証メカニズム

AMQ Streams は、OAuth 2.0 認証で OAUTHBEARER および PLAIN メカニズムをサポートします。どちらのメカニズムも、Kafka クライアントが Kafka ブローカーで認証されたセッションを確立できるようにします。クライアント、認可サーバー、および Kafka ブローカー間の認証フローは、メカニズムごとに異なります。

可能な限り、OAUTHBEARER を使用するようにクライアントを設定することが推奨されます。OAUTHBEARER では、クライアントクレデンシャルは Kafka ブローカーと 共有されることがない ため、PLAIN よりも高レベルのセキュリティーが提供されます。OAUTHBEARER をサポートしない Kafka クライアントの場合のみ、PLAIN の使用を検討してください。

クライアントの接続に OAuth 2.0 認証を使用するように Kafka ブローカーリスナーを設定します。必要な場合は、同じ oauth リスナーで OAUTHBEARER および PLAIN メカニズムを使用できます。各メカニズムをサポートするプロパティーは、oauth リスナー設定で明示的に指定する必要があります。

OAUTHBEARER の概要

OAUTHBEARER は、Kafka ブローカーの oauth リスナー設定で自動的に有効になります。enableOauthBearer プロパティーを true に設定できますが、これは必須ではありません。

  # ...
  authentication:
    type: oauth
    # ...
    enableOauthBearer: true

また、多くの Kafka クライアントツールでは、プロトコルレベルで OAUTHBEARER の基本サポートを提供するライブラリーを使用します。AMQ Streams では、アプリケーションの開発をサポートするために、アップストリームの Kafka Client Java ライブラリーに OAuth コールバックハンドラー が提供されます (ただし、他のライブラリーは対象外)。そのため、独自のコールバックハンドラーを作成する必要はありません。アプリケーションクライアントはコールバックハンドラーを使用してアクセストークンを提供できます。Go などの他言語で書かれたクライアントは、カスタムコードを使用して認可サーバーに接続し、アクセストークンを取得する必要があります。

OAUTHBEARER を使用する場合、クライアントはクレデンシャルを交換するために Kafka ブローカーでセッションを開始します。ここで、クレデンシャルはコールバックハンドラーによって提供されるベアラートークンの形式を取ります。コールバックを使用して、以下の 3 つの方法のいずれかでトークンの提供を設定できます。

  • クライアント ID および Secret (OAuth 2.0 クライアントクレデンシャルメカニズム を使用)
  • 設定時に手動で取得された有効期限の長いアクセストークン
  • 設定時に手動で取得された有効期限の長い更新トークン
注記

OAUTHBEARER 認証は、プロトコルレベルで OAUTHBEARER メカニズムをサポートする Kafka クライアントでのみ使用できます。

PLAIN の概要

PLAIN を使用するには、Kafka ブローカーの oauth リスナー設定で有効にする必要があります。

以下の例では、デフォルトで有効になっている OAUTHBEARER に加え、PLAIN も有効になっています。PLAIN のみを使用する場合は、enableOauthBearerfalse に設定して OAUTHBEARER を無効にすることができます。

  # ...
  authentication:
    type: oauth
    # ...
    enablePlain: true
    tokenEndpointUri: https://OAUTH-SERVER-ADDRESS/auth/realms/external/protocol/openid-connect/token

PLAIN は、すべての Kafka クライアントツールによって使用される簡単な認証メカニズムです。PLAIN を OAuth 2.0 認証で使用できるようにするために、AMQ Streams では OAuth 2.0 over PLAIN サーバー側のコールバックが提供されます。

PLAIN の AMQ Streams 実装では、クライアントのクレデンシャルは ZooKeeper に保存されません。代わりに、OAUTHBEARER 認証が使用される場合と同様に、クライアントのクレデンシャルは準拠した認可サーバーの背後で一元的に処理されます。

OAuth 2.0 over PLAIN コールバックを併用する場合、以下のいずれかの方法を使用して Kafka クライアントは Kafka ブローカーで認証されます。

  • クライアント ID およびシークレット (OAuth 2.0 クライアントクレデンシャルメカニズムを使用)
  • 設定時に手動で取得された有効期限の長いアクセストークン

どちらの方法でも、クライアントは Kafka ブローカーにクレデンシャルを渡すために、PLAIN username および password プロパティーを提供する必要があります。クライアントはこれらのプロパティーを使用してクライアント ID およびシークレット、または、ユーザー名およびアクセストークンを渡します。

クライアント ID およびシークレットは、アクセストークンの取得に使用されます。

アクセストークンは、password プロパティーの値として渡されます。$accessToken: 接頭辞の有無に関わらずアクセストークンを渡します。

  • リスナー設定でトークンエンドポイント (tokenEndpointUri) を設定する場合は、接頭辞が必要です。
  • リスナー設定でトークンエンドポイント (tokenEndpointUri) を設定しない場合は、接頭辞は必要ありません。Kafka ブローカーは、パスワードを raw アクセストークンとして解釈します。

アクセストークンとして password が設定されている場合、username は Kafka ブローカーがアクセストークンから取得するプリンシパル名と同じものを設定する必要があります。userNameClaimfallbackUserNameClaimfallbackUsernamePrefix、および userInfoEndpointUri プロパティーを使用すると、リスナーにユーザー名抽出オプションを指定できます。ユーザー名の抽出プロセスも、認可サーバーによって異なります。特に、クライアント ID をアカウント名にマッピングする方法により異なります。

注記

OAuth over PLAIN は、password grant メカニズムをサポートしていません。上記のように、SASL PLAIN メカニズムを介して、client credentials (clientId + シークレット) またはアクセストークンをプロキシーすることしかできません。

14.4.2. OAuth 2.0 Kafka ブローカーの設定

OAuth 2.0 の Kafka ブローカー設定には、以下が関係します。

  • 認可サーバーでの OAuth 2.0 クライアントの作成
  • Kafka カスタムリソースでの OAuth 2.0 認証の設定
注記

認可サーバーに関連する Kafka ブローカーおよび Kafka クライアントはどちらも OAuth 2.0 クライアントと見なされます。

14.4.2.1. 認可サーバーの OAuth 2.0 クライアント設定

セッションの開始中に受信されたトークンを検証するように Kafka ブローカーを設定するには、認可サーバーで OAuth 2.0 の クライアント 定義を作成し、以下のクライアントクレデンシャルが有効な状態で 機密情報 として設定することが推奨されます。

  • kafka のクライアント ID (例)
  • 認証メカニズムとしてのクライアント ID およびシークレット
注記

認可サーバーのパブリックでないイントロスペクションエンドポイントを使用する場合のみ、クライアント ID およびシークレットを使用する必要があります。高速のローカル JWT トークンの検証と同様に、パブリック認可サーバーのエンドポイントを使用する場合は通常、クレデンシャルは必要ありません。

14.4.2.2. Kafka クラスターでの OAuth 2.0 認証設定

Kafka クラスターで OAuth 2.0 認証を使用するには、たとえば、認証方法が oauth の Kafka クラスターカスタムリソースの tls リスナー設定を指定します。

OAuth 2.0 の認証方法タイプの割り当て

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
  kafka:
    # ...
    listeners:
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication:
          type: oauth
      #...

リスナーで OAuth 2.0 認証を設定できます。OAuth 2.0 認証と TLS 暗号化 (tls: true) を併用することを推奨します。暗号化を行わないと、ネットワークの盗聴やトークンの盗難による不正アクセスに対して接続が脆弱になります。

external リスナーを type: oauth で設定し、セキュアなトランスポート層がクライアントと通信するようにします。

OAuth 2.0 の外部リスナーとの使用

# ...
listeners:
  - name: external
    port: 9094
    type: loadbalancer
    tls: true
    authentication:
      type: oauth
    #...

tls プロパティーはデフォルトで false に設定されているため、有効にする必要があります。

認証のタイプを OAuth 2.0 として定義した場合、検証のタイプに基づいて、 高速のローカル JWT 検証 または イントロスペクションエンドポイントを使用したトークンの検証 のいずれかとして、設定を追加します。

説明や例を用いてリスナー向けに OAuth 2.0 を設定する手順は、Kafka ブローカーの OAuth 2.0 サポートの設定 を参照してください。

14.4.2.3. 高速なローカル JWT トークン検証の設定

高速なローカル JWT トークンの検証では、JWT トークンの署名がローカルでチェックされます。

ローカルチェックでは、トークンに対して以下が確認されます。

  • アクセストークンに Bearer の (typ) 要求値が含まれ、トークンがタイプに準拠することを確認します。
  • 有効 (期限切れでない) かどうかを確認します。
  • トークンに validIssuerURI と一致する発行元があることを確認します。

リスナーの設定時に validIssuerURI 属性を指定することで、認証サーバーから発行されていないトークンは拒否されます。

高速のローカル JWT トークン検証の実行中に、認可サーバーの通信は必要はありません。OAuth 2.0 の認可サーバーによって公開されるエンドポイントの jwksEndpointUri 属性を指定して、高速のローカル JWT トークン検証をアクティベートします。エンドポイントには、署名済み JWT トークンの検証に使用される公開鍵が含まれます。これらは、Kafka クライアントによってクレデンシャルとして送信されます。

注記

認可サーバーとの通信はすべて TLS による暗号化を使用して実行する必要があります。

証明書トラストストアを AMQ Streams プロジェクト namespace の OpenShift シークレットとして設定し、tlsTrustedCertificates 属性を使用してトラストストアファイルが含まれる OpenShift シークレットを示すことができます。

JWT トークンからユーザー名を適切に取得するため、userNameClaim の設定を検討してください。必要に応じて、'user.info'.'user.id' のような JsonPath 式を使用して、トークン内のネストされた JSON 属性からユーザー名を取得できます。

Kafka ACL 承認を使用する場合は、認証中にユーザー名でユーザーを特定する必要があります。JWT トークンの sub 要求は、通常は一意な ID でユーザー名ではありません。

高速なローカル JWT トークン検証の設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
  kafka:
    #...
    listeners:
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication:
          type: oauth
          validIssuerUri: <https://<auth_server_address>/auth/realms/tls>
          jwksEndpointUri: <https://<auth_server_address>/auth/realms/tls/protocol/openid-connect/certs>
          userNameClaim: preferred_username
          maxSecondsWithoutReauthentication: 3600
          tlsTrustedCertificates:
          - secretName: oauth-server-cert
            certificate: ca.crt
    #...

14.4.2.4. OAuth 2.0 イントロスペクションエンドポイントの設定

OAuth 2.0 のイントロスペクションエンドポイントを使用したトークンの検証では、受信したアクセストークンは不透明として対処されます。Kafka ブローカーは、アクセストークンをイントロスペクションエンドポイントに送信します。このエンドポイントは、検証に必要なトークン情報を応答として返します。ここで重要なのは、特定のアクセストークンが有効である場合は最新情報を返すことで、トークンの有効期限に関する情報も返します。

OAuth 2.0 のイントロスペクションベースの検証を設定するには、高速のローカル JWT トークン検証に指定された jwksEndpointUri 属性ではなく、introspectionEndpointUri 属性を指定します。通常、イントロスペクションエンドポイントは保護されているため、認可サーバーに応じて clientId および clientSecret を指定する必要があります。

イントロスペクションエンドポイントの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
  kafka:
    listeners:
      - name: tls
        port: 9093
        type: internal
        tls: true
        authentication:
          type: oauth
          clientId: kafka-broker
          clientSecret:
            secretName: my-cluster-oauth
            key: clientSecret
          validIssuerUri: <https://<auth_server_-_address>/auth/realms/tls>
          introspectionEndpointUri: <https://<auth_server_address>/auth/realms/tls/protocol/openid-connect/token/introspect>
          userNameClaim: preferred_username
          maxSecondsWithoutReauthentication: 3600
          tlsTrustedCertificates:
          - secretName: oauth-server-cert
            certificate: ca.crt

14.4.3. Kafka ブローカーの再認証の設定

Kafka クライアントと Kafka ブローカー間の OAuth 2.0 セッションに Kafka session re-authentication を使用するように、oauth リスナーを設定できます。このメカニズムは、定義された期間後に、クライアントとブローカー間の認証されたセッションを期限切れにします。セッションの有効期限が切れると、クライアントは既存の接続を破棄せずに再使用して、新しいセッションを即座に開始します。

セッションの再認証はデフォルトで無効になっています。これを有効にするには、oauth リスナー設定で maxSecondsWithoutReauthentication の時間値を設定します。OAUTHBEARER および PLAIN 認証では、同じプロパティーを使用してセッションの再認証が設定されます。設定例については、「Kafka ブローカーの OAuth 2.0 サポートの設定」 を参照してください。

セッションの再認証は、クライアントによって使用される Kafka クライアントライブラリーによってサポートされる必要があります。

セッションの再認証は、高速ローカル JWT または イントロスペクションエンドポイント のトークン検証と共に使用できます。

クライアントの再認証

ブローカーの認証されたセッションが期限切れになると、クライアントは接続を切断せずに新しい有効なアクセストークンをブローカーに送信し、既存のセッションを再認証する必要があります。

トークンの検証に成功すると、既存の接続を使用して新しいクライアントセッションが開始されます。クライアントが再認証に失敗した場合、さらにメッセージを送受信しようとすると、ブローカーは接続を閉じます。ブローカーで再認証メカニズムが有効になっていると、Kafka クライアントライブラリー 2.2 以降を使用する Java クライアントが自動的に再認証されます。

更新トークンが使用される場合、セッションの再認証は更新トークンにも適用されます。セッションが期限切れになると、クライアントは更新トークンを使用してアクセストークンを更新します。その後、クライアントは新しいアクセストークンを使用して既存のセッションに再認証されます。

OAUTHBEARER および PLAIN のセッションの有効期限

セッションの再認証が設定されている場合、OAUTHBEARER と PLAIN 認証ではセッションの有効期限は異なります。

クライアント ID とシークレットによる方法を使用する OAUTHBEARER および PLAIN の場合:

  • ブローカーの認証されたセッションは、設定された maxSecondsWithoutReauthentication で期限切れになります。
  • アクセストークンが設定期間前に期限切れになると、セッションは設定期間前に期限切れになります。

有効期間の長いアクセストークンによる方法を使用する PLAIN の場合:

  • ブローカーの認証されたセッションは、設定された maxSecondsWithoutReauthentication で期限切れになります。
  • アクセストークンが設定期間前に期限切れになると、再認証に失敗します。セッションの再認証は試行されますが、PLAIN にはトークンを更新するメカニズムがありません。

maxSecondsWithoutReauthentication設定されていない 場合、OAUTHBEARER および PLAIN クライアントは、再認証しなくてもブローカーへの接続を無限に保持できます。認証されたセッションは、アクセストークンの期限が切れても終了しません。ただし、keycloak 認可を使用したり、カスタム authorizer をインストールして、認可を設定する場合に考慮できます。

14.4.4. OAuth 2.0 Kafka クライアントの設定

Kafka クライアントは以下のいずれかで設定されます。

  • 認可サーバーから有効なアクセストークンを取得するために必要なクレデンシャル (クライアント ID およびシークレット)。
  • 認可サーバーから提供されたツールを使用して取得された、有効期限の長い有効なアクセストークンまたは更新トークン。

アクセストークンは、Kafka ブローカーに送信される唯一の情報です。アクセストークンを取得するために認可サーバーでの認証に使用されるクレデンシャルは、ブローカーに送信されません。

クライアントによるアクセストークンの取得後、認可サーバーと通信する必要はありません。

クライアント ID とシークレットを使用した認証が最も簡単です。有効期間の長いアクセストークンまたは更新トークンを使用すると、認可サーバーツールに追加の依存関係があるため、より複雑になります。

注記

有効期間が長いアクセストークンを使用している場合は、認可サーバーでクライアントを設定し、トークンの最大有効期間を長くする必要があります。

Kafka クライアントが直接アクセストークンで設定されていない場合、クライアントは認可サーバーと通信して Kafka セッションの開始中にアクセストークンのクレデンシャルを交換します。Kafka クライアントは以下のいずれかを交換します。

  • クライアント ID およびシークレット
  • クライアント ID、更新トークン、および (任意の) シークレット
  • ユーザー名とパスワード、およびクライアント ID と (オプションで) シークレット

14.4.5. OAuth 2.0 クライアント認証フロー

OAuth 2.0 認証フローは、基礎となる Kafka クライアントおよび Kafka ブローカー設定によって異なります。フローは、使用する認可サーバーによってもサポートされる必要があります。

Kafka ブローカーリスナー設定は、クライアントがアクセストークンを使用して認証する方法を決定します。クライアントはクライアント ID およびシークレットを渡してアクセストークンをリクエストできます。

リスナーが PLAIN 認証を使用するように設定されている場合、クライアントはクライアント ID およびシークレット、または、ユーザー名およびアクセストークンで認証できます。これらの値は PLAIN メカニズムの username および password プロパティーとして渡されます。

リスナー設定は、以下のトークン検証オプションをサポートします。

  • 認可サーバーと通信しない、JWT の署名確認およびローカルトークンのイントロスペクションをベースとした高速なローカルトークン検証を使用できます。認可サーバーは、トークンで署名を検証するために使用される公開証明書のある JWKS エンドポイントを提供します。
  • 認可サーバーが提供するトークンイントロスペクションエンドポイントへの呼び出しを使用することができます。新しい Kafka ブローカー接続が確立されるたびに、ブローカーはクライアントから受け取ったアクセストークンを認可サーバーに渡します。Kafka ブローカーは応答を確認して、トークンが有効かどうかを確認します。
注記

認可サーバーは不透明なアクセストークンの使用のみを許可する可能性があり、この場合はローカルトークンの検証は不可能です。

Kafka クライアントクレデンシャルは、以下のタイプの認証に対して設定することもできます。

  • 以前に生成された有効期間の長いアクセストークンを使用した直接ローカルアクセス
  • 新しいアクセストークンを発行するには、認可サーバーに連絡します (クライアント ID とシークレット、または更新トークン、またはユーザー名とパスワードを使用)。
14.4.5.1. SASL OAUTHBEARER メカニズムを使用したクライアント認証フローの例

SASL OAUTHBEARER メカニズムを使用して、Kafka 認証に以下の通信フローを使用できます。

クライアントがクライアント ID とシークレットを使用し、ブローカーが検証を認可サーバーに委任する場合

Client using client ID and secret with broker delegating validation to authorization server

  1. Kafka クライアントは、クライアント ID およびシークレットを使用して認可サーバーからアクセストークンを要求し、必要に応じて更新トークンを要求します。または、クライアントはユーザー名とパスワードを使用して認証することもできます。
  2. 認可サーバーは新しいアクセストークンを生成します。
  3. Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用してアクセストークンを渡すことで Kafka ブローカーで認証されます。
  4. Kafka ブローカーは、独自のクライアント ID およびシークレットを使用し、認可サーバーでトークンイントロスペクションエンドポイントを呼び出すことで、アクセストークンを検証します。
  5. トークンが有効な場合、Kafka クライアントセッションが確立されます。

クライアントがクライアント ID およびシークレットを使用し、ブローカーが高速のローカルトークン検証を実行する場合

Client using client ID and secret with broker performing fast local token validation

  1. Kafka クライアントは、クライアント ID およびシークレットを使用し、オプションで更新トークンを使用して、トークンエンドポイントから認可サーバーで認証します。または、クライアントはユーザー名とパスワードを使用して認証することもできます。
  2. 認可サーバーは新しいアクセストークンを生成します。
  3. Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用してアクセストークンを渡すことで Kafka ブローカーで認証されます。
  4. Kafka ブローカーは、JWT トークン署名チェックおよびローカルトークンイントロスペクションを使用して、ローカルでアクセストークンを検証します。

クライアントが有効期限の長いアクセストークンを使用し、ブローカーが検証を認可サーバーに委任する場合

Client using long-lived access token with broker delegating validation to authorization server

  1. Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用して、有効期限の長いアクセストークンを渡すために Kafka ブローカーで認証します。
  2. Kafka ブローカーは、独自のクライアント ID およびシークレットを使用して、認可サーバーでトークンイントロスペクションエンドポイントを呼び出し、アクセストークンを検証します。
  3. トークンが有効な場合、Kafka クライアントセッションが確立されます。

クライアントが有効期限の長いアクセストークンを使用し、ブローカーが高速のローカル検証を実行する場合

Client using long-lived access token with broker performing fast local validation

  1. Kafka クライアントは、SASL OAUTHBEARER メカニズムを使用して、有効期限の長いアクセストークンを渡すために Kafka ブローカーで認証します。
  2. Kafka ブローカーは、JWT トークン署名チェックおよびローカルトークンイントロスペクションを使用して、ローカルでアクセストークンを検証します。
警告

トークンが取り消された場合に認可サーバーとのチェックが行われないため、高速のローカル JWT トークン署名の検証は有効期限の短いトークンにのみ適しています。トークンの有効期限はトークンに書き込まれますが、失効はいつでも発生する可能性があるため、認可サーバーと通信せずに対応することはできません。発行されたトークンはすべて期限切れになるまで有効とみなされます。

14.4.5.2. SASL PLAIN メカニズムを使用したクライアント認証フローの例

OAuth PLAIN メカニズムを使用して、Kafka 認証に以下の通信フローを使用できます。

クライアントがクライアント ID およびシークレットを使用し、ブローカーがクライアントのアクセストークンを取得する場合

Client using a client ID and secret with the broker obtaining the access token for the client

  1. Kafka クライアントは、clientId をユーザー名として、secret をパスワードとして渡します。
  2. Kafka ブローカーは、トークンエンドポイントを使用して clientId および secret を認可サーバーに渡します。
  3. 認可サーバーは、新しいアクセストークンまたはエラー (クライアントクレデンシャルが有効でない場合) を返します。
  4. Kafka ブローカーは、以下のいずれかの方法でトークンを検証します。

    1. トークンイントロスペクションエンドポイントが指定されている場合、Kafka ブローカーは認可サーバーでエンドポイントを呼び出すことで、アクセストークンを検証します。トークンの検証に成功した場合には、セッションが確立されます。
    2. ローカルトークンのイントロスペクションが使用される場合、要求は認可サーバーに対して行われません。Kafka ブローカーは、JWT トークン署名チェックを使用して、アクセストークンをローカルで検証します。

クライアントが、クライアント ID およびシークレットなしで有効期限の長いアクセストークンを使用する場合

Client using a long-lived access token without a client ID and secret

  1. Kafka クライアントはユーザー名とパスワードを渡します。パスワードは、クライアントを実行する前に手動で取得および設定されたアクセストークンの値を提供します。
  2. Kafka ブローカーリスナーが認証のトークンエンドポイントで設定されているかどうかに応じて、$accessToken: 文字列の接頭辞の有無にかかわらず、パスワードは渡されます。

    1. トークンエンドポイントが設定されている場合、パスワードの前に $accessToken: を付け、password パラメーターにクライアントシークレットではなくアクセストークンが含まれていることをブローカーに知らせる必要があります。Kafka ブローカーは、ユーザー名をアカウントのユーザー名として解釈します。
    2. トークンエンドポイントが Kafka ブローカーリスナーで設定されていない場合 (no-client-credentials mode を強制)、パスワードは接頭辞なしでアクセストークンを提供する必要があります。Kafka ブローカーは、ユーザー名をアカウントのユーザー名として解釈します。このモードでは、クライアントはクライアント ID およびシークレットを使用せず、password パラメーターは常に raw アクセストークンとして解釈されます。
  3. Kafka ブローカーは、以下のいずれかの方法でトークンを検証します。

    1. トークンイントロスペクションエンドポイントが指定されている場合、Kafka ブローカーは認可サーバーでエンドポイントを呼び出すことで、アクセストークンを検証します。トークンの検証に成功した場合には、セッションが確立されます。
    2. ローカルトークンイントロスペクションが使用されている場合には、認可サーバーへの要求はありません。Kafka ブローカーは、JWT トークン署名チェックを使用して、アクセストークンをローカルで検証します。

14.4.6. OAuth 2.0 認証の設定

OAuth 2.0 は、Kafka クライアントと AMQ Streams コンポーネントとの対話に使用されます。

AMQ Streams に OAuth 2.0 を使用するには、以下を行う必要があります。

14.4.6.1. OAuth 2.0 認可サーバーの設定

この手順では、AMQ Streams と統合するために認可サーバーを設定するために必要な一般的な手順について説明します。

これらの手順は製品固有のものではありません。

手順は、選択した認可サーバーによって異なります。OAuth 2.0 アクセスの設定方法については、認可サーバーの製品ドキュメントを参照してください。

注記

認可サーバーがすでにデプロイされている場合は、デプロイ手順をスキップして、現在のデプロイを使用できます。

手順

  1. 認可サーバーをクラスターにデプロイします。
  2. 認可サーバーの CLI または管理コンソールにアクセスして、AMQ Streams 用に OAuth 2.0 を設定します。

    AMQ Streams で動作するように認可サーバーを準備します。

  3. kafka-broker クライアントを設定します。
  4. アプリケーションの Kafka クライアントコンポーネントごとにクライアントを設定します。

次のステップ

認可サーバーのデプロイおよび設定後に、Kafka ブローカーが OAuth 2.0 を使用するように設定 します。

14.4.6.2. Kafka ブローカーの OAuth 2.0 サポートの設定

この手順では、ブローカーリスナーが認可サーバーを使用して OAuth 2.0 認証を使用するように、Kafka ブローカーを設定する方法について説明します。

tls: true を使用したリスナーを介して、暗号化されたインターフェイスで OAuth 2.0 を使用することを推奨します。プレーンリスナーは推奨されません。

認可サーバーが信頼できる CA によって署名された証明書を使用し、OAuth 2.0 サーバーのホスト名と一致する場合、TLS 接続はデフォルト設定を使用して動作します。それ以外の場合は、適切な証明書でトラストストアを設定するか、証明書のホスト名の検証を無効にする必要があります。

Kafka ブローカーの設定する場合、新たに接続された Kafka クライアントの OAuth 2.0 認証中にアクセストークンを検証するために使用されるメカニズムには、以下の 2 つのオプションがあります。

作業を開始する前の注意事項

Kafka ブローカーリスナーの OAuth 2.0 認証の設定に関する詳細は、以下を参照してください。

前提条件

  • AMQ Streams および Kafka が稼働している。
  • OAuth 2.0 の認可サーバーがデプロイされている。

手順

  1. エディターで、Kafka リソースの Kafka ブローカー設定 (Kafka.spec.kafka) を更新します。

    oc edit kafka my-cluster
  2. Kafka ブローカーの listeners 設定を行います。

    各タイプのリスナーは独立しているため、同じ設定にする必要はありません。

    以下は、外部リスナーに設定された設定オプションの例になります。

    例 1: 高速なローカル JWT トークン検証の設定

    #...
    - name: external
      port: 9094
      type: loadbalancer
      tls: true
      authentication:
        type: oauth 1
        validIssuerUri: https://<auth_server_address>/auth/realms/external 2
        jwksEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/certs 3
        userNameClaim: preferred_username 4
        maxSecondsWithoutReauthentication: 3600 5
        tlsTrustedCertificates: 6
        - secretName: oauth-server-cert
          certificate: ca.crt
        disableTlsHostnameVerification: true 7
        jwksExpirySeconds: 360 8
        jwksRefreshSeconds: 300 9
        jwksMinRefreshPauseSeconds: 1 10

    1
    oauth に設定されたリスナータイプ。
    2
    認証に使用されるトークン発行者の URI。
    3
    ローカルの JWT 検証に使用される JWKS 証明書エンドポイントの URI。
    4
    ユーザーを識別するために使用される実際のユーザー名を含むトークンクレーム (またはキー)。その値は、認可サーバーによって異なります。必要に応じて、'user.info'.'user.id' のような JsonPath 式を使用して、トークン内のネストされた JSON 属性からユーザー名を取得できます。
    5
    (任意設定): セッションの有効期限がアクセストークンと同じ期間になるよう強制する Kafka の再認証メカニズムを有効にします。指定された値がアクセストークンの有効期限が切れるまでの残り時間よりも短い場合、クライアントは実際にトークンの有効期限が切れる前に再認証する必要があります。デフォルトでは、アクセストークンの期限が切れてもセッションは期限切れにならず、クライアントは再認証を試行しません。
    6
    (任意設定): 認可サーバーへの TLS 接続用の信用できる証明書。
    7
    (任意設定): TLS ホスト名の検証を無効にします。デフォルトは false です。
    8
    JWKS 証明書が期限切れになる前に有効であるとみなされる期間。デフォルトは 360 秒です。デフォルトよりも長い時間を指定する場合は、無効になった証明書へのアクセスが許可されるリスクを考慮してください。
    9
    JWKS 証明書を更新する間隔。この間隔は、有効期間よりも 60 秒以上短くする必要があります。デフォルトは 300 秒です。
    10
    JWKS 公開鍵の更新が連続して試行される間隔の最小一時停止時間 (秒単位)。不明な署名キーが検出されると、JWKS キーの更新は、最後に更新を試みてから少なくとも指定された期間は一時停止し、通常の定期スケジュール以外でスケジュールされます。キーの更新は指数バックオフ (指数バックオフ) のルールに従い、jwksRefreshSeconds に到達するまで、一時停止を増やして失敗した更新を再試行します。デフォルト値は 1 です。

    例 2: イントロスペクションエンドポイントを使用したトークンの検証の設定

    - name: external
      port: 9094
      type: loadbalancer
      tls: true
      authentication:
        type: oauth
        validIssuerUri: https://<auth_server_address>/auth/realms/external
        introspectionEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/token/introspect 1
        clientId: kafka-broker 2
        clientSecret: 3
          secretName: my-cluster-oauth
          key: clientSecret
        userNameClaim: preferred_username 4
        maxSecondsWithoutReauthentication: 3600 5

    1
    トークンイントロスペクションエンドポイントの URI。
    2
    クライアントを識別するためのクライアント ID。
    3
    認証にはクライアントシークレットとクライアント ID が使用されます。
    4
    ユーザーを識別するために使用される実際のユーザー名を含むトークンクレーム (またはキー)。その値は、認可サーバーによって異なります。必要に応じて、'user.info'.'user.id' のような JsonPath 式を使用して、トークン内のネストされた JSON 属性からユーザー名を取得できます。
    5
    (任意設定): セッションの有効期限がアクセストークンと同じ期間になるよう強制する Kafka の再認証メカニズムを有効にします。指定された値がアクセストークンの有効期限が切れるまでの残り時間よりも短い場合、クライアントは実際にトークンの有効期限が切れる前に再認証する必要があります。デフォルトでは、アクセストークンの期限が切れてもセッションは期限切れにならず、クライアントは再認証を試行しません。

    OAuth 2.0 認証の適用方法や、認可サーバーのタイプによっては、追加 (任意) の設定を使用できます。

      # ...
      authentication:
        type: oauth
        # ...
        checkIssuer: false 1
        checkAudience: true 2
        fallbackUserNameClaim: client_id 3
        fallbackUserNamePrefix: client-account- 4
        validTokenType: bearer 5
        userInfoEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/userinfo 6
        enableOauthBearer: false 7
        enablePlain: true 8
        tokenEndpointUri: https://<auth_server_address>/auth/realms/external/protocol/openid-connect/token 9
        customClaimCheck: "@.custom == 'custom-value'" 10
        clientAudience: audience 11
        clientScope: scope 12
        connectTimeoutSeconds: 60 13
        readTimeoutSeconds: 60 14
        httpRetries: 2 15
        httpRetryPauseMs: 300 16
        groupsClaim: "$.groups" 17
        groupsClaimDelimiter: "," 18
    1
    認可サーバーが iss クレームを提供しない場合は、発行者チェックを行うことができません。このような場合、checkIssuerfalse に設定し、validIssuerUri を指定しないようにします。デフォルトは true です。
    2
    オーソリゼーションサーバーが aud(オーディエンス) クレームを提供していて、オーディエンスチェックを実施したい場合は、checkAudiencetrue に設定します。オーディエンスチェックによって、トークンの目的の受信者が特定されます。これにより、Kafka ブローカーは aud 要求に clientId を持たないトークンを拒否します。デフォルトは false です。
    3
    認可サーバーは、通常ユーザーとクライアントの両方を識別する単一の属性を提供しない場合があります。クライアントが独自の名前で認証される場合、サーバーによって クライアント ID が提供されることがあります。更新トークンまたはアクセストークンを取得するために、ユーザー名およびパスワードを使用してユーザーが認証される場合、サーバーによってクライアント ID の他に username が提供されることがあります。プライマリーユーザー ID 属性が使用できない場合は、このフォールバックオプションで、使用するユーザー名クレーム (属性) を指定します。必要に応じて、'client.info'.'client.id' のような JsonPath 式を使用してフォールバックユーザー名を取得し、トークン内のネストされた JSON 属性からユーザー名を取得できます。
    4
    fallbackUserNameClaim が適用される場合、ユーザー名クレームの値とフォールバックユーザー名クレームの値が競合しないようにする必要もあることがあります。producer というクライアントが存在し、producer という通常ユーザーも存在する場合について考えてみましょう。この 2 つを区別するには、このプロパティーを使用してクライアントのユーザー ID に接頭辞を追加します。
    5
    (introspectionEndpointUri を使用する場合のみ該当): 使用している認証サーバーによっては、イントロスペクションエンドポイントによってトークンタイプ属性が返されるかどうかは分からず、異なる値が含まれることがあります。イントロスペクションエンドポイントからの応答に含まれなければならない有効なトークンタイプ値を指定できます。
    6
    (introspectionEndpointUri を使用する場合のみ該当): イントロスペクションエンドポイントの応答に識別可能な情報が含まれないように、認可サーバーが設定または実装されることがあります。ユーザー ID を取得するには、userinfo エンドポイントの URI をフォールバックとして設定します。userNameClaimfallbackUserNameClaim、および fallbackUserNamePrefix の設定が userinfo エンドポイントの応答に適用されます。
    7
    これを false に設定してリスナーで OAUTHBEARER メカニズムを無効にします。PLAIN または OAUTHBEARER のいずれかを有効にする必要があります。デフォルトは true です。
    8
    リスナーで PLAIN 認証を有効にするには、true に設定します。これは、すべてのプラットフォームのすべてのクライアントでサポートされています。
    9
    PLAIN メカニズムの追加設定。これが指定されている場合、クライアントは $accessToken: 接頭辞を使用してアクセストークンを password として渡すことで、PLAIN 経由で認証できます。実稼働環境の場合は、常に https:// urls を使用してください。
    10
    これを JsonPath フィルタークエリーに設定すると、検証中に追加のカスタムルールを JWT アクセストークンに適用できます。アクセストークンに必要なデータが含まれていないと拒否されます。introspectionEndpointUri を使用する場合、カスタムチェックはイントロスペクションエンドポイントの応答 JSON に適用されます。
    11
    トークンエンドポイントに渡される audience パラメーター。オーディエンス は、inter-broker 認証用にアクセストークンを取得する場合に使用されます。また、clientIdsecret を使用した PLAIN クライアント認証の上にある OAuth 2.0 のクライアント名にも使われています。これは、認可サーバーに応じて、トークンの取得機能とトークンの内容のみに影響します。リスナーによるトークン検証ルールには影響しません。
    12
    scope パラメーターがトークンエンドポイントに渡されます。スコープ は、inter-broker 認証用にアクセストークンを取得する場合に使用されます。また、clientIdsecret を使用した PLAIN クライアント認証の上にある OAuth 2.0 のクライアント名にも使われています。これは、認可サーバーに応じて、トークンの取得機能とトークンの内容のみに影響します。リスナーによるトークン検証ルールには影響しません。
    13
    認可サーバーへの接続時のタイムアウト (秒単位)。デフォルト値は 60 です。
    14
    認可サーバーへの接続時の読み取りタイムアウト (秒単位)。デフォルト値は 60 です。
    15
    認可サーバーへの失敗した HTTP リクエストを再試行する最大回数。デフォルト値は 0 で、再試行は実行されないことを意味します。このオプションを効果的に使用するには、connectTimeoutSeconds オプションと readTimeoutSeconds オプションのタイムアウト時間を短縮することを検討してください。ただし、再試行により現在のワーカースレッドが他のリクエストで利用できなくなる可能性があり、リクエストが多すぎると停止する場合、Kafka ブローカーが応答しなくなる可能性があることに注意してください。
    16
    認可サーバーへの失敗した HTTP リクエストの再試行を行うまでの待機時間。デフォルトでは、この時間はゼロに設定されており、一時停止は適用されません。これは、リクエストの失敗の原因となる問題の多くは、リクエストごとのネットワークの不具合やプロキシーの問題であり、すぐに解決できるためです。ただし、認可サーバーに負荷がかかっている場合、または高トラフィックが発生している場合は、このオプションを 100 ミリ秒以上の値に設定して、サーバーの負荷を軽減し、再試行が成功する可能性を高めることができます。
    17
    JWT トークンまたはイントロスペクションエンドポイント応答からグループ情報を抽出するために使用される JsonPath クエリー。このオプションはデフォルトでは設定されていません。このオプションを設定すると、カスタム承認者はユーザーグループに基づいて承認の決定を行うことができます。
    18
    グループ情報が単一の区切り文字列として返される場合に、グループ情報を解析するために使用される区切り文字。デフォルト値は ,(コンマ) です。
  3. エディターを保存して終了し、ローリング更新の完了を待ちます。
  4. 更新をログで確認するか、Pod 状態の遷移を監視して確認します。

    oc logs -f ${POD_NAME} -c ${CONTAINER_NAME}
    oc get pod -w

    ローリング更新によって、ブローカーが OAuth 2.0 認証を使用するように設定されます。

14.4.6.3. OAuth 2.0 を使用するための Kafka Java クライアントの設定

Kafka ブローカーとの対話に OAuth 2.0 を使用するように Kafka プロデューサー API とコンシューマー API を設定します。コールバックプラグインをクライアントの pom.xml ファイルに追加してから、OAuth 2.0 用にクライアントを設定します。

クライアント設定で次を指定します。

  • SASL (Simple Authentication and Security Layer) セキュリティープロトコル:

    • TLS 暗号化接続を介した認証用の SASL_SSL
    • 暗号化されていない接続を介した認証用の SASL_PLAINTEXT

      プロダクションには SASL_SSL を使用し、ローカル開発には SASL_PLAINTEXT のみを使用してください。SASL_SSL を使用する場合は、追加の ssl.truststore 設定が必要です。OAuth 2.0 認可サーバーへのセキュアな接続 (https://) には、トラストストア設定が必要です。OAuth 2.0 認可サーバーを確認するには、認可サーバーの CA 証明書をクライアント設定のトラストストアに追加します。トラストストアは、PEM または PKCS #12 形式で設定できます。

  • Kafka SASL メカニズム:

    • ベアラートークンを使用したクレデンシャル交換用の OAUTHBEARER
    • クライアントクレデンシャル (clientId + secret) またはアクセストークンを渡す PLAIN
  • SASL メカニズムを実装する JAAS (Java Authentication and Authorization Service) モジュール:

    • org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule は OAUTHBEARER メカニズムを実装します。
    • org.apache.kafka.common.security.plain.PlainLoginModule は PLAIN メカニズムを実装します。
  • 以下の認証方法をサポートする SASL 認証プロパティー:

    • OAuth 2.0 クライアントクレデンシャル
    • OAuth 2.0 パスワード付与 (非推奨)
    • アクセストークン
    • トークンの更新

SASL 認証プロパティーを JAAS 設定 (sasl.jaas.config) として追加します。認証プロパティーを設定する方法は、OAuth 2.0 認可サーバーへのアクセスに使用している認証方法によって異なります。この手順では、プロパティーはプロパティーファイルで指定されてから、クライアント設定にロードされます。

注記

認証プロパティーを環境変数または Java システムプロパティーとして指定することもできます。Java システムプロパティーの場合は、setProperty を使用して設定し、-D オプションを使用してコマンドラインで渡すことができます。

前提条件

  • AMQ Streams および Kafka が稼働している。
  • OAuth 2.0 認可サーバーがデプロイされ、Kafka ブローカーへの OAuth のアクセスが設定されている。
  • Kafka ブローカーが OAuth 2.0 に対して設定されている。

手順

  1. OAuth 2.0 サポートのあるクライアントライブラリーを Kafka クライアントの pom.xml ファイルに追加します。

    <dependency>
     <groupId>io.strimzi</groupId>
     <artifactId>kafka-oauth-client</artifactId>
     <version>0.13.0.redhat-00008</version>
    </dependency>
  2. プロパティーファイルで以下の設定を指定して、クライアントプロパティーを設定します。

    • セキュリティープロトコル
    • SASL メカニズム
    • 使用されているメソッドに応じた JAAS モジュールと認証プロパティー

      たとえば、以下を client.properties ファイルに追加できます。

      クライアントクレデンシャルメカニズムのプロパティー

      security.protocol=SASL_SSL 1
      sasl.mechanism=OAUTHBEARER 2
      ssl.truststore.location=/tmp/truststore.p12 3
      ssl.truststore.password=$STOREPASS
      ssl.truststore.type=PKCS12
      sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
        oauth.token.endpoint.uri="<token_endpoint_url>" \ 4
        oauth.client.id="<client_id>" \ 5
        oauth.client.secret="<client_secret>" \ 6
        oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \ 7
        oauth.ssl.truststore.password="$STOREPASS" \ 8
        oauth.ssl.truststore.type="PKCS12" \ 9
        oauth.scope="<scope>" \ 10
        oauth.audience="<audience>" ; 11

      1
      TLS 暗号化接続用の SASL_SSL セキュリティープロトコル。ローカル開発のみでは、暗号化されていない接続で SASL_PLAINTEXT を使用します。
      2
      OAUTHBEARER または PLAIN として指定された SASL メカニズム。
      3
      Kafka クラスターへのセキュアなアクセスのためのトラストストア設定。
      4
      認可サーバーのトークンエンドポイントの URI です。
      5
      クライアント ID。認可サーバーで クライアント を作成するときに使用される名前です。
      6
      認可サーバーで クライアント を作成するときに作成されるクライアントシークレット。
      7
      この場所には、認可サーバーの公開鍵証明書 (truststore.p12) が含まれています。
      8
      トラストストアにアクセスするためのパスワード。
      9
      トラストストアのタイプ。
      10
      (オプション): トークンエンドポイントからトークンを要求するための scope。認証サーバーでは、クライアントによるスコープの指定が必要になることがあります。
      11
      (オプション) トークンエンドポイントからトークンを要求するための audience。認証サーバーでは、クライアントによるオーディエンスの指定が必要になることがあります。

      パスワード付与メカニズムのプロパティー

      security.protocol=SASL_SSL
      sasl.mechanism=OAUTHBEARER
      ssl.truststore.location=/tmp/truststore.p12
      ssl.truststore.password=$STOREPASS
      ssl.truststore.type=PKCS12
      sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
        oauth.token.endpoint.uri="<token_endpoint_url>" \
        oauth.client.id="<client_id>" \ 1
        oauth.client.secret="<client_secret>" \ 2
        oauth.password.grant.username="<username>" \ 3
        oauth.password.grant.password="<password>" \ 4
        oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \
        oauth.ssl.truststore.password="$STOREPASS" \
        oauth.ssl.truststore.type="PKCS12" \
        oauth.scope="<scope>" \
        oauth.audience="<audience>" ;

      1
      クライアント ID。認可サーバーで クライアント を作成するときに使用される名前です。
      2
      (オプション) 認可サーバーで クライアント を作成するときに作成されるクライアントシークレット。
      3
      パスワード付与認証のユーザー名。OAuth パスワード付与設定 (ユーザー名とパスワード) は、OAuth 2.0 パスワード付与メソッドを使用します。パスワード付与を使用するには、権限が制限された認可サーバーにクライアント用のユーザーアカウントを作成します。アカウントは、サービスアカウントのように機能する必要があります。認証にユーザーアカウントが必要な環境で使用しますが、最初に更新トークンの使用を検討してください。
      4
      パスワード付与認証のパスワード。
      注記

      SASL PLAIN は、OAuth 2.0 パスワード付与メソッドを使用したユーザー名とパスワードの受け渡し (パスワード付与) をサポートしていません。

      アクセストークンのプロパティー

      security.protocol=SASL_SSL
      sasl.mechanism=OAUTHBEARER
      ssl.truststore.location=/tmp/truststore.p12
      ssl.truststore.password=$STOREPASS
      ssl.truststore.type=PKCS12
      sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
        oauth.token.endpoint.uri="<token_endpoint_url>" \
        oauth.access.token="<access_token>" ; 1
        oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \
        oauth.ssl.truststore.password="$STOREPASS" \
        oauth.ssl.truststore.type="PKCS12" \

      1
      Kafka クライアントの有効期間が長いアクセストークン。

      トークンのプロパティーを更新する

      security.protocol=SASL_SSL
      sasl.mechanism=OAUTHBEARER
      ssl.truststore.location=/tmp/truststore.p12
      ssl.truststore.password=$STOREPASS
      ssl.truststore.type=PKCS12
      sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
        oauth.token.endpoint.uri="<token_endpoint_url>" \
        oauth.client.id="<client_id>" \ 1
        oauth.client.secret="<client_secret>" \ 2
        oauth.refresh.token="<refresh_token>" ; 3
        oauth.ssl.truststore.location="/tmp/oauth-truststore.p12" \
        oauth.ssl.truststore.password="$STOREPASS" \
        oauth.ssl.truststore.type="PKCS12" \

      1
      クライアント ID。認可サーバーで クライアント を作成するときに使用される名前です。
      2
      (オプション) 認可サーバーで クライアント を作成するときに作成されるクライアントシークレット。
      3
      Kafka クライアントの有効期間が長い更新トークン。
  3. OAUTH 2.0 認証のクライアントプロパティーを Java クライアントコードに入力します。

    クライアントプロパティーの入力を示す例

    Properties props = new Properties();
    try (FileReader reader = new FileReader("client.properties", StandardCharsets.UTF_8)) {
      props.load(reader);
    }

  4. Kafka クライアントが Kafka ブローカーにアクセスできることを確認します。
14.4.6.4. Kafka コンポーネントの OAuth 2.0 の設定

この手順では、認可サーバーを使用して OAuth 2.0 認証を使用するように Kafka コンポーネントを設定する方法を説明します。

以下の認証を設定できます。

  • Kafka Connect
  • Kafka MirrorMaker
  • Kafka Bridge

この手順では、Kafka コンポーネントと認可サーバーは同じサーバーで稼働しています。

作業を開始する前の注意事項

Kafka コンポーネントの OAuth 2.0 認証の設定の詳細は、KafkaClientAuthenticationOAuth スキーマ参照 を参照してください。スキーマ参照には、設定オプションの例が含まれています。

前提条件

  • AMQ Streams および Kafka が稼働している。
  • OAuth 2.0 認可サーバーがデプロイされ、Kafka ブローカーへの OAuth のアクセスが設定されている。
  • Kafka ブローカーが OAuth 2.0 に対して設定されている。

手順

  1. クライアントシークレットを作成し、これを環境変数としてコンポーネントにマウントします。

    以下は、Kafka Bridge の Secret を作成する例になります。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Secret
    metadata:
     name: my-bridge-oauth
    type: Opaque
    data:
     clientSecret: MGQ1OTRmMzYtZTllZS00MDY2LWI5OGEtMTM5MzM2NjdlZjQw 1
    1
    clientSecret キーは base64 形式である必要があります。
  2. Kafka コンポーネントのリソースを作成または編集し、OAuth 2.0 認証が認証プロパティーに設定されるようにします。

    OAuth 2.0 認証の場合、次のオプションを使用できます。

    • クライアント ID およびシークレット
    • クライアント ID および更新トークン
    • アクセストークン
    • ユーザー名およびパスワード
    • TLS

    以下は、クライアント ID、シークレット、および TLS を使用して OAuth 2.0 が Kafka Bridge クライアントに割り当てられる例になります。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaBridge
    metadata:
      name: my-bridge
    spec:
      # ...
      authentication:
        type: oauth 1
        tokenEndpointUri: https://<auth-server-address>/auth/realms/master/protocol/openid-connect/token 2
        clientId: kafka-bridge
        clientSecret:
          secretName: my-bridge-oauth
          key: clientSecret
        tlsTrustedCertificates: 3
        - secretName: oauth-server-cert
          certificate: tls.crt
    1
    oauth に設定された認証タイプ。
    2
    認証用のトークンエンドポイントの URI。
    3
    認可サーバーへの TLS 接続用の信用できる証明書。

    OAuth 2.0 認証の適用方法や、認可サーバーのタイプによって、使用できる追加の設定オプションがあります。

    # ...
    spec:
      # ...
      authentication:
        # ...
        disableTlsHostnameVerification: true 1
        checkAccessTokenType: false 2
        accessTokenIsJwt: false 3
        scope: any 4
        audience: kafka 5
        connectTimeoutSeconds: 60 6
        readTimeoutSeconds: 60 7
        httpRetries: 2 8
        httpRetryPauseMs: 300 9
    1
    (任意設定): TLS ホスト名の検証を無効にします。デフォルトは false です。
    2
    認可サーバーによって、JWT トークン内部で typ (タイプ) 要求が返されない場合は、checkAccessTokenType: false を適用するとトークンタイプがチェックされず次に進むことができます。デフォルトは true です。
    3
    不透明なトークンを使用している場合、アクセストークンが JWT トークンとして処理されないように accessTokenIsJwt: false を適用することができます。
    4
    (オプション): トークンエンドポイントからトークンを要求するための scope。認証サーバーでは、クライアントによるスコープの指定が必要になることがあります。この場合では any になります。
    5
    (オプション) トークンエンドポイントからトークンを要求するための audience。認証サーバーでは、クライアントによるオーディエンスの指定が必要になることがあります。今回の場合は kafka です。
    6
    (オプション) 認可サーバーへの接続時のタイムアウト (秒単位)。デフォルト値は 60 です。
    7
    (オプション): 認可サーバーへの接続時の読み取りタイムアウト (秒単位)。デフォルト値は 60 です。
    8
    (オプション) 認可サーバーへの失敗した HTTP リクエストを再試行する最大回数。デフォルト値は 0 で、再試行は実行されないことを意味します。このオプションを効果的に使用するには、connectTimeoutSeconds オプションと readTimeoutSeconds オプションのタイムアウト時間を短縮することを検討してください。ただし、再試行により現在のワーカースレッドが他のリクエストで利用できなくなる可能性があり、リクエストが多すぎると停止する場合、Kafka ブローカーが応答しなくなる可能性があることに注意してください。
    9
    (オプション) 失敗した認可サーバーへの HTTP リクエストの再試行を行うまでの待機時間。デフォルトでは、この時間はゼロに設定されており、一時停止は適用されません。これは、リクエストの失敗の原因となる問題の多くは、リクエストごとのネットワークの不具合やプロキシーの問題であり、すぐに解決できるためです。ただし、認可サーバーに負荷がかかっている場合、または高トラフィックが発生している場合は、このオプションを 100 ミリ秒以上の値に設定して、サーバーの負荷を軽減し、再試行が成功する可能性を高めることができます。
  3. Kafka リソースのデプロイメントに変更を適用します。

    oc apply -f your-file
  4. 更新をログで確認するか、Pod 状態の遷移を監視して確認します。

    oc logs -f ${POD_NAME} -c ${CONTAINER_NAME}
    oc get pod -w

    ローリング更新では、OAuth 2.0 認証を使用して Kafka ブローカーと対話するコンポーネントが設定されます。

14.5. OAuth 2.0 トークンベース承認の使用

トークンベースの認証に OAuth 2.0 と Red Hat Single Sign-On を使用している場合、Red Hat Single Sign-On を使用して承認ルールを設定し、Kafka ブローカーへのクライアントのアクセスを制限することもできます。認証はユーザーのアイデンティティーを確立します。承認は、そのユーザーのアクセスレベルを決定します。

AMQ Streams は、Red Hat Single Sign-On の 認証サービス による OAuth 2.0 トークンベースの承認をサポートします。これにより、セキュリティーポリシーとパーミッションの一元的な管理が可能になります。

Red Hat Single Sign-On で定義されたセキュリティーポリシーおよびパーミッションは、Kafka ブローカーのリソースへのアクセスを付与するために使用されます。ユーザーとクライアントは、Kafka ブローカーで特定のアクションを実行するためのアクセスを許可するポリシーに対して照合されます。

Kafka では、デフォルトですべてのユーザーがブローカーに完全アクセスできます。また、アクセス制御リスト (ACL) を基にして承認を設定するために AclAuthorizer プラグインが提供されます。

ZooKeeper には、ユーザー名 を基にしてリソースへのアクセスを付与または拒否する ACL ルールが保存されます。ただし、Red Hat Single Sign-On を使用した OAuth 2.0 トークンベースの承認では、より柔軟にアクセス制御を Kafka ブローカーに実装できます。さらに、Kafka ブローカーで OAuth 2.0 の承認および ACL が使用されるように設定することができます。

14.5.1. OAuth 2.0 の承認メカニズム

AMQ Streams の OAuth 2.0 での承認では、Red Hat Single Sign-On サーバーの Authorization Services REST エンドポイントを使用して、Red Hat Single Sign-On を使用するトークンベースの認証が拡張されます。これは、定義されたセキュリティーポリシーを特定のユーザーに適用し、そのユーザーの異なるリソースに付与されたパーミッションのリストを提供します。ポリシーはロールとグループを使用して、パーミッションをユーザーと照合します。OAuth 2.0 の承認では、Red Hat Single Sign-On の Authorization Services から受信した、ユーザーに付与された権限のリストを基にして、権限がローカルで強制されます。

14.5.1.1. Kafka ブローカーのカスタム authorizer

AMQ Streams では、Red Hat Single Sign-On の authorizer (KeycloakAuthorizer) が提供されます。Red Hat Single Sign-On によって提供される Authorization Services で Red Hat Single Sign-On REST エンドポイントを使用できるようにするには、Kafka ブローカーでカスタム authorizer を設定します。

authorizer は必要に応じて付与された権限のリストを認可サーバーから取得し、ローカルで Kafka ブローカーに承認を強制するため、クライアントの要求ごとに迅速な承認決定が行われます。

14.5.2. OAuth 2.0 承認サポートの設定

この手順では、Red Hat Single Sign-On の Authorization Services を使用して、OAuth 2.0 承認を使用するように Kafka ブローカーを設定する方法を説明します。

作業を開始する前に

特定のユーザーに必要なアクセス、または制限するアクセスについて検討してください。Red Hat Single Sign-On では、Red Hat Single Sign-On の グループロールクライアント、および ユーザー の組み合わせを使用して、アクセスを設定できます。

通常、グループは組織の部門または地理的な場所を基にしてユーザーを照合するために使用されます。また、ロールは職務を基にしてユーザーを照合するために使用されます。

Red Hat Single Sign-On を使用すると、ユーザーおよびグループを LDAP で保存できますが、クライアントおよびロールは LDAP で保存できません。ユーザーデータへのアクセスとストレージを考慮して、認可ポリシーの設定方法を選択する必要がある場合があります。

注記

スーパーユーザー は、Kafka ブローカーに実装された承認にかかわらず、常に制限なく Kafka ブローカーにアクセスできます。

前提条件

  • AMQ Streams は、トークンベースの認証 に Red Hat Single Sign-On と OAuth 2.0 を使用するように設定されている必要がある。承認を設定するときに、同じ Red Hat Single Sign-On サーバーエンドポイントを使用する必要があります。
  • OAuth 2.0 認証は、再認証を有効にするために maxSecondsWithoutReauthentication オプションで設定する必要があります。

手順

  1. Red Hat Single Sign-On の Admin Console にアクセスするか、Red Hat Single Sign-On の Admin CLI を使用して、OAuth 2.0 認証の設定時に作成した Kafka ブローカークライアントの Authorization Services を有効にします。
  2. 承認サービスを使用して、クライアントのリソース、承認スコープ、ポリシー、およびパーミッションを定義します。
  3. ロールとグループをユーザーとクライアントに割り当てて、パーミッションをユーザーとクライアントにバインドします。
  4. エディターで Kafka リソースの Kafka ブローカー設定 (Kafka.spec.kafka) を更新して、Kafka ブローカーで Red Hat Single Sign-On による承認が使用されるように設定します。

    oc edit kafka my-cluster
  5. Kafka ブローカーの kafka 設定を指定して、keycloak による承認を使用し、認可サーバーと Red Hat Single Sign-On の Authorization Services にアクセスできるようにします。

    以下に例を示します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        authorization:
          type: keycloak 1
          tokenEndpointUri: <https://<auth-server-address>/auth/realms/external/protocol/openid-connect/token> 2
          clientId: kafka 3
          delegateToKafkaAcls: false 4
          disableTlsHostnameVerification: false 5
          superUsers: 6
          - CN=fred
          - sam
          - CN=edward
          tlsTrustedCertificates: 7
          - secretName: oauth-server-cert
            certificate: ca.crt
          grantsRefreshPeriodSeconds: 60 8
          grantsRefreshPoolSize: 5 9
          grantsMaxIdleSeconds: 300 10
          grantsGcPeriodSeconds: 300 11
          grantsAlwaysLatest: false 12
          connectTimeoutSeconds: 60 13
          readTimeoutSeconds: 60 14
          httpRetries: 2 15
          enableMetrics: false 16
        #...
    1
    タイプ keycloak によって Red Hat Single Sign-On の承認が有効になります。
    2
    Red Hat Single Sign-On トークンエンドポイントの URI。実稼働環境の場合は、常に https:// urls を使用してください。トークンベースの oauth 認証を設定する場合、jwksEndpointUri をローカル JWT 検証の URI として指定します。tokenEndpointUri URI のホスト名は同じである必要があります。
    3
    承認サービスが有効になっている Red Hat Single Sign-On の OAuth 2.0 クライアント定義のクライアント ID。通常、kafka が ID として使用されます。
    4
    (オプション) Red Hat Single Sign-On Authorization Services ポリシーでアクセスが拒否された場合、Kafka AclAuthorizer に権限を委譲します。デフォルトは false です。
    5
    (任意設定): TLS ホスト名の検証を無効にします。デフォルトは false です。
    6
    (オプション) 指定されたスーパーユーザー。
    7
    (任意設定): 認可サーバーへの TLS 接続用の信用できる証明書。
    8
    (任意設定): 連続する付与 (Grants) 更新実行の間隔。これは、アクティブなセッションが Red Hat Single Sign-On でユーザーのパーミッション変更を検出する最大時間です。デフォルト値は 60 です。
    9
    (任意設定): アクティブなセッションの付与 (Grants) の更新 (並行して) に使用するスレッドの数。デフォルト値は 5 です。
    10
    (オプション) キャッシュ内のアイドル許可を削除できるようになるまでの時間 (秒単位)。デフォルト値は 300 です。
    11
    (オプション) キャッシュから古い許可を削除するジョブの連続実行間の時間 (秒単位)。デフォルト値は 300 です。
    12
    (オプション) 新しいセッションに対して最新の許可を取得するかどうかを制御します。有効にすると、許可が Red Hat Single Sign-On から取得され、ユーザーのためにキャッシュされます。デフォルト値は false です。
    13
    (オプション): Red Hat Single Sign-On トークンエンドポイントへの接続時のタイムアウト (秒単位)。デフォルト値は 60 です。
    14
    (オプション): Red Hat Single Sign-On トークンエンドポイントへの接続時の読み取りタイムアウト (秒単位)。デフォルト値は 60 です。
    15
    (オプション) 認可サーバーへの失敗した HTTP リクエストを (一時停止せずに) 再試行する最大回数。デフォルト値は 0 で、再試行は実行されないことを意味します。このオプションを効果的に使用するには、connectTimeoutSeconds オプションと readTimeoutSeconds オプションのタイムアウト時間を短縮することを検討してください。ただし、再試行により現在のワーカースレッドが他のリクエストで利用できなくなる可能性があり、リクエストが多すぎると停止する場合、Kafka ブローカーが応答しなくなる可能性があることに注意してください。
    16
    (オプション) OAuth メトリックを有効または無効にします。デフォルト値は false です。
  6. エディターを保存して終了し、ローリング更新の完了を待ちます。
  7. 更新をログで確認するか、Pod 状態の遷移を監視して確認します。

    oc logs -f ${POD_NAME} -c kafka
    oc get pod -w

    ローリング更新によって、ブローカーが OAuth 2.0 承認を使用するように設定されます。

  8. クライアントまたは特定のロールを持つユーザーとして Kafka ブローカーにアクセスして、設定したパーミッションを検証し、必要なアクセス権限があり、付与されるべきでないアクセス権限がないことを確認します。

14.5.3. Red Hat Single Sign-On の Authorization Services でのポリシーおよびパーミッションの管理

本セクションでは、Red Hat Single Sign-On Authorization Services および Kafka によって使用される承認モデルについて説明し、各モデルの重要な概念を定義します。

Kafka にアクセスするためのパーミッションを付与するには、Red Hat Single Sign-On で OAuth クライアント仕様を作成して、Red Hat Single Sign-On Authorization Services オブジェクトを Kafka リソースにマップできます。Kafka パーミッションは、Red Hat Single Sign-On Authorization Services ルールを使用して、ユーザーアカウントまたはサービスアカウントに付与されます。

トピックの作成やリスト表示など、一般的な Kafka 操作に必要なさまざまなユーザーパーミッションの を紹介します。

14.5.3.1. Kafka および Red Hat Single Sign-On 承認モデルの概要

Kafka および Red Hat Single Sign-On Authorization Services は、異なる承認モデルを使用します。

Kafka 承認モデル

Kafka の承認モデルはリソース型を使用します。Kafka クライアントがブローカーでアクションを実行すると、ブローカーは設定済みの KeycloakAuthorizer を使用して、アクションおよびリソースタイプを基にしてクライアントのパーミッションをチェックします。

Kafka は 5 つのリソースタイプを使用してアクセスを制御します ( TopicGroupClusterTransactionalId、および DelegationToken )。各リソースタイプには、利用可能なパーミッションセットがあります。

トピック

  • 作成
  • Write
  • 読み取り
  • Delete
  • Describe
  • DescribeConfigs
  • Alter
  • AlterConfigs

グループ

  • 読み取り
  • Describe
  • Delete

クラスター

  • 作成
  • Describe
  • Alter
  • DescribeConfigs
  • AlterConfigs
  • IdempotentWrite
  • ClusterAction

TransactionalId

  • Describe
  • Write

DelegationToken

  • Describe
Red Hat Single Sign-On の Authorization Services モデル

Red Hat Single Sign-On の Authorization Services には、パーミッションを定義および付与するための 4 つの概念があります。これらは リソース承認スコープポリシー、および パーミッション です。

リソース
リソースは、リソースを許可されたアクションと一致するために使用されるリソース定義のセットです。リソースは、個別のトピックであったり、名前が同じ接頭辞で始まるすべてのトピックであったりします。リソース定義は、利用可能な承認スコープのセットに関連付けられます。これは、リソースで利用可能なすべてのアクションのセットを表します。多くの場合、これらのアクションのサブセットのみが実際に許可されます。
承認スコープ
承認スコープは、特定のリソース定義で利用可能なすべてのアクションのセットです。新規リソースを定義するとき、すべてのスコープのセットからスコープを追加します。
ポリシー

ポリシーは、アカウントのリストと照合するための基準を使用する承認ルールです。ポリシーは以下と一致できます。

  • クライアント ID またはロールに基づくサービスアカウント
  • ユーザー名、グループ、またはロールに基づくユーザーアカウント
パーミッション
パーミッションは、特定のリソース定義の承認スコープのサブセットをユーザーのセットに付与します。

関連情報

14.5.3.2. Red Hat Single Sign-On Authorization Services の Kafka 承認モデルへのマッピング

Kafka 承認モデルは、Kafka へのアクセスを制御する Red Hat Single Sign-On ロールおよびリソースを定義するベースとして使用されます。

ユーザーアカウントまたはサービスアカウントに Kafka パーミッションを付与するには、まず Kafka ブローカーの Red Hat Single Sign-On に OAuth クライアント仕様を作成します。次に、クライアントに Red Hat Single Sign-On の Authorization Services ルールを指定します。通常、ブローカーを表す OAuth クライアントのクライアント ID は kafka です。AMQ Streams で提供されている設定ファイルの例では、OAuth のクライアント ID として kafka を使用しています。

注記

複数の Kafka クラスターがある場合は、それらすべてに単一の OAuth クライアント (kafka) を使用できます。これにより、承認ルールを定義および管理するための単一の統合されたスペースが提供されます。ただし、異なる OAuth クライアント ID(例 my-cluster-kafka または cluster-dev-kafka) を使用し、各クライアント設定内の各クラスターの承認ルールを定義することもできます。

Kafka クライアント 定義では、Red Hat Single Sign-On 管理コンソールで Authorization Enabled オプションが有効になっている必要があります。

すべてのパーミッションは、kafka クライアントのスコープ内に存在します。異なる OAuth クライアント ID で異なる Kafka クラスターを設定した場合、同じ Red Hat Single Sign-On レルムの一部であっても、それぞれに個別のパーミッションセットが必要です。

Kafka クライアントが OAUTHBEARER 認証を使用する場合、Red Hat Single Sign-On オーソライザー (KeycloakAuthorizer) は現在のセッションのアクセストークンを使用して、Red Hat Single Sign-On サーバーからグラントのリストを取得します。許可を取得するために、オーソライザーは Red Hat Single Sign-On の Authorization Services ポリシーおよびパーミッションを評価します。

Kafka パーミッションの承認スコープ

通常、Red Hat Single Sign-On 初期設定では、承認スコープをアップロードして、各 Kafka リソースタイプで実行できるすべての可能なアクションのリストを作成します。この手順は、パーミッションを定義する前に 1 度のみ実行されます。承認スコープをアップロードする代わりに、手動で追加できます。

承認スコープには、リソースタイプに関係なく、可能なすべての Kafka パーミッションが含まれる必要があります。

  • 作成
  • Write
  • 読み取り
  • Delete
  • Describe
  • Alter
  • DescribeConfig
  • AlterConfig
  • ClusterAction
  • IdempotentWrite
注記

パーミッションが必要ない場合 (例: IdempotentWrite)、承認スコープのリストから省略できます。ただし、そのパーミッションは Kafka リソースをターゲットにすることはできません。

パーミッションチェックのリソースパターン

リソースパターンは、パーミッションチェックの実行時にターゲットリソースに対するパターンの照合に使用されます。一般的なパターン形式は RESOURCE-TYPE:PATTERN-NAME です。

リソースタイプは Kafka 承認モデルをミラーリングします。このパターンでは、次の 2 つの一致オプションが可能です。

  • 完全一致 (パターンが * で終了しない場合)
  • 接頭辞一致 (パターンが * で終了する)

リソースのパターン例

Topic:my-topic
Topic:orders-*
Group:orders-*
Cluster:*

さらに、一般的なパターンフォーマットは、kafka-cluster:CLUSTER-NAME の前にコンマを付けることができ、CLUSTER-NAMEは Kafka カスタムリソースの metadata.name を参照します。

クラスター接頭辞が付けられたリソースのパターン例

kafka-cluster:my-cluster,Topic:*
kafka-cluster:*,Group:b_*

kafka-cluster の接頭辞がない場合は、kafka-cluster:* とみなします。

リソースを定義するときに、リソースに関連する可能な承認スコープのリストを関連付けることができます。ターゲットリソースタイプに妥当なアクションを設定します。

任意の承認スコープを任意のリソースに追加できますが、リソースタイプでサポートされるスコープのみがアクセス制御の対象として考慮されます。

アクセスパーミッションを適用するポリシー

ポリシーは、1 つ以上のユーザーアカウントまたはサービスアカウントにパーミッションをターゲットにするために使用されます。以下がターゲットの対象になります。

  • 特定のユーザーまたはサービスアカウント
  • レルムロールまたはクライアントロール
  • ユーザーグループ
  • クライアント IP アドレスに一致する JavaScript ルール

ポリシーには一意の名前が割り当てられ、複数のリソースに対して複数の対象パーミッションを指定するために再使用できます。

アクセスを付与するためのパーミッション

詳細なパーミッションを使用して、ユーザーへのアクセスを付与するポリシー、リソース、および承認スコープをまとめます。

各パーミッションの名前によって、どのユーザーにどのパーミッションが付与されるかが明確に定義される必要があります。例えば、Dev Team B は x で始まるトピックから読むことができます

関連情報

14.5.3.3. Kafka 操作に必要なパーミッションの例

以下の例は、Kafka で一般的な操作を実行するために必要なユーザーパーミッションを示しています。

トピックを作成します

トピックを作成するには、特定のトピック、または Cluster:kafka-cluster に対して Create パーミッションが必要です。

bin/kafka-topics.sh --create --topic my-topic \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

トピックのリスト表示

指定のトピックでユーザーに Describe パーミッションがある場合には、トピックがリスト表示されます。

bin/kafka-topics.sh --list \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

トピックの詳細の表示

トピックの詳細を表示するには、トピックに対して Describe および DescribeConfigs の権限が必要です。

bin/kafka-topics.sh --describe --topic my-topic \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

トピックへのメッセージの生成

トピックへのメッセージを作成するには、トピックに対する DescribeWrite の権限が必要です。

トピックが作成されておらず、トピックの自動生成が有効になっている場合は、トピックを作成するパーミッションが必要になります。

bin/kafka-console-producer.sh  --topic my-topic \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --producer.config=/tmp/config.properties

トピックからのメッセージの消費

トピックからのメッセージを消費するためには、トピックに DescribeRead のパーミッションが必要です。通常、トピックからの消費は、コンシューマーグループにコンシューマーオフセットを格納することに依存しており、これにはコンシューマーグループに対する追加の Describe および Read 権限が必要です。

マッチングには 2 つの resources が必要です。以下に例を示します。

Topic:my-topic
Group:my-group-*
bin/kafka-console-consumer.sh --topic my-topic --group my-group-1 --from-beginning \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --consumer.config /tmp/config.properties

べき等プロデューサーを使用したトピックへのメッセージの生成

Cluster:kafka-cluster リソースには、トピックをプロデュースするためのアクセス許可だけでなく、IdempotentWrite アクセス許可が追加で必要です。

マッチングには 2 つの resources が必要です。以下に例を示します。

Topic:my-topic
Cluster:kafka-cluster
bin/kafka-console-producer.sh  --topic my-topic \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --producer.config=/tmp/config.properties --producer-property enable.idempotence=true --request-required-acks -1

コンシューマーグループのリスト

コンシューマーグループのリスト表示時に、ユーザーが Describe 権限を持っているグループのみが返されます。また、ユーザーが Cluster:kafka-cluster に対して Describe パーミッションを持っている場合は、すべてのコンシューマーグループが返されます。

bin/kafka-consumer-groups.sh --list \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

コンシューマーグループの詳細の表示

コンシューマーグループの詳細を表示するには、グループとグループに関連するトピックに対して Describe 権限が必要です。

bin/kafka-consumer-groups.sh --describe --group my-group-1 \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

トピック設定の変更

トピックの設定を変更するには、トピックに DescribeAlter の権限が必要です。

bin/kafka-topics.sh --alter --topic my-topic --partitions 2 \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

Kafka ブローカー設定の表示

kafka-configs.sh を使用してブローカーの設定を取得するためには、Cluster:kafka-clusterDescribeConfigs パーミッションが必要です。

bin/kafka-configs.sh --entity-type brokers --entity-name 0 --describe --all \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

Kafka ブローカー設定の変更

Kafka ブローカーの設定を変更するには、Cluster:kafka-clusterDescribeConfigs および AlterConfigs パーミッションが必要です。

bin/kafka-configs --entity-type brokers --entity-name 0 --alter --add-config log.cleaner.threads=2 \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

トピックを削除します

トピックを削除するには、トピックに DescribeDelete の権限が必要です。

bin/kafka-topics.sh --delete --topic my-topic \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config=/tmp/config.properties

リードパーティションの選択

トピックパーティションのリーダー選択を実行するには、Cluster:kafka-clusterAlter パーミッションが必要です。

bin/kafka-leader-election.sh --topic my-topic --partition 0 --election-type PREFERRED  /
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --admin.config /tmp/config.properties

パーティションの再割り当て

パーティション再割り当てファイルを生成するためには、関係するトピックに対して Describe 権限が必要です。

bin/kafka-reassign-partitions.sh --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "0,1" --generate \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config /tmp/config.properties > /tmp/partition-reassignment.json

パーティション再割り当てを実行するには、Cluster:kafka-cluster に対して DescribeAlter のパーミッションが必要です。また、関係するトピックには、Describe の パーミッションが必要です。

bin/kafka-reassign-partitions.sh --reassignment-json-file /tmp/partition-reassignment.json --execute \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config /tmp/config.properties

パーティション再割り当てを確認するには、Cluster:kafka-cluster および関連する各トピックに対して Describe および AlterConfigs のパーミッションが必要です。

bin/kafka-reassign-partitions.sh --reassignment-json-file /tmp/partition-reassignment.json --verify \
  --bootstrap-server my-cluster-kafka-bootstrap:9092 --command-config /tmp/config.properties

14.5.4. Red Hat Single Sign-On の Authorization Services の試行

この例では、Red Hat Single Sign-On Authorization Services を keycloak 認証で使用する方法を説明します。Red Hat Single Sign-On の Authorization Services を使用して、Kafka クライアントにアクセス制限を強制します。Red Hat Single Sign-On の Authorization Services では、承認スコープ、ポリシー、およびパーミッションを使用してアクセス制御をリソースに定義および適用します。

Red Hat Single Sign-On の Authorization Services REST エンドポイントは、認証されたユーザーのリソースに付与されたパーミッションのリストを提供します。許可 (パーミッション) のリストは、Kafka クライアントによって認証されたセッションが確立された後に最初のアクションとして Red Hat Single Sign-On サーバーから取得されます。付与の変更が検出されるように、バックグラウンドでリストが更新されます。付与は、各ユーザーセッションが迅速な承認決定を提供するために、Kafka ブローカーにてローカルでキャッシュおよび適用されます。

AMQ Streams には、設定ファイルのサンプル が用意されています。これには、Red Hat Single Sign-On を設定するための以下のサンプルファイルが含まれます。

kafka-ephemeral-oauth-single-keycloak-authz.yaml
Red Hat Single Sign-On を使用して OAuth 2.0 トークンベースの承認に設定された Kafka カスタムリソースの例。カスタムリソースを使用して、keycloak 承認およびトークンベースの oauth 認証を使用する Kafka クラスターをデプロイできます。
kafka-authz-realm.json
サンプルグループ、ユーザー、ロール、およびクライアントで設定された Red Hat Single Sign-On レルムの例。レルムを Red Hat Single Sign-On インスタンスにインポートし、Kafka にアクセスするための詳細なパーミッションを設定できます。

Red Hat Single Sign-On で例を試す場合は、これらのファイルを使用して、本セクションの順序で説明したタスクを実行します。

認証

トークンベースの oauth 認証を設定する場合、jwksEndpointUri をローカル JWT 検証の URI として指定します。keycloak 承認を設定するとき、a tokenEndpointUri を Red Hat Single Sign-On トークンエンドポイントの URI として指定します。両方の URI のホスト名は同じである必要があります。

グループまたはロールポリシーを使用した対象パーミッション

Red Hat Single Sign-On では、サービスアカウントが有効になっている機密性の高いクライアントを、クライアント ID とシークレットを使用して、独自の名前のサーバーに対して認証できます。これは、通常、特定ユーザーのエージェント (Web サイトなど) としてではなく、独自の名前で動作するマイクロサービスに便利です。サービスアカウントには、通常のユーザーと同様にロールを割り当てることができます。ただし、グループを割り当てることはできません。そのため、サービスアカウントを使用してマイクロサービスへのパーミッションをターゲットにする場合は、グループポリシーを使用できないため、代わりにロールポリシーを使用する必要があります。逆に、ユーザー名およびパスワードを使用した認証が必要な通常のユーザーアカウントにのみ特定のパーミッションを制限する場合は、ロールポリシーではなく、グループポリシーを使用すると、副次的に実現することができます。これは、ClusterManager で始まるパーミッションの例で使用されるものです。通常、クラスター管理の実行は CLI ツールを使用して対話的に行われます。結果的に生成されるアクセストークンを使用して Kafka ブローカーに対して認証を行う前に、ユーザーのログインを要求することは妥当です。この場合、アクセストークンはクライアントアプリケーションではなく、特定のユーザーを表します。

14.5.4.1. Red Hat Single Sign-On 管理コンソールへのアクセス

Red Hat Single Sign-On を設定してから、管理コンソールに接続し、事前設定されたレルムを追加します。kafka-authz-realm.json ファイルのサンプルを使用して、レルムをインポートします。管理コンソールのレルムに定義された承認ルールを確認できます。このルールは、Red Hat Single Sign-On レルムの例を使用するよう設定された Kafka クラスターのリソースへのアクセスを許可します。

前提条件

  • 実行中の OpenShift クラスター。
  • 事前設定されたレルムが含まれる AMQ Streams の examples/security/keycloak-authorization/kafka-authz-realm.json ファイル。

手順

  1. Red Hat Single Sign-On ドキュメントの Server Installation and Configuration の説明にしたがって、Red Hat Single Sign-On Operator を使用して Red Hat Single Sign-On サーバーをインストールします。
  2. Red Hat Single Sign-On インスタンスが実行されるまで待ちます。
  3. 管理コンソールにアクセスできるように外部ホスト名を取得します。

    NS=sso
    oc get ingress keycloak -n $NS

    この例では、Red Hat Single Sign-On サーバーが sso namespace で実行されていることを前提としています。

  4. admin ユーザーのパスワードを取得します。

    oc get -n $NS pod keycloak-0 -o yaml | less

    パスワードはシークレットとして保存されるため、Red Hat Single Sign-On インスタンスの設定 YAML ファイルを取得して、シークレット名 (secretKeyRef.name) を特定します。

  5. シークレットの名前を使用して、クリアテキストのパスワードを取得します。

    SECRET_NAME=credential-keycloak
    oc get -n $NS secret $SECRET_NAME -o yaml | grep PASSWORD | awk '{print $2}' | base64 -D

    この例では、シークレットの名前が credential-keycloak であることを前提としています。

  6. ユーザー名 admin と取得したパスワードを使用して、管理コンソールにログインします。

    https://HOSTNAME を使用して Kubernetes Ingress にアクセスします。

    管理コンソールを使用して、サンプルレルムを Red Hat Single Sign-On にアップロードできるようになりました。

  7. Add Realm をクリックして、サンプルレルムをインポートします。
  8. examples/security/keycloak-authorization/kafka-authz-realm.json ファイルを追加してから Create をクリックします。

    これで、管理コンソールの現在のレルムとして kafka-authz が含まれるようになりました。

    デフォルトビューには、Master レルムが表示されます。

  9. Red Hat Single Sign-On 管理コンソールで Clients > kafka > Authorization > Settings の順に移動し、Decision StrategyAffirmative に設定されていることを確認します。

    肯定的な (Affirmative) ポリシーとは、クライアントが Kafka クラスターにアクセスするためには少なくとも 1 つのポリシーが満たされている必要があることを意味します。

  10. Red Hat Single Sign-On 管理コンソールで、GroupsUsersRoles、および Clients と移動して、レルム設定を表示します。

    グループ
    Groups は、ユーザーグループの作成やユーザー権限の設定に使用します。グループは、名前が割り当てられたユーザーのセットです。地域、組織、または部門単位に区分するために使用されます。グループは LDAP アイデンティティープロバイダーにリンクできます。Kafka リソースにパーミッションを付与するなど、カスタム LDAP サーバー管理ユーザーインターフェイスを使用して、ユーザーをグループのメンバーにすることができます。
    ユーザー
    Users は、ユーザーを作成するために使用されます。この例では、alicebob が定義されています。aliceClusterManager グループのメンバーであり、bobClusterManager-my-cluster グループのメンバーです。ユーザーは LDAP アイデンティティープロバイダーに保存できます。
    ロール
    Roles は、ユーザーやクライアントが特定の権限を持っていることを示すものです。ロールはグループに似た概念です。通常ロールは、組織ロールでユーザーを タグ付け するために使用され、必要なパーミッションを持ちます。ロールは LDAP アイデンティティープロバイダーに保存できません。LDAP が必須である場合は、代わりにグループを使用し、Red Hat Single Sign-On ロールをグループに追加して、ユーザーにグループを割り当てるときに対応するロールも取得するようにします。
    Clients

    Clients は特定の設定を持つことができます。この例では、kafkakafka-cliteam-a-clientteam-b-client の各クライアントが設定されています。

    • kafka クライアントは、Kafka ブローカーがアクセストークンの検証に必要な OAuth 2.0 通信を行うために使用されます。このクライアントには、Kafka ブローカーで承認を実行するために使用される承認サービスリソース定義、ポリシー、および承認スコープも含まれます。認証設定は kafka クライアントの Authorization タブで定義され、Settings タブでAuthorization Enabled をオンにすると表示されます。
    • kafka-cli クライアントは、アクセストークンまたは更新トークンを取得するためにユーザー名とパスワードを使用して認証するときに Kafka コマンドラインツールによって使用されるパブリッククライアントです。
    • team-a-client および team-b-client クライアントは、特定の Kafka トピックに部分的にアクセスできるサービスを表す機密クライアントです。
  11. Red Hat Single Sign-On 管理コンソールで、Authorization > Permissions の順に移動し、レルムに定義されたリソースおよびポリシーを使用する付与されたパーミッションを確認します。

    たとえば、kafka クライアントには以下のパーミッションがあります。

    Dev Team A can write to topics that start with x_ on any cluster
    Dev Team B can read from topics that start with x_ on any cluster
    Dev Team B can update consumer group offsets that start with x_ on any cluster
    ClusterManager of my-cluster Group has full access to cluster config on my-cluster
    ClusterManager of my-cluster Group has full access to consumer groups on my-cluster
    ClusterManager of my-cluster Group has full access to topics on my-cluster
    Dev Team A
    Dev チーム A レルムロールは、任意のクラスターで x_ で始まるトピックに書き込みできます。これは、Topic:x_* というリソース、DescribeWrite のスコープ、そして Dev Team A のポリシーを組み合わせたものです。Dev Team A ポリシーは、Dev Team A というレルムロールを持つすべてのユーザーにマッチします。
    Dev Team B
    Dev チーム B レルムロールは、任意のクラスターで x_ で始まるトピックから読み取ることができます。これは、Topic:x_*、 Group:x_* のリソース、DescribeRead のスコープ、および Dev Team B のポリシーを組み合わせたものです。Dev Team B ポリシーは、Dev Team B というレルムロールを持つすべてのユーザーにマッチします。一致するユーザーおよびクライアントはトピックから読み取りでき、名前が x_ で始まるトピックおよびコンシューマーグループの消費されたオフセットを更新できます。
14.5.4.2. Red Hat Single Sign-On 承認をでの Kafka クラスターのデプロイメント

Red Hat Single Sign-On サーバーに接続するように設定された Kafka クラスターをデプロイします。サンプルの kafka-ephemeral-oauth-single-keycloak-authz.yaml ファイルを使用して、Kafka カスタムリソースとして Kafka クラスターをデプロイメントします。この例では、keycloak 承認と oauth 認証を使用して単一ノードの Kafka クラスターをデプロイします。

前提条件

  • Red Hat Single Sign-On 認可サーバーが OpenShift クラスターにデプロイされ、サンプルレルムでロードされている。
  • Cluster Operator が OpenShift クラスターにデプロイされている。
  • AMQ Streams の examples/security/keycloak-authorization/kafka-ephemeral-oauth-single-keycloak-authz.yaml カスタムリソース。

手順

  1. デプロイした Red Hat Single Sign-On インスタンスのホスト名を使用して、Kafka ブローカーのトラストストア証明書を準備し、Red Hat Single Sign-On サーバーと通信します。

    SSO_HOST=SSO-HOSTNAME
    SSO_HOST_PORT=$SSO_HOST:443
    STOREPASS=storepass
    
    echo "Q" | openssl s_client -showcerts -connect $SSO_HOST_PORT 2>/dev/null | awk ' /BEGIN CERTIFICATE/,/END CERTIFICATE/ { print $0 } ' > /tmp/sso.pem

    Kubernetes Ingress は セキュアな (HTTPS) 接続を確立するために使用されるため、証明書が必要です。

    通常、単一の証明書ではなく、証明書チェーンがあります。指定する必要があるのは、/tmp/sso.pem ファイルの最後にリストされている最上位の発行者 CA だけです。手動で抽出するか、次のコマンドを使用して抽出できます。

    証明書チェーンの最上位の CA 証明書を抽出するコマンドの例

    split -p "-----BEGIN CERTIFICATE-----" sso.pem sso-
    for f in $(ls sso-*); do mv $f $f.pem; done
    cp $(ls sso-* | sort -r | head -n 1) sso-ca.crt

    注記

    信頼できる CA 証明書は通常、openssl コマンドを使用するのではなく、信頼できるソースから取得します。

  2. シークレットとして OpenShift に証明書をデプロイします。

    oc create secret generic oauth-server-cert --from-file=/tmp/sso-ca.crt -n $NS
  3. ホスト名を環境変数として設定します。

    SSO_HOST=SSO-HOSTNAME
  4. サンプル Kafka クラスターを作成およびデプロイします。

    cat examples/security/keycloak-authorization/kafka-ephemeral-oauth-single-keycloak-authz.yaml | sed -E 's#\${SSO_HOST}'"#$SSO_HOST#" | oc create -n $NS -f -
14.5.4.3. CLI Kafka クライアントセッションの TLS 接続の準備

対話型 CLI セッション用の新規 Pod を作成します。TLS 接続用の Red Hat Single Sign-On 証明書を使用してトラストストアを設定します。トラストストアは、Red Hat Single Sign-On および Kafka ブローカーに接続します。

前提条件

  • Red Hat Single Sign-On 認可サーバーが OpenShift クラスターにデプロイされ、サンプルレルムでロードされている。

    Red Hat Single Sign-On 管理コンソールで、クライアントに割り当てられたロールが Clients > Service Account Roles に表示されることを確認します。

  • Red Hat Single Sign-On に接続するように設定された Kafka クラスターが OpenShift クラスターにデプロイされている。

手順

  1. AMQ Streams の Kafka イメージを使用してインタラクティブな Pod コンテナーを新たに実行し、稼働中の Kafka ブローカーに接続します。

    NS=sso
    oc run -ti --restart=Never --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 kafka-cli -n $NS -- /bin/sh
    注記

    イメージのダウンロードの待機中に oc がタイムアウトする場合、その後の試行によって an AlreadyExists エラーが発生することがあります。

  2. Pod コンテナーにアタッチします。

    oc attach -ti kafka-cli -n $NS
  3. Red Hat Single Sign-On インスタンスのホスト名を使用して、TLS を使用してクライアントコネクションの証明書を準備します。

    SSO_HOST=SSO-HOSTNAME
    SSO_HOST_PORT=$SSO_HOST:443
    STOREPASS=storepass
    
    echo "Q" | openssl s_client -showcerts -connect $SSO_HOST_PORT 2>/dev/null | awk ' /BEGIN CERTIFICATE/,/END CERTIFICATE/ { print $0 } ' > /tmp/sso.pem

    通常、単一の証明書ではなく、証明書チェーンがあります。指定する必要があるのは、/tmp/sso.pem ファイルの最後にリストされている最上位の発行者 CA だけです。手動で抽出するか、次のコマンドを使用して抽出できます。

    証明書チェーンの最上位の CA 証明書を抽出するコマンドの例

    split -p "-----BEGIN CERTIFICATE-----" sso.pem sso-
    for f in $(ls sso-*); do mv $f $f.pem; done
    cp $(ls sso-* | sort -r | head -n 1) sso-ca.crt

    注記

    信頼できる CA 証明書は通常、openssl コマンドを使用するのではなく、信頼できるソースから取得します。

  4. Kafka ブローカーへの TLS 接続のトラストストアを作成します。

    keytool -keystore /tmp/truststore.p12 -storetype pkcs12 -alias sso -storepass $STOREPASS -import -file /tmp/sso-ca.crt -noprompt
  5. Kafka ブートストラップアドレスを Kafka ブローカーのホスト名および tls リスナーポート (9093) のホスト名として使用し、Kafka ブローカーの証明書を準備します。

    KAFKA_HOST_PORT=my-cluster-kafka-bootstrap:9093
    STOREPASS=storepass
    
    echo "Q" | openssl s_client -showcerts -connect $KAFKA_HOST_PORT 2>/dev/null | awk ' /BEGIN CERTIFICATE/,/END CERTIFICATE/ { print $0 } ' > /tmp/my-cluster-kafka.pem

    取得した .pem ファイルは通常、1 つの証明書ではなく、証明書チェーンです。指定する必要があるのは、/tmp/my-cluster-kafka.pem ファイルの最後にリストされている最上位の発行者 CA のみです。手動で抽出するか、次のコマンドを使用して抽出できます。

    証明書チェーンの最上位の CA 証明書を抽出するコマンドの例

    split -p "-----BEGIN CERTIFICATE-----" /tmp/my-cluster-kafka.pem kafka-
    for f in $(ls kafka-*); do mv $f $f.pem; done
    cp $(ls kafka-* | sort -r | head -n 1) my-cluster-kafka-ca.crt

    注記

    信頼できる CA 証明書は通常、openssl コマンドを使用するのではなく、信頼できるソースから取得します。この例では、Kafka クラスターがデプロイされたのと同じ名前空間の Pod でクライアントが実行されていると想定しています。クライアントが OpenShift クラスターの外部から Kafka クラスターにアクセスしている場合は、最初にブートストラップアドレスを決定する必要があります。その場合、クラスター証明書を OpenShift シークレットから直接取得することもでき、openssl は必要ありません。詳細は、13章Kafka クラスターへのクライアントアクセスの設定 を参照してください。

  6. Kafka ブローカーの証明書をトラストストアに追加します。

    keytool -keystore /tmp/truststore.p12 -storetype pkcs12 -alias my-cluster-kafka -storepass $STOREPASS -import -file /tmp/my-cluster-kafka-ca.crt -noprompt

    承認されたアクセスを確認するために、セッションを開いたままにします。

14.5.4.4. CLI Kafka クライアントセッションを使用した Kafka への承認されたアクセスの確認

対話型 CLI セッションを使用して、Red Hat Single Sign-On レルムを通じて適用される承認ルールを確認します。Kafka のサンプルプロデューサーおよびコンシューマークライアントを使用してチェックを適用し、異なるレベルのアクセスを持つユーザーおよびサービスアカウントでトピックを作成します。

team-a-client クライアントおよび team-b-client クライアントを使用して、承認ルールを確認します。alice admin ユーザーを使用して、Kafka で追加の管理タスクを実行します。

この例で使用される AMQ Streams Kafka イメージには、Kafka プロデューサーおよびコンシューマーバイナリーが含まれます。

前提条件

クライアントおよび管理ユーザーの設定

  1. team-a-client クライアントの認証プロパティーで Kafka 設定ファイルを準備します。

    SSO_HOST=SSO-HOSTNAME
    
    cat > /tmp/team-a-client.properties << EOF
    security.protocol=SASL_SSL
    ssl.truststore.location=/tmp/truststore.p12
    ssl.truststore.password=$STOREPASS
    ssl.truststore.type=PKCS12
    sasl.mechanism=OAUTHBEARER
    sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
      oauth.client.id="team-a-client" \
      oauth.client.secret="team-a-client-secret" \
      oauth.ssl.truststore.location="/tmp/truststore.p12" \
      oauth.ssl.truststore.password="$STOREPASS" \
      oauth.ssl.truststore.type="PKCS12" \
      oauth.token.endpoint.uri="https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" ;
    sasl.login.callback.handler.class=io.strimzi.kafka.oauth.client.JaasClientOauthLoginCallbackHandler
    EOF

    SASL OAUTHBEARER メカニズムが使用されます。このメカニズムにはクライアント ID とクライアントシークレットが必要です。これは、クライアントが最初に Red Hat Single Sign-On サーバーに接続してアクセストークンを取得することを意味します。その後、クライアントは Kafka ブローカーに接続し、アクセストークンを使用して認証します。

  2. team-b-client クライアントの認証プロパティーで Kafka 設定ファイルを準備します。

    cat > /tmp/team-b-client.properties << EOF
    security.protocol=SASL_SSL
    ssl.truststore.location=/tmp/truststore.p12
    ssl.truststore.password=$STOREPASS
    ssl.truststore.type=PKCS12
    sasl.mechanism=OAUTHBEARER
    sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
      oauth.client.id="team-b-client" \
      oauth.client.secret="team-b-client-secret" \
      oauth.ssl.truststore.location="/tmp/truststore.p12" \
      oauth.ssl.truststore.password="$STOREPASS" \
      oauth.ssl.truststore.type="PKCS12" \
      oauth.token.endpoint.uri="https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" ;
    sasl.login.callback.handler.class=io.strimzi.kafka.oauth.client.JaasClientOauthLoginCallbackHandler
    EOF
  3. curl を使用して管理者ユーザー alice を認証し、パスワード付与認証を実行して更新トークンを取得します。

    USERNAME=alice
    PASSWORD=alice-password
    
    GRANT_RESPONSE=$(curl -X POST "https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" -H 'Content-Type: application/x-www-form-urlencoded' -d "grant_type=password&username=$USERNAME&password=$PASSWORD&client_id=kafka-cli&scope=offline_access" -s -k)
    
    REFRESH_TOKEN=$(echo $GRANT_RESPONSE | awk -F "refresh_token\":\"" '{printf $2}' | awk -F "\"" '{printf $1}')

    更新トークンは、有効期間がなく、期限切れにならないオフライントークンです。

  4. admin ユーザー alice の認証プロパティーで Kafka 設定ファイルを準備します。

    cat > /tmp/alice.properties << EOF
    security.protocol=SASL_SSL
    ssl.truststore.location=/tmp/truststore.p12
    ssl.truststore.password=$STOREPASS
    ssl.truststore.type=PKCS12
    sasl.mechanism=OAUTHBEARER
    sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required \
      oauth.refresh.token="$REFRESH_TOKEN" \
      oauth.client.id="kafka-cli" \
      oauth.ssl.truststore.location="/tmp/truststore.p12" \
      oauth.ssl.truststore.password="$STOREPASS" \
      oauth.ssl.truststore.type="PKCS12" \
      oauth.token.endpoint.uri="https://$SSO_HOST/auth/realms/kafka-authz/protocol/openid-connect/token" ;
    sasl.login.callback.handler.class=io.strimzi.kafka.oauth.client.JaasClientOauthLoginCallbackHandler
    EOF

    kafka-cli パブリッククライアントは、sasl.jaas .configoauth.client. id に使用されます。これはパブリッククライアントであるため、シークレットは必要ありません。クライアントは直前の手順で認証された更新トークンで認証されます。更新トークンは背後でアクセストークンを要求します。これは、認証のために Kafka ブローカーに送信されます。

承認されたアクセスでのメッセージの生成

team-a-client の設定を使用して、a_x_ で始まるトピックへのメッセージを作成できるかどうかを確認します。

  1. トピック my-topic に書き込みます。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic my-topic \
      --producer.config=/tmp/team-a-client.properties
    First message

    以下のリクエストは、Not authorized to access topics: [my-topic] エラーを返します。

    team-a-clientDev Team A ロールを持っており、a_ で始まるトピックに対してサポートされているすべてのアクションを実行する権限を与えられていますが、x_ で始まるトピックへの書き込みのみ可能です。my-topic という名前のトピックは、これらのルールのいずれにも一致しません。

  2. トピック a_messages に書き込む。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \
      --producer.config /tmp/team-a-client.properties
    First message
    Second message

    メッセージは Kafka に正常に生成されます。

  3. CTRL+C を押して CLI アプリケーションを終了します。
  4. リクエストについて、Kafka コンテナーログで Authorization GRANTED のデバッグログを確認します。

    oc logs my-cluster-kafka-0 -f -n $NS

承認されたアクセスでのメッセージの消費

team-a-client 設定を使用して、トピック a_messages からメッセージを消費します。

  1. トピック a_messages からメッセージをフェッチします。

    bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \
      --from-beginning --consumer.config /tmp/team-a-client.properties

    team-a-clientDev Team A ロールは、名前が a_ で始まるコンシューマーグループのみにアクセスできるため、リクエストはエラーを返します。

  2. team-a-client プロパティーを更新し、使用が許可されているカスタムコンシューマーグループを指定します。

    bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \
      --from-beginning --consumer.config /tmp/team-a-client.properties --group a_consumer_group_1

    コンシューマーは a_messages トピックからすべてのメッセージを受信します。

承認されたアクセスでの Kafka の管理

team-a-client はクラスターレベルのアクセスのないアカウントですが、一部の管理操作と使用することができます。

  1. トピックをリスト表示します。

    bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties --list

    a_messages トピックが返されます。

  2. コンシューマーグループをリスト表示します。

    bin/kafka-consumer-groups.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties --list

    a_consumer_group_1 コンシューマーグループが返されます。

    クラスター設定の詳細を取得します。

    bin/kafka-configs.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties \
      --entity-type brokers --describe --entity-default

    操作には team-a-client にないクラスターレベルのパーミッションが必要なため、リクエストはエラーを返します。

異なるパーミッションを持つクライアントの使用

team-b-client 設定を使用して、b_ で始まるトピックにメッセージを生成します。

  1. トピック a_messages に書き込む。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic a_messages \
      --producer.config /tmp/team-b-client.properties
    Message 1

    以下のリクエストは、Not authorized to access topics: [a_messages] エラーを返します。

  2. トピック b_messages に書き込む。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic b_messages \
      --producer.config /tmp/team-b-client.properties
    Message 1
    Message 2
    Message 3

    メッセージは Kafka に正常に生成されます。

  3. トピック x_messages に書き込む。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --producer.config /tmp/team-b-client.properties
    Message 1

    Not authorized to access topics: [x_messages] エラーが返され、team-b-client はトピック x_messages からのみ読み取りできます。

  4. team-a-client を使用してトピック x_messages に書き込みます。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --producer.config /tmp/team-a-client.properties
    Message 1

    このリクエストは、Not authorized to access topics: [x_messages] エラーを返します。team-a-clientx_messages トピックに書き込みできますが、トピックが存在しない場合に作成するパーミッションがありません。team-a-clientx_messages トピックに書き込みできるようにするには、管理者 power user はパーティションやレプリカの数などの適切な設定で作成する必要があります。

承認された管理ユーザーでの Kafka の管理

管理者ユーザー alice を使用して Kafka を管理します。alice は、すべての Kafka クラスターのすべての管理にフルアクセスできます。

  1. alice として x_messages トピックを作成します。

    bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/alice.properties \
      --topic x_messages --create --replication-factor 1 --partitions 1

    トピックが正常に作成されました。

  2. alice としてすべてのトピックをリスト表示します。

    bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/alice.properties --list
    bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-a-client.properties --list
    bin/kafka-topics.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/team-b-client.properties --list

    管理者ユーザーの alice はすべてのトピックをリスト表示できますが、team-a-clientteam-b-client は自分がアクセスできるトピックのみをリスト表示できます。

    Dev Team A ロールと Dev Team B ロールは、どちらも x_ で始まるトピックに対する Describe 権限を持っていますが、他のチームのトピックに対する Describe 権限を持っていないため、他のチームのトピックを見ることができません。

  3. team-a-client を使用して、x_messages トピックにメッセージを生成します。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --producer.config /tmp/team-a-client.properties
    Message 1
    Message 2
    Message 3

    alicex_messages トピックを作成すると、メッセージが正常に Kafka に生成されます。

  4. team-b-client を使用して、x_messages トピックにメッセージを生成します。

    bin/kafka-console-producer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --producer.config /tmp/team-b-client.properties
    Message 4
    Message 5

    このリクエストは、Not authorized to access topics: [x_messages] エラーを返します。

  5. team-b-client を使用して、x_messages トピックからメッセージを消費します。

    bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --from-beginning --consumer.config /tmp/team-b-client.properties --group x_consumer_group_b

    コンシューマーは、x_messages トピックからすべてのメッセージを受け取ります。

  6. team-a-client を使用して、x_messages トピックからメッセージを消費します。

    bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --from-beginning --consumer.config /tmp/team-a-client.properties --group x_consumer_group_a

    このリクエストは、Not authorized to access topics: [x_messages] エラーを返します。

  7. team-a-client を使用して、a_ で始まるコンシューマーグループからのメッセージを消費します。

    bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --from-beginning --consumer.config /tmp/team-a-client.properties --group a_consumer_group_a

    このリクエストは、Not authorized to access topics: [x_messages] エラーを返します。

    Dev Team A には、x_ で始まるトピックの Read 権限がありません。

  8. alice を使用して、x_messages トピックへのメッセージを生成します。

    bin/kafka-console-consumer.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --topic x_messages \
      --from-beginning --consumer.config /tmp/alice.properties

    メッセージは Kafka に正常に生成されます。

    alice は、すべてのトピックに対して読み取りまたは書き込みを行うことができます。

  9. alice を使用してクラスター設定を読み取ります。

    bin/kafka-configs.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 --command-config /tmp/alice.properties \
      --entity-type brokers --describe --entity-default

    この例のクラスター設定は空です。

第15章 TLS 証明書の管理

AMQ Streams は、Kafka コンポーネントと AMQ Streams コンポーネント間の暗号化通信用の TLS をサポートしています。

AMQ Streams は、次のコンポーネント間の通信用に暗号化された TLS 接続を確立します。

  • Kafka ブローカーと ZooKeeper ノード
  • Kafka ブローカー (ブローカー間通信)
  • ZooKeeper ノード (ノード間通信)
  • AMQ Streams オペレーターと Kafka および ZooKeeper
  • Cruise Control と Kafka
  • Kafka Exporter と Kafka

クライアントとブローカー間の接続では、TLS 暗号化通信を使用するように設定する必要があるリスナーが使用されます。Kafka カスタムリソースでこれらのリスナーを設定し、各リスナー名とポート番号はクラスター内で一意である必要があります。Kafka ブローカーと Kafka クライアント間の通信は、tls プロパティーがリスナーに設定される方法に応じて暗号化されます。詳細は、13章Kafka クラスターへのクライアントアクセスの設定 を参照してください。

次の図は、セキュアな通信の接続を示しています。

図15.1 Kafka と ZooKeeper の通信は TLS 暗号化によってセキュリティー保護されています

セキュアな通信

図に示されているポートは次のように使用されます。

コントロールプレーンリスナー (9090)
Kafka コントローラーとブローカー間の接続では、ポート 9090 上の内部コントロールプレーンリスナーが使用され、ブローカー間の通信が容易になります。このリスナーは Kafka クライアントにアクセスできません。
レプリケーションリスナー (9091)
ブローカー間のデータレプリケーション、および AMQ Streams Operator、Cruise Control、Kafka Exporter からの内部接続では、ポート 9091 のレプリケーションリスナーが使用されます。このリスナーは Kafka クライアントにアクセスできません。
クライアント接続のリスナー (9092 以降)
TLS 暗号化通信 (リスナーの設定による) の場合、内部クライアントと外部クライアントは Kafka ブローカーに接続します。外部クライアント (プロデューサーとコンシューマー) は、アドバタイズされたリスナーポートを介して Kafka ブローカーに接続します。
ZooKeeper ポート (2181)
Kafka に接続するための ZooKeeper ポート。
ZooKeeper の相互通信ポート (2888)
ZooKeeper ノード間の相互通信用の ZooKeeper ポート。
ZooKeeper リーダー選出ポート (3888)
ZooKeeper クラスターにある ZooKeeper ノード間のリーダー選出のための ZooKeeper ポート。
重要

ブローカーへのクライアントアクセス用にリスナーを設定する場合、いくつかの例外を除き、ポート 9092 以降 (9093、9094 など) を使用できます。ブローカー間通信 (9090 および 9091)、Prometheus メトリック (9404)、および JMX (Java Management Extensions) モニタリング (9999) 用に予約されているポートを使用するようにリスナーを設定できません。

15.1. 内部クラスター CA とクライアント CA

暗号化のサポートには、AMQ Streams コンポーネントごとに固有の秘密鍵と公開鍵証明書が必要です。すべてのコンポーネント証明書は、クラスター CA と呼ばれる内部認証局 (CA) により署名されます。

認証局 (CA) 証明書は、コンポーネントとクライアントの ID 検証にクラスター Operator によって生成されます。

同様に、mTLS を使用して AMQ ストリームに接続する各 Kafka クライアントアプリケーションは、秘密鍵と証明書を使用する必要があります。クライアント CA という第 2 の内部 CA を使用して、Kafka クライアントの証明書に署名します。

クラスター CA とクライアント CA の両方には、自己署名の公開鍵証明書があります。

Kafka ブローカーは、クラスター CA またはクライアント CA のいずれかが署名した証明書を信頼するように設定されます。クライアントによる接続が不要なコンポーネント (ZooKeeper など) のみが、クラスター CA によって署名された証明書を信頼します。外部リスナーの TLS 暗号化が無効でない限り、クライアントアプリケーションはクラスター CA により署名された証明書を必ず信頼する必要があります。これは、mTLS 認証を実行するクライアントアプリケーションにも当てはまります。

デフォルトで、AMQ Streams はクラスター CA またはクライアント CA によって発行された CA 証明書を自動で生成および更新します。Kafka.spec.clusterCa プロパティーと Kafka.spec.clientsCa プロパティーを使用して、これらの CA 証明書の管理を設定できます。

注記

クラスター Operator によって生成された CA を使用しない場合は 独自のクラスターおよびクライアント CA 証明書をインストールできます。クラスター Operator では、独自に指定した証明書には更新されません。

15.2. Operator によって生成されたシークレット

Cluster Operator は、自動で TLS 証明書の設定および更新を行い、クラスター内での暗号化および認証を有効にします。また、Kafka ブローカーとクライアントとの間の暗号化または mTLS 認証を有効にする場合、他の TLS 証明書も設定されます。

シークレットは、KafkaKafkaUser などのカスタムリソースがデプロイされるときに作成されます。AMQ Streams はこれらのシークレットを使用して、Kafka クラスター、クライアント、およびユーザーの秘密鍵と公開鍵の証明書を格納します。Secrets は、Kafka ブローカー間およびブローカーとクライアント間で TLS で暗号化された接続を確立するために使用されます。これらは mTLS 認証にも使用されます。

クラスターとクライアントのシークレットは常に、公開鍵と、秘密鍵のペアとなっています。

クラスターシークレット
クラスターシークレットには、Kafka ブローカー証明書に署名するためのクラスター CAが含まれています。接続するクライアントは、証明書を使用して、Kafka クラスターとの TLS 暗号化接続を確立します。証明書はブローカーのアイデンティティを確認します。
クライアントシークレット
クライアントシークレットには、ユーザーが独自のクライアント証明書に署名するためのクライアント CAが含まれています。これにより、Kafka クラスターに対する相互認証が可能になります。ブローカーは、証明書を使用してクライアントのアイデンティティを検証します。
ユーザーシークレット
ユーザーシークレットには、秘密鍵と証明書が含まれています。シークレットは、新しいユーザーの作成時にクライアント CA で作成され、署名されます。キーと証明書は、クラスターへのアクセス時にユーザーの認証および承認に使用されます。
注記

TLS 暗号化が有効になっている TLS リスナーまたは外部リスナーに Kafka リスナー証明書 を指定できます。Kafka リスナー証明書を使用して、既存のセキュリティーインフラストラクチャーを組み込みます。

15.2.1. PEM または PKCS #12 形式の鍵と証明書を使用した TLS 認証

AMQ Streams によって作成されたシークレットは、PEM (Privacy Enhanced Mail) および PKCS #12 (Public-Key Cryptography Standards) 形式の秘密鍵と証明書を提供します。PEM および PKCS #12 は、SSL プロトコルを使用した TLS 通信用に OpenSSL で生成されたキー形式です。

Kafka クラスターおよびユーザー用に生成されたシークレットに含まれる認証情報を使用する相互 TLS (mTLS) 認証を設定できます。

mTLS をセットアップするには、まず次のことを行う必要があります。

Kafka クラスターをデプロイすると、クラスターを検証するために公開鍵を使用して <cluster_name>-cluster-ca-cert シークレットが作成されます。公開鍵を使用して、クライアントのトラストストアを設定します。

KafkaUser を作成すると、ユーザー (クライアント) を検証するためのキーと証明書を使用して <kafka_user_name> シークレットが作成されます。これらの資格証明を使用して、クライアントのキーストアを設定します。

mTLS を使用するように Kafka クラスターとクライアントをセットアップしたら、シークレットから認証情報を抽出し、それらをクライアント設定に追加します。

PEM キーと証明書

PEM の場合、クライアント設定に以下を追加します。

Truststore
  • <cluster_name>-cluster-ca-cert シークレットからの ca.crt。これは、クラスターの CA 証明書です。
キーストア
  • ユーザーの公開証明書である <kafka_user_name> シークレットからの user.crt
  • ユーザーの秘密鍵である <kafka_user_name> シークレットの user.key
PKCS #12 キーと証明書

PKCS #12 の場合、クライアント設定に以下を追加します。

Truststore
  • <cluster_name>-cluster-ca-cert シークレットからの ca.p12。これは、クラスターの CA 証明書です。
  • <cluster_name>-cluster-ca-cert シークレットの ca.password。これは、パブリッククラスター CA 証明書にアクセスするためのパスワードです。
キーストア
  • <kafka_user_name> シークレットからの user.p12。これは、ユーザーの公開鍵証明書です。
  • <kafka_user_name> シークレットの user.password。これは、Kafka ユーザーの公開鍵証明書にアクセスするためのパスワードです。

PKCS #12 は Java でサポートされているため、証明書の値を Java クライアント設定に直接追加できます。セキュアな保管場所から証明書を参照することもできます。PEM ファイルを使用する場合、証明書を単一行形式でクライアント設定に直接追加する必要があります。Kafka クラスターとクライアント間の TLS 接続の確立に適した形式を選択します。PEM に慣れていない場合は、PKCS #12 を使用してください。

注記

すべてのキーのサイズは 2048 ビットで、デフォルトでは、最初の生成から 365 日間有効です。有効期間は変更できます。

15.2.2. クラスター Operator で生成されたシークレット

クラスター Operator は、以下の証明書を生成します。これらの証明書は、OpenShift クラスターにシークレットとして保存されます。AMQ Streams はデフォルトでこれらのシークレットを使用します。

クラスター CA とクライアント CA には、秘密鍵と公開鍵に別々のシークレットがあります。

<cluster_name>-cluster-ca
クラスター CA の秘密鍵が含まれています。AMQ Streams および Kafka コンポーネントは、秘密鍵を使用してサーバー証明書に署名します。
<cluster_name>-cluster-ca-cert
クラスター CA の公開鍵が含まれています。Kafka クライアントは、公開鍵を使用して、TLS サーバー認証で接続している Kafka ブローカーの ID を確認します。
<cluster_name>-clients-ca
クライアント CA の秘密鍵が含まれています。Kafka クライアントは、秘密鍵を使用して、Kafka ブローカーに接続するときに mTLS 認証用の新しいユーザー証明書に署名します。
<cluster_name>-clients-ca-cert
クライアント CA の公開鍵が含まれています。mTLS 認証が使用されている場合、Kafka ブローカーは公開鍵を使用して、Kafka ブローカーにアクセスするクライアントの ID を確認します。

AMQ Streams コンポーネント間の通信のシークレットには、クラスター CA で署名された秘密鍵と公開鍵証明書が含まれています。

<cluster_name>-kafka-brokers
Kafka ブローカーの秘密鍵と公開鍵が含まれています。
<cluster_name>-zookeeper-nodes
ZooKeeper ノードの秘密鍵と公開鍵が含まれています。
<cluster_name>-cluster-operator-certs
クラスター Operator と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-entity-topic-operator-certs
トピック Operator と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-entity-user-operator-certs
ユーザー Operator と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-cruise-control-certs
Cruise Control と Kafka または ZooKeeper の間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
<cluster_name>-kafka-exporter-certs
Kafka Exporter と Kafka または ZooKeeper 間の通信を暗号化するための秘密鍵と公開鍵が含まれています。
注記

独自のサーバー証明書と秘密鍵を提供 して、クラスター CA によって署名された証明書ではなく、Kafka リスナー証明書 を使用して Kafka ブローカーに接続できます。

15.2.3. クラスター CA シークレット

クラスター CA シークレットは、Kafka クラスターの Cluster Operator によって管理されます。

<cluster_name>-cluster-ca-cert シークレットのみがクライアントに必要です。他のすべてのクラスターシークレットは AMQ Streams コンポーネントによってアクセスされます。これは、必要な場合に OpenShift のロールベースアクセス制御を使用して強制できます。

注記

TLS を介した Kafka ブローカーへの接続時に Kafka ブローカー証明書を検証するため、<cluster_name>-cluster-ca-cert の CA 証明書は Kafka クライアントアプリケーションによって信頼される必要があります。

表15.1 <cluster_name>-cluster-ca シークレットのフィールド
フィールド説明

ca.key

クラスター CA の現在の秘密鍵。

表15.2 <cluster_name>-cluster-ca-cert シークレットのフィールド
フィールド説明

ca.p12

証明書とキーを格納するための PKCS #12 ストア。

ca.password

PKCS #12 ストアを保護するためのパスワード。

ca.crt

クラスター CA の現在の証明書。

表15.3 <cluster_name>-kafka-brokers シークレットのフィールド
フィールド説明

<cluster_name>-kafka-<num>.p12

証明書とキーを格納するための PKCS #12 ストア。

<cluster_name>-kafka-<num>.password

PKCS #12 ストアを保護するためのパスワード。

<cluster_name>-kafka-<num>.crt

Kafka ブローカー Pod <num> の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

<cluster_name>-kafka-<num>.key

Kafka ブローカー Pod <num> の秘密鍵

表15.4 <cluster_name>-zookeeper-nodes シークレットのフィールド
フィールド説明

<cluster_name>-zookeeper-<num>.p12

証明書とキーを格納するための PKCS #12 ストア。

<cluster_name>-zookeeper-<num>.password

PKCS #12 ストアを保護するためのパスワード。

<cluster_name>-zookeeper-<num>.crt

ZooKeeper ノード <num> の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

<cluster_name>-zookeeper-<num>.key

ZooKeeper Pod <num> の秘密鍵

表15.5 <cluster_name>-cluster-operator-certs シークレットのフィールド
フィールド説明

cluster-operator.p12

証明書とキーを格納するための PKCS #12 ストア。

cluster-operator.password

PKCS #12 ストアを保護するためのパスワード。

cluster-operator.crt

クラスター Operator と Kafka または ZooKeeper との間の mTLS 通信の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

cluster-operator.key

クラスター Operator と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。

表15.6 <cluster_name>-entity-topic-operator-certs シークレットのフィールド
フィールド説明

entity-operator.p12

証明書とキーを格納するための PKCS #12 ストア。

entity-operator.password

PKCS #12 ストアを保護するためのパスワード。

entity-operator.crt

トピック Operator と Kafka または ZooKeeper との間の mTLS 通信の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

entity-operator.key

トピック Operator と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。

表15.7 <cluster_name>-entity-user-operator-certs シークレットのフィールド
フィールド説明

entity-operator.p12

証明書とキーを格納するための PKCS #12 ストア。

entity-operator.password

PKCS #12 ストアを保護するためのパスワード。

entity-operator.crt

ユーザー Operator と Kafka または ZooKeeper との間の mTLS 通信の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

entity-operator.key

ユーザー Operator と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。

表15.8 <cluster_name>-cruise-control-certs シークレットのフィールド
フィールド説明

cruise-control.p12

証明書とキーを格納するための PKCS #12 ストア。

cruise-control.password

PKCS #12 ストアを保護するためのパスワード。

cruise-control.crt

Cruise Control と Kafka または ZooKeeper との間の mTLS 通信の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

cruise-control.key

Cruise Control と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。

表15.9 <cluster_name>-kafka-exporter-certs シークレットのフィールド
フィールド説明

kafka-exporter.p12

証明書とキーを格納するための PKCS #12 ストア。

kafka-exporter.password

PKCS #12 ストアを保護するためのパスワード。

kafka-exporter.crt

Kafka Exporter と Kafka または ZooKeeper との間の mTLS 通信の証明書。<cluster_name>-cluster-ca で現行または以前のクラスター CA の秘密鍵により署名されます。

kafka-exporter.key

Kafka Exporter と Kafka または ZooKeeper との間の mTLS 通信の秘密鍵。

15.2.4. クライアント CA シークレット

クライアント CA シークレットは、Kafka クラスターの Cluster Operator によって管理されます。

<cluster_name>-clients-ca-cert の証明書は、Kafka ブローカーが信頼する証明書です。

<cluster_name>-clients-ca シークレットは、クライアントアプリケーションの証明書の署名に使用されます。このシークレットは AMQ Streams コンポーネントにアクセスできる必要があり、ユーザー Operator を使わずにアプリケーション証明書を発行する予定であれば管理者のアクセス権限が必要です。これは、必要な場合に OpenShift のロールベースアクセス制御を使用して強制できます。

表15.10 <cluster_name>-clients-ca シークレットのフィールド
フィールド説明

ca.key

クライアント CA の現在の秘密鍵。

表15.11 <cluster_name>-clients-ca-cert シークレットのフィールド
フィールド説明

ca.p12

証明書とキーを格納するための PKCS #12 ストア。

ca.password

PKCS #12 ストアを保護するためのパスワード。

ca.crt

クライアント CA の現在の証明書。

15.2.5. User Operator によって生成されたユーザーシークレット

ユーザーシークレットは User Operator によって管理されます。

User Operator でユーザーが作成されると、ユーザーの名前を使用してシークレットが生成されます。

表15.12 user_name シークレットのフィールド
Secret 名Secret 内のフィールド説明

<user_name>

user.p12

証明書とキーを格納するための PKCS #12 ストア。

user.password

PKCS #12 ストアを保護するためのパスワード。

user.crt

ユーザーの証明書、クライアント CA により署名されます。

user.key

ユーザーの秘密鍵。

15.2.6. ラベルおよびアノテーションのクラスター CA シークレットへの追加

KafkaカスタムリソースでclusterCaCertテンプレートプロパティーを設定することで、クラスターオペレータが作成したクラスター CA シークレットにカスタムラベルやアノテーションを追加することができます。ラベルとアノテーションは、オブジェクトを特定し、コンテキスト情報を追加するのに便利です。AMQ Streams カスタムリソースでテンプレートプロパティーを設定します。

ラベルおよびアノテーションを Secret に追加するテンプレートのカスタマイズ例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    template:
      clusterCaCert:
        metadata:
          labels:
            label1: value1
            label2: value2
          annotations:
            annotation1: value1
            annotation2: value2
    # ...

15.2.7. CA シークレットでの ownerReference の無効化

デフォルトでは、クラスターおよびクライアント CA シークレットは、Kafka カスタムリソースに設定される ownerReference プロパティーで作成されます。つまり、Kafka カスタムリソースが削除されると、OpenShift によって CA シークレットも削除 (ガベッジコレクション) されます。

新しいクラスターで CA を再利用する場合は、Kafka設定でクラスターおよびクライアント CA シークレットの generateSecretOwnerReference プロパティーを false に設定して、ownerReference を無効にすることができます。ownerReference が無効な場合に、対応する Kafka カスタムリソースが削除されると、OpenShift では CA シークレットは削除されません。

クラスターおよびクライアント CA の ownerReference が無効になっている Kafka 設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
# ...
spec:
# ...
  clusterCa:
    generateSecretOwnerReference: false
  clientsCa:
    generateSecretOwnerReference: false
# ...

15.3. 証明書の更新および有効期間

クラスター CA およびクライアント CA の証明書は、限定された期間、すなわち有効期間に限り有効です。通常、この期間は証明書の生成からの日数として定義されます。

Cluster Operator によって自動作成される CA 証明書の場合、以下の有効期間を設定できます。

  • Kafka.spec.clusterCa.validityDays のクラスター CA 証明書
  • Kafka.spec.clientsCa.validityDays のクライアント CA 証明書

デフォルトの有効期間は、両方の証明書で 365 日です。手動でインストールした CA 証明書には、独自の有効期間が定義されている必要があります。

CA 証明書の期限が切れると、その証明書を信頼しているコンポーネントおよびクライアントは、その CA 秘密鍵で署名された証明書を持つ相手からの接続を受け入れません。代わりに、コンポーネントおよびクライアントは 新しい CA 証明書を信頼する必要があります。

サービスを中断せずに CA 証明書を更新できるようにするため、Cluster Operator は古い CA 証明書が期限切れになる前に証明書の更新を開始します。

Cluster Operator によって作成される証明書の更新期間を設定できます。

  • Kafka.spec.clusterCa.renewalDays のクラスター CA 証明書
  • Kafka.spec.clientsCa.renewalDays のクライアント CA 証明書

デフォルトの更新期間は、両方の証明書とも 30 日です。

更新期間は、現在の証明書の有効期日から逆算されます。

更新期間に対する有効期間

Not Before                                     Not After
    |                                              |
    |<--------------- validityDays --------------->|
                              <--- renewalDays --->|

Kafka クラスターの作成後に有効期間と更新期間の変更を行うには、Kafka カスタムリソースの設定と適用、およびmanually renew the CA certificatesを行います。証明書を手動で更新しないと、証明書が次回自動更新される際に新しい期間が使用されます。

証明書の有効および更新期間の Kafka 設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
# ...
spec:
# ...
  clusterCa:
    renewalDays: 30
    validityDays: 365
    generateCertificateAuthority: true
  clientsCa:
    renewalDays: 30
    validityDays: 365
    generateCertificateAuthority: true
# ...

更新期間中の Cluster Operator の動作は、クラスター CA およびクライアント CA の generateCertificateAuthority 証明書生成プロパティーの設定によって異なります。

true
プロパティーが true に設定されている場合、CA 証明書は Cluster Operator によって自動的に生成され、更新期間内に自動的に更新されます。
false
プロパティーが false に設定されている場合、CA 証明書は Cluster Operator によって生成されません。独自の証明書をインストールする 場合は、このオプションを使用します。

15.3.1. 自動生成された CA 証明書での更新プロセス

Cluster Operator は、CA 証明書を更新する時に以下のプロセスをこの順序で実行します。

  1. 新しい CA 証明書を生成しますが、既存のキーは保持します。

    該当する Secret 内の ca.crt という名前の古い証明書が新しい証明書に置き換えられます。

  2. 新しいクライアント証明書を生成します (ZooKeeper ノード、Kafka ブローカー、および Entity Operator 用)。

    署名鍵は変わっておらず、CA 証明書と同期してクライアント証明書の有効期間を維持するため、これは必須ではありません。

  3. ZooKeeper ノードを再起動して、ZooKeeper ノードが新しい CA 証明書を信頼し、新しいクライアント証明書を使用するようにします。
  4. Kafka ブローカーを再起動して、Kafka ブローカーが新しい CA 証明書を信頼し、新しいクライアント証明書を使用するようにします。
  5. Topic Operator および User Operator を再起動して、それらの Operator が新しい CA 証明書を信頼し、新しいクライアント証明書を使用するようにします。

    ユーザー証明書はクライアント CA により署名されます。User Operator によって生成されるユーザー証明書は、クライアント CA の更新時に更新されます。

15.3.2. クライアント証明書の更新

Cluster Operator は、Kafka クラスターを使用するクライアントアプリケーションを認識しません。

クラスターに接続し、クライアントアプリケーションが正しく機能するように確認するには、クライアントアプリケーションは以下を行う必要があります。

  • <cluster>-cluster-ca-cert Secret でパブリッシュされるクラスター CA 証明書を信頼する必要があります。
  • <user-name> Secret でパブリッシュされたクレデンシャルを使用してクラスターに接続します。

    User Secret は PEM および PKCS #12 形式のクレデンシャルを提供し、SCRAM-SHA 認証を使用する場合はパスワードを提供できます。ユーザーの作成時に User Operator によってユーザークレデンシャルが生成されます。

証明書の更新後もクライアントが動作するようにする必要があります。更新プロセスは、クライアントの設定によって異なります。

クライアント証明書と鍵のプロビジョニングを手動で行う場合、新しいクライアント証明書を生成し、更新期間内に新しい証明書がクライアントによって使用されるようにする必要があります。更新期間の終了までにこれが行われないと、クライアントアプリケーションがクラスターに接続できなくなる可能性があります。

注記

同じ OpenShift クラスターおよび namespace 内で実行中のワークロードの場合、Secrets はボリュームとしてマウントできるので、クライアント Pod はそれらのキーストアとトラストストアを現在の状態の Secrets から構築できます。この手順の詳細は、クラスター CA を信頼する内部クライアントの設定 を参照してください。

15.3.3. Cluster Operator が管理する CA 証明書の手動更新

Cluster Operator によって生成されるクラスターおよびクライアント CA 証明書は、各証明書の更新期間の開始時に自動更新されます。ただし、strimzi.io/force-renew アノテーションを使用して、証明書の更新期間が始まる前に、これらの証明書の一方または両方を手動で更新することができます。セキュリティー上の理由や、証明書の更新または有効期間を変更した 場合などに、自動更新を行うことがあります。

更新された証明書は、更新前の証明書と同じ秘密鍵を使用します。

注記

独自の CA 証明書を使用している場合は、force-renew アノテーションは使用できません。代わりに、独自の CA 証明書を更新する 手順に従ってください。

前提条件

この手順では、my-project 名前空間内の my-cluster という名前の Kafka クラスターを使用します。

手順

  1. strimzi.io/force-renew アノテーションを、更新対象の CA 証明書が含まれる secret に適用します。

    クラスター CA シークレットの更新

    oc annotate secret my-cluster-cluster-ca-cert -n my-project strimzi.io/force-renew=true

    クライアント CA シークレットの更新

    oc annotate secret my-cluster-clients-ca-cert -n my-project strimzi.io/force-renew=true

  2. 次回の調整時に、Cluster Operator は新しい証明書を生成します。

    メンテナンス時間枠が設定されている場合、Cluster Operator によって、最初の調整時に次のメンテナンス時間枠内で新規 CA 証明書が生成されます。

  3. 新しい CA 証明書の有効期間を確認します。

    新しいクラスター CA 証明書の有効期間の確認

    oc get secret my-cluster-cluster-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates

    新しいクライアント CA 証明書の有効期間の確認

    oc get secret my-cluster-clients-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates

    このコマンドは、CA 証明書の有効な開始日と終了日である notBefore および notAfter の日付を返します。

  4. 新しいクラスター CA 証明書を信頼するようにクライアント設定を更新します。

    参照:

15.3.4. 期限切れの Cluster Operator 管理の CA 証明書からの手動回復

Cluster Operator は、更新期間が開始されると、クラスターとクライアントの CA 証明書を自動的に更新します。ただし、Cluster Operator のダウンタイムが長引いたり、Kafka クラスターが利用できなくなったりするなど、予期しない運用上の問題や中断により、更新プロセスが妨げられる場合があります。CA 証明書の有効期限が切れると、Kafka クラスターコンポーネントは相互に通信できなくなり、Cluster Operator は手動介入なしに CA 証明書を更新できなくなります。

リカバリーを迅速に実行するには、この手順で説明されている手順を指定された順序で実行してください。期限切れのクラスターおよびクライアント CA 証明書から回復できます。このプロセスには、Cluster Operator によって新しい証明書が生成されるように、期限切れの証明書を含むシークレットを削除することが含まれます。AMQ Streams で管理されるシークレットの詳細は、「クラスター Operator で生成されたシークレット」 を参照してください。

注記

独自の CA 証明書を使用していて期限切れになる場合、プロセスは似ていますが、Cluster Operator によって生成された証明書を使用するのではなく、CA 証明書を更新する 必要があります。

前提条件

この手順では、my-project 名前空間内の my-cluster という名前の Kafka クラスターを使用します。

手順

  1. 期限切れの CA 証明書を含むシークレットを削除します。

    クラスター CA シークレットの削除

    oc delete secret my-cluster-cluster-ca-cert -n my-project

    クライアント CA シークレットの削除

    oc delete secret my-cluster-clients-ca-cert -n my-project

  2. Cluster Operator が新しい証明書を生成するまで待ちます。

    • Kafka ブローカーの ID を検証するための新しい CA クラスター証明書が、同じ名前のシークレット (my-cluster-cluster-ca-cert) で作成されます。
    • Kafka ユーザーの ID を検証するための新しい CA クライアント証明書が、同じ名前のシークレット (my-cluster-clients-ca-cert) で作成されます。
  3. 新しい CA 証明書の有効期間を確認します。

    新しいクラスター CA 証明書の有効期間の確認

    oc get secret my-cluster-cluster-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates

    新しいクライアント CA 証明書の有効期間の確認

    oc get secret my-cluster-clients-ca-cert -n my-project -o=jsonpath='{.data.ca\.crt}' | base64 -d | openssl x509 -noout -dates

    このコマンドは、CA 証明書の有効な開始日と終了日である notBefore および notAfter の日付を返します。

  4. CA 証明書を使用するコンポーネント Pod とシークレットを削除します。

    1. ZooKeeper シークレットを削除します。
    2. Cluster Operator が欠落している ZooKeeper シークレットを検出し、再作成するまで待ちます。
    3. すべての ZooKeeper Pod を削除します。
    4. Kafka シークレットを削除します。
    5. Cluster Operator が欠落している Kafka シークレットを検出して再作成するまで待ちます。
    6. すべての Kafka Pod を削除します。

    クライアント CA 証明書のみを回復する場合は、Kafka シークレットと Pod を削除するだけで済みます。

    次の oc コマンドを使用してリソースを検索し、それらが削除されたことを確認することもできます。

    oc get <resource_type> --all-namespaces | grep <kafka_cluster_name>

    <resource_type> を、PodSecret などのリソースのタイプに置き換えます。

  5. Cluster Operator が欠落している Kafka および ZooKeeper Pod を検出し、更新された CA 証明書を使用してそれらを再作成するまで待ちます。

    調整時に、Cluster Operator は新しい CA 証明書を信頼するように他のコンポーネントを自動的に更新します。

  6. Cluster Operator ログに証明書の検証に関連する問題がないことを確認します。
  7. 新しいクラスター CA 証明書を信頼するようにクライアント設定を更新します。

    参照:

15.3.5. Cluster Operator が管理する CA 証明書で使用される秘密鍵の置き換え

Cluster Operator によって生成されるクラスター CA およびクライアント CA 証明書によって使用される秘密鍵を置換できます。秘密鍵が交換されると、Cluster Operator によって新しい秘密鍵の新しい CA 証明書が生成されます。

注記

独自の CA 証明書を使用している場合は、force-replace アノテーションは使用できません。代わりに、独自の CA 証明書を更新する 手順に従ってください。

前提条件

  • Cluster Operator が稼働中である。
  • CA 証明書と秘密鍵がインストールされている Kafka クラスターが必要です。

手順

  • 更新対象の秘密鍵が含まれる Secretstrimzi.io/force-replace アノテーションを適用します。

    表15.13 秘密鍵を置き換えるコマンド
    秘密鍵Secretannotate コマンド

    クラスター CA

    CLUSTER-NAME-cluster-ca

    oc annotate secret <cluster-name>-cluster-ca strimzi.io/force-replace=true

    クライアント CA

    CLUSTER-NAME-clients-ca

    oc annotate secret <cluster-name>-clients-ca strimzi.io/force-replace=true

次回の調整時に、Cluster Operator は以下を生成します。

  • アノテーションを付けた Secret の新しい秘密鍵
  • 新規 CA 証明書

メンテナンス時間枠が設定されている場合、Cluster Operator によって、最初の調整時に次のメンテナンス時間枠内で新しい秘密鍵と CA 証明書が生成されます。

Cluster Operator によって更新されたクラスターおよびクライアント CA 証明書をクライアントアプリケーションがリロードする必要があります。

15.4. クラスター CA を信頼する内部クライアントの設定

この手順では、TLS リスナーに接続する OpenShift クラスター内部に存在する Kafka クライアントがクラスター CA 証明書を信頼するように設定する方法を説明します。

これを内部クライアントで実現するには、ボリュームマウントを使用して、必要な証明書および鍵が含まれる Secrets にアクセスするのが最も簡単な方法です。

以下の手順に従い、クラスター CA によって署名された信頼できる証明書を Java ベースの Kafka Producer、Consumer、および Streams API に設定します。

クラスター CA の証明書の形式が PKCS #12 (.p12) または PEM (.crt) であるかに応じて、手順を選択します。

この手順では、Kafka クラスターの ID を検証する Cluster Secret をクライアント Pod にマウントする方法を説明します。

前提条件

  • Cluster Operator が稼働している必要があります。
  • OpenShift クラスター内に Kafka リソースが必要です。
  • TLS を使用して接続し、クラスター CA 証明書を必ず信頼する Kafka クライアントアプリケーションが、OpenShift クラスター内部に必要です。
  • クライアントアプリケーションが Kafka リソースと同じ namespace で実行している必要があります。

PKCS #12 形式 (.p12) の使用

  1. クライアント Pod の定義時に、Cluster Secret をボリュームとしてマウントします。

    以下に例を示します。

    kind: Pod
    apiVersion: v1
    metadata:
      name: client-pod
    spec:
      containers:
      - name: client-name
        image: client-name
        volumeMounts:
        - name: secret-volume
          mountPath: /data/p12
        env:
        - name: SECRET_PASSWORD
          valueFrom:
            secretKeyRef:
              name: my-secret
              key: my-password
      volumes:
      - name: secret-volume
        secret:
          secretName: my-cluster-cluster-ca-cert

    ここでは、以下をマウントしています。

    • PKCS #12 ファイルを設定可能な正確なパスにマウント。
    • パスワードを Java 設定に使用できる環境変数にマウント。
  2. Kafka クライアントを以下のプロパティーで設定します。

    • セキュリティープロトコルのオプション:

      • security.protocol: SSL (mTLS 認証ありまたはなしで、暗号化に TLS を使用する場合)。
      • security.protocol: SASL_SSL (TLS 経由で SCRAM-SHA 認証を使用する場合)。
    • ssl.truststore.location (証明書がインポートされたトラストストアを指定)。
    • ssl.truststore.password (トラストストアにアクセスするためのパスワードを指定)。
    • ssl.truststore.type=PKCS12 (トラストストアのタイプを識別)。

PEM 形式の使用 (.crt)

  1. クライアント Pod の定義時に、Cluster Secret をボリュームとしてマウントします。

    以下に例を示します。

    kind: Pod
    apiVersion: v1
    metadata:
      name: client-pod
    spec:
      containers:
      - name: client-name
        image: client-name
        volumeMounts:
        - name: secret-volume
          mountPath: /data/crt
      volumes:
      - name: secret-volume
        secret:
          secretName: my-cluster-cluster-ca-cert
  2. 抽出した証明書を使用して、X.509 形式の証明書を使用するクライアントで TLS 接続を設定します。

15.5. クラスター CA を信頼する外部クライアントの設定

この手順では、external に接続する OpenShift クラスター外部に存在する Kafka クライアントを設定し、クラスター CA 証明書を信頼する方法を説明します。クライアントのセットアップ時および更新期間中に、古いクライアント CA 証明書を交換する場合は、以下の手順に従います。

以下の手順に従い、クラスター CA によって署名された信頼できる証明書を Java ベースの Kafka Producer、Consumer、および Streams API に設定します。

クラスター CA の証明書の形式が PKCS #12 (.p12) または PEM (.crt) であるかに応じて、手順を選択します。

この手順では、Kafka クラスターの ID を検証する Cluster Secret から証明書を取得する方法を説明します。

重要

CA 証明書の更新期間中に、<cluster_name>-cluster-ca-cert シークレットに複数の CA 証明書が含まれます。クライアントは、それらを すべて をクライアントのトラストストアに追加する必要があります。

前提条件

  • Cluster Operator が稼働している必要があります。
  • OpenShift クラスター内に Kafka リソースが必要です。
  • TLS を使用して接続し、クラスター CA 証明書を必ず信頼する Kafka クライアントアプリケーションが、OpenShift クラスター外部に必要です。

PKCS #12 形式 (.p12) の使用

  1. Kafka クラスターの <cluster_name>-cluster-ca-cert シークレットからクラスター CA 証明書とパスワードを抽出します。

    oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.p12}' | base64 -d > ca.p12
    oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.password}' | base64 -d > ca.password

    <cluster_name> は、Kafka クラスターの名前に置き換えます。

  2. Kafka クライアントを以下のプロパティーで設定します。

    • セキュリティープロトコルのオプション:

      • security.protocol: TLS を使用する場合の SSL。
      • security.protocol: SASL_SSL (TLS 経由で SCRAM-SHA 認証を使用する場合)。
    • ssl.truststore.location (証明書がインポートされたトラストストアを指定)。
    • ssl.truststore.password (トラストストアにアクセスするためのパスワードを指定)。このプロパティーは、トラストストアで必要なければ省略できます。
    • ssl.truststore.type=PKCS12 (トラストストアのタイプを識別)。

PEM 形式の使用 (.crt)

  1. Kafka クラスターの <cluster_name>-cluster-ca-cert シークレットからクラスター CA 証明書を抽出します。

    oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt
  2. 抽出した証明書を使用して、X.509 形式の証明書を使用するクライアントで TLS 接続を設定します。

15.6. 独自の CA 証明書と秘密鍵を使用する

Cluster Operator によって生成されたデフォルトを使用する代わりに、独自の CA 証明書と秘密鍵をインストールして使用します。クラスターとクライアントの CA 証明書および秘密鍵を置き換えることができます。

次の方法で、独自の CA 証明書と秘密鍵を使用するように切り替えることができます。

  • Kafka クラスターをデプロイする前に、独自の CA 証明書と秘密鍵をインストールします。
  • Kafka クラスターをデプロイした後、デフォルトの CA 証明書と秘密鍵を独自のものに置き換えます。

Kafka クラスターをデプロイした後にデフォルトの CA 証明書と秘密鍵を置き換える手順は、独自の CA 証明書と秘密鍵を更新するために使用する手順と同じです。

独自の証明書を使用する場合、証明書は自動的に更新されません。有効期限が切れる前に、CA 証明書と秘密鍵を更新する必要があります。

更新オプション:

  • CA 証明書のみを更新する
  • CA 証明書と秘密鍵を更新する (またはデフォルトを置き換える)

15.6.1. 独自の CA 証明書と秘密鍵のインストール

Cluster Operator によって生成されたクラスターおよびクライアントの CA 証明書と秘密鍵を使用する代わりに、独自の CA 証明書と秘密鍵をインストールします。

デフォルトでは、AMQ Streams は次の クラスター CA とクライアント CA シークレット を使用します。これらは自動的に更新されます。

  • クラスター CA シークレット

    • <cluster_name>-cluster-ca
    • <cluster_name>-cluster-ca-cert
  • クライアント CA シークレット

    • <cluster_name>-clients-ca
    • <cluster_name>-clients-ca-cert

独自の証明書をインストールするには、同じ名前を使用します。

前提条件

  • Cluster Operator が稼働中である。
  • Kafka クラスターがデプロイされていない必要があります。

    すでに Kafka クラスターをデプロイしている場合は、デフォルトの CA 証明書を独自の証明書に置き換える ことができます。

  • クラスター CA またはクライアントの、PEM 形式による独自の X.509 証明書および鍵が必要です。

    • ルート CA ではないクラスターまたはクライアント CA を使用する場合、証明書ファイルにチェーン全体を含める必要があります。チェーンの順序は以下のとおりです。

      1. クラスターまたはクライアント CA
      2. 1 つ以上の中間 CA
      3. ルート CA
    • チェーン内のすべての CA は、X509v3 基本制約拡張を使用して設定する必要があります。Basic Constraints は、証明書チェーンのパスの長さを制限します。
  • 証明書を変換するための OpenSSL TLS 管理ツール。

作業を開始する前に

Cluster Operator は、キーと証明書を PEM (Privacy Enhanced Mail) および PKCS #12 (Public-Key Cryptography Standards) 形式で生成します。どちらの形式でも独自の証明書を追加できます。

一部のアプリケーションは PEM 証明書を使用できず、PKCS #12 証明書のみに対応します。PKCS #12 形式のクラスター証明書がない場合は、OpenSSL TLS 管理ツールを使用して ca.crt ファイルからこれを生成します。

証明書生成コマンドの例

openssl pkcs12 -export -in ca.crt -nokeys -out ca.p12 -password pass:<P12_password> -caname ca.crt

<P12_password> を独自のパスワードに置き換えます。

手順

  1. CA 証明書を含む新しいシークレットを作成します。

    PEM 形式の証明書を使用したクライアントシークレットの作成

    oc create secret generic <cluster_name>-clients-ca-cert --from-file=ca.crt=ca.crt

    PEM および PKCS #12 形式の証明書を使用したクラスターシークレットの作成

    oc create secret generic <cluster_name>-cluster-ca-cert \
      --from-file=ca.crt=ca.crt \
      --from-file=ca.p12=ca.p12 \
      --from-literal=ca.password=P12-PASSWORD

    <cluster_name> は、独自の Kafka クラスターの名前に置き換えます。

  2. 秘密鍵を含む新しいシークレットを作成します。

    oc create secret generic CA-KEY-SECRET --from-file=ca.key=ca.key
  3. シークレットにラベルを付けます。

    oc label secret CA-CERTIFICATE-SECRET strimzi.io/kind=Kafka strimzi.io/cluster=<cluster_name>
    oc label secret CA-KEY-SECRET strimzi.io/kind=Kafka strimzi.io/cluster=<cluster_name>
    • ラベル strimzi.io/kind=Kafka は Kafka カスタムリソースを識別します。
    • ラベル strimzi.io/cluster=<cluster_name> は Kafka クラスターを識別します。
  4. シークレットにアノテーションを付けます。

    oc annotate secret CA-CERTIFICATE-SECRET strimzi.io/ca-cert-generation=CA-CERTIFICATE-GENERATION
    oc annotate secret CA-KEY-SECRET strimzi.io/ca-key-generation=CA-KEY-GENERATION
    • strimzi.io/ca-cert-generation=CA-CERTIFICATE-GENERATION のアノテーションでは、新しい CA 証明書の生成を定義します。
    • strimzi.io/ca-key-generation=CA-KEY-GENERATION のアノテーションは、新しい CA キーの生成を定義します。

      独自の CA 証明書の増分値 (strimzi.io/ca-cert-generation=0) として 0 (ゼロ) から開始します。証明書を更新するときは、値を 1 つ増やして設定します。

  5. クラスターの Kafka リソースを作成し、生成された CA を 使用しない ように Kafka.spec.clusterCa または Kafka.spec.clientsCa オブジェクトを設定します。

    独自指定の証明書を使用するようにクラスター CA を設定する Kafka リソースの例 (抜粋)

    kind: Kafka
    version: kafka.strimzi.io/v1beta2
    spec:
      # ...
      clusterCa:
        generateCertificateAuthority: false

15.6.2. 独自の CA 証明書の更新

独自の CA 証明書を使用している場合は、手動で更新する必要があります。Cluster Operator はそれらを自動的に更新しません。有効期限が切れる前に、更新期間内に CA 証明書を更新します。

CA 証明書を更新し、同じ秘密鍵を続行する場合は、この手順のステップを実行します。独自の CA 証明書 および 秘密鍵を更新する場合は、「CA 証明書と秘密鍵を独自のものに更新または置換する」 を参照してください。

この手順では、PEM 形式の CA 証明書の更新を説明します。

前提条件

  • Cluster Operator が稼働中である。
  • クラスターまたはクライアントの PEM 形式による新しい X.509 証明書が必要です。

手順

  1. CA 証明書の Secret を更新します。

    既存のシークレットを編集して新規 CA 証明書を追加し、証明書生成アノテーション値を更新します。

    oc edit secret <ca_certificate_secret_name>

    <ca_certificate_secret_name>Secretの名前で、クラスター CA 証明書の場合は<kafka_cluster_name>-cluster-ca-cert であり、クライアント CA 証明書の場合は<kafka_cluster_name>-clients-ca-certとなります。

    以下の例は、my-cluster という名前の Kafka クラスターに関連付けられたクラスター CA 証明書のシークレットを示しています。

    クラスター CA 証明書のシークレット設定例

    apiVersion: v1
    kind: Secret
    data:
      ca.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0F... 1
    metadata:
      annotations:
        strimzi.io/ca-cert-generation: "0" 2
      labels:
        strimzi.io/cluster: my-cluster
        strimzi.io/kind: Kafka
      name: my-cluster-cluster-ca-cert
      #...
    type: Opaque

    1
    現在の base64 でエンコードされた CA 証明書
    2
    現在の CA 証明書生成アノテーションの値
  2. 新規 CA 証明書を base64 にエンコードします。

    cat <path_to_new_certificate> | base64
  3. CA 証明書を更新します。

    前の手順の base64 でエンコードされた CA 証明書を、dataca.crt プロパティーの値としてコピーします。

  4. CA 証明書生成アノテーションの値を増やします。

    strimzi.io/ca-cert-generation アノテーションの値を 1 つ増分して更新します。たとえば、strimzi.io/ca-cert-generation=0strimzi.io/ca-cert-generation=1 に変更します。Secret にアノテーションがない場合、値は 0 として扱われるため、1 を指定してアノテーションを追加します。

    AMQ Streams が証明書を生成すると、証明書生成アノテーションは Cluster Operator によって自動的に増分されます。独自の CA 証明書の場合は、より高い増分値でアノテーションを設定します。Cluster Operator が Pod をロールアウトし、証明書を更新できるように、アノテーションには現在のシークレットよりも高い値を指定する必要があります。strimzi.io/ca-cert-generation は、各 CA 証明書の更新で値を 1 増やす必要があります。

  5. 新しい CA 証明書と証明書生成のアノテーション値でシークレットを保存します。

    新しい CA 証明書で更新されるシークレット設定の例

    apiVersion: v1
    kind: Secret
    data:
      ca.crt: GCa6LS3RTHeKFiFDGBOUDYFAZ0F... 1
    metadata:
      annotations:
        strimzi.io/ca-cert-generation: "1" 2
      labels:
        strimzi.io/cluster: my-cluster
        strimzi.io/kind: Kafka
      name: my-cluster-cluster-ca-cert
      #...
    type: Opaque

    1
    新しい base64 でエンコードされた CA 証明書
    2
    新しい CA 証明書生成アノテーションの値

次の調整時に、Cluster Operator は ZooKeeper、Kafka、およびその他のコンポーネントのローリング更新を実行して、新しい CA 証明書を信頼します。

メンテナンス時間枠が設定されている場合には、Cluster Operator は次のメンテナンス時間枠内で最初の調整時に Pod をローリングします。

15.6.3. CA 証明書と秘密鍵を独自のものに更新または置換する

独自の CA 証明書と秘密鍵を使用している場合は、手動で更新する必要があります。Cluster Operator はそれらを自動的に更新しません。有効期限が切れる前に、更新期間内に CA 証明書を更新します。同じ手順を使用して、AMQ Streams Operator によって生成された CA 証明書と秘密鍵を独自のものに置き換えることもできます。

CA 証明書と秘密鍵を更新または置換する場合は、この手順のステップを実行してください。独自の CA 証明書のみを更新する場合は、「独自の CA 証明書の更新」 を参照してください。

この手順では、PEM 形式の CA 証明書と秘密鍵の更新について説明します。

以下の手順を実行する前に、新規 CA 証明書の CN(コモンネーム) が現在の CA 証明書とは異なることを確認してください。たとえば、Cluster Operator が証明書を更新する場合には、バージョンの識別に v<version_number> 接尾辞を追加します。更新ごとに別の接尾辞を追加して、独自の CA 証明書で同じ作業を行います。別のキーを使用して新しい CA 証明書を生成して、シークレット に保存されている現在の CA 証明書を保持します。

前提条件

  • Cluster Operator が稼働中である。
  • クラスターまたはクライアントの PEM 形式による新しい X.509 証明書と鍵が必要です。

手順

  1. Kafka カスタムリソースの調整を一時停止します。

    1. OpenShift でカスタムリソースにアノテーションを付け、pause-reconciliation アノテーションを true に設定します。

      oc annotate Kafka <name_of_custom_resource> strimzi.io/pause-reconciliation="true"

      たとえば、my-cluster という名前の Kafka カスタムリソースの場合:

      oc annotate Kafka my-cluster strimzi.io/pause-reconciliation="true"
    2. カスタムリソースの status 条件で、ReconciliationPaused への変更が表示されることを確認し ます。

      oc describe Kafka <name_of_custom_resource>

      type 条件は、lastTransitionTimeReconciliationPaused に変わります。

  2. CA 証明書の Secret を更新します。

    1. 既存のシークレットを編集して新規 CA 証明書を追加し、証明書生成アノテーション値を更新します。

      oc edit secret <ca_certificate_secret_name>

      <ca_certificate_secret_name>Secretの名前で、クラスター CA 証明書の場合はKAFKA-CLUSTER-NAME-cluster-ca-certであり、クライアント CA 証明書の場合は KAFKA-CLUSTER-NAME-clients-ca-cert となります。

      以下の例は、my-cluster という名前の Kafka クラスターに関連付けられたクラスター CA 証明書のシークレットを示しています。

      クラスター CA 証明書のシークレット設定例

      apiVersion: v1
      kind: Secret
      data:
        ca.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0F... 1
      metadata:
        annotations:
          strimzi.io/ca-cert-generation: "0" 2
        labels:
          strimzi.io/cluster: my-cluster
          strimzi.io/kind: Kafka
        name: my-cluster-cluster-ca-cert
        #...
      type: Opaque

      1
      現在の base64 でエンコードされた CA 証明書
      2
      現在の CA 証明書生成アノテーションの値
    2. 保持する現在の CA 証明書の名前を変更します。

      data の配下にある現在の ca.crt プロパティー名を ca-<date>.crt に変更します。<date> は、証明書の有効期限を YEAR-MONTH-DAYTHOUR-MINUTE-SECONDZ の形式で指定します。たとえば、ca-2023-01-26T17-32-00Z.crt:。現在の CA 証明書を保持するため、プロパティーの値を残します。

    3. 新規 CA 証明書を base64 にエンコードします。

      cat <path_to_new_certificate> | base64
    4. CA 証明書を更新します。

      data の下に新しい ca.crt プロパティーを作成し、上の手順から base64 でエンコードされた CA 証明書を ca.crt プロパティーの値としてコピーします。

    5. CA 証明書生成アノテーションの値を増やします。

      strimzi.io/ca-cert-generation アノテーションの値を 1 つ増分して更新します。たとえば、strimzi.io/ca-cert-generation=0strimzi.io/ca-cert-generation=1 に変更します。Secret にアノテーションがない場合、値は 0 として扱われるため、1 を指定してアノテーションを追加します。

      AMQ Streams が証明書を生成すると、証明書生成アノテーションは Cluster Operator によって自動的に増分されます。独自の CA 証明書の場合は、より高い増分値でアノテーションを設定します。Cluster Operator が Pod をロールアウトし、証明書を更新できるように、アノテーションには現在のシークレットよりも高い値を指定する必要があります。strimzi.io/ca-cert-generation は、各 CA 証明書の更新で値を 1 増やす必要があります。

    6. 新しい CA 証明書と証明書生成のアノテーション値でシークレットを保存します。

      新しい CA 証明書で更新されるシークレット設定の例

      apiVersion: v1
      kind: Secret
      data:
        ca.crt: GCa6LS3RTHeKFiFDGBOUDYFAZ0F... 1
        ca-2023-01-26T17-32-00Z.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0F... 2
      metadata:
        annotations:
          strimzi.io/ca-cert-generation: "1" 3
        labels:
          strimzi.io/cluster: my-cluster
          strimzi.io/kind: Kafka
        name: my-cluster-cluster-ca-cert
        #...
      type: Opaque

      1
      新しい base64 でエンコードされた CA 証明書
      2
      古い base64 でエンコードされた CA 証明書
      3
      新しい CA 証明書生成アノテーションの値
  3. 新しい CA 証明書の署名に使用する CA キーの Secret を更新します。

    1. 既存のシークレットを編集して新規 CA キーを追加し、キー生成アノテーション値を更新します。

      oc edit secret <ca_key_name>

      <ca_key_name> は CA キーの名前です。これは、クラスター CA キーの場合は <kafka_cluster_name>-cluster-ca、クライアント CA キーの場合は <kafka_cluster_name>-clients-ca です。

      以下の例は、my-cluster という名前の Kafka クラスターに関連付けられたクラスター CA キーのシークレットを示しています。

      クラスター CA キーのシークレット設定例

      apiVersion: v1
      kind: Secret
      data:
        ca.key: SA1cKF1GFDzOIiPOIUQBHDNFGDFS... 1
      metadata:
        annotations:
          strimzi.io/ca-key-generation: "0" 2
        labels:
          strimzi.io/cluster: my-cluster
          strimzi.io/kind: Kafka
        name: my-cluster-cluster-ca
        #...
      type: Opaque

      1
      現在の base64 でエンコードされた CA キー
      2
      現在の CA キー生成アノテーションの値
    2. CA キーを base64 にエンコードします。

      cat <path_to_new_key> | base64
    3. CA キーを更新します。

      前の手順の base64 でエンコードされた CA キーを data にある ca.key プロパティーの値としてコピーします。

    4. CA キー生成アノテーションの値を増やします。

      strimzi.io/ca-key-generation アノテーションの値を 1 つ増分して更新します。たとえば、strimzi.io/ca-key-generation=0strimzi.io/ca-key-generation=1 に変更します。Secret にアノテーションがない場合は 0 として扱われるため、1 の値を指定してアノテーションを追加します。

      AMQ Streams が証明書を生成すると、キー生成アノテーションは Cluster Operator によって自動的に増分されます。独自の CA 証明書と新しい CA キーの場合は、より高い増分値でアノテーションを設定します。Cluster Operator が Pod をロールアウトし、証明書およびキーを更新できるように、アノテーションには現在のシークレットよりも高い値が必要です。strimzi.io/ca-key-generation は、CA 証明書の更新ごとにインクリメントする必要があります。

  4. 新しい CA キーおよびキー生成アノテーション値でシークレットを保存します。

    新規 CA キーで更新されるシークレット設定の例

    apiVersion: v1
    kind: Secret
    data:
      ca.key: AB0cKF1GFDzOIiPOIUQWERZJQ0F... 1
    metadata:
      annotations:
        strimzi.io/ca-key-generation: "1" 2
      labels:
        strimzi.io/cluster: my-cluster
        strimzi.io/kind: Kafka
      name: my-cluster-cluster-ca
      #...
    type: Opaque

    1
    新規の base64 でエンコードされた CA キー
    2
    新しい CA キー生成アノテーションの値
  5. 一時停止から再開します。

    Kafka カスタムリソースの調整を再開するには、pause-reconciliation アノテーションを false に設定します。

    oc annotate --overwrite Kafka <name_of_custom_resource> strimzi.io/pause-reconciliation="false"

    pause-reconciliation アノテーションを削除してもこれを実行できます。

    oc annotate Kafka <name_of_custom_resource> strimzi.io/pause-reconciliation-

    次の調整時に、Cluster Operator は ZooKeeper、Kafka、およびその他のコンポーネントのローリング更新を実行して、新しい CA 証明書を信頼します。ローリング更新が完了すると、Cluster Operator は新しい CA キーで署名された新しいサーバー証明書を生成するために新しい証明書を起動します。

    メンテナンス時間枠が設定されている場合には、Cluster Operator は次のメンテナンス時間枠内で最初の調整時に Pod をローリングします。

  6. 新しい CA 証明書に移行するためのローリング更新が完了するまで待ちます。
  7. 古い証明書をシークレット設定から削除して、クラスターがそれらを信頼しないようにします。

    oc edit secret <ca_certificate_secret_name>

    古い証明書を削除したシークレット設定の例

    apiVersion: v1
    kind: Secret
    data:
      ca.crt: GCa6LS3RTHeKFiFDGBOUDYFAZ0F...
    metadata:
      annotations:
        strimzi.io/ca-cert-generation: "1"
      labels:
        strimzi.io/cluster: my-cluster
        strimzi.io/kind: Kafka
      name: my-cluster-cluster-ca-cert
      #...
    type: Opaque

  8. クラスターの手動ローリング更新を開始して、シークレット設定に加えられた変更を取得します。

    「アノテーションを使用した Kafka クラスターと ZooKeeper クラスターのローリングアップデートの開始」を参照してください。

第16章 AMQ Streams Pod およびコンテナーへのセキュリティーコンテキストの適用

セキュリティーコンテキストは、Pod とコンテナーの制約を定義します。セキュリティーコンテキストを指定すると、Pod およびコンテナーに必要なパーミッションのみが設定されます。たとえば、パーミッションはランタイム操作やリソースへのアクセスを制御できます。

16.1. OpenShift プラットフォームによるセキュリティーコンテキストの処理

セキュリティーコンテキストの処理は、使用している OpenShift プラットフォームのツールによって異なります。

たとえば、OpenShift はビルトイン SCC (Security Context Constraints)を使用してパーミッションを制御します。SCC は、Pod がアクセスできるセキュリティー機能を制御する設定およびストラテジーです。

デフォルトでは、OpenShift はセキュリティーコンテキスト設定を自動的に注入します。ほとんどの場合、Cluster Operator によって作成される Pod およびコンテナーのセキュリティーコンテキストを設定する必要はありません。ただし、引き続き独自の SCC を作成して管理することはできます。

詳細は、Openshift ドキュメント を参照してください。

第17章 ブローカーの追加または削除によるクラスターのスケーリング

ブローカーを追加して Kafka クラスターをスケーリングすると、クラスターのパフォーマンスと信頼性が向上します。ブローカーを追加すると、利用可能なリソースが増加し、クラスターがより大きなワークロードを処理し、より多くのメッセージを処理できるようになります。また、より多くのレプリカとバックアップを提供することでフォールトトレランスを向上させることもできます。逆に、十分に活用されていないブローカーを削除すると、リソースの消費が削減され、効率が向上します。中断やデータ損失を避けるために、スケーリングは慎重に行う必要があります。クラスター内のすべてのブローカーにパーティションを再分散することにより、各ブローカーのリソース使用率が削減され、クラスターの全体的なスループットが向上します。

注記

Kafka トピックのスループットを向上させるには、そのトピックのパーティションの数を増やすことができます。これにより、トピックの負荷をクラスター内の異なるブローカー間で共有できるようになります。ただし、すべてのブローカーが特定のリソース (I/O など) によって制約されている場合、パーティションを追加してもスループットは向上しません。この場合、クラスターにブローカーをさらに追加する必要があります。

Kafka.spec.kafka.replicas 設定を調整すると、レプリカとして機能するクラスター内のブローカーの数に影響します。トピックの実際のレプリケーション係数は、default.replication.factor および min.insync.replicas の設定、および使用可能なブローカーの数によって決まります。たとえば、レプリケーション係数 3 は、トピックの各パーティションが 3 つのブローカー間でレプリケーションされ、ブローカーに障害が発生した場合のフォールトトレランスを確保することを意味します。

レプリカ設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    replicas: 3
    # ...
  config:
      # ...
      default.replication.factor: 3
      min.insync.replicas: 2
 # ...

Kafka 設定を通じてブローカーを追加する場合、ノード ID は 0 (ゼロ) から始まり、クラスターオペレーターは次に小さい ID を新しいノードに割り当てます。ブローカーの削除プロセスは、クラスター内で最も高い ID を持つブローカー Pod から開始されます。

ノードプール機能のプレビューを使用してクラスター内のノードを管理している場合は、KafkaNodePool.spec.replicas 設定を調整して、ノードプール内のノードの数を変更します。さらに、ノードプールを使用して既存のクラスターをスケーリングする場合は、スケーリング操作用のノード ID を割り当てる ことができます。

ブローカーを追加または削除しても、Kafka はパーティションを自動的に再割り当てしません。これを行う最良の方法は、Cruise Control を使用することです。クラスターをスケールアップまたはスケールダウンするときに、Cruise Control の add-brokers モードと remove-brokers モードを使用できます。

  • Kafka クラスターをスケールアップした後、add-brokers モードを使用して、パーティションレプリカを既存のブローカーから新しく追加したブローカーに移動します。
  • Kafka クラスターをスケールダウンする前に、remove-brokers モードを使用して、削除されるブローカーからパーティションレプリカを移動します。

第18章 Cruise Control を使用したクラスターのリバランス

Cruise Control は、次の Kafka 操作をサポートするオープンソースシステムです。

  • クラスターワークロードのモニタリング
  • 定義済みの制約に基づくクラスターのリバランス

この操作は、ブローカー Pod をより効率的に使用する、よりバランスの取れた Kafka クラスターを実行するのに役立ちます。

通常、クラスターの負荷は時間とともに不均等になります。大量のメッセージトラフィックを処理するパーティションは、使用可能なブローカー全体で均等に分散されない可能性があります。クラスターを再分散するには、管理者はブローカーの負荷を監視し、トラフィックの多いパーティションを容量に余裕のあるブローカーに手作業で再割り当てします。

Cruise Control はクラスターのリバランス処理を自動化します。CPU、ディスク、およびネットワーク負荷を基にして、クラスターにおけるリソース使用のワークロードモデルを構築し、パーティションの割り当てをより均等にする、最適化プロポーザル (承認または拒否可能) を生成します。これらのプロポーザルの算出には、設定可能な最適化ゴールが複数使用されます。

特定のモードで最適化の提案を生成できます。デフォルトの full モードでは、すべてのブローカー間でパーティションがリバランスされます。add-brokers および remove-brokers モードを使用して、クラスターをスケールアップまたはスケールダウンするときの変更に対応することもできます。

最適化プロポーザルを承認すると、Cruise Control はそのプロポーザルを Kafka クラスターに適用します。KafkaRebalance リソースを使用して、最適化の提案を設定および生成します。最適化の提案が自動または手動で承認されるように、アノテーションを使用してリソースを設定できます。

注記

AMQ Streams は、Cruise Control のサンプル設定ファイル を提供します。

18.1. Cruise Control のコンポーネントと機能

Cruise Control は、Load Monitor、Analyzer、Anomaly Detector、Executor の 4 つの主要コンポーネントと、クライアントとの対話用の REST API で設定されています。AMQ Streams は REST API を使用して、以下の Cruise Control 機能をサポートします。

  • 最適化ゴールから最適化プロポーザルを生成します。
  • 最適化プロポーザルを基にして Kafka クラスターのリバランスを行います。
最適化ゴール

最適化ゴールは、リバランスから達成する特定のゴールを表します。たとえば、トピックのレプリカをブローカー間でより均等に分散することがゴールになる場合があります。設定から追加するゴールを変更できます。ゴールは、ハードゴールまたはソフトゴールとして定義されます。Cruise Control 展開設定を使用してハード目標を追加できます。また、これらの各カテゴリーに適合するメイン、デフォルト、およびユーザー提供の目標もあります。

  • ハードゴール は事前設定されており、最適化プロポーザルが正常に実行されるには満たされる必要があります。
  • 最適化プロポーザルが正常に実行されるには、ソフトゴール を満たす必要はありません。これは、すべてのハードゴールが一致することを意味します。
  • メインゴール は Cruise Control から継承されます。ハードゴールとして事前設定されているものもあります。メインゴールは、デフォルトで最適化プロポーザルで使用されます。
  • デフォルトのゴール は、デフォルトでメインゴールと同じです。デフォルトゴールのセットを指定できます。
  • ユーザー提供のゴール は、特定の最適化プロポーザルを生成するために設定されるデフォルトゴールのサブセットです。
最適化プロポーザル

最適化プロポーザルは、リバランスから達成するゴールで構成されます。最適化プロポーザルを生成して、提案された変更の概要と、リバランス可能な結果を作成します。ゴールは特定の優先順位で評価されます。その後、プロポーザルの承認または拒否を選択できます。プロポーザルを拒否し、調整したゴールセットを使用して再度実行できます。

3 つのモードのいずれかで最適化プロポーザルを生成できます。

  • full はデフォルトのモードで、完全なリバランスを実行します。
  • add-brokers は、Kafka クラスターをスケールアップするときにブローカーを追加した後に使用するモードです。
  • remove-brokers は、Kafka クラスターを縮小するときにブローカーを削除する前に使用するモードです。

自己修復、通知、独自ゴールの作成、トピックレプリケーション係数の変更など、その他の Cruise Control の機能は現在サポートされていません。

18.2. 最適化ゴールの概要

最適化ゴールは、Kafka クラスター全体のワークロード再分散およびリソース使用の制約です。Cruise Control は Kafka クラスターをリバランスするために、最適化ゴールを使用して、承認または拒否可能な 最適化プロポーザル を生成します。

18.2.1. 優先度によるゴールの順序

AMQ Streams は、Cruise Control プロジェクトで開発された最適化ゴールのほとんどをサポートします。以下に、サポートされるゴールをデフォルトの優先度順に示します。

  1. ラックアウェアネス (Rack Awareness)
  2. 一連のトピックに対するブローカーごとのリーダーレプリカの最小数
  3. レプリカの容量
  4. 容量ゴール

    • ディスク容量
    • ネットワークのインバウンド容量
    • ネットワークアウトバウンド容量
    • CPU 容量
  5. レプリカの分散
  6. 潜在的なネットワーク出力
  7. リソース配分ゴール

    • ディスク使用率の分散
    • ネットワークインバウンド使用率の分散
    • ネットワークアウトバウンド使用率の分散
    • CPU 使用率の分散
  8. リーダーへの単位時間あたりバイト流入量の分布
  9. トピックレプリカの分散
  10. リーダーレプリカの分散
  11. 優先リーダーエレクション
  12. ブローカー内のディスク容量
  13. ブローカー内のディスク使用量の分散

各最適化ゴールの詳細は、Cruise Control Wiki の Goals を参照してください。

注記

独自のゴールの記述および Kafka アサイナーゴールはまだサポートされていません。

18.2.2. AMQ Streams カスタムリソースでのゴールの設定

Kafka および KafkaRebalance カスタムリソースで最適化ゴールを設定します。Cruise Control には、満たなければならない厳しい最適化ゴールのほか、メイン、デフォルト、およびユーザーが指定した最適化ゴールの設定があります。

最適化ゴールは、以下の設定で指定できます。

  • Main goals — Kafka.spec.cruiseControl.config.goals
  • Hard goals — Kafka.spec.cruiseControl.config.hard.goals
  • Default goals — Kafka.spec.cruiseControl.config.default.goals
  • ユーザー提供のゴールKafkaRebalance.spec.goals
注記

リソース配分ゴールは、ブローカーリソースの 容量制限 の影響を受けます。

18.2.3. ハードおよびソフト最適化ゴール

ハードゴールは最適化プロポーザルで 必ず 満たさなければならないゴールです。ハードゴールとして設定されていないゴールは ソフトゴール と呼ばれます。ソフトゴールは ベストエフォート 型のゴールと解釈できます。最適化プロポーザルで満たす必要はありませんが、最適化の計算に含まれます。すべてのハードゴールを満たし、1 つ以上のソフトゴールに違反する最適化プロポーザルは有効です。

Cruise Control は、すべてのハードゴールを満たし、優先度順にできるだけ多くのソフトゴールを満たす最適化プロポーザルを算出します。すべてのハードゴールを満たさない最適化プロポーザルは Cruise Control によって拒否され、ユーザーには送信されません。

注記

たとえば、クラスター全体でトピックのレプリカを均等に分散するソフトゴールがあるとします (トピックレプリカ分散のゴール)。このソフトゴールを無視すると、設定されたハードゴールがすべて有効になる場合、Cruise Control はこのソフトゴールを無視します。

Cruise Control では、以下の メイン最適化ゴール がハードゴールとして事前設定されています。

RackAwareGoal; MinTopicLeadersPerBrokerGoal; ReplicaCapacityGoal; DiskCapacityGoal; NetworkInboundCapacityGoal; NetworkOutboundCapacityGoal; CpuCapacityGoal

Kafka.spec.cruiseControl.confighard.goals プロパティーを編集し、Cruise Control のデプロイメント設定でハードゴールを設定します。

  • Cruise Control から事前設定されたハードゴールを継承する場合は、Kafka.spec.cruiseControl.confighard.goals プロパティーを指定しないでください。
  • 事前設定されたハードゴールを変更するには、完全修飾ドメイン名を使用して、希望のゴールを hard.goals プロパティーに指定します。

ハード最適化ゴールの Kafka 設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
  zookeeper:
    # ...
  entityOperator:
    topicOperator: {}
    userOperator: {}
  cruiseControl:
    brokerCapacity:
      inboundNetwork: 10000KB/s
      outboundNetwork: 10000KB/s
    config:
      # Note that `default.goals` (superset) must also include all `hard.goals` (subset)
      default.goals: >
        com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkInboundCapacityGoal,
        com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkOutboundCapacityGoal
      hard.goals: >
        com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkInboundCapacityGoal,
        com.linkedin.kafka.cruisecontrol.analyzer.goals.NetworkOutboundCapacityGoal
      # ...

ハードゴールの数を増やすと、Cruise Control が有効な最適化プロポーザルを生成する可能性が低くなります。

skipHardGoalCheck: trueKafkaRebalance カスタムリソースに指定された場合、Cruise Control はユーザー提供の最適化ゴールのリスト (KafkaRebalance.spec.goals 内) に設定済みのハードゴール (hard.goals) がすべて含まれていることをチェックしません。そのため、すべてではなく一部のユーザー提供の最適化ゴールが hard.goals リストにある場合、skipHardGoalCheck: true が指定されていてもハードゴールとして処理されます。

18.2.4. メイン最適化ゴール

メイン最適化ゴールはすべてのユーザーが使用できます。メイン最適化ゴールにリストされていないゴールは、Cruise Control 操作で使用できません。

Cruise Control の デプロイメント設定 を変更しない限り、AMQ Streams は以下のメイン最適化ゴールを優先度順 (降順) に Cruise Control から継承します。

RackAwareGoal; ReplicaCapacityGoal; DiskCapacityGoal; NetworkInboundCapacityGoal; NetworkOutboundCapacityGoal; CpuCapacityGoal; ReplicaDistributionGoal; PotentialNwOutGoal; DiskUsageDistributionGoal; NetworkInboundUsageDistributionGoal; NetworkOutboundUsageDistributionGoal; CpuUsageDistributionGoal; TopicReplicaDistributionGoal; LeaderReplicaDistributionGoal; LeaderBytesInDistributionGoal; PreferredLeaderElectionGoal

これらの目標の一部は、ハードゴール として事前設定されています。

複雑さを軽減するため、1 つ以上のゴールを KafkaRebalance リソースでの使用から完全に 除外する必要がある場合を除き、継承される主な最適化ゴールを使用することが推奨されます。必要な場合、メイン最適化ゴールの優先順位は デフォルトの最適化ゴール の設定で変更できます。

Cruise Control のデプロイメント設定で、必要に応じてメインの最適化ゴールを設定します ( Kafka.spec.cruiseControl.config.goals)。

  • 継承された主な最適化ゴールを許可する場合は、goals プロパティーを Kafka.spec.cruiseControl.config に指定しないでください。
  • 継承した主な最適化ゴールを変更する必要がある場合は、goals 設定オプションで、優先順位の高い順に目標のリストを指定します。
注記

最適化提案を生成する際のエラーを回避するには、Kafka.spec.cruiseControl.configgoals または default.goals に加えた変更には、hard.goals プロパティーに指定されたすべてのハードゴールが含まれていることを確認してください。明確にするために、主要な最適化ゴールとデフォルトの目標に対して、ハードゴールも (サブセットとして) 指定する必要があります。

18.2.5. デフォルトの最適化ゴール

Cruise Conrol はデフォルトの最適化ゴール を使用して キャッシュされた最適化プロポーザル を生成します。キャッシュされた最適化プロポーザルの詳細は、「最適化プロポーザルの概要」 を参照してください。

ユーザー提供の最適化ゴールKafkaRebalance カスタムリソースに設定すると、デフォルトの最適化ゴールを上書きできます。

Cruise Control のデプロイメント設定default.goals を指定しない限り、メインの最適化ゴールがデフォルトの最適化ゴールとして使用されます。この場合、メイン最適化ゴールを使用して、キャッシュされた最適化プロポーザルが生成されます。

  • 主な最適化ゴールをデフォルトの目標として使用するには、Kafka.spec.cruiseControl.configdefault.goals プロパティーを指定しないでください。
  • デフォルトの最適化ゴールを編集するには、Kafka.spec.cruiseControl.configdefault.goals プロパティーを編集します。メイン最適化ゴールのサブセットを使用する必要があります。

デフォルト最適化ゴールの Kafka 設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
  zookeeper:
    # ...
  entityOperator:
    topicOperator: {}
    userOperator: {}
  cruiseControl:
    brokerCapacity:
      inboundNetwork: 10000KB/s
      outboundNetwork: 10000KB/s
    config:
      # Note that `default.goals` (superset) must also include all `hard.goals` (subset)
      default.goals: >
        com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal,
        com.linkedin.kafka.cruisecontrol.analyzer.goals.ReplicaCapacityGoal,
        com.linkedin.kafka.cruisecontrol.analyzer.goals.DiskCapacityGoal
      hard.goals: >
        com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal
      # ...

デフォルトの最適化ゴールの指定がない場合、メイン最適化ゴールを使用して、キャッシュされたプロポーザルが生成されます。

18.2.6. ユーザー提供の最適化ゴール

ユーザー提供の最適化ゴール は、特定の最適化プロポーザルの設定済みのデフォルトゴールを絞り込みます。必要に応じて、KafkaRebalance のカスタムリソースの spec.goals で設定することができます。

KafkaRebalance.spec.goals

ユーザー提供の最適化ゴールは、さまざまな状況の最適化プロポーザルを生成できます。たとえば、ディスクの容量やディスクの使用率を考慮せずに、Kafka クラスター全体でリーダーレプリカの分布を最適化したい場合があります。この場合、リーダーレプリカ分布の単一のユーザー提供のゴールが含まれる KafkaRebalance カスタムリソースを作成します。

ユーザー提供の最適化ゴールには以下が必要になります。

  • 設定済みの ハードゴール がすべて含まれるようにする必要があります。そうしないと、エラーが発生します。
  • メイン最適化ゴールのサブセットである必要があります。

最適化プロポーザルの生成時に設定済みのハードゴールを無視するには、skipHardGoalCheck: true プロパティーを KafkaRebalance カスタムリソースに追加します。「最適化プロポーザルの生成」 を参照してください。

18.3. 最適化プロポーザルの概要

KafkaRebalance リソースを設定して、最適化の提案を生成し、提案された変更を適用します。最適化プロポーザル は、パーティションのワークロードをブローカー間でより均等に分散することで、Kafka クラスターの負荷をより均等にするために提案された変更の概要です

各最適化プロポーザルは、それを生成するために使用された 最適化ゴール のセットに基づいており、ブローカーリソースに設定された 容量制限 が適用されます。

すべての最適化プロポーザルは、提案されたリバランスの影響の 見積もり です。提案は、承認または却下できます。最初に最適化プロポーザルを生成しなければに、クラスターのリバランスは承認できません。

次のリバランスモードのいずれかで最適化の提案を実行できます。

  • full
  • add-brokers
  • remove-brokers

18.3.1. リバランスモード

KafkaRebalance カスタムリソースの spec.mode プロパティーを使用して、リバランスモードを指定します。

full
full モードでは、クラスター内のすべてのブローカー間でレプリカを移動することにより、完全なリバランスが実行されます。これは、KafkaRebalance カスタムリソースで spec.mode プロパティーが定義されていない場合のデフォルトモードです。
add-brokers
add-brokers モードは、1 つ以上のブローカーを追加して Kafka クラスターをスケールアップした後に使用されます。通常、Kafka クラスターをスケールアップした後、新しいブローカーは、新しく作成されたトピックのパーティションのみをホストするために使用されます。新しいトピックが作成されないと、新たに追加されたブローカーは使用されず、既存のブローカーは同じ負荷のままになります。クラスターにブローカーを追加した直後に add-brokers モードを使用すると、リバランス操作によってレプリカが既存のブローカーから新しく追加されたブローカーに移動します。KafkaRebalance カスタムリソースの spec.brokers プロパティーを使用して、新しいブローカーをリストとして指定します。
remove-brokers
remove-brokers モードは、1 つ以上のブローカーを削除して Kafka クラスターをスケールダウンする前に使用されます。Kafka クラスターをスケールダウンすると、レプリカをホストする場合でもブローカーはシャットダウンされます。これにより、レプリケートが不十分なパーティションとなる可能性があり、一部のパーティションが最小 In-Sync レプリカ (ISR) を下回る可能性があります。この潜在的な問題を回避するために、remove-brokers モードは、削除されるブローカーからレプリカを移動します。これらのブローカーがレプリカをホストしなくなった場合は、スケールダウン操作を安全に実行できます。KafkaRebalance カスタムリソースの spec.brokers プロパティーで、削除するブローカーをリストとして指定します。

一般に、full リバランスモードを使用して、ブローカー間で負荷を分散することにより Kafka クラスターをリバランスします。add-brokers および remove-brokers モードは、クラスターをスケールアップまたはスケールダウンし、それに応じてレプリカを再調整する場合にのみ使用してください。

リバランスを実行する手順は、実際には 3 つの異なるモードで同じです。唯一の違いは、spec.mode プロパティーを介してモードを指定することと、必要に応じて、spec.brokers プロパティーを介して追加または削除されるブローカーを一覧表示することです。

18.3.2. 最適化提案の結果

最適化の提案が生成されると、概要とブローカーの負荷が返されます。

概要
要約は KafkaRebalance リソースに含まれています。サマリーは、提案されたクラスターリバランスの概要を提供し、関係する変更の規模を示します。正常に生成された最適化プロポーザルの要約は、KafkaRebalance リソースの Status.OptimizationResult プロパティーに含まれています。提供される情報は完全な最適化プロポーザルの概要になります。
ブローカーの負荷
ブローカーの負荷は、データが JSON 文字列として含まれる ConfigMap に保存されます。ブローカーの負荷は提案されたリバランスの前と後の値を表示するため、クラスターの各ブローカーへの影響を確認できます。

18.3.3. 最適化プロポーザルの手動承認または拒否

最適化プロポーザルのサマリーは、提案された変更の範囲を示しています。

KafkaRebalance リソースの名前を使用して、コマンドラインから要約を返すことができます。

最適化プロポーザルの要約を返す方法

oc describe kafkarebalance <kafka_rebalance_resource_name> -n <namespace>

jq コマンドライン JSON パーサーツールを使用することもできます。

jq を使用して最適化プロポーザルの要約を返す方法

oc get kafkarebalance -o json | jq <jq_query>.

サマリーを使用して、最適化プロポーザルを承認するか拒否するかを決定します。

最適化プロポーザルの承認
最適化プロポーザルを承認するには、KafkaRebalance リソースの strimzi.io/rebalance アノテーションを approve するように設定します。Cruise Control は、プロポーザルを Kafka クラスターに適用し、クラスターのリバランス操作を開始します。
最適化プロポーザルの拒否
最適化プロポーザルを承認しないことを選択した場合は、最適化ゴールの変更 または 任意のリバランスパフォーマンスチューニングオプションの更新 を行い、その後で別のプロポーザルを生成できます。strimzi.io/rebalance アノテーションを refresh に設定することで、KafkaRebalance リソースの新しい最適化提案を生成できます。

最適化プロポーザルを使用して、リバランスに必要な動作を評価します。たとえば、要約ではブローカー間およびブローカー内の動きについて記述します。ブローカー間のリバランスは、別々のブローカー間でデータを移動します。JBOD ストレージ設定を使用していると、ブローカー内のリバランスでは同じブローカー上のディスク間でデータが移動します。このような情報は、プロポーザルを承認しない場合でも有用な場合があります。

リバランスの際には Kafka クラスターに追加の負荷がかかるため、最適化プロポーザルを却下したり、承認を遅らせたりする場合があります。

次の例では、プロポーザルは別々のブローカー間のデータのリバランスを提案しています。リバランスには、ブローカー間での 55 個のパーティションレプリカ (合計 12 MB のデータ) の移動が含まれます。パーティションレプリカのブローカー間の移動は、パフォーマンスに大きな影響を与えますが、データ総量はそれほど多くありません。合計データが膨大な場合は、プロポーザルを却下するか、リバランスを承認するタイミングを考慮して Kafka クラスターのパフォーマンスへの影響を制限できます。

リバランスパフォーマンスチューニングオプションは、データ移動の影響を減らすのに有用です。リバランス期間を延長できる場合は、リバランスをより小さなバッチに分割できます。一回のデータ移動が少なくなると、クラスターの負荷も軽減できます。

最適化プロポーザルサマリーの例

Name:         my-rebalance
Namespace:    myproject
Labels:       strimzi.io/cluster=my-cluster
Annotations:  API Version:  kafka.strimzi.io/v1alpha1
Kind:         KafkaRebalance
Metadata:
# ...
Status:
  Conditions:
    Last Transition Time:  2022-04-05T14:36:11.900Z
    Status:                ProposalReady
    Type:                  State
  Observed Generation:     1
  Optimization Result:
    Data To Move MB:  0
    Excluded Brokers For Leadership:
    Excluded Brokers For Replica Move:
    Excluded Topics:
    Intra Broker Data To Move MB:         12
    Monitored Partitions Percentage:      100
    Num Intra Broker Replica Movements:   0
    Num Leader Movements:                 24
    Num Replica Movements:                55
    On Demand Balancedness Score After:   82.91290759174306
    On Demand Balancedness Score Before:  78.01176356230222
    Recent Windows:                       5
  Session Id:                             a4f833bd-2055-4213-bfdd-ad21f95bf184

このプロポーザルでは、24 のパーティションリーダーも別のブローカーに移動します。これには、パフォーマンスへの影響が少ない ZooKeeper の設定を変更する必要があります。

バランススコアは、最適化プロポーザルが承認される前後の Kafka クラスターの全体的なバランスの測定値です。バランススコアは、最適化ゴールに基づいています。すべてのゴールが満たされていると、スコアは 100 になります。達成されないゴールごとにスコアが減少します。バランススコアを比較して、Kafka クラスターのバランスがリバランス後よりも悪いかどうかを確認します。

18.3.4. 最適化プロポーザルの自動承認

時間を節約するために、最適化プロポーザルの承認プロセスを自動化できます。自動化により、最適化の提案を生成すると、クラスターのリバランスに直接進みます。

最適化プロポーザルの自動承認メカニズムを有効にするには、strimzi.io/rebalance-auto-approval アノテーションを true に設定して KafkaRebalance リソースを作成します。アノテーションが設定されていないか、false に設定されている場合、最適化プロポーザルには手動承認が必要です。

自動承認メカニズムが有効になっているリバランス要求の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaRebalance
metadata:
  name: my-rebalance
  labels:
    strimzi.io/cluster: my-cluster
  annotations:
    strimzi.io/rebalance-auto-approval: "true"
spec:
  mode: # any mode
  # ...

最適化の提案を自動的に承認する場合でも、ステータスを確認できます。リバランスが完了すると、KafkaRebalance リソースのステータスは Ready に移動します。

18.3.5. 最適化プロポーザルサマリーのプロパティー

以下の表は、最適化プロポーザルのサマリーセクションに含まれるプロパティーについて説明しています。

表18.1 最適化プロポーザルに含まれるプロパティーの概要
JSON プロパティー説明

numIntraBrokerReplicaMovements

ディスクとクラスターのブローカーとの間で転送されるパーティションレプリカの合計数。

リバランス操作中のパフォーマンスへの影響度: 比較的高いが、numReplicaMovements よりも低い。

excludedBrokersForLeadership

サポートされていません。空のリストが返されます。

numReplicaMovements

個別のブローカー間で移動されるパーティションレプリカの数。

リバランス操作中のパフォーマンスへの影響度: 比較的高い。

onDemandBalancednessScoreBefore, onDemandBalancednessScoreAfter

最適化プロポーザルの生成前および生成後における、Kafka クラスターの全体的な 分散度 (balancedness) の値。

スコアは、違反した各ソフトゴールの BalancednessScore の合計を 100 から引いて算出されます。Cruise Control は、複数の要因を基にして BalancednessScore を各最適化ゴールに割り当てます。要因には、default.goals またはユーザー提供のゴールのリストでゴールの位置を示す優先順位が含まれます。

Before スコアは、Kafka クラスターの現在の設定を基にします。After スコアは、生成された最適化プロポーザルを基にします。

intraBrokerDataToMoveMB

同じブローカーのディスク間で移動される各パーティションレプリカのサイズの合計 (numIntraBrokerReplicaMovements も参照してください。

リバランス操作中のパフォーマンスへの影響度: 場合による。値が大きいほど、クラスターのリバランスの完了にかかる時間が長くなります。大量のデータを移動する場合、同じブローカーのディスク間で移動する方が個別のブローカー間で移動するよりも影響度が低くなります (dataToMoveMB 参照)。

recentWindows

最適化プロポーザルの基になるメトリックウインドウの数。

dataToMoveMB

個別のブローカーに移動される各パーティションレプリカのサイズの合計 (numReplicaMovements も参照してください。

リバランス操作中のパフォーマンスへの影響度: 場合による。値が大きいほど、クラスターのリバランスの完了にかかる時間が長くなります。

monitoredPartitionsPercentage

最適化プロポーザルの対象となる Kafka クラスターのパーティションの割合 (パーセント)。excludedTopics の数が影響します。

excludedTopics

KafkaRebalance リソースの spec.excludedTopicsRegex プロパティーに正規表現を指定した場合、その式と一致するすべてのトピック名がここにリストされます。これらのトピックは、最適化プロポーザルではパーティションレプリカとリーダーの移動の計算からは除外されます。

numLeaderMovements

リーダーが別のレプリカに切り替えられるパーティションの数。ZooKeeper 設定の変更を伴います。

リバランス操作中のパフォーマンスへの影響度: 比較的低い。

excludedBrokersForReplicaMove

サポートされていません。空のリストが返されます。

18.3.6. ブローカーのロードプロパティー

ブローカーの負荷は、JSON 形式の文字列として ConfigMap (KafkaRebalance カスタムリソースと同じ名前) に保存されます。この JSON 文字列は、各ブローカーのいくつかのメトリックにリンクする各ブローカー ID のキーを持つ JSON オブジェクトで設定されます。各メトリックは 3 つの値で設定されます。1 つ目は、最適化プロポーザルの適用前のメトリックの値です。2 つ目はプロポーザルの適用後に期待される値、3 つ目は、最初の 2 つの値の差 (後の値から前の値を引いた) です。

注記

ConfigMap は、KafkaRebalance リソースが ProposalReady 状態にあると表示され、リバランスが完了すると残ります。

ConfigMap の名前を使用して、コマンドラインからデータを表示できます。

ConfigMap データを返す方法

oc describe configmaps <my_rebalance_configmap_name> -n <namespace>

jq コマンドライン JSON パーサーツールを使用して、ConfigMap から JSON 文字列を抽出することもできます。

jq を使用した ConfigMap からの JSON 文字列の抽出

oc get configmaps <my_rebalance_configmap_name> -o json | jq '.["data"]["brokerLoad.json"]|fromjson|.'

以下の表は、最適化プロポーザルのブローカー負荷 ConfigMap に含まれるプロパティーについて説明しています。

JSON プロパティー説明

leaders

パーティションリーダーであるこのブローカーのレプリカ数。

replicas

このブローカーのレプリカ数。

cpuPercentage

定義された容量の割合をパーセントで表す CPU 使用率。

diskUsedPercentage

定義された容量の割合をパーセントで表す ディスク 使用率。

diskUsedMB

絶対ディスク使用量 (MB 単位)

networkOutRate

ブローカーのネットワーク出力レートの合計。

leaderNetworkInRate

このブローカーのすべてのパーティションリーダーレプリカに対するネットワーク入力レート。

followerNetworkInRate

このブローカーのすべてのフォロワーレプリカに対するネットワーク入力レート。

potentialMaxNetworkOutRate

このブローカーが現在ホストしているレプリカすべてのリーダーであった場合に実現される、仮定上の最大ネットワーク出力レート。

18.3.7. キャッシュされた最適化プロポーザル

Cruise Control は、設定済みのデフォルト最適化ゴールを基にして キャッシュされた最適化プロポーザル を維持します。キャッシュされた最適化プロポーザルはワークロードモデルから生成され、Kafka クラスターの現在の状況を反映するために 15 分ごとに更新されます。デフォルトの最適化ゴールを使用して最適化プロポーザルを生成する場合、Cruise Control は最新のキャッシュされたプロポーザルを返します。

キャッシュされた最適化プロポーザルの更新間隔を変更するには、Cruise Control デプロイメント設定の proposal.expiration.ms 設定を編集します。更新間隔を短くすると、Cruise Control サーバーの負荷が増えますが、変更が頻繁に行われるクラスターでは、更新間隔を短くするよう考慮してください。

18.4. リバランスパフォーマンスチューニングの概要

クラスターリバランスのパフォーマンスチューニングオプションを調整できます。このオプションは、リバランスのパーティションレプリカおよびリーダーシップの移動が行われる方法を制御し、また、リバランス操作に割り当てられた帯域幅も制御します。

18.4.1. パーティション再割り当てコマンド

最適化プロポーザル は、個別のパーティション再割り当てコマンドで設定されています。プロポーザルを 承認 すると、Cruise Control サーバーはこれらのコマンドを Kafka クラスターに適用します。

パーティション再割り当てコマンドは、以下のいずれかの操作で設定されます。

  • パーティションの移動: パーティションレプリカとそのデータを新しい場所に転送します。パーティションの移動は、以下の 2 つの形式のいずれかになります。

    • ブローカー間の移動: パーティションレプリカを、別のブローカーのログディレクトリーに移動します。
    • ブローカー内の移動: パーティションレプリカを、同じブローカーの異なるログディレクトリーに移動します。
  • リーダーシップの移動: パーティションのレプリカのリーダーを切り替えます。

Cruise Control によって、パーティション再割り当てコマンドがバッチで Kafka クラスターに発行されます。リバランス中のクラスターのパフォーマンスは、各バッチに含まれる各タイプの移動数に影響されます。

18.4.2. レプリカの移動ストラテジー

クラスターリバランスのパフォーマンスは、パーティション再割り当てコマンドのバッチに適用される レプリカ移動ストラテジー の影響も受けます。デフォルトでは、Cruise Control は BaseReplicaMovementStrategy を使用します。これは、生成された順序でコマンドを適用します。ただし、プロポーザルの初期に非常に大きなパーティションの再割り当てを行うと、このストラテジーではその他の再割り当ての適用が遅くなる可能性があります。

Cruise Control は、最適化プロポーザルに適用できる代替のレプリカ移動ストラテジーを 4 つ提供します。

  • PrioritizeSmallReplicaMovementStrategy: サイズの昇順で再割り当てを並べ替えます。
  • PrioritizeLargeReplicaMovementStrategy: サイズの降順で再割り当ての順序。
  • PostponeUrpReplicaMovementStrategy: 非同期レプリカがないパーティションのレプリカの再割り当てを優先します。
  • PrioritizeMinIsrWithOfflineReplicasStrategy: オフラインレプリカを持つ (At/Under) MinISR パーティションで再割り当てを優先します。この戦略は、Kafka カスタムリソースの仕様で cruiseControl.config.concurrency.adjuster.min.isr.check.enabledtrue に設定されている場合にのみ機能します。

これらのストラテジーをシーケンスとして設定できます。最初のストラテジーは、内部ロジックを使用して 2 つのパーティション再割り当ての比較を試みます。再割り当てが同等である場合は、順番を決定するために再割り当てをシーケンスの次のストラテジーに渡します。

18.4.3. ブローカー内のディスクバランシング

大量のデータを移動する場合、同じブローカーのディスク間で移動する方が個別のブローカー間で移動するよりも影響度が低くなります。Kafka デプロイメントで、同じブローカーにディスクが複数割り当てられた JBOD ストレージを使用している場合には、Cruise Control はディスク間でパーティションを分散できます。

注記

1 つのディスクで JBOD ストレージを使用している場合は、分散するディスクがないため、ブローカー内でディスク分散すると、パーティションの移動が 0 と提案されます。

ブローカー内のディスク分散を実行するには、KafkaRebalance.spec の下で rebalanceDisktrue に設定します。rebalanceDisktrue に設定する場合は、Cruise Control はブローカー内のゴールを自動的に設定し、ブローカー間のゴールを無視するため、KafkaRebalance.specgoals フィールドを設定しないでください。Cruise Control はブローカー間およびブローカー内の分散を同時に実行しません。

18.4.4. リバランスチューニングオプション

Cruise Control には、上記のリバランスパラメーターを調整する設定オプションが複数あります。これらのチューニングオプションは、Kafka または 最適化提案 レベル で Cruise Control を設定および展開する ときに設定できます。

  • Cruise Control のサーバー設定は、Kafka カスタムリソースの下の Kafka.spec.cruiseControl.config で設定できます。
  • 個々のリバランスのパフォーマンス設定は、KafkaRebalance.spec で設定できます。

関連する設定を以下の表にまとめています。

表18.2 リバランスパフォーマンスチューニングの設定
Cruise Control プロパティーKafkaRebalance プロパティーデフォルト説明

num.concurrent.partition.movements.per.broker

concurrentPartitionMovementsPerBroker

5

各パーティション再割り当てバッチにおける inter-broker パーティション移動の最大数。

num.concurrent.intra.broker.partition.movements

concurrentIntraBrokerPartitionMovements

2

各パーティション再割り当てバッチにおけるブローカー内パーティション移動の最大数。

num.concurrent.leader.movements

concurrentLeaderMovements

1000

各パーティション再割り当てバッチにおけるパーティションリーダー変更の最大数。

default.replication.throttle

replicationThrottle

Null (制限なし)

パーティションの再割り当てに割り当てる帯域幅 (バイト/秒単位)。

default.replica.movement.strategies

replicaMovementStrategies

BaseReplicaMovementStrategy

パーティション再割り当てコマンドが、生成されたプロポーザルに対して実行される順番を決定するために使用されるストラテジー (優先順位順) の一覧。サーバーの設定には、ストラテジークラスの完全修飾名をコンマ区切りの文字列で指定します (各クラス名の先頭に com.linkedin.kafka.cruisecontrol.executor.strategy. を追加します)。KafkaRebalance リソース設定には、YAML 配列のストラテジークラス名を使用します。

-

rebalanceDisk

false

ブローカー内のディスク分散を有効にし、同じブローカーのディスク間でディスク領域の使用率を分散します。ディスクが複数割り当てられた JBOD ストレージを使用する Kafka デプロイメントにのみ適用されます。

デフォルト設定を変更すると、リバランスの完了までにかかる時間と、リバランス中の Kafka クラスターの負荷に影響します。値を小さくすると負荷は減りますが、かかる時間は長くなります。その逆も同様です。

18.5. Configuring and deploying Cruise Control with Kafka

Kafka リソースを設定して、Kafka クラスターと共に Cruise Control をデプロイします。Kafka リソースの CruiseControl プロパティーを使用して、デプロイを設定できます。Kafka クラスターごとに Cruise Control のインスタンスを 1 つデプロイします。

最適化の提案を生成するための最適化ゴールを指定するには、Cruise Control configgoals 設定を使用します。brokerCapacity を使用して、リソース配分に関連するゴールのデフォルトの容量制限を変更できます。ブローカーが異種ネットワークリソースを持つノードで実行されている場合、overrides を使用して各ブローカーのネットワーク容量制限を設定できます。

空のオブジェクト ({}) が CruiseControl 設定に使用されている場合、すべてのプロパティーはデフォルト値を使用します。

Cruise Control の設定オプションの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

前提条件

  • OpenShift クラスター
  • 稼働中の Cluster Operator

手順

  1. Kafka リソースの cruiseControl プロパティーを編集します。

    設定可能なプロパティーは以下の例のとおりです。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      # ...
      cruiseControl:
        brokerCapacity: 1
          inboundNetwork: 10000KB/s
          outboundNetwork: 10000KB/s
          overrides: 2
          - brokers: [0]
            inboundNetwork: 20000KiB/s
            outboundNetwork: 20000KiB/s
          - brokers: [1, 2]
            inboundNetwork: 30000KiB/s
            outboundNetwork: 30000KiB/s
          # ...
        config: 3
          # Note that `default.goals` (superset) must also include all `hard.goals` (subset)
          default.goals: > 4
            com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal,
            com.linkedin.kafka.cruisecontrol.analyzer.goals.ReplicaCapacityGoal,
            com.linkedin.kafka.cruisecontrol.analyzer.goals.DiskCapacityGoal
            # ...
          hard.goals: >
            com.linkedin.kafka.cruisecontrol.analyzer.goals.RackAwareGoal
            # ...
          cpu.balance.threshold: 1.1
          metadata.max.age.ms: 300000
          send.buffer.bytes: 131072
          webserver.http.cors.enabled: true 5
          webserver.http.cors.origin: "*"
          webserver.http.cors.exposeheaders: "User-Task-ID,Content-Type"
          # ...
        resources: 6
          requests:
            cpu: 1
            memory: 512Mi
          limits:
            cpu: 2
            memory: 2Gi
        logging: 7
            type: inline
            loggers:
              rootLogger.level: INFO
        template: 8
          pod:
            metadata:
              labels:
                label1: value1
            securityContext:
              runAsUser: 1000001
              fsGroup: 0
            terminationGracePeriodSeconds: 120
        readinessProbe: 9
          initialDelaySeconds: 15
          timeoutSeconds: 5
        livenessProbe:
          initialDelaySeconds: 15
          timeoutSeconds: 5
        metricsConfig: 10
          type: jmxPrometheusExporter
          valueFrom:
            configMapKeyRef:
              name: cruise-control-metrics
              key: metrics-config.yml
    # ...
    1
    ブローカーリソースの容量制限。
    2
    オーバーライドは、異種ネットワークリソースを持つノード上で実行されている場合に、特定のブローカーのネットワーク容量制限を設定します。
    3
    Cruise Control の設定AMQ Streams によって直接管理されないプロパティーに限り、標準 Cruise Control 設定の提供が可能です。
    4
    最適化ゴールの設定。デフォルトの最適化ゴール (default.goals)、メインの最適化ゴール (goals)、およびハードゴール (hard.goals) の設定を含めることができます。
    5
    CORS が有効になっており、Cruise Control API への読み取り専用アクセスが設定されています。
    6
    現在 cpu および memory である、サポートされるリソースの予約を要求し、消費可能な最大リソースを指定を制限します。
    7
    Cruise Control ロガーとログレベルは、ConfigMap を通じて直接 (inline) または間接 (external) に追加されます。カスタム Log4j 設定は、ConfigMap の log4j.properties キーの下に配置する必要があります。Cruise Control には、rootLogger.level という名前の単一のロガーがあります。ログレベルは INFO、ERROR、WARN、TRACE、DEBUG、FATAL、または OFF に設定できます。
    8
    テンプレートのカスタマイズ。ここでは、Pod が追加のセキュリティー属性でスケジュールされています。
    9
    コンテナーを再起動するタイミング (liveness) およびコンテナーがトラフィックを許可できるタイミング (readiness) を把握するためのヘルスチェック。
    10
    Prometheus メトリックが有効になりました。この例では、メトリクスは Prometheus JMX Exporter (デフォルトのメトリクスエクスポーター) に対して設定されます。
  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>
  3. デプロイメントのステータスを確認します。

    oc get deployments -n <my_cluster_operator_namespace>

    デプロイメント名と準備状態が表示されている出力

    NAME                      READY  UP-TO-DATE  AVAILABLE
    my-cluster-cruise-control 1/1    1           1

    my-cluster は Kafka クラスターの名前です。

    READY は、Ready/expected 状態のレプリカ数を表示します。AVAILABLE 出力に 1 が表示されれば、デプロイメントは成功しています。

自動作成されたトピック

以下の表は、Cruise Control のデプロイ時に自動作成される 3 つのトピックを表しています。このトピックは、Cruise Control が適切に動作するために必要であるため、削除または変更しないでください。指定された設定オプションを使用して、トピックの名前を変更できます。

表18.3 自動作成されたトピック
自動作成されたトピック設定デフォルトのトピック名作成元機能

metric.reporter.topic

strimzi.cruisecontrol.metrics

AMQ Streams の Metrics Reporter

Metrics Reporter からの raw メトリクスを各 Kafka ブローカーに格納します。

partition.metric.sample.store.topic

strimzi.cruisecontrol.partitionmetricsamples

Cruise Control

各パーティションの派生されたメトリックを格納します。これは Metric Sample Aggregator によって作成されます。

broker.metric.sample.store.topic

strimzi.cruisecontrol.modeltrainingsamples

Cruise Control

クラスターワークロードモデル の作成に使用されるメトリックサンプルを格納します。

Cruise Control に必要なレコードを削除しないようにするため、自動作成されたトピックではログの圧縮は無効になっています。

注記

自動作成されたトピックの名前が、すでに Cruise Control が有効になっている Kafka クラスターで変更された場合、古いトピックは削除されないため、手動で削除する必要があります。

次のステップ

Cruise Control を設定およびデプロイした後、最適化プロポーザルを生成 できます。

18.6. 最適化プロポーザルの生成

KafkaRebalance リソースを作成または更新すると、Cruise Control は 設定済みの 最適化ゴール を基にして、Kafka クラスターの 最適化プロポーザル を生成します。最適化プロポーザルの情報を分析して、プロポーザルを承認するかどうかを決定します。最適化プロポーザルの結果を使用して Kafka クラスターをリバランスできます。

最適化の提案は、次のいずれかのモードで実行できます。

  • full (デフォルト)
  • add-brokers
  • remove-brokers

使用するモードは、Kafka クラスターですでに実行されているすべてのブローカー間で再調整するかどうかによって異なります。または、Kafka クラスターをスケールアップした後またはスケールダウンする前に再調整したい場合。詳細については、ブローカーのスケーリングによるモードの再調整 を参照してください。

前提条件

Cruise Control の設定の詳細については、「Configuring and deploying Cruise Control with Kafka」 を参照してください。

手順

  1. KafkaRebalance リソースを作成し、適切なモードを指定します。

    full モード(デフォルト)

    Kafka リソースに定義された デフォルトの最適化ゴール を使用するには、spec プロパティーを空のままにします。Cruise Control は、デフォルトで full モードで Kafka クラスターを再調整します。

    デフォルトで完全なリバランスを行う設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
    spec: {}

    spec.mode プロパティーで full モードを指定して、完全なリバランスを実行することもできます。

    full モードを指定した設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      mode: full

    add-brokers モード

    スケールアップ後に Kafka クラスターを再調整する場合は、add-brokers モードを指定します。

    このモードでは、既存のレプリカが新しく追加されたブローカーに移動されます。ブローカーをリストとして指定する必要があります。

    add-brokers モードを指定した設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      mode: add-brokers
      brokers: [3, 4] 1

    1
    スケールアップ操作によって追加された、新しく追加されたブローカーのリスト。このプロパティーは必須です。
    remove-brokers モード

    スケールダウンする前に Kafka クラスターを再調整する場合は、remove-brokers モードを指定します。

    このモードでは、削除されるブローカーからレプリカが移動されます。削除するブローカーをリストとして指定する必要があります。

    remove-brokers モードを指定した設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      mode: remove-brokers
      brokers: [3, 4] 1

    1
    スケールダウン操作によって削除されるブローカーのリスト。このプロパティーは必須です。
    注記

    次の手順と、再調整を承認または停止する手順は、使用している再調整モードに関係なく同じです。

  2. デフォルトのゴールを使用する代わりに ユーザー提供の最適化ゴール を設定するには、goals プロパティーを追加し、1 つ以上のゴールを入力します。

    以下の例では、ラックアウェアネス (Rack Awareness) およびレプリカの容量はユーザー提供の最適化ゴールとして設定されています。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      goals:
        - RackAwareGoal
        - ReplicaCapacityGoal
  3. 設定されたハードゴールを無視するには、skipHardGoalCheck: true プロパティーを追加します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      goals:
        - RackAwareGoal
        - ReplicaCapacityGoal
      skipHardGoalCheck: true
  4. (オプション) 最適化プロポーザルを自動的に承認するには、strimzi.io/rebalance-auto-approval アノテーションを true に設定します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaRebalance
    metadata:
      name: my-rebalance
      labels:
        strimzi.io/cluster: my-cluster
      annotations:
        strimzi.io/rebalance-auto-approval: "true"
    spec:
      goals:
        - RackAwareGoal
        - ReplicaCapacityGoal
      skipHardGoalCheck: true
  5. リソースを作成または更新します。

    oc apply -f <kafka_rebalance_configuration_file>

    Cluster Operator は Cruise Control から最適化プロポーザルを要求します。Kafka クラスターのサイズによっては処理に数分かかることがあります。

  6. 自動承認メカニズムを使用した場合は、最適化プロポーザルのステータスが Ready に変わるまで待ちます。自動承認メカニズムを有効にしていない場合は、最適化プロポーザルのステータスが ProposalReady に変わるまで待ちます。

    oc get kafkarebalance -o wide -w -n <namespace>
    PendingProposal
    PendingProposal ステータスは、最適化プロポーザルの準備できているかどうかを確認するために、リバランス Operator が Cruise Control API をポーリングしていることを意味します。
    ProposalReady
    ProposalReady ステータスは、最適化プロポーザルのレビューおよび承認の準備ができていることを意味します。

    ステータスが ProposalReady に変わると、最適化プロポーザルを承認する準備が整います。

  7. 最適化プロポーザルを確認します。

    最適化プロポーザルは KafkaRebalance カスタムリソースの Status.Optimization Result プロパティーに含まれます。

    oc describe kafkarebalance <kafka_rebalance_resource_name>

    最適化プロポーザルの例

    Status:
      Conditions:
        Last Transition Time:  2020-05-19T13:50:12.533Z
        Status:                ProposalReady
        Type:                  State
      Observed Generation:     1
      Optimization Result:
        Data To Move MB:  0
        Excluded Brokers For Leadership:
        Excluded Brokers For Replica Move:
        Excluded Topics:
        Intra Broker Data To Move MB:         0
        Monitored Partitions Percentage:      100
        Num Intra Broker Replica Movements:   0
        Num Leader Movements:                 0
        Num Replica Movements:                26
        On Demand Balancedness Score After:   81.8666802863978
        On Demand Balancedness Score Before:  78.01176356230222
        Recent Windows:                       1
      Session Id:                             05539377-ca7b-45ef-b359-e13564f1458c

    Optimization Result セクションのプロパティーには、保留クラスターリバランス操作の詳細が表示されます。各プロパティーの説明は、最適化プロポーザルの内容 を参照してください。

CPU 容量が不足している

Kafka クラスターが CPU 使用率の観点から過負荷になっている場合には、 KafkaRebalanceステータスで CPU 容量が十分でないというエラーが発生する可能性があります。この使用率の値は、excludedTopics設定の影響を受けないことに注意してください。最適化の提案では、除外されたトピックのレプリカは再割り当てされませんが、負荷は使用率の計算で考慮されます。

CPU 使用率エラーの例

com.linkedin.kafka.cruisecontrol.exception.OptimizationFailureException:
        [CpuCapacityGoal] Insufficient capacity for cpu (Utilization 615.21,
        Allowed Capacity 420.00, Threshold: 0.70). Add at least 3 brokers with
        the same cpu capacity (100.00) as broker-0. Add at least 3 brokers with
        the same cpu capacity (100.00) as broker-0.

注記

このエラーは、CPU コアの数ではなく、CPU 容量をパーセンテージで示しています。このため、Kafka カスタムリソースで設定された CPU の数に直接マップされません。これは、Kafka.spec.kafka.resources.limits.cpu で設定された CPU のサイクルを持つ、ブローカーごとに単一の 仮想 CPU を持つようなものです。CPU 使用率と容量の比率は同じであるため、これはリバランスの動作に影響はありません。

18.7. 最適化プロポーザルの承認

状態が ProposalReady の場合、Cruise Control によって生成された 最適化プロポーザル を承認できます。その後、Cruise Control は最適化プロポーザルを Kafka クラスターに適用して、パーティションをブローカーに再割り当てし、パーティションのリーダーを変更します。

注意

これはドライランではありません。最適化プロポーザルを承認する前に、以下を行う必要があります。

  • 最新でない可能性があるため、プロポーザルを更新します。
  • プロポーザルの内容 を注意して確認します。

前提条件

手順

承認する最適化プロポーザルに対して、以下の手順を実行します。

  1. 最適化プロポーザルが新規生成された場合を除き、プロポーザルが Kafka クラスターの状態に関する現在の情報を基にしていることを確認します。これには、最適化プロポーザルを更新し、必ず最新のクラスターメトリクスを使用するようにします。

    1. OpenShift の KafkaRebalance リソースに strimzi.io/rebalance=refresh でアノテーションを付けます。

      oc annotate kafkarebalance <kafka_rebalance_resource_name> strimzi.io/rebalance=refresh
  2. 最適化提案のステータスが ProposalReady に変わるまで待ちます。

    oc get kafkarebalance -o wide -w -n <namespace>
    PendingProposal
    PendingProposal ステータスは、最適化プロポーザルの準備できているかどうかを確認するために、リバランス Operator が Cruise Control API をポーリングしていることを意味します。
    ProposalReady
    ProposalReady ステータスは、最適化プロポーザルのレビューおよび承認の準備ができていることを意味します。

    ステータスが ProposalReady に変わると、最適化プロポーザルを承認する準備が整います。

  3. Cruise Control が適用する最適化プロポーザルを承認します。

    OpenShift の KafkaRebalance リソースに strimzi.io/rebalance=approve でアノテーションを付けます。

    oc annotate kafkarebalance <kafka_rebalance_resource_name> strimzi.io/rebalance=approve
  4. Cluster Operator は アノテーションが付けられたリソースを検出し、Cruise Control に Kafka クラスターのリバランスを指示します。
  5. 最適化提案のステータスが Ready に変わるまで待ちます。

    oc get kafkarebalance -o wide -w -n <namespace>
    Rebalancing
    Rebalancing ステータスは、リバランスが進行中であることを意味します。
    Ready
    Ready ステータスは、リバランスが完了したことを意味します。
    NotReady
    NotReady ステータスは、エラーが発生したことを意味します — KafkaRebalance リソースに関する問題の修正 を参照してください。

    状態が Ready に変更されると、リバランスが完了します。

    同じ KafkaRebalance カスタムリソースを使用して別の最適化提案を生成するには、カスタムリソースに refresh アノテーションを適用します。これにより、カスタムリソースは PendingProposal または ProposalReady の状態に移行します。その後、最適化プロポーザルを確認し、必要に応じて承認することができます。

18.8. クラスターリバランスの停止

クラスターリバランス操作を開始すると、完了まで時間がかかることがあり、Kafka クラスターの全体的なパフォーマンスに影響します。

実行中のクラスターリバランス操作を停止するには、stop アノテーションを KafkaRebalance カスタムリソースに適用します。これにより、現在のパーティション再割り当てのバッチ処理を完了し、リバランスを停止するよう Cruise Control が指示されます。リバランスの停止時、完了したパーティション再割り当てはすで適用されています。そのため、Kafka クラスターの状態は、リバランス操作の開始前とは異なります。さらなるリバランスが必要な場合は、新しい最適化プロポーザルを生成してください。

注記

中間 (停止) 状態の Kafka クラスターのパフォーマンスは、初期状態よりも低下している可能性があります。

前提条件

  • KafkaRebalance カスタムリソースに approve アノテーションを付けて 最適化プロポーザルが承認済み である必要があります。
  • KafkaRebalance カスタムリソースの状態が Rebalancing である必要があります。

手順

  1. OpenShift の KafkaRebalance リソースにアノテーションを付けます。

    oc annotate kafkarebalance rebalance-cr-name strimzi.io/rebalance=stop
  2. KafkaRebalance リソースの状態をチェックします。

    oc describe kafkarebalance rebalance-cr-name
  3. 状態が Stopped に変わるまで待ちます。

18.9. KafkaRebalance リソースの問題の修正

KafkaRebalance リソースの作成時や、Cruise Control との対話中に問題が発生した場合、エラーとその修正方法の詳細がリソースの状態で報告されます。また、リソースも NotReady の状態に変わります。

クラスターのリバランス操作を続行するには、KafkaRebalance リソース自体の問題、または Cruise Control のデプロイメント全体の問題を解決する必要があります。問題には以下が含まれる可能性があります。

  • KafkaRebalance リソースのパラメーターが正しく設定されていません。
  • KafkaRebalance リソースに Kafka クラスターを指定するための strimzi.io/cluster ラベルがありません。
  • Kafka リソースの cruiseControl プロパティーが見つからないため、Cruise Control サーバーがデプロイされません。
  • Cruise Control サーバーに接続できない。

問題の修正後、refresh アノテーションを KafkaRebalance リソースに付ける必要があります。refresh(更新) 中、Cruise Control サーバーから新しい最適化プロポーザルが要求されます。

前提条件

手順

  1. KafkaRebalance の状態からエラーに関する情報を取得します。

    oc describe kafkarebalance rebalance-cr-name
  2. KafkaRebalance リソースで問題の解決を試みます。
  3. OpenShift の KafkaRebalance リソースにアノテーションを付けます。

    oc annotate kafkarebalance rebalance-cr-name strimzi.io/rebalance=refresh
  4. KafkaRebalance リソースの状態をチェックします。

    oc describe kafkarebalance rebalance-cr-name
  5. 状態が PendingProposal になるまで待つか、直接 ProposalReady になるまで待ちます。

第19章 パーティション再割り当てツールの使用

Kafka クラスターをスケーリングする場合、ブローカーを追加または削除し、パーティションの分散またはトピックのレプリケーション係数を更新する必要がある場合があります。パーティションとトピックを更新するには、kafka-reassign-partitions.sh ツールを使用できます。

AMQ Streams Cruise Control 統合も Topic Operator も、トピックのレプリケーション係数の変更をサポートしていません。ただし、kafka-reassign-partitions.sh ツールを使用してトピックのレプリケーション係数を変更できます。

このツールを使用して、パーティションを再割り当てし、ブローカー間でパーティションの分散のバランスをとり、パフォーマンスを向上させることもできます。ただし、パーティション再割り当てとクラスターの再バランシングを自動化するための Cruise Control を使用することを推奨します。Cruise Control は、ダウンタイムなしでトピックをあるブローカーから別のブローカーに移動でき、パーティションを再割り当てする最も効率的な方法です。

kafka-reassign-partitions.sh ツールは、ブローカーコンテナー内ではなく、別個の対話型 Pod として実行することを推奨します。ブローカーコンテナー内で Kafka bin/ スクリプトを実行すると、JVM が Kafka ブローカーと同じ設定で起動する可能性があり、潜在的に中断を引き起こす可能性があります。kafka-reassign-partitions.sh ツールを別の Pod で実行すると、この問題を回避できます。-ti オプションを使用して Pod を実行すると、Pod 内でシェルコマンドを実行するためのターミナルを備えた対話型 Pod が作成されます。

ターミナルを使用した対話型 Pod の実行

oc run helper-pod -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- bash

19.1. パーティション再割り当てツールの概要

パーティション再割り当てツールは、Kafka パーティションとブローカーを管理するための次の機能を提供します。

パーティションレプリカの再配布
ブローカーを追加または削除してクラスターをスケールアップおよびスケールダウンし、負荷の高いブローカーから使用率の低いブローカーに Kafka パーティションを移動します。これを行うには、移動するトピックとパーティションとそれらをどこに移動するかを特定するパーティション再割り当て計画を作成する必要があります。クラスターのリバランスプロセスを自動化 する Cruise Control は、このタイプの操作に推奨されます。
トピックレプリケーション係数の増減のスケーリング
Kafka トピックのレプリケーション係数を増減します。これを行うには、パーティション間の既存のレプリケーション割り当てと、レプリケーション係数の変更を伴う更新された割り当てを識別するパーティション再割り当て計画を作成する必要があります。
優先リーダーの変更
Kafka パーティションの優先リーダーを変更します。これは、現在優先されているリーダーが使用できない場合、またはクラスター内のブローカー間で負荷を再分散したい場合に役立ちます。これを行うには、レプリカの順序を変更して各パーティションの新しい優先リーダーを指定するパーティション再割り当て計画を作成する必要があります。
特定の JBOD ボリュームを使用するようにログディレクトリーを変更する
特定の JBOD ボリュームを使用するように Kafka ブローカーのログディレクトリーを変更します。これは、Kafka データを別のディスクまたはストレージデバイスに移動する場合に便利です。これを行うには、トピックごとに新しいログディレクトリーを指定するパーティション再割り当て計画を作成する必要があります。

19.1.1. パーティション再割り当て計画の生成

パーティション再割り当てツール (kafka-reassign-partitions.sh) は、どのパーティションを現在のブローカーから新しいブローカーに移動する必要があるかを指定するパーティション割り当てプランを生成することによって機能します。

計画に満足したら、実行できます。その後、ツールは次の処理を実行します。

  • パーティションデータを新しいブローカーに移行する
  • Kafka ブローカー上のメタデータを更新して、新しいパーティションの割り当てを反映する
  • 新しい割り当てが確実に有効になるように、Kafka ブローカーのローリング再起動をトリガーする

パーティション再割り当てツールには 3 つの異なるモードがあります。

--generate
トピックとブローカーのセットを取得し、再割り当て JSON ファイル を生成します。これにより、トピックのパーティションがブローカーに割り当てられます。これはトピック全体で動作するため、一部のトピックのパーティションを再度割り当てる場合は使用できません。
--execute
再割り当て JSON ファイル を取得し、クラスターのパーティションおよびブローカーに適用します。その結果、パーティションを取得したブローカーは、パーティションリーダーのフォロワーになります。新規ブローカーが ISR (同期レプリカ) に参加できたら、古いブローカーはフォロワーではなくなり、そのレプリカが削除されます。
--verify
--verify は、--execute ステップと同じ 再割り当て JSON ファイル を使用して、ファイル内のすべてのパーティションが目的のブローカーに移動されたかどうかをチェックします。再割り当てが完了すると、--verify は有効なトラフィックスロットル (--throttle) も削除します。スロットルを削除しないと、再割り当てが完了した後もクラスターは影響を受け続けます。

クラスターでは、1 度に 1 つの再割り当てのみを実行でき、実行中の再割り当てをキャンセルすることはできません。再割り当てをキャンセルする必要がある場合は、完了するまで待ってから別の再割り当てを実行して、最初の再割り当ての効果を元に戻します。kafka-reassign-partitions.sh によって、元に戻すための再割り当て JSON が出力の一部として生成されます。大規模な再割り当ては、進行中の再割り当てを停止する必要がある場合に備えて、複数の小さな再割り当てに分割するようにしてください。

19.1.2. パーティション再割り当て JSON ファイルでのトピックの指定

kafka-reassign-partitions.sh ツールは、再割り当てを行うトピックを指定する再割り当て JSON ファイルを使用します。特定のパーティションを移動させたい場合は、再割り当て JSON ファイルを生成するか、手動でファイルを作成します。

基本的な再割り当て JSON ファイルの構造は次の例に示されており、2 つの Kafka トピックに属する 3 つのパーティションが記述されています。各パーティションは、ブローカー ID によって識別される新しいレプリカのセットに再割り当てされます。プロパティー versiontopicpartitionreplicas はすべて必須です。

パーティションの再割り当ての JSON ファイル構造の例

{
  "version": 1, 1
  "partitions": [ 2
    {
      "topic": "example-topic-1", 3
      "partition": 0, 4
      "replicas": [1, 2, 3] 5
    },
    {
      "topic": "example-topic-1",
      "partition": 1,
      "replicas": [2, 3, 4]
    },
    {
      "topic": "example-topic-2",
      "partition": 0,
      "replicas": [3, 4, 5]
    }
  ]
}

1
再割り当て JSON ファイル形式のバージョン。現在、バージョン 1 のみがサポートされているため、これは常に 1 である必要があります。
2
再割り当てするパーティションを指定する配列。
3
パーティションが属する Kafka トピックの名前。
4
再割り当てされるパーティションの ID。
5
このパーティションのレプリカとして割り当てる必要があるブローカーの ID の順序付けされた配列。リストの最初のブローカーがリーダーレプリカです。
注記

JSON に含まれていないパーティションは変更されません。

topics 配列を使用してトピックのみを指定すると、パーティション再割り当てツールは、指定されたトピックに属するすべてのパーティションを再割り当てします。

トピックのすべてのパーティションを再割り当てするための再割り当て JSON ファイル構造の例

{
  "version": 1,
  "topics": [
    { "topic": "my-topic"}
  ]
}

19.1.3. JBOD ボリューム間のパーティションの再割り当て

Kafka クラスターで JBOD ストレージを使用する場合は、特定のボリュームとログディレクトリー (各ボリュームに単一のログディレクトリーがある) との間でパーティションの再割り当てできます。

パーティションを特定のボリュームに再割り当てするには、再割り当て JSON ファイル内の各パーティションの log_dirs 値を追加します。各レプリカは特定のログディレクトリーに割り当てる必要があるため、各 log_dirs 配列には、replicas 配列と同じ数のエントリーが含まれます。log_dirs 配列には、ログディレクトリーへの絶対パスまたは特別な値 any が含まれます。any 値は、Kafka がそのレプリカに対して使用可能な任意のログディレクトリーを選択できることを示します。これは、JBOD ボリューム間でパーティションを再割り当てするときに役立ちます。

ログディレクトリーを含む再割り当て JSON ファイル構造の例

{
  "version": 1,
  "partitions": [
    {
      "topic": "example-topic-1",
      "partition": 0,
      "replicas": [1, 2, 3]
      "log_dirs": ["/var/lib/kafka/data-0/kafka-log1", "any", "/var/lib/kafka/data-1/kafka-log2"]
    },
    {
      "topic": "example-topic-1",
      "partition": 1,
      "replicas": [2, 3, 4]
      "log_dirs": ["any",  "/var/lib/kafka/data-2/kafka-log3", "/var/lib/kafka/data-3/kafka-log4"]
    },
    {
      "topic": "example-topic-2",
      "partition": 0,
      "replicas": [3, 4, 5]
      "log_dirs": ["/var/lib/kafka/data-4/kafka-log5", "any",  "/var/lib/kafka/data-5/kafka-log6"]
    }
  ]
}

19.1.4. パーティション再割り当てのスロットル

パーティション再割り当てには、ブローカーの間で大量のデータを転送する必要があるため、処理が遅くなる可能性があります。クライアントへの悪影響を防ぐため、再割り当て処理をススロットルできます。--throttle パラメーターを kafka-reassign-partitions.sh ツールと共に使用して、再割り当てをスロットルします。ブローカー間のパーティションの移動の最大しきい値をバイト単位で指定します。たとえば --throttle 5000000 は、パーティションを移動する最大しきい値を 50 MBps に設定します。

スロットリングにより、再割り当ての完了に時間がかかる場合があります。

  • スロットルが低すぎると、新たに割り当てられたブローカーは公開されるレコードに対応できず、再割り当ては完了しません。
  • スロットルが高すぎると、クライアントに影響します。

たとえば、プロデューサーの場合は、確認応答を待つ通常のレイテンシーよりも高い可能性があります。コンシューマーの場合は、ポーリング間のレイテンシーが大きいことが原因でスループットが低下する可能性があります。

19.2. パーティションを再割り当てするための再割り当て JSON ファイルの生成

Kafka クラスターのスケーリング後にパーティションを再割り当てするには、kafka-reassign-partitions.sh ツールを使用して再割り当て JSON ファイルを生成します。ブローカーを追加または削除しても、既存のパーティションは自動的に再配布されません。パーティション分散のバランスをとり、新しいブローカーを最大限に活用するには、kafka-reassign-partitions.sh ツールを使用してパーティションを再割り当てできます。

このツールは、Kafka クラスターに接続された対話型 Pod コンテナーから実行します。

次の手順では、mTLS を使用したセキュアな再割り当てプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。

接続を確立するには、次のものが必要です。

  • Kafka クラスターの作成時に Cluster Operator によって生成されたクラスター CA 証明書とパスワード
  • ユーザーが Kafka クラスターへのクライアントアクセス用に作成されたときに User Operator によって生成されたユーザー CA 証明書とパスワード

この手順では、CA 証明書と対応するパスワードが、PKCS #12 (.p12 および .password) 形式で含まれているクラスターとユーザーシークレットから抽出されます。パスワードは、証明書を含む .p12 ストアへのアクセスを許可します。.p12 ストアを使用してトラストストアとキーストアを指定し、Kafka クラスターへの接続を認証します。

前提条件

  • Cluster Operator が実行中である。
  • 内部 TLS 暗号化と mTLS 認証で設定された Kafka リソースに基づいて実行中の Kafka クラスターがあります。

    TLS 暗号化と mTLS 認証を使用した Kafka 設定

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        listeners:
          # ...
          - name: tls
            port: 9093
            type: internal
            tls: true 1
            authentication:
              type: tls 2
        # ...

    1
    内部リスナーの TLS 暗号化を有効にします。
    2
    リスナー認証メカニズムは相互 tls として指定されます。
  • 稼働中の Kafka クラスターには、再割り当てするトピックおよびパーティションのセットが含まれます。

    my-topic のトピック設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      name: my-topic
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 10
      replicas: 3
      config:
        retention.ms: 7200000
        segment.bytes: 1073741824
        # ...

  • Kafka ブローカーからトピックを生成および使用するパーミッションを指定する ACL ルールとともに KafkaUser が設定されています。

    my-topic および my-cluster での操作を許可する ACL ルールを使用した Kafka ユーザーの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaUser
    metadata:
      name: my-user
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      authentication: 1
        type: tls
      authorization:
        type: simple 2
        acls:
          # access to the topic
          - resource:
              type: topic
              name: my-topic
            operations:
              - Create
              - Describe
              - Read
              - AlterConfigs
            host: "*"
          # access to the cluster
          - resource:
              type: cluster
            operations:
              - Alter
              - AlterConfigs
            host: "*"
          # ...
      # ...

    1
    相互 tls として定義されたユーザー認証メカニズム。
    2
    ACL ルールの承認および付随するリスト。

手順

  1. Kafka クラスターの <cluster_name>-cluster-ca-cert シークレットからクラスター CA 証明書とパスワードを抽出します。

    oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.p12}' | base64 -d > ca.p12
    oc get secret <cluster_name>-cluster-ca-cert -o jsonpath='{.data.ca\.password}' | base64 -d > ca.password

    <cluster_name> は、Kafka クラスターの名前に置き換えます。Kafka リソースを使用して Kafka をデプロイすると、Kafka クラスター名 (<cluster_name>-cluster-ca-cert) でクラスター CA 証明書のシークレットが作成されます。例: my-cluster-cluster-ca-cert

  2. AMQ Streams の Kafka イメージを使用してインタラクティブな Pod コンテナーを新たに実行し、稼働中の Kafka ブローカーに接続します。

    oc run --restart=Never --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 <interactive_pod_name> -- /bin/sh -c "sleep 3600"

    <interactive_pod_name> は Pod の名前に置き換えます。

  3. クラスター CA 証明書をインタラクティブな Pod コンテナーにコピーします。

    oc cp ca.p12 <interactive_pod_name>:/tmp
  4. Kafka ブローカーへのアクセス権限を持つ Kafka ユーザーのシークレットから、ユーザー CA 証明書およびパスワードを抽出します。

    oc get secret <kafka_user> -o jsonpath='{.data.user\.p12}' | base64 -d > user.p12
    oc get secret <kafka_user> -o jsonpath='{.data.user\.password}' | base64 -d > user.password

    <kafka_user> は Kafka ユーザーの名前に置き換えます。KafkaUser リソースを使用して Kafka ユーザーを作成すると、ユーザー CA 証明書のあるシークレットが Kafka ユーザー名で作成されます。例: my-user

  5. ユーザー CA 証明書をインタラクティブな Pod コンテナーにコピーします。

    oc cp user.p12 <interactive_pod_name>:/tmp

    CA 証明書を使用すると、インタラクティブな Pod コンテナーが TLS を使用して Kafka ブローカーに接続できます。

  6. config.properties ファイルを作成し、Kafka クラスターへの認証に使用されるトラストストアおよびキーストアを指定します。

    前の手順でデプロイメントした証明書とパスワードを使用します。

    bootstrap.servers=<kafka_cluster_name>-kafka-bootstrap:9093 1
    security.protocol=SSL 2
    ssl.truststore.location=/tmp/ca.p12 3
    ssl.truststore.password=<truststore_password> 4
    ssl.keystore.location=/tmp/user.p12 5
    ssl.keystore.password=<keystore_password> 6
    1
    Kafka クラスターに接続するためのブートストラップサーバーアドレス。独自の Kafka クラスター名を使用して、<kafka_cluster_name> を置き換えます。
    2
    暗号化に TLS を使用する場合のセキュリティープロトコルオプション。
    3
    トラストストアの場所には、Kafka クラスターの公開鍵証明書 (ca.p12) が含まれます。
    4
    トラストストアにアクセスするためのパスワード (ca.password)。
    5
    キーストアの場所には、Kafka ユーザーの公開鍵証明書 (user.p12) が含まれます。
    6
    キーストアにアクセスするためのパスワード (user.password)。
  7. config.properties ファイルをインタラクティブな Pod コンテナーにコピーします。

    oc cp config.properties <interactive_pod_name>:/tmp/config.properties
  8. 移動するトピックを指定する topics.json という名前の JSON ファイルを準備します。

    トピック名をコンマ区切りの一覧として指定します。

    my-topic のすべてのパーティションを再割り当てするための JSON ファイルの例

    {
      "version": 1,
      "topics": [
        { "topic": "my-topic"}
      ]
    }

    このファイルを使用して、トピックのレプリケーション係数を変更 することもできます。

  9. topics.json ファイルをインタラクティブな Pod コンテナーにコピーします。

    oc cp topics.json <interactive_pod_name>:/tmp/topics.json
  10. インタラクティブな Pod コンテナーでシェルプロセスを開始します。

    oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash

    <namespace> を Pod が実行されている OpenShift namespace に置き換えます。

  11. kafka-reassign-partitions.sh コマンドを使用して、再割り当て JSON を生成します。

    my-topic のパーティションを指定したブローカーに移動するコマンドの例

    bin/kafka-reassign-partitions.sh --bootstrap-server my-cluster-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --topics-to-move-json-file /tmp/topics.json \
      --broker-list 0,1,2,3,4 \
      --generate

19.3. ブローカーの追加後のパーティションの再割り当て

Kafka クラスター内のブローカーの数を増やした後、kafka-reassign-partitions.sh ツールによって生成された再割り当てファイルを使用してパーティションを再割り当てします。再割り当てファイルには、拡大された Kafka クラスター内のブローカーにパーティションを再度割り当てる方法を記述する必要があります。ファイルで指定された再割り当てをブローカーに適用し、新しいパーティションの割り当てを確認します。

この手順では、TLS を使用するセキュアなスケーリングプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。

kafka-reassign-partitions.sh ツールは、クラスターを通じてすべてのノードを管理しているか、クラスター内のノードグループを管理するためにノードプールプレビューを使用しているかに関係なく、Kafka クラスター内のパーティションを再割り当てするために使用できます。

注記

kafka-reassign-partitions.sh ツールを使用することもできますが、パーティション再割り当てとクラスターの再バランシングを自動化 するには、Cruise Control の使用を推奨します。Cruise Control は、ダウンタイムなしでトピックをあるブローカーから別のブローカーに移動でき、パーティションを再割り当てする最も効率的な方法です。

前提条件

  • 内部 TLS 暗号化と mTLS 認証で設定された Kafka リソースに基づいて実行中の Kafka クラスターがあります。
  • reassignment.json という名前の 再割り当て JSON ファイルを生成 している。
  • 実行中の Kafka ブローカーに接続されている対話型 Pod コンテナーを実行している。
  • KafkaUserとして接続されている。このユーザーは、Kafka クラスターとそのトピックの管理権限を指定する ACL ルールで設定されている。

手順

  1. kafka.spec.kafka.replicas 設定オプションを増やして、新しいブローカーを必要なだけ追加します。
  2. 新しいブローカー Pod が起動したことを確認します。
  3. まだ確認していない場合には、インタラクティブな Pod コンテナーを実行 して reassignment.json という名前の再割り当てJSONファイルを生成します。
  4. reassignment.json ファイルを対話型 Pod コンテナーにコピーします。

    oc cp reassignment.json <interactive_pod_name>:/tmp/reassignment.json

    <interactive_pod_name> は Pod の名前に置き換えます。

  5. インタラクティブな Pod コンテナーでシェルプロセスを開始します。

    oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash

    <namespace> を Pod が実行されている OpenShift namespace に置き換えます。

  6. インタラクティブな Pod コンテナーから kafka-reassign-partitions.sh スクリプトを使用して、パーティション再割り当てを実行します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
     <cluster_name>-kafka-bootstrap:9093 \
     --command-config /tmp/config.properties \
     --reassignment-json-file /tmp/reassignment.json \
     --execute

    <cluster_name> は、独自の Kafka クラスターの名前に置き換えます。例: my-cluster-kafka-bootstrap:9093

    レプリケーションにスロットリングを適用する場合、--throttle とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --throttle 5000000 \
      --execute

    このコマンドは、2 つの再割り当て JSON オブジェクトを出力します。最初の JSON オブジェクトには、移動されたパーティションの現在の割り当てが記録されます。後で再割り当てを元に戻す必要がある場合に備え、この値をローカルファイル (Pod のファイル以外) に保存します。2 つ目の JSON オブジェクトは、再割り当て JSON ファイルに渡したターゲットの再割り当てです。

    再割り当ての最中にスロットルを変更する必要がある場合は、同じコマンドに別のスロットル率を指定して実行します。以下に例を示します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --throttle 10000000 \
      --execute
  7. ブローカー Pod のいずれかから kafka-reassign-partitions.sh コマンドラインツールを使用して、再割り当てが完了したかどうかを確認します。これは先ほどの手順と同じコマンドですが、--verify オプションの代わりに --execute オプションを使用します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --verify

    --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。

  8. 割り当てを元のブローカーに戻すために JSON ファイルを保存した場合は、ここでそのファイルを削除できます。

19.4. ブローカーの削除前のパーティションの再割り当て

Kafka クラスター内のブローカーの数を減らす前に、kafka-reassign-partitions.sh ツールによって生成された再割り当てファイルを使用してパーティションを再割り当てします。再割り当てファイルでは、Kafka クラスターの残りのブローカーにパーティションを再割り当てする方法を記述する必要があります。ファイルで指定された再割り当てをブローカーに適用し、新しいパーティションの割り当てを確認します。最も番号の大きい Pod のブローカーが最初に削除されます。

この手順では、TLS を使用するセキュアなスケーリングプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。

kafka-reassign-partitions.sh ツールは、クラスターを通じてすべてのノードを管理しているか、クラスター内のノードグループを管理するためにノードプールプレビューを使用しているかに関係なく、Kafka クラスター内のパーティションを再割り当てするために使用できます。

注記

kafka-reassign-partitions.sh ツールを使用することもできますが、パーティション再割り当てとクラスターの再バランシングを自動化 するには、Cruise Control の使用を推奨します。Cruise Control は、ダウンタイムなしでトピックをあるブローカーから別のブローカーに移動でき、パーティションを再割り当てする最も効率的な方法です。

前提条件

  • 内部 TLS 暗号化と mTLS 認証で設定された Kafka リソースに基づいて実行中の Kafka クラスターがあります。
  • reassignment.json という名前の 再割り当て JSON ファイルを生成 している。
  • 実行中の Kafka ブローカーに接続されている対話型 Pod コンテナーを実行している。
  • KafkaUserとして接続されている。このユーザーは、Kafka クラスターとそのトピックの管理権限を指定する ACL ルールで設定されている。

手順

  1. まだ確認していない場合には、インタラクティブな Pod コンテナーを実行 して reassignment.json という名前の再割り当てJSONファイルを生成します。
  2. reassignment.json ファイルを対話型 Pod コンテナーにコピーします。

    oc cp reassignment.json <interactive_pod_name>:/tmp/reassignment.json

    <interactive_pod_name> は Pod の名前に置き換えます。

  3. インタラクティブな Pod コンテナーでシェルプロセスを開始します。

    oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash

    <namespace> を Pod が実行されている OpenShift namespace に置き換えます。

  4. インタラクティブな Pod コンテナーから kafka-reassign-partitions.sh スクリプトを使用して、パーティション再割り当てを実行します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
     <cluster_name>-kafka-bootstrap:9093 \
     --command-config /tmp/config.properties \
     --reassignment-json-file /tmp/reassignment.json \
     --execute

    <cluster_name> は、独自の Kafka クラスターの名前に置き換えます。例: my-cluster-kafka-bootstrap:9093

    レプリケーションにスロットリングを適用する場合、--throttle とブローカー間のスロットル率 (バイト/秒単位) を渡すこともできます。以下に例を示します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --throttle 5000000 \
      --execute

    このコマンドは、2 つの再割り当て JSON オブジェクトを出力します。最初の JSON オブジェクトには、移動されたパーティションの現在の割り当てが記録されます。後で再割り当てを元に戻す必要がある場合に備え、この値をローカルファイル (Pod のファイル以外) に保存します。2 つ目の JSON オブジェクトは、再割り当て JSON ファイルに渡したターゲットの再割り当てです。

    再割り当ての最中にスロットルを変更する必要がある場合は、同じコマンドに別のスロットル率を指定して実行します。以下に例を示します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --throttle 10000000 \
      --execute
  5. ブローカー Pod のいずれかから kafka-reassign-partitions.sh コマンドラインツールを使用して、再割り当てが完了したかどうかを確認します。これは先ほどの手順と同じコマンドですが、--verify オプションの代わりに --execute オプションを使用します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --verify

    --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。

  6. 割り当てを元のブローカーに戻すために JSON ファイルを保存した場合は、ここでそのファイルを削除できます。
  7. すべてのパーティション再割り当てが終了すると、削除されるブローカーはクラスター内のいずれのパーティションにも対応しないはずです。これは、ブローカーのデータログディレクトリーにライブパーティションのログが含まれていないことを確認すると検証できます。ブローカのログディレクトリーに、拡張正規表現 \.[a-z0-9]-delete$ に一致しないディレクトリーが含まれている場合、ブローカには、まだライブパーティションがあるため、停止しないでください。

    これを確認するには、以下のコマンドを実行します。

    oc exec my-cluster-kafka-0 -c kafka -it -- \
      /bin/bash -c \
      "ls -l /var/lib/kafka/kafka-log_<n>_ | grep -E '^d' | grep -vE '[a-zA-Z0-9.-]+\.[a-z0-9]+-delete$'"

    n は削除された Pod の数に置き換えます。

    上記のコマンドによって出力が生成される場合、ブローカーにはライブパーティションがあります。この場合、再割り当てが終了していないか、再割り当て JSON ファイルが適切ではありません。

  8. ブローカーにライブパーティションがないことを確認できたら、Kafka リソースの Kafka.spec.kafka.replicas プロパティーを編集してブローカーの数を減らすことができます。

19.5. トピックのレプリケーション係数の変更

Kafka クラスター内のトピックのレプリケーション係数を変更するには、kafka-reassign-partitions.sh ツールを使用します。これを行うには、Kafka クラスターに接続されている対話型の Pod コンテナーからツールを実行し、再割り当てファイルを使用してトピックレプリカを変更する方法を記述します。

この手順では、TLS を使用するセキュアなプロセスについて説明します。TLS 暗号化と mTLS 認証を使用する Kafka クラスターが必要です。

前提条件

  • 内部 TLS 暗号化と mTLS 認証で設定された Kafka リソースに基づいて実行中の Kafka クラスターがあります。
  • 実行中の Kafka ブローカーに接続されている対話型 Pod コンテナーを実行している。
  • reassignment.jsonという名前の再割り当て JSON ファイルを生成している。
  • KafkaUserとして接続されている。このユーザーは、Kafka クラスターとそのトピックの管理権限を指定する ACL ルールで設定されている。

再割り当て JSON ファイルの生成 を参照してください。

この手順では、my-topic というトピックに 4 つのレプリカがあり、それを 3 つに減らしたいと考えています。topic.json という名前の JSON ファイルはトピックを指定し、reassignment.json ファイルの生成に使用されました。

my-topic を指定する JSON ファイルの例

{
  "version": 1,
  "topics": [
    { "topic": "my-topic"}
  ]
}

手順

  1. まだ確認していない場合には、インタラクティブな Pod コンテナーを実行 して reassignment.json という名前の再割り当てJSONファイルを生成します。

    現在のレプリカ割り当てと提案されたレプリカ割り当てを示す再割り当て JSON ファイルの例

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[3,4,2,0],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[0,2,3,1],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[1,3,0,4],"log_dirs":["any","any","any","any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3,4],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4,0],"log_dirs":["any","any","any","any"]}]}

    後で変更を元に戻す必要がある場合に備えて、このファイルのコピーをローカルに保存します。

  2. reassignment.json を編集して、各パーティションからレプリカを削除します。

    たとえば、jq を使用して、トピックの各パーティションのリスト内の最後のレプリカを削除します。

    各パーティションの最後のトピックレプリカの削除

    jq '.partitions[].replicas |= del(.[-1])' reassignment.json > reassignment.json

    更新されたレプリカを示す再割り当てファイルの例

    {"version":1,"partitions":[{"topic":"my-topic","partition":0,"replicas":[0,1,2],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":1,"replicas":[1,2,3],"log_dirs":["any","any","any","any"]},{"topic":"my-topic","partition":2,"replicas":[2,3,4],"log_dirs":["any","any","any","any"]}]}

  3. reassignment.json ファイルを対話型 Pod コンテナーにコピーします。

    oc cp reassignment.json <interactive_pod_name>:/tmp/reassignment.json

    <interactive_pod_name> は Pod の名前に置き換えます。

  4. インタラクティブな Pod コンテナーでシェルプロセスを開始します。

    oc exec -n <namespace> -ti <interactive_pod_name> /bin/bash

    <namespace> を Pod が実行されている OpenShift namespace に置き換えます。

  5. インタラクティブな Pod コンテナーから kafka-reassign-partitions.sh スクリプトを使用して、トピックレプリカを変更します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
     <cluster_name>-kafka-bootstrap:9093 \
     --command-config /tmp/config.properties \
     --reassignment-json-file /tmp/reassignment.json \
     --execute
    注記

    ブローカーからレプリカを削除する場合、ブローカー間のデータ移動は必要ないため、レプリケーションを調整する必要はありません。レプリカを追加している場合は、スロットルレートを変更することができます。

  6. いずれかのブローカー Pod から kafka-reassign-partitions.sh コマンドラインツールを使用して、トピックレプリカへの変更が完了したことを確認します。これは先ほどの手順と同じコマンドですが、--verify オプションの代わりに --execute オプションを使用します。

    bin/kafka-reassign-partitions.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --reassignment-json-file /tmp/reassignment.json \
      --verify

    --verify コマンドによって、移動した各パーティションが正常に完了したことが報告されると、再割り当ては終了します。この最終的な --verify によって、結果的に再割り当てスロットルも削除されます。

  7. --describe オプションを指定して bin/kafka-topics.sh コマンドを実行して、トピックへの変更の結果を確認します。

    bin/kafka-topics.sh --bootstrap-server
      <cluster_name>-kafka-bootstrap:9093 \
      --command-config /tmp/config.properties \
      --describe

    トピックのレプリカ数を削減した結果

    my-topic  Partition: 0  Leader: 0  Replicas: 0,1,2 Isr: 0,1,2
    my-topic  Partition: 1  Leader: 2  Replicas: 1,2,3 Isr: 1,2,3
    my-topic  Partition: 2  Leader: 3  Replicas: 2,3,4 Isr: 2,3,4

第20章 AMQ Streams のメトリクスおよびダッシュボードの設定

メトリックを収集することは、Kafka デプロイメントの健全性とパフォーマンスを理解するために重要です。メトリックを監視することで、問題が重大になる前に積極的に特定し、リソースの割り当てとキャパシティープランニングについて情報に基づいた意思決定を行うことができます。メトリックがないと、Kafka デプロイメントの動作の可視性が制限される可能性があります。これによりトラブルシューティングがより困難になり、時間がかかる可能性があります。メトリックをセットアップすると、長期的には時間とリソースを節約でき、Kafka デプロイメントの信頼性を確保するのに役立ちます。

AMQ Streams の各コンポーネントのメトリックが利用可能であり、個々のパフォーマンスに関する有用な知見を得ることができます。他のコンポーネントではメトリックの公開設定が必要ですが、AMQ Streams Operator はデフォルトで Prometheus メトリックを自動的に公開します。これらのメトリクスには以下が含まれます。

  • 調整数
  • 処理中のカスタムリソース数
  • 調整期間
  • JVM メトリック

さらに、Kafka リソースのリスナーまたは認可設定で enableMetrics プロパティーを有効にして、oauth 認証と opa または keycloak 認証に固有のメトリックを収集できます。同様に、KafkaBridgeKafkaConnectKafkaMirrorMakerKafkaMirrorMaker2 などのカスタムリソースで oauth 認証のメトリックを有効にできます。

Prometheus と Grafana を使用して AMQ Streams を監視できます。Prometheus ルールが設定されている場合、Prometheus はクラスター内で実行中の Pod からのメトリックを消費します。Grafana はこれらのメトリックをダッシュボード上で視覚化し、監視のための直感的なインターフェイスを提供します。

メトリックの統合を容易にするために、AMQ Streams では、AMQ Streams コンポーネント用のサンプル Prometheus ルールと Grafana ダッシュボードが提供されています。Grafana ダッシュボードの例は、特定のデプロイメント要件に合わせてカスタマイズできます。ルールを使用して、特定のメトリックに基づいてアラートをトリガーする条件を定義できます。

監視要件に応じて、次のことを実行できます。

さらに、分散トレースを設定して メッセージをエンドツーエンドで追跡するようにデプロイメントを設定したり、診断ツール (report.sh) を使用してトラブルシューティングデータを取得したりすることができます。

注記

AMQ Streams は、Prometheus と Grafana のサンプルインストールファイルを提供します。これは、AMQ Streams デプロイメントを監視するための開始点として機能します。さらにサポートするには、Prometheus および Grafana 開発者コミュニティーに参加してみてください。

メトリクスおよびモニタリングツールのサポートドキュメント

メトリクスおよびモニタリングツールの詳細は、サポートドキュメントを参照してください。

20.1. Kafka Exporter でのコンシューマーラグの監視

Kafka Exporter は、Apache Kafka ブローカーおよびクライアントの監視を強化するオープンソースプロジェクトです。Kafka クラスターで Kafka Exporter をデプロイ するように、Kafka リソースを設定できます。Kafka Exporter は、オフセット、コンシューマーグループ、コンシューマーラグ、およびトピックに関連する Kafka ブローカーから追加のメトリックデータを抽出します。一例として、メトリクスデータを使用すると、低速なコンシューマーの識別に役立ちます。ラグデータは Prometheus メトリクスとして公開され、解析のために Grafana で使用できます。

Kafka Exporter は __consumer_offsets トピックから読み取り、このトピックには、コミットされたオフセットに関するコンシューマーグループの情報が格納されます。Kafka Exporter が適切に機能できるようにするには、コンシューマーグループを使用する必要があります。

Kafka Exporter の Grafana ダッシュボードは、AMQ Streams が提供する多数の サンプル Grafana ダッシュボード の 1 つです。

重要

Kafka Exporter は、コンシューマーラグおよびコンシューマーオフセットに関連する追加のメトリクスのみを提供します。通常の Kafka メトリクスでは、Kafka ブローカー で、Prometheus メトリクスを設定する必要があります。

コンシューマーラグは、メッセージの生成と消費の差を示しています。具体的には、指定のコンシューマーグループのコンシューマーラグは、パーティションの最後のメッセージと、そのコンシューマーが現在ピックアップしているメッセージとの時間差を示しています。

ラグには、パーティションログの最後を基準とする、コンシューマーオフセットの相対的な位置が反映されます。

プロデューサーおよびコンシューマーオフセット間のコンシューマーラグ

Consumer lag

この差は、Kafka ブローカートピックパーティションの読み取りと書き込みの場所である、プロデューサーオフセットとコンシューマーオフセットの間の デルタ とも呼ばれます。

あるトピックで毎秒 100 個のメッセージがストリーミングされる場合を考えてみましょう。プロデューサーオフセット (トピックパーティションの先頭) と、コンシューマーが読み取った最後のオフセットとの間のラグが 1000 個のメッセージであれば、10 秒の遅延があることを意味します。

コンシューマーラグ監視の重要性

可能な限りリアルタイムのデータの処理に依存するアプリケーションでは、コンシューマーラグを監視して、ラグが過度に大きくならないようにチェックする必要があります。ラグが大きくなるほど、プロセスはリアルタイム処理の目的から遠ざかります。

たとえば、コンシューマーラグは、パージされていない古いデータを大量に消費したり、計画外のシャットダウンが原因である可能性があります。

コンシューマーラグの削減

Grafana のチャートを使用して、ラグを分析し、ラグ削減の方法が対象のコンシューマーグループに影響しているかどうかを確認します。たとえば、ラグを減らすように Kafka ブローカーを調整すると、ダッシュボードには コンシューマーグループ別のラグ のチャートが下降し 毎分のメッセージ消費 のチャートが上昇する状況が示されます。

通常、ラグを削減するには以下を行います。

  • 新規コンシューマーを追加してコンシューマーグループをスケールアップします。
  • メッセージがトピックに留まる保持時間を延長します。
  • ディスク容量を追加してメッセージバッファーを増やします。

コンシューマーラグを減らす方法は、基礎となるインフラストラクチャーや、AMQ Streams によりサポートされるユースケースによって異なります。たとえば、ラグが生じているコンシューマーでは、ディスクキャッシュからフェッチリクエストに対応できるブローカーを活用できる可能性は低いでしょう。場合によっては、コンシューマーの状態が改善されるまで、自動的にメッセージをドロップすることが許容されることがあります。

20.2. Cruise Control 操作の監視

Cruise Control は、ブローカー、トピック、およびパーティションの使用状況を追跡するために Kafka ブローカーを監視します。Cruise Control は、独自のパフォーマンスを監視するためのメトリックのセットも提供します。

Cruise Control メトリックレポーターは、Kafka ブローカーから未加工のメトリックデータを収集します。データは、Cruise Control によって自動的に作成されるトピックに生成されます。メトリクスは、Kafka クラスターの最適化提案の生成 に使用されます。

Cruise Control メトリックは、Cruise Control 操作のリアルタイム監視で利用できます。たとえば、Cruise Control メトリックを使用して、実行中のリバランス操作のステータスを監視したり、操作のパフォーマンスで検出された異常についてアラートを提供したりできます。

Cruise Control 設定で Prometheus JMX Exporter を有効にして Cruise Control メトリクスを公開します。

注記

センサー として知られる利用可能な Cruise Control メトリクスの完全なリストは、Cruise Control のドキュメントを 参照してください。

20.2.1. 分散スコアの監視

Cruise Control メトリックには、分散スコアが含まれます。分散度は、Kafka クラスター内でワークロードがどの程度均等に分散されているかを示す尺度です。

分散スコア (balancedness-score) の Cruise Control メトリクスは、KafkaRebalance リソースの分散スコアとは異なる可能性があります。Cruise Control は anomaly.detection.goals を使用して各スコアを計算します。これは、KafkaRebalance リソースで使用される default.goals と同じでない可能性があります。anomaly.detection.goals は、Kafka カスタムリソースの spec.cruiseControl.config に指定されます。

注記

KafkaRebalance リソースを更新すると、最適化プロポーザルをフェッチします。以下の条件のいずれかが適用されると、キャッシュされた最新の最適化プロポーザルがフェッチされます。

  • KafkaRebalance goals は、Kafka リソースの default.goals セクションに設定されたゴールと一致する。
  • KafkaRebalance goals は指定されていない。

これ以外の場合は、Cruise Control は KafkaRebalance goals に基づいて、新しい最適化プロポーザルを生成します。更新ごとに新しいプロポーザルが生成されると、パフォーマンスの監視に影響を及ぼす可能性があります。

20.2.2. 異常検出のアラートを設定する

Cruise Control の 異常検出 は、ブローカーの障害などの最適化ゴールの生成をブロックする条件のメトリクスデータを提供します。可視性を高める場合は、異常検出器が提供するメトリックを使用して、アラートを設定し、通知を送信できます。Cruise Control の 異常通知機能 を設定して、指定された通知チャネルを介してこれらのメトリクスに基づいてアラートをルーティングできます。または、Prometheus を設定して、異常検出器によって提供されるメトリックデータをスクレープし、アラートを生成することもできます。その後、Prometheus Alertmanager は Prometheus で生成されるアラートをルーティングできます。

Cruise Control ドキュメント には、AnomalyDetector メトリクスおよび異常通知機能に関する情報が記載されています。

20.3. メトリクスファイルの例

Grafana ダッシュボードおよびその他のメトリック設定ファイルの例は、AMQ Streams によって提供される 設定ファイルの例 を参照してください。

AMQ Streams で提供されるサンプルメトリクスファイル

metrics
├── grafana-dashboards 1
│   ├── strimzi-cruise-control.json
│   ├── strimzi-kafka-bridge.json
│   ├── strimzi-kafka-connect.json
│   ├── strimzi-kafka-exporter.json
│   ├── strimzi-kafka-mirror-maker-2.json
│   ├── strimzi-kafka.json
│   ├── strimzi-operators.json
│   └── strimzi-zookeeper.json
├── grafana-install
│   └── grafana.yaml 2
├── prometheus-additional-properties
│   └── prometheus-additional.yaml 3
├── prometheus-alertmanager-config
│   └── alert-manager-config.yaml 4
├── prometheus-install
│    ├── alert-manager.yaml 5
│    ├── prometheus-rules.yaml 6
│    ├── prometheus.yaml 7
│    └── strimzi-pod-monitor.yaml 8
├── kafka-bridge-metrics.yaml 9
├── kafka-connect-metrics.yaml 10
├── kafka-cruise-control-metrics.yaml 11
├── kafka-metrics.yaml 12
└── kafka-mirror-maker-2-metrics.yaml 13

1
異なる AMQ Streams コンポーネントの Grafana ダッシュボードの例。
2
Grafana イメージのインストールファイル。
3
CPU、メモリー、およびディスクボリュームの使用状況についてのメトリックをスクレープする追加の設定。これらのメトリックは、ノード上の OpenShift cAdvisor エージェントおよび kubelet から直接提供されます。
4
Alertmanager による通知送信のためのフック定義。
5
Alertmanager をデプロイおよび設定するためのリソース。
6
Prometheus Alertmanager と使用するアラートルールの例 (Prometheus とデプロイ)。
7
Prometheus イメージのインストールリソースファイル。
8
Prometheus Operator によって Prometheus サーバーのジョブに変換される PodMonitor の定義。これにより、Pod から直接メトリックデータをスクレープできます。
9
メトリックが有効になっている Kafka Bridge リソース。
10
Kafka Connect に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリック設定。
11
Cruise Control に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリック設定。
12
Kafka および ZooKeeper に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリック設定。
13
Kafka Mirror Maker 2.0 に対する Prometheus JMX Exporter の再ラベル付けルールを定義するメトリクス設定。

20.3.1. Prometheus メトリクス設定の例

AMQ Streams は、Prometheus JMX Exporter を使用して、Prometheus サーバーによってスクレープできる HTTP エンドポイント経由でメトリクスを公開します。

Grafana ダッシュボードが依存する Prometheus JMX Exporter の再ラベル付けルールは、カスタムリソース設定として AMQ Streams コンポーネントに対して定義されます。

ラベルは名前と値のペアです。再ラベル付けは、ラベルを動的に書き込むプロセスです。たとえば、ラベルの値は Kafka サーバーおよびクライアント ID の名前から派生されます。

AMQ Streams では、再ラベル付けルールが含まれるカスタムリソース設定用の YAML ファイルのサンプルが提供されます。Prometheus メトリック設定をデプロイする場合、カスタムリソースのサンプルをデプロイすることや、メトリック設定を独自のカスタムリソース定義にコピーすることができます。

表20.1 メトリック設定を含むカスタムリソースの例
コンポーネントカスタムリソースサンプル YAML ファイル

Kafka および ZooKeeper

Kafka

kafka-metrics.yaml

Kafka Connect

KafkaConnect

kafka-connect-metrics.yaml

Kafka MirrorMaker 2

KafkaMirrorMaker2

kafka-mirror-maker-2-metrics.yaml

Kafka Bridge

KafkaBridge

kafka-bridge-metrics.yaml

Cruise Control

Kafka

kafka-cruise-control-metrics.yaml

20.3.2. アラート通知の Prometheus ルールの例

アラート通知の Prometheus ルールの例は、AMQ Streams によって提供される メトリクス設定ファイルの例 と共に提供されます。ルールは、Prometheus デプロイメント で使用するための prometheus-rules.yaml ファイルのサンプルに指定されています。

prometheus-rules.yaml ファイルには、以下のコンポーネントのルールの例が含まれます。

  • Kafka
  • ZooKeeper
  • Entitiy Operator
  • Kafka Connect
  • Kafka Bridge
  • MirrorMaker
  • Kafka Exporter

各ルールの例の説明は、ファイルに記載されています。

アラートルールによって、メトリックで監視される特定条件についての通知が提供されます。ルールは Prometheus サーバーで宣言されますが、アラート通知は Prometheus Alertmanager で対応します。

Prometheus アラートルールでは、継続的に評価される PromQL 表現を使用して条件が記述されます。

アラート表現が true になると、条件が満たされ、Prometheus サーバーからアラートデータが Alertmanager に送信されます。次に Alertmanager は、そのデプロイメントに設定された通信方法を使用して通知を送信します。

アラートルールの定義に関する一般的な留意点:

  • for プロパティーは、ルールと併用し、アラートがトリガーされるまでに、条件を維持する必要のある期間を決定します。
  • ティック (tick) は ZooKeeper の基本的な時間単位です。ミリ秒単位で測定され、Kafka.spec.zookeeper.configtickTime パラメーターを使用して設定されます。たとえば、ZooKeeper で tickTime=3000 の場合、3 ティック (3 x 3000) は 9000 ミリ秒と等しくなります。
  • ZookeeperRunningOutOfSpace メトリックおよびアラートを利用できるかどうかは、使用される OpenShift 設定およびストレージ実装によります。特定のプラットフォームのストレージ実装では、メトリクスによるアラートの提供に必要な利用可能な領域について情報が提供されない場合があります。

Alertmanager は、電子メール、チャットメッセージなどの通知方法を使用するように設定できます。ルールの例に含まれるデフォルト設定は、特定のニーズに合わせて調整してください。

20.3.3. Grafana ダッシュボードのサンプル

Prometheus をデプロイしてメトリックを提供する場合は、AMQ Streams で提供される Grafana ダッシュボードのサンプルを使用して、AMQ Streams コンポーネントを監視できます。

ダッシュボードのサンプルは、examples/metrics/grafana-dashboards ディレクトリーに JSON ファイルで提供されます。

すべてのダッシュボードは、JVM メトリクスに加えてコンポーネントに固有のメトリクスを提供します。たとえば、AMQ Streams Operator の Grafana ダッシュボードは、調整の数または処理中のカスタムリソースに関する情報を提供します。

ダッシュボードのサンプルには、Kafka でサポートされるすべてのメトリクスは表示されません。ダッシュボードには、監視用の代表的なメトリックのセットが表示されます。

表20.2 Grafana ダッシュボードの例
コンポーネントJSON ファイルの例:

AMQ Streams の Operator

strimzi-operators.json

Kafka

strimzi-kafka.json

ZooKeeper

strimzi-zookeeper.json

Kafka Connect

strimzi-kafka-connect.json

Kafka MirrorMaker 2

strimzi-kafka-mirror-maker-2.json

Kafka Bridge

strimzi-kafka-bridge.json

Cruise Control

strimzi-cruise-control.json

Kafka Exporter

strimzi-kafka-exporter.json

注記

クラスターにまだトラフィックがないため、Kafka Exporter でメトリックを使用できない場合、Kafka Exporter の Grafana ダッシュボードでは、数値フィールドに N/A が、グラフに No data to show が表示されます。

20.4. 設定による Prometheus メトリクスの有効化

AMQ Streams for Prometheus でメトリクスを有効にして公開するには、メトリクス設定プロパティーを使用します。

次のコンポーネントでは、メトリクスを公開するために metricsConfig 設定が必要です。

  • Kafka
  • KafkaConnect
  • MirrorMaker
  • Cruise Control
  • ZooKeeper

この設定により、Prometheus JMX Exporter は HTTP エンドポイント経由でメトリクスを公開できます。JMX エクスポーター HTTP エンドポイントのポートは 9404 です。Prometheus はこのエンドポイントをスクレープして Kafka メトリクスを収集します。

これらのコンポーネントのメトリクスを公開するには、enableMetrics プロパティーを true に設定します。

  • Kafka Bridge
  • OAuth 2.0 認証および認可フレームワーク
  • 認可のための Open Policy Agent (OPA)

Prometheus メトリック設定を AMQ Streams にデプロイするには、独自の設定または AMQ Streams で提供される サンプルのカスタムリソース設定ファイル を使用できます。

  • kafka-metrics.yaml
  • kafka-connect-metrics.yaml
  • kafka-mirror-maker-2-metrics.yaml
  • kafka-bridge-metrics.yaml
  • kafka-cruise-control-metrics.yaml
  • oauth-metrics.yaml

これらのファイルには、Prometheus メトリックを有効にするために必要な再ラベル付けルールと設定が含まれています。これらは、AMQ Streams で Prometheus を試すための良い出発点となります。

この手順では、Prometheus メトリクス設定の例を Kafka リソースにデプロイする方法を示します。このプロセスは、他のリソースのサンプルファイルをデプロイする場合と同じです。

Kafka Exporter メトリクスを含める場合は、kafkaExporter 設定を Kafka リソースに追加します。

重要

Kafka Exporter は、コンシューマーラグおよびコンシューマーオフセットに関連する追加のメトリクスのみを提供します。通常の Kafka メトリクスでは、Kafka ブローカー で、Prometheus メトリクスを設定する必要があります。

手順

  1. Prometheus 設定でカスタムリソースのサンプルをデプロイします。

    たとえば、Kafka リソースごとに kafka-metrics.yaml ファイルを適用できます。

    サンプル設定のデプロイ

    oc apply -f kafka-metrics.yaml

    または、kafka-metrics.yaml の設定例を独自の Kafka リソースにコピーすることもできます。

    サンプル設定のコピー

    oc edit kafka <kafka_configuration_file>

    metricsConfig プロパティーと、Kafka リソースを参照する ConfigMap をコピーします。

    Kafka のメトリクス設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
        metricsConfig: 1
          type: jmxPrometheusExporter
          valueFrom:
            configMapKeyRef:
              name: kafka-metrics
              key: kafka-metrics-config.yml
    ---
    kind: ConfigMap 2
    apiVersion: v1
    metadata:
      name: kafka-metrics
      labels:
        app: strimzi
    data:
      kafka-metrics-config.yml: |
      # metrics configuration...

    1
    メトリクス設定が含まれる ConfigMap を参照する metricsConfig プロパティーをコピーします。
    2
    メトリクス設定を指定する ConfigMap 全体をコピーします。
  2. Kafka Exporter をデプロイするには、kafkaExporter 設定を追加します。

    KafkaExporter 設定は、Kafka リソースでのみ指定されます。

    Kafka Exporter のデプロイの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      # ...
      kafkaExporter:
        image: my-registry.io/my-org/my-exporter-cluster:latest 1
        groupRegex: ".*" 2
        topicRegex: ".*" 3
        groupExcludeRegex: "^excluded-.*" 4
        topicExcludeRegex: "^excluded-.*" 5
        resources: 6
          requests:
            cpu: 200m
            memory: 64Mi
          limits:
            cpu: 500m
            memory: 128Mi
        logging: debug 7
        enableSaramaLogging: true 8
        template: 9
          pod:
            metadata:
              labels:
                label1: value1
            imagePullSecrets:
              - name: my-docker-credentials
            securityContext:
              runAsUser: 1000001
              fsGroup: 0
            terminationGracePeriodSeconds: 120
        readinessProbe: 10
          initialDelaySeconds: 15
          timeoutSeconds: 5
        livenessProbe: 11
          initialDelaySeconds: 15
          timeoutSeconds: 5
    # ...

    1
    高度なオプション: コンテナーイメージの設定。特別な状況でのみ推奨されます。
    2
    メトリクスに含まれるコンシューマーグループを指定する正規表現。
    3
    メトリクスに含まれるトピックを指定する正規表現。
    4
    メトリクスから除外するコンシューマーグループを指定する正規表現。
    5
    メトリクスから除外するトピックを指定する正規表現。
    6
    予約する CPU およびメモリーリソース。
    7
    指定の重大度 (debug、info、warn、error、fatal) 以上でメッセージをログに記録するためのログ設定。
    8
    Sarama ロギングを有効にするブール値 (Kafka Exporter によって使用される Go クライアントライブラリー)。
    9
    デプロイメントテンプレートおよび Pod のカスタマイズ。
    10
    ヘルスチェックの readiness プローブ。
    11
    ヘルスチェックの liveness プローブ。
注記

Kafka Exporter が適切に機能できるようにするには、コンシューマーグループを使用する必要があります。

Kafka Bridge のメトリクスを有効にする

Kafka Bridge のメトリクスを公開するには、KafkaBridge リソースで enableMetrics プロパティーを true に設定します。

Kafka Bridge のメトリクス設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaBridge
metadata:
  name: my-bridge
spec:
  # ...
  bootstrapServers: my-cluster-kafka:9092
  http:
    # ...
  enableMetrics: true
  # ...

OAuth 2.0 および OPA のメトリクスの有効化

OAuth 2.0 または OPA のメトリックを公開するには、適切なカスタムリソースで enableMetrics プロパティーを true に設定します。

OAuth 2.0 メトリクス

Kafka リソースで Kafka クラスター認証と Kafka リスナー認証のメトリクスを有効にします。

他の サポートされているコンポーネント のカスタムリソースで OAuth 2.0 認証のメトリックを有効にすることもできます。

OPA メトリクス
OAuth 2.0 の場合と同じ方法で、Kafka リソースに対する Kafka クラスター認証のメトリックを有効にします。

次の例では、OAuth 2.0 リスナー認証と OAuth 2.0 (keycloak) クラスター承認に対してメトリックが有効になっています。

OAuth 2.0 に対してメトリクスが有効になっているクラスター設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
  namespace: myproject
spec:
  kafka:
    # ...
    listeners:
    - name: external
      port: 9094
      type: loadbalancer
      tls: true
      authentication:
        type: oauth
        enableMetrics: true
      configuration:
        #...
    authorization:
      type: keycloak
      enableMetrics: true
  # ...

Prometheus で OAuth 2.0 メトリクスを使用するには、oauth-metrics.yaml ファイルを使用して Prometheus メトリクス設定の例をデプロイします。oauth-metrics.yaml ファイルに含まれる ConfigMap 設定を、OAUth 2.0 のメトリクスを有効にしたのと同じ Kafka リソース設定ファイルにコピーします。

20.5. OpenShift での Kafka メトリクスおよびダッシュボードの表示

AMQ Streams が OpenShift Container Platform にデプロイされると、ユーザー定義プロジェクトのモニタリング によりメトリクスが提供されます。この OpenShift 機能により、開発者は独自のプロジェクト (例: Kafka プロジェクト) を監視するために別の Prometheus インスタンスにアクセスできます。

ユーザー定義プロジェクトのモニタリングが有効な場合は、openshift-user-workload-monitoring プロジェクトには以下のコンポーネントが含まれます。

  • Prometheus operator
  • Prometheus インスタンス (Prometheus Operator によって自動的にデプロイされます)
  • Thanos Ruler インスタンス

AMQ Streams は、これらのコンポーネントを使用してメトリックを消費します。

クラスター管理者は、ユーザー定義プロジェクトのモニタリングを有効にし、開発者およびその他のユーザーに自分のプロジェクトに含まれるアプリケーションを監視するパーミッションを付与する必要があります。

Grafana のデプロイメント

Grafana インスタンスを、Kafka クラスターが含まれるプロジェクトにデプロイできます。その後、Grafana ダッシュボードのサンプルを使用して、AMQ Streams の Prometheus メトリックを Grafana ユーザーインターフェイスで可視化できます。

重要

openshift-monitoring プロジェクトはコアプラットフォームコンポーネントをモニタリングできます。このプロジェクトの Prometheus および Grafana コンポーネントを使用して、OpenShift Container Platform 4.x 上の AMQ Streams の監視を設定しないでください

手順の概要

OpenShift Container Platform で AMQ Streams のモニターングを設定するには、以下の手順を順番に行います。

20.5.1. 前提条件

  • YAML ファイルのサンプルを使用して、Prometheus メトリクス設定がデプロイされている
  • ユーザー定義プロジェクトの監視が有効になっている。クラスター管理者が OpenShift クラスターに cluster-monitoring-config の Config Map を作成している。
  • クラスター管理者は、monitoring-rules-edit または monitoring-edit ロールを割り当てている。

cluster-monitoring-config 設定マップの作成およびユーザー定義プロジェクトをモニターするためのパーミッションをユーザーに付与する方法については、OpenShift documentation を参照してください。

20.5.2. Prometheus リソースのデプロイ

Prometheus を使用して、Kafka クラスターのモニタリングデータを取得します。

独自の Prometheus デプロイメントを使用するか、AMQ Streams によって提供される メトリクス設定ファイルのサンプル を使用して Prometheus をデプロイできます。サンプルファイルを使用するには、PodMonitor リソースを設定し、デプロイします。PodMonitors は、Apache Kafka、ZooKeeper、Operator、Kafka Bridge、および Cruise Control から直接データをスクレープします。

次に、Alertmanager のアラートルールのサンプルをデプロイします。

前提条件

手順

  1. ユーザー定義プロジェクトのモニタリングが有効であることを確認します。

    oc get pods -n openshift-user-workload-monitoring

    有効であると、モニタリングコンポーネントの Pod が返されます。以下に例を示します。

    NAME                                   READY   STATUS    RESTARTS   AGE
    prometheus-operator-5cc59f9bc6-kgcq8   1/1     Running   0          25s
    prometheus-user-workload-0             5/5     Running   1          14s
    prometheus-user-workload-1             5/5     Running   1          14s
    thanos-ruler-user-workload-0           3/3     Running   0          14s
    thanos-ruler-user-workload-1           3/3     Running   0          14s

    Pod が返されなければ、ユーザー定義プロジェクトのモニタリングは無効になっています。「OpenShift での Kafka メトリクスおよびダッシュボードの表示」 の前提条件を参照してください。

  2. 複数の PodMonitor リソースは、examples/metrics/prometheus-install/strimzi-pod-monitor.yaml で定義されます。

    PodMonitor リソースごとに spec.namespaceSelector.matchNames プロパティーを編集します。

    apiVersion: monitoring.coreos.com/v1
    kind: PodMonitor
    metadata:
      name: cluster-operator-metrics
      labels:
        app: strimzi
    spec:
      selector:
        matchLabels:
          strimzi.io/kind: cluster-operator
      namespaceSelector:
        matchNames:
          - <project-name> 1
      podMetricsEndpoints:
      - path: /metrics
        port: http
    # ...
    1
    メトリックをスクレープする Pod が実行されているプロジェクト (例: Kafka)。
  3. strimzi-pod-monitor.yaml ファイルを、Kafka クラスターが稼働しているプロジェクトにデプロイします。

    oc apply -f strimzi-pod-monitor.yaml -n MY-PROJECT
  4. Prometheus ルールのサンプルを同じプロジェクトにデプロイします。

    oc apply -f prometheus-rules.yaml -n MY-PROJECT

20.5.3. Grafana のサービスアカウントの作成

AMQ Streams の Grafana インスタンスは、cluster-monitoring-view ロールが割り当てられたサービスアカウントで実行する必要があります。

Grafana を使用してモニタリングのメトリクスを表示する場合は、サービスアカウントを作成します。

手順

  1. Kafka クラスターを含むプロジェクトに Grafana の ServiceAccount を作成します。

     oc create sa grafana-service-account -n my-project

    この例では、grafana-service-account という名前のサービスアカウントが my-project namespace に作成されます。

  2. cluster-monitoring-view ロールを Grafana ServiceAccount に割り当てる ClusterRoleBinding リソースを作成します。ここでは、リソースの名前は grafana-cluster-monitoring-binding です。

    apiVersion: rbac.authorization.k8s.io/v1
    kind: ClusterRoleBinding
    metadata:
      name: grafana-cluster-monitoring-binding
      labels:
        app: strimzi
    subjects:
      - kind: ServiceAccount
        name: grafana-service-account
        namespace: my-project
    roleRef:
      kind: ClusterRole
      name: cluster-monitoring-view
      apiGroup: rbac.authorization.k8s.io
  3. ClusterRoleBinding を同じプロジェクトにデプロイします。

    oc apply -f grafana-cluster-monitoring-binding.yaml -n my-project
  4. サービスアカウントのトークンシークレットを作成します。

    apiVersion: v1
    kind: Secret
    metadata:
      name: secret-sa
      annotations:
        kubernetes.io/service-account.name: "grafana-service-account" 1
    type: kubernetes.io/service-account-token 2
    1
    サービスアカウントを指定します。
    2
    サービスアカウントトークンシークレットを指定します。
  5. Secret オブジェクトとアクセストークンを作成します。

    oc create -f <secret_configuration>.yaml

    Grafana をデプロイするときにアクセストークンが必要です。

20.5.4. Prometheus データソースを使用した Grafana のデプロイ

Grafana をデプロイし、Prometheus メトリックを表示します。Grafana アプリケーションには、OpenShift Container Platform モニタリングスタックの設定が必要です。

OpenShift Container Platform では、openshift-monitoring プロジェクトに Thanos Querier インスタンスが含まれています。Thanos Querier は、プラットフォームメトリクスを集約するために使用されます。

必要なプラットフォームメトリクスを使用するには、Grafana インスタンスには Thanos Querier に接続できる Prometheus データソースが必要です。この接続を設定するには、トークンを使用し、Thanos Querier と並行して実行される oauth-proxy サイドカーに対して認証を行う config map を作成します。datasource.yaml ファイルは config map のソースとして使用されます。

最後に、Kafka クラスターが含まれるプロジェクトにボリュームとしてマウントされた config map で Grafana アプリケーションをデプロイします。

手順

  1. Grafana ServiceAccount のアクセストークンを取得します。

    oc describe sa/grafana-service-account | grep Tokens:
    oc describe secret grafana-service-account-token-mmlp9 | grep token:

    この例では、サービスアカウントの名前は grafana-service-account です。次のステップで使用するアクセストークンをコピーします。

  2. Grafana の Thanos Querier 設定が含まれる datasource.yaml ファイルを作成します。

    以下に示すように、アクセストークンを httpHeaderValue1 プロパティーに貼り付けます。

    apiVersion: 1
    
    datasources:
    - name: Prometheus
      type: prometheus
      url: https://thanos-querier.openshift-monitoring.svc.cluster.local:9091
      access: proxy
      basicAuth: false
      withCredentials: false
      isDefault: true
      jsonData:
        timeInterval: 5s
        tlsSkipVerify: true
        httpHeaderName1: "Authorization"
      secureJsonData:
        httpHeaderValue1: "Bearer ${GRAFANA-ACCESS-TOKEN}" 1
      editable: true
    1
    GRAFANA-ACCESS-TOKEN: Grafana ServiceAccount のアクセストークンの値。
  3. datasource.yaml ファイルから grafana-config という名前の config map を作成します。

    oc create configmap grafana-config --from-file=datasource.yaml -n MY-PROJECT
  4. Deployment および Service で設定される Grafana アプリケーションを作成します。

    grafana-config config map はデータソース設定のボリュームとしてマウントされます。

    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: grafana
      labels:
        app: strimzi
    spec:
      replicas: 1
      selector:
        matchLabels:
          name: grafana
      template:
        metadata:
          labels:
            name: grafana
        spec:
          serviceAccountName: grafana-service-account
          containers:
          - name: grafana
            image: grafana/grafana:10.0.3
            ports:
            - name: grafana
              containerPort: 3000
              protocol: TCP
            volumeMounts:
            - name: grafana-data
              mountPath: /var/lib/grafana
            - name: grafana-logs
              mountPath: /var/log/grafana
            - name: grafana-config
              mountPath: /etc/grafana/provisioning/datasources/datasource.yaml
              readOnly: true
              subPath: datasource.yaml
            readinessProbe:
              httpGet:
                path: /api/health
                port: 3000
              initialDelaySeconds: 5
              periodSeconds: 10
            livenessProbe:
              httpGet:
                path: /api/health
                port: 3000
              initialDelaySeconds: 15
              periodSeconds: 20
          volumes:
          - name: grafana-data
            emptyDir: {}
          - name: grafana-logs
            emptyDir: {}
          - name: grafana-config
            configMap:
              name: grafana-config
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: grafana
      labels:
        app: strimzi
    spec:
      ports:
      - name: grafana
        port: 3000
        targetPort: 3000
        protocol: TCP
      selector:
        name: grafana
      type: ClusterIP
  5. Grafana アプリケーションを、Kafka クラスターが含まれるプロジェクトにデプロイします。

    oc apply -f <grafana-application> -n <my-project>

20.5.5. Grafana サービスへのルートの作成

Grafana サービスを公開するルートを介して、Grafana ユーザーインターフェイスにアクセスできます。

手順

  • grafana サービスへのルートを作成します。

    oc create route edge <my-grafana-route> --service=grafana --namespace=KAFKA-NAMESPACE

20.5.6. Grafana ダッシュボードサンプルのインポート

Grafana を使用して、カスタマイズ可能なダッシュボードで Prometheus メトリックを視覚化します。

AMQ Streams は、Grafana のダッシュボード設定ファイルのサンプル を JSON 形式で提供します。

  • examples/metrics/grafana-dashboards

この手順では、Grafana ダッシュボードのサンプルを使用します。

ダッシュボードのサンプルは、キーメトリックを監視するを開始点として適していますが、Kafka でサポートされるすべてのメトリックは表示されません。使用するインフラストラクチャーに応じて、ダッシュボードのサンプルの編集や、他のメトリクスの追加を行うことができます。

手順

  1. Grafana サービスへのルートの詳細を取得します。以下に例を示します。

    oc get routes
    
    NAME               HOST/PORT                         PATH  SERVICES
    MY-GRAFANA-ROUTE   MY-GRAFANA-ROUTE-amq-streams.net        grafana
  2. Web ブラウザーで、Route ホストおよびポートの URL を使用して Grafana ログイン画面にアクセスします。
  3. ユーザー名とパスワードを入力し、続いて Log In をクリックします。

    デフォルトの Grafana ユーザー名およびパスワードは、どちらも admin です。初回ログイン後に、パスワードを変更できます。

  4. Configuration > Data Sources で、Prometheus データソースが作成済みであることを確認します。データソースは 「Prometheus データソースを使用した Grafana のデプロイ」 に作成されています。
  5. + アイコンをクリックしてから、Import をクリックします。
  6. examples/metrics/grafana-dashboards で、インポートするダッシュボードの JSON をコピーします。
  7. JSON をテキストボックスに貼り付け、Load をクリックします。
  8. 他の Grafana ダッシュボードのサンプル用に、ステップ 5-7 を繰り返します。

インポートされた Grafana ダッシュボードは、Dashboards ホームページから表示できます。

第21章 Introducing distributed tracing

分散トレースは、分散システム内のアプリケーション間のトランザクションの進行状況を追跡します。マイクロサービスのアーキテクチャーでは、トレースがサービス間のトランザクションの進捗を追跡します。トレースデータは、アプリケーションのパフォーマンスを監視し、ターゲットシステムおよびエンドユーザーアプリケーションの問題を調べるのに有用です。

AMQ Streams では、トレースによってメッセージのエンドツーエンドの追跡が容易になります。これは、ソースシステムから Kafka、さらに Kafka からターゲットシステムおよびアプリケーションへのメッセージの追跡です。分散トレースは、Grafana ダッシュボードおよびコンポーネントロガーでのメトリックの監視を補完します。

トレースのサポートは、以下の Kafka コンポーネントに組み込まれています。

  • ソースクラスターからターゲットクラスターへのメッセージをトレースする MirrorMaker
  • Kafka Connect が使用して生成したメッセージをトレースする Kafka Connect
  • Kafka と HTTP クライアントアプリケーション間のメッセージをトレースする Kafka Bridge

トレースは Kafka ブローカーではサポートされません。

カスタムリソースを使用して、これらのコンポーネントのトレースを有効にして設定します。spec.template プロパティーを使用してトレース設定を追加します。

spec.tracing.type プロパティーを使用してトレースタイプを指定することにより、トレースを有効にします。

opentelemetry
type: opentelemetry を指定して、OpenTelemetry を使用します。デフォルトでは、OpenTelemetry は OTLP (OpenTelemetry Protocol) エクスポーターとエンドポイントを使用してトレースデータを取得します。Jaeger トレースなど、OpenTelemetry でサポートされている他のトレースシステムを指定できます。これを行うには、トレース設定で OpenTelemetry エクスポーターとエンドポイントを変更します。
jaeger
OpenTracing と Jaeger クライアントを使用してトレースデータを取得するには、type:jaeger を指定します。
注記

type: jaeger トレースのサポートは非推奨です。Jaeger クライアントは廃止され、OpenTracing プロジェクトはアーカイブされました。そのため、今後の Kafka バージョンのサポートを保証できません。可能であれば、type: jaeger トレースのサポートを 2023 年 6 月まで維持し、その後削除します。できるだけ早く OpenTelemetry に移行してください。

21.1. トレースオプション

Jaeger トレースシステムで OpenTelemetry または OpenTracing (非推奨) を使用します。

OpenTelemetry と OpenTracing は、トレースまたは監視システムから独立した API 仕様を提供します。

API を使用して、トレース用にアプリケーションコードをインストルメント化します。

  • インストルメント化されたアプリケーションは、分散システム全体で個別のリクエストの トレース を生成します。
  • トレースは、時間軸の中で特定の作業単位を定義する スパン で構成されます。

Jaeger はマイクロサービスベースの分散システムのトレースシステムです。

  • Jaeger は トレース API を実装し、インストルメント化用のクライアントライブラリーを提供します。
  • Jaeger ユーザーインターフェイスを使用すると、トレースデータをクエリー、フィルター、および分析できます。

簡単なクエリーを表示する Jaeger ユーザーインターフェイス

The Jaeger user interface showing a simple query

21.2. トレースの環境変数

Kafka コンポーネントのトレースを有効にするとき、または Kafka クライアントのトレーサーを初期化するときに、環境変数を使用します。

トレース環境変数は変更する可能性があります。最新情報は、OpenTelemetry ドキュメント および OpenTracing ドキュメント を参照してください。

次の表は、トレーサーをセットアップするための主要な環境変数を説明します。

表21.1 OpenTelemetry 環境変数
プロパティー必要性説明

OTEL_SERVICE_NAME

必要

OpenTelemetry 向け Jaeger トレースサービスの名前。

OTEL_EXPORTER_JAEGER_ENDPOINT

必要

トレースに使用されるエクスポーター。

OTEL_TRACES_EXPORTER

必要

トレースに使用されるエクスポーター。デフォルトでは otlp に設定されています。Jaeger トレースを使用する場合は、この環境変数を jaeger として設定する必要があります。別のトレース実装を使用している場合は、使用するエクスポーターを指定します

表21.2 OpenTracing 環境変数
プロパティー必要性説明

JAEGER_SERVICE_NAME

必要

Jaeger トレーサーサービスの名前。

JAEGER_AGENT_HOST

不要

UDP (User Datagram Protocol) を介した jaeger-agent との通信のためのホスト名。

JAEGER_AGENT_PORT

不要

UDP を介した jaeger-agent との通信に使用されるポート。

21.3. 分散トレースの設定

カスタムリソースでトレースタイプを指定して、Kafka コンポーネントで分散トレースを有効にします。メッセージをエンドツーエンドで追跡するために Kafka クライアントにトレーサーをインストルメント化します。

分散トレースを設定するには、次の手順を順番に実行します。

21.3.1. 前提条件

分散トレースを設定する前に、Jaeger バックエンドコンポーネントが OpenShift クラスターにデプロイされていることを確認してください。OpenShift クラスターに Jaeger をデプロイするには、Jaeger Operator を使用することを推奨します。

デプロイメント手順は、Jaeger のドキュメント を参照してください。

注記

AMQ Streams 以外のアプリケーションおよびシステムにトレースを設定する方法については、このコンテンツの対象外となります。

21.3.2. MirrorMaker、Kafka Connect、および Kafka Bridge リソースでのトレーシングの有効化

分散トレースは、MirrorMaker、MirrorMaker 2、Kafka Connect、および AMQ Streams Kafka Bridge でサポートされています。コンポーネントのカスタムリソースを設定して、トレーサーサービスを指定して有効にします。

リソースでトレースを有効にすると、次のイベントがトリガーされます。

  • インターセプタークラスは、コンポーネントの統合コンシューマーとプロデューサーで更新されます。
  • MirrorMaker、MirrorMaker 2、および Kafka Connect の場合、トレースエージェントは、リソースで定義されたトレース設定に基づいてトレーサーを初期化します。
  • Kafka Bridge の場合、リソースで定義されたトレース設定に基づくトレーサーは、Kafka Bridge 自体によって初期化されます。

OpenTelemetry または OpenTracing を使用するトレースを有効にできます。

MirrorMaker および MirrorMaker 2 でのトレース

MirrorMaker および MirrorMaker 2 の場合、メッセージはソースクラスターからターゲットクラスターまでトレースされます。トレースデータは、MirrorMaker または MirrorMaker 2 コンポーネントに出入りするメッセージを記録します。

Kafka Connect でのトレーシング

Kafka Connect の場合、Kafka Connect によって生成および消費されたメッセージのみがトレースされます。Kafka Connect と外部システム間で送信されるメッセージをトレースするには、これらのシステムのコネクターでトレースを設定する必要があります。

Kafka Bridge でのトレーシング

Kafka Bridge の場合、Kafka Bridge によって生成および消費されるメッセージがトレースされます。Kafka Bridge を介してメッセージを送受信するクライアントアプリケーションから受信する HTTP リクエストもトレーシングされます。エンドツーエンドのトレーシングを設定するために、HTTP クライアントでトレーシングを設定する必要があります。

手順

以下の手順を、KafkaMirrorMakerKafkaMirrorMaker2KafkaConnect、および KafkaBridge リソースごとに実行します。

  1. spec.template プロパティーで、トレーサーサービスを設定します。

    • トレーシング環境変数 をテンプレートの設定プロパティーとして使用します。
    • OpenTelemetry の場合、spec.tracing.type プロパティーを opentelemetry に設定します。
    • OpenTracing の場合、spec.tracing.type プロパティーを jaeger に設定します。

    OpenTelemetry を使用した Kafka Connect のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect-cluster
    spec:
      #...
      template:
        connectContainer:
          env:
            - name: OTEL_SERVICE_NAME
              value: my-otel-service
            - name: OTEL_EXPORTER_OTLP_ENDPOINT
              value: "http://otlp-host:4317"
      tracing:
        type: opentelemetry
      #...

    OpenTelemetry を使用した MirrorMaker のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaMirrorMaker
    metadata:
      name: my-mirror-maker
    spec:
      #...
      template:
        mirrorMakerContainer:
          env:
            - name: OTEL_SERVICE_NAME
              value: my-otel-service
            - name: OTEL_EXPORTER_OTLP_ENDPOINT
              value: "http://otlp-host:4317"
      tracing:
        type: opentelemetry
    #...

    OpenTelemetry を使用した MirrorMaker 2 のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaMirrorMaker2
    metadata:
      name: my-mm2-cluster
    spec:
      #...
      template:
        connectContainer:
          env:
            - name: OTEL_SERVICE_NAME
              value: my-otel-service
            - name: OTEL_EXPORTER_OTLP_ENDPOINT
              value: "http://otlp-host:4317"
      tracing:
        type: opentelemetry
    #...

    OpenTelemetry を使用した Kafka Bridge のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaBridge
    metadata:
      name: my-bridge
    spec:
      #...
      template:
        bridgeContainer:
          env:
            - name: OTEL_SERVICE_NAME
              value: my-otel-service
            - name: OTEL_EXPORTER_OTLP_ENDPOINT
              value: "http://otlp-host:4317"
      tracing:
        type: opentelemetry
    #...

    OpenTracing を使用した Kafka Connect のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      name: my-connect-cluster
    spec:
      #...
      template:
        connectContainer:
          env:
            - name: JAEGER_SERVICE_NAME
              value: my-jaeger-service
            - name: JAEGER_AGENT_HOST
              value: jaeger-agent-name
            - name: JAEGER_AGENT_PORT
              value: "6831"
      tracing:
        type: jaeger
      #...

    OpenTracing を使用した MirrorMaker のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaMirrorMaker
    metadata:
      name: my-mirror-maker
    spec:
      #...
      template:
        mirrorMakerContainer:
          env:
            - name: JAEGER_SERVICE_NAME
              value: my-jaeger-service
            - name: JAEGER_AGENT_HOST
              value: jaeger-agent-name
            - name: JAEGER_AGENT_PORT
              value: "6831"
      tracing:
        type: jaeger
    #...

    OpenTracing を使用した MirrorMaker 2 のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaMirrorMaker2
    metadata:
      name: my-mm2-cluster
    spec:
      #...
      template:
        connectContainer:
          env:
            - name: JAEGER_SERVICE_NAME
              value: my-jaeger-service
            - name: JAEGER_AGENT_HOST
              value: jaeger-agent-name
            - name: JAEGER_AGENT_PORT
              value: "6831"
      tracing:
        type: jaeger
    #...

    OpenTracing を使用した Kafka Bridge のトレース設定の例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaBridge
    metadata:
      name: my-bridge
    spec:
      #...
      template:
        bridgeContainer:
          env:
            - name: JAEGER_SERVICE_NAME
              value: my-jaeger-service
            - name: JAEGER_AGENT_HOST
              value: jaeger-agent-name
            - name: JAEGER_AGENT_PORT
              value: "6831"
      tracing:
        type: jaeger
    #...

  2. リソースを作成または更新します。

    oc apply -f <resource_configuration_file>

21.3.3. Kafka クライアントのトレースの初期化

トレーサーを初期化し、分散トレース用にクライアントアプリケーションをインストルメント化します。Kafka プロデューサークライアントとコンシューマークライアント、および Kafka Streams API アプリケーションをインストルメント化できます。OpenTracing または OpenTelemetry のトレーサーを初期化できます。

一連の トレース環境変数 を使用して、トレーサーを設定および初期化します。

手順

各クライアントアプリケーションで、トレーサーの依存関係を追加します。

  1. クライアントアプリケーションの pom.xml ファイルに Maven 依存関係を追加します。

    OpenTelemetry の依存関係

    <dependency>
        <groupId>io.opentelemetry</groupId>
        <artifactId>opentelemetry-sdk-extension-autoconfigure</artifactId>
        <version>1.19.0.redhat-00002</version>
    </dependency>
    <dependency>
      <groupId>io.opentelemetry.instrumentation</groupId>
      <artifactId>opentelemetry-kafka-clients-{OpenTelemetryKafkaClient}</artifactId>
      <version>1.19.0.redhat-00002</version>
    </dependency>
    <dependency>
      <groupId>io.opentelemetry</groupId>
      <artifactId>opentelemetry-exporter-otlp</artifactId>
      <version>1.19.0.redhat-00002</version>
    </dependency>

    OpenTracing の依存関係

    <dependency>
        <groupId>io.jaegertracing</groupId>
        <artifactId>jaeger-client</artifactId>
        <version>1.8.1.redhat-00002</version>
    </dependency>
    <dependency>
      <groupId>io.opentracing.contrib</groupId>
      <artifactId>opentracing-kafka-client</artifactId>
      <version>0.1.15.redhat-00006</version>
    </dependency>

  2. トレース環境変数 を使用して、トレーサーの設定を定義します。
  3. 環境変数で初期化されるトレーサーを作成します。

    OpenTelemetry のトレーサーの作成

    OpenTelemetry ot = GlobalOpenTelemetry.get();

    OpenTracing のトレーサーの作成

    Tracer tracer = Configuration.fromEnv().getTracer();

  4. トレーサーをグローバルトレーサーとして登録します。

    GlobalTracer.register(tracer);
  5. クライアントをインストルメント化します。

21.3.4. Kafka プロデューサーおよびコンシューマーをトレース用にインストルメント化

アプリケーションコードを計測して、Kafka プロデューサーとコンシューマーでのトレースを有効にします。デコレーターパターンまたはインターセプターを使用して、Java プロデューサーおよびコンシューマーアプリケーションコードをトレース用にインストルメント化します。続いて、メッセージが生成されたとき、またはトピックから取得されたときにトレースを記録できます。

OpenTelemetry および OpenTracing インストルメント化プロジェクトは、プロデューサーとコンシューマーのインストルメント化をサポートするクラスを提供します。

デコレーターのインストルメント化
デコレーターのインストルメント化では、トレース用に変更したプロデューサーまたはコンシューマーインスタンスを作成します。OpenTelemetry と OpenTracing では、デコレーターのインストルメント化が異なります。
インターセプターのインストルメント化
インターセプターのインストルメント化の場合、トレース機能をコンシューマーまたはプロデューサーの設定に追加します。インターセプターのインストルメント化は、OpenTelemetry と OpenTracing で同じです。

前提条件

  • クライアントのトレースを初期化 している。

    トレース JAR を依存関係としてプロジェクトに追加して、プロデューサーアプリケーションとコンシューマーアプリケーションでインストルメント化を有効にしている。

手順

各プロデューサーおよびコンシューマーアプリケーションのアプリケーションコードで、これらの手順を実行します。デコレーターパターンまたはインターセプターのいずれかを使用して、クライアントアプリケーションコードをインストルメント化します。

  • デコレーターパターンを使用するには、変更したプロデューサーまたはコンシューマーインスタンスを作成して、メッセージを送受信します。

    元の KafkaProducer または KafkaConsumer クラスを渡します。

    OpenTelemetry のデコレーターインストルメント化の例

    // Producer instance
    Producer < String, String > op = new KafkaProducer < > (
        configs,
        new StringSerializer(),
        new StringSerializer()
        );
        Producer < String, String > producer = tracing.wrap(op);
    KafkaTracing tracing = KafkaTracing.create(GlobalOpenTelemetry.get());
    producer.send(...);
    
    //consumer instance
    Consumer<String, String> oc = new KafkaConsumer<>(
        configs,
        new StringDeserializer(),
        new StringDeserializer()
        );
        Consumer<String, String> consumer = tracing.wrap(oc);
    consumer.subscribe(Collections.singleton("mytopic"));
    ConsumerRecords<Integer, String> records = consumer.poll(1000);
    ConsumerRecord<Integer, String> record = ...
    SpanContext spanContext = TracingKafkaUtils.extractSpanContext(record.headers(), tracer);

    OpenTracing のデコレーターインストルメント化の例

    //producer instance
    KafkaProducer<Integer, String> producer = new KafkaProducer<>(senderProps);
    TracingKafkaProducer<Integer, String> tracingProducer = new TracingKafkaProducer<>(producer, tracer);
    TracingKafkaProducer.send(...)
    
    //consumer instance
    KafkaConsumer<Integer, String> consumer = new KafkaConsumer<>(consumerProps);
    TracingKafkaConsumer<Integer, String> tracingConsumer = new TracingKafkaConsumer<>(consumer, tracer);
    tracingConsumer.subscribe(Collections.singletonList("mytopic"));
    ConsumerRecords<Integer, String> records = tracingConsumer.poll(1000);
    ConsumerRecord<Integer, String> record = ...
    SpanContext spanContext = TracingKafkaUtils.extractSpanContext(record.headers(), tracer);

  • インターセプターを使用するには、プロデューサーまたはコンシューマーの設定でインターセプタークラスを設定します。

    通常の方法で KafkaProducer クラスと KafkaConsumer クラスを使用します。TracingProducerInterceptor および TracingConsumerInterceptor インターセプタークラスは、トレース機能を処理します。

    インターセプターを使用したプロデューサー設定の例

    senderProps.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG,
        TracingProducerInterceptor.class.getName());
    
    KafkaProducer<Integer, String> producer = new KafkaProducer<>(senderProps);
    producer.send(...);

    インターセプターを使用したコンシューマー設定の例

    consumerProps.put(ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG,
        TracingConsumerInterceptor.class.getName());
    
    KafkaConsumer<Integer, String> consumer = new KafkaConsumer<>(consumerProps);
    consumer.subscribe(Collections.singletonList("messages"));
    ConsumerRecords<Integer, String> records = consumer.poll(1000);
    ConsumerRecord<Integer, String> record = ...
    SpanContext spanContext = TracingKafkaUtils.extractSpanContext(record.headers(), tracer);

21.3.5. Kafka Streams アプリケーションのトレース用のインストルメント化

アプリケーションコードを計測して、Kafka Streams API アプリケーションでのトレースを有効にします。デコレーターパターンまたはインターセプターを使用して、トレース用に Kafka Streams API アプリケーションをインストルメント化します。続いて、メッセージが生成されたとき、またはトピックから取得されたときにトレースを記録できます。

デコレーターのインストルメント化
デコレーターのインストルメント化は、トレース用に変更した Kafka Streams インスタンスを作成します。OpenTracing インストルメント化プロジェクトは、Kafka Streams のインストルメント化をサポートする TracingKafkaClientSupplier クラスを提供します。TracingKafkaClientSupplier サプライヤーインターフェイスのインスタンスをラップして作成し、Kafka Streams のトレースインストルメント化を行います。OpenTelemetry の場合、プロセスは同じですが、サポートを提供するためにカスタム TracingKafkaClientSupplier クラスを作成する必要があります。
インターセプターのインストルメント化
インターセプターインストルメント化の場合は、トレース機能を Kafka Streams プロデューサーおよびコンシューマー設定に追加します。

前提条件

  • クライアントのトレースを初期化 している。

    トレース JAR を依存関係としてプロジェクトに追加して、Kafka Streams アプリケーションでインストルメント化を有効にしている。

  • OpenTelemetry で Kafka Streams をインストルメント化するために、カスタムの TracingKafkaClientSupplier を記述している。
  • カスタム TracingKafkaClientSupplier が Kafka の DefaultKafkaClientSupplier を拡張し、プロデューサーとコンシューマーの作成メソッドを上書きして、インスタンスを Telemetry 関連のコードでラップできるようにしている。

    カスタム TracingKafkaClientSupplier の例

    private class TracingKafkaClientSupplier extends DefaultKafkaClientSupplier {
        @Override
        public Producer<byte[], byte[]> getProducer(Map<String, Object> config) {
            KafkaTelemetry telemetry = KafkaTelemetry.create(GlobalOpenTelemetry.get());
            return telemetry.wrap(super.getProducer(config));
        }
    
        @Override
        public Consumer<byte[], byte[]> getConsumer(Map<String, Object> config) {
            KafkaTelemetry telemetry = KafkaTelemetry.create(GlobalOpenTelemetry.get());
            return telemetry.wrap(super.getConsumer(config));
        }
    
        @Override
        public Consumer<byte[], byte[]> getRestoreConsumer(Map<String, Object> config) {
            return this.getConsumer(config);
        }
    
        @Override
        public Consumer<byte[], byte[]> getGlobalConsumer(Map<String, Object> config) {
            return this.getConsumer(config);
        }
    }

手順

Kafka Streams API アプリケーションごとにこの手順を実行します。

  • デコレーターパターンを使用するには、TracingKafkaClientSupplier サプライヤーインターフェイスのインスタンスを作成し、そのサプライヤーインターフェイスを KafkaStreams に提供します。

    デコレーターのインストルメント化の例

    KafkaClientSupplier supplier = new TracingKafkaClientSupplier(tracer);
    KafkaStreams streams = new KafkaStreams(builder.build(), new StreamsConfig(config), supplier);
    streams.start();

  • インターセプターを使用するには、Kafka Streams プロデューサーおよびコンシューマー設定でインターセプタークラスを設定します。

    TracingProducerInterceptor および TracingConsumerInterceptor インターセプタークラスは、トレース機能を処理します。

    インターセプターを使用したプロデューサーとコンシューマーの設定例

    props.put(StreamsConfig.PRODUCER_PREFIX + ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, TracingProducerInterceptor.class.getName());
    props.put(StreamsConfig.CONSUMER_PREFIX + ConsumerConfig.INTERCEPTOR_CLASSES_CONFIG, TracingConsumerInterceptor.class.getName());

21.3.6. 別の OpenTelemetry トレースシステムの導入

デフォルトの OTLP システムの代わりに、OpenTelemetry でサポートされている他のトレースシステムを指定できます。これを行うには、AMQ Streams で提供される Kafka イメージに必要なアーティファクトを追加します。必要な実装固有の環境変数も設定する必要があります。次に、OTEL_TRACES_EXPORTER 環境変数を使用して、新しいトレースの実装を有効にします。

この手順では、Zipkin トレースを実装する方法を示します。

手順

  1. トレースアーティファクトを AMQ Streams Kafka イメージの /opt/kafka/libs/ ディレクトリーに追加します。

    新しいカスタムイメージを作成するための基本イメージとして、Red Hat Ecosystem Catalog の Kafka コンテナーイメージを使用できます。

    Zipkin の OpenTelemetry アーティファクト

    io.opentelemetry:opentelemetry-exporter-zipkin

  2. 新しいトレース実装のトレースエクスポーターとエンドポイントを設定します。

    Zikpin トレーサーの設定例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaMirrorMaker2
    metadata:
      name: my-mm2-cluster
    spec:
      #...
      template:
        connectContainer:
          env:
            - name: OTEL_SERVICE_NAME
              value: my-zipkin-service
            - name: OTEL_EXPORTER_ZIPKIN_ENDPOINT
              value: http://zipkin-exporter-host-name:9411/api/v2/spans 1
            - name: OTEL_TRACES_EXPORTER
              value: zipkin 2
      tracing:
        type: opentelemetry
    #...

    1
    接続先の Zipkin エンドポイントを指定します。
    2
    Zipkin エクスポーター。

21.3.7. カスタムスパン名

トレース スパン は Jaeger の論理作業単位で、操作名、開始時間、および期間が含まれます。スパンには組み込みの名前がありますが、使用する Kafka クライアントインストルメント化で、カスタムスパン名を指定できます。

カスタムスパン名の指定はオプションであり、プロデューサーおよびコンシューマークライアントインストルメント化 または Kafka Streams インストルメント化 でデコレーターパターンを使用する場合にのみ適用されます。

21.3.7.1. OpenTelemetry のスパン名の指定

OpenTelemetry でカスタムスパン名を直接指定できません。代わりに、コードをクライアントアプリケーションに追加してスパン名を取得し、追加のタグと属性を抽出します。

属性を抽出するコード例

//Defines attribute extraction for a producer
private static class ProducerAttribExtractor implements AttributesExtractor < ProducerRecord < ? , ? > , Void > {
    @Override
    public void onStart(AttributesBuilder attributes, ProducerRecord < ? , ? > producerRecord) {
        set(attributes, AttributeKey.stringKey("prod_start"), "prod1");
    }
    @Override
    public void onEnd(AttributesBuilder attributes, ProducerRecord < ? , ? > producerRecord, @Nullable Void unused, @Nullable Throwable error) {
        set(attributes, AttributeKey.stringKey("prod_end"), "prod2");
    }
}
//Defines attribute extraction for a consumer
private static class ConsumerAttribExtractor implements AttributesExtractor < ConsumerRecord < ? , ? > , Void > {
    @Override
    public void onStart(AttributesBuilder attributes, ConsumerRecord < ? , ? > producerRecord) {
        set(attributes, AttributeKey.stringKey("con_start"), "con1");
    }
    @Override
    public void onEnd(AttributesBuilder attributes, ConsumerRecord < ? , ? > producerRecord, @Nullable Void unused, @Nullable Throwable error) {
        set(attributes, AttributeKey.stringKey("con_end"), "con2");
    }
}
//Extracts the attributes
public static void main(String[] args) throws Exception {
        Map < String, Object > configs = new HashMap < > (Collections.singletonMap(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"));
        System.setProperty("otel.traces.exporter", "jaeger");
        System.setProperty("otel.service.name", "myapp1");
        KafkaTracing tracing = KafkaTracing.newBuilder(GlobalOpenTelemetry.get())
            .addProducerAttributesExtractors(new ProducerAttribExtractor())
            .addConsumerAttributesExtractors(new ConsumerAttribExtractor())
            .build();

21.3.7.2. OpenTracing のスパン名の指定

OpenTracing のカスタムスパン名を指定するには、プロデューサーとコンシューマーをインストルメント化するときに BiFunction オブジェクトを追加の引数として渡します。

組み込みの名前とカスタムスパン名を指定して、デコレーターパターンでクライアントアプリケーションコードをインストルメント化する方法の詳細は、OpenTracing Apache Kafka client instrumentation を参照してください。

第22章 診断およびトラブルシューティングデータの取得

report.sh 診断ツールは、Red Hat が提供するスクリプトで、OpenShift 上の AMQ Streams デプロイメントのトラブルシューティングに必要なデータを収集します。関連するログ、設定ファイル、その他の診断データを収集して、問題の特定と解決に役立てることができます。スクリプトを実行するときに、追加のパラメーターを指定して特定のデータを取得できます。

前提条件

  • Bash 4 以降
  • OpenShift oc コマンドラインツールがインストールされ、稼働中のクラスターに接続するように設定されている。

これにより、oc コマンドラインツールがクラスターと対話し、必要な診断データを取得するのに必要な認証が確立されます。

手順

  1. ツールをダウンロードして展開します。

    診断ツールは、AMQ Streams ソフトウェアダウンロードページ から入手できます。

  2. ツールを展開したディレクトリーから、ターミナルを開き、レポートツールを実行します。

    ./report.sh --namespace=<cluster_namespace> --cluster=<cluster_name> --out-dir=<local_output_directory>

    <cluster_namespace> は AMQ Streams デプロイメントの実際の OpenShift namespace に、<cluster_name> は Kafka クラスターの名前に、<local_output_directory> は生成されたレポートを保存するローカルディレクトリーへのパスに置き換えます。ディレクトリーを指定しない場合は、一時ディレクトリーが作成されます。

    必要に応じて、他のオプションのレポートオプションを含めます。

    --bridge=<string>
    Kafka Bridge クラスターの名前を指定して、その Pod とログのデータを取得します。
    --connect=<string>
    Kafka Connect クラスターの名前を指定して、その Pod とログ上のデータを取得します。
    --mm2=<string>
    Pod およびログのデータを取得するために Mirror Maker 2 クラスターの名前を指定します。
    --secrets=(off|hidden|all)

    シークレットの詳細レベルを指定します。デフォルトは hidden です。利用可能なオプションは以下のとおりです。

    • All: シークレットキーおよびデータの値が報告されます。
    • hidden: キーだけが含まれるシークレットが報告されます。パスワードなどのデータ値が削除されます。
    • off: シークレットはまったく報告されません。

    データ収集オプションを含む要求の例

    ./report.sh --namespace=my-amq-streams-namespace --cluster=my-kafka-cluster --bridge=my-bridge-component --secrets=all --out-dir=~/reports

    注記

    必要に応じて、chmod コマンドを使用して、スクリプトの実行権限をユーザーに割り当てます。たとえば、chmod +x report.sh などです。

スクリプトの実行が完了すると、出力ディレクトリーには、AMQ Streams デプロイメントの各コンポーネントについて収集されたログ、設定、その他の診断データのファイルとディレクトリーが含まれます。

レポート診断ツールによって収集されるデータ

次のコンポーネントのデータが存在する場合は、それが返されます。

Cluster Operator

  • デプロイメント YAML およびログ
  • 関連するすべての Pod およびそのログ
  • Cluster Operator に関連するリソースの YAML ファイル (ClusterRoles、ClusterRoleBindings)

drain Cleaner (存在する場合)

  • デプロイメント YAML およびログ
  • Pod ログ

Custom Resources

  • カスタムリソース定義 (CRD) YAML
  • 関連するすべてのカスタムリソース (CR) の YAML ファイル

イベント

  • 指定された namespace に関連するイベント

設定

  • Kafka Pod のログおよび設定ファイル (strimzi.properties)
  • ZooKeeper Pod のログおよび設定ファイル (zookeeper.properties)
  • Entity Operator (Topic Operator、User Operator) Pod ログ
  • Cruise Control の Pod ログ
  • Kafka Exporter Pod ログ
  • Bridge Pod ログ (オプションで指定されている場合)
  • Connect Pod ログ (オプションで指定されている場合)
  • MirrorMaker 2 Pod ログ (オプションで指定されている場合)

シークレット (オプションで要求された場合)

  • 指定された Kafka クラスターに関連するすべてのシークレットの YAML ファイル

第23章 AMQ Streams のアップグレード

AMQ Streams インストールをバージョン 2.5 にアップグレードすると、新機能、パフォーマンスの向上、強化されたセキュリティーオプションのメリットが得られます。アップグレード中に、Kafka もサポートされている最新バージョンに更新され、AMQ Streams デプロイメントに追加機能とバグ修正が導入されます。

新しいバージョンで問題が発生した場合は、AMQ Streams を以前のバージョンに ダウングレード できます。

リリースされた AMQ Streams バージョンは、AMQ Streams ソフトウェアダウンロードページ を参照してください。

ダウンタイムなしのアップグレード

高可用性 (レプリケーション係数 3 以上、および均等に分散されたパーティション) で設定されたトピックの場合、アップグレードプロセスによってコンシューマーとプロデューサーにダウンタイムが発生することはありません。

アップグレードによりローリング更新がトリガーされ、プロセスのさまざまな段階でブローカーが 1 つずつ再起動されます。この間、クラスター全体の可用性が一時的に低下するため、ブローカーに障害が発生した場合にメッセージが失われるリスクが増加する可能性があります。

23.1. AMQ Streams のアップグレードパス

AMQ Streams には 2 つのアップグレードパスが利用可能です。

増分アップグレード
増分アップグレードには、AMQ Streams を以前のマイナーバージョンからバージョン 2.5 にアップグレードすることが含まれます。
マルチバージョンのアップグレード
複数バージョンのアップグレードには、1 つ以上の中間バージョンをスキップして、1 回のアップグレード内で AMQ Streams の古いバージョンをバージョン 2.5 にアップグレードすることが含まれます。たとえば、AMQ Streams 2.3 から AMQ Streams 2.5 に直接アップグレードすることが可能です。

23.1.1. アップグレード時の Kafka バージョンのサポート

AMQ Streams をアップグレードする場合は、使用されている Kafka バージョンとの互換性を確保することが重要です。

サポートされている Kafka バージョンが新旧バージョンで異なる場合でも、複数バージョンのアップグレードが可能です。ただし、現在の Kafka バージョンをサポートしていない新しい AMQ Streams バージョンにアップグレードしようとすると、Kafka バージョンがサポートされていないことを示すエラーが生成 されます。この場合、Kafka カスタムリソースの spec.kafka.version を新しい AMQ Streams バージョンでサポートされているバージョンに変更することにより、AMQ Streams アップグレードの一部として Kafka バージョンをアップグレードする必要があります。

  • Kafka 3.5.0 は実稼働環境での使用がサポートされています。
  • Kafka 3.4.0 は、AMQ Streams 2.5 にアップグレードする目的でのみサポートされます。

23.1.2. 1.7 より前の AMQ Streams バージョンからのアップグレード

バージョン 1.7 より前のバージョンから最新バージョンの AMQ Streams にアップグレードする場合は、以下を実行します。

  1. 標準のシーケンス に従って AMQ Streams をバージョン 1.7 にアップグレードします。
  2. AMQ Streams に付属の API 変換ツール を使用して、AMQ Streams カスタムリソースを v1beta2 に変換します。
  3. 次のいずれかを行います。

    • AMQ Streams 1.8 にアップグレードします (ControlPlaneListener フィーチャーゲートはデフォルトで無効)。
    • ControlPlaneListener フィーチャーゲートを無効にして、AMQ Streams 2.0 または 2.2 (ControlPlaneListener フィーチャーゲートはデフォルトで有効) にアップグレードします。
  4. ControlPlaneListener フィーチャーゲートを有効化します。
  5. 標準のシーケンス に従って AMQ Streams 2.5 にアップグレードします。

AMQ Streams カスタムリソースは、リリース 1.7 で v1beta2 API バージョンを使用するようになりました。AMQ Streams 1.8 以降にアップグレードする に、CRD とカスタムリソースを変換する必要があります。API 変換ツールの使用方法については、AMQ Streams 1.7 アップグレードドキュメント を参照してください。

注記

最初にバージョン 1.7 にアップグレードする代わりに、カスタムリソースをバージョン 1.7 からインストールしてから、リソースを変換することができます。

ControlPlaneListener 機能が AMQ Streams で永続的に有効になりました。無効になっている AMQ Streams のバージョンにアップグレードしてから、Cluster Operator 設定の STRIMZI_FEATURE_GATES 環境変数を使用して有効にする必要があります。

ControlPlaneListener フィーチャーゲートの無効化

env:
  - name: STRIMZI_FEATURE_GATES
    value: -ControlPlaneListener

ControlPlaneListener フィーチャーゲートの有効化

env:
  - name: STRIMZI_FEATURE_GATES
    value: +ControlPlaneListener

23.2. 必要なアップグレードシーケンス

ダウンタイムなしでブローカーとクライアントをアップグレードするには、以下の順序でアップグレード手順を 必ず 完了してください。

  1. OpenShift クラスターのバージョンがサポートされていることを確認してください。

    AMQ Streams 2.5 は OpenShift 4.10 〜 4.14 でサポートされています。

    最小限のダウンタイムで OpenShift をアップグレード できます。

  2. Cluster Operator をアップグレードします
  3. サポートされる最新の Kafka バージョンに、すべての Kafka ブローカーとクライアントアプリケーションをアップグレードします

23.3. 最小限のダウンタイムでの OpenShift のアップグレード

OpenShift をアップグレードする場合は、OpenShift アップグレードのドキュメントを参照して、アップグレードパスとノードを正しくアップグレードする手順を確認してください。OpenShift をアップグレードする前に、お使いの AMQ Streams バージョンでサポートされるバージョン を確認してください。

アップグレードを実行する際に、Kafka クラスターを利用できるようにしておくことを推奨します。

以下のストラテジーのいずれかを使用できます。

  1. Pod の Disruption Budget を設定します。
  2. 以下の方法の 1 つで Pod をローリングします。

    1. AMQ Streams Drain Cleaner の使用
    2. Pod へのアノテーションの手動適用

いずれかの方法を使用して Pod をロールする場合は、maxUnavailable プロパティーを使用して Pod 中断バジェットをゼロに設定する必要があります。

注記

StrimziPodSet カスタムリソースは、maxUnavailable 値を直接使用できないカスタムコントローラーを使用して Kafka および ZooKeeper Pod を管理します。代わりに、maxUnavailable 値は minAvailable 値に変換されます。ブローカー Pod が 3 つあり、maxUnavailable プロパティーが 0 (ゼロ) に設定されている場合、minAvailable 設定は 3 で、3 つのブローカー Pod すべてが使用可能である必要があり、使用できない Pod が存在しないことが許可されます。

Kafka を稼働し続けるには、高可用性のためにトピックも複製する必要があります。これには、少なくとも 3 つのレプリケーション係数と、レプリケーション係数よりも 1 つ少ない In-Sync レプリカの最小数を指定するトピック設定が必要です。

高可用性のためにレプリケートされた Kafka トピック

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
  name: my-topic
  labels:
    strimzi.io/cluster: my-cluster
spec:
  partitions: 1
  replicas: 3
  config:
    # ...
    min.insync.replicas: 2
    # ...

高可用性環境では、Cluster Operator はアップグレードプロセス時にトピックの In-Sync レプリカの最小数を維持し、ダウンタイムが発生しないようにします。

23.3.1. AMQ Streams Drain Cleaner を使用した Pod のローリング

AMQ Streams Drain Cleaner を使用して、アップグレード時にノードをエビクトできます。AMQ Streams Drain Cleaner は、Pod のローリング更新アノテーションを Pod に付けます。これにより、Cluster Operator に、エビクトされた Pod のローリング更新を実行するように指示します。

Pod の Disruption Budget を使用すると、特定の時点で、指定された数の Pod だけが、利用できなくなります。Kafka ブローカー Pod の計画メンテナンス時に、Pod の Disruption Budget を使用して、Kafka が高可用性環境で引き続き実行されるようにします。

Kafka コンポーネントの template のカスタマイズを使用して、Pod の Disruption Budget を指定します。デフォルトでは、Pod の Disruption Budget は、単一の Pod のみを指定時に利用できないようにします。

Drain Cleaner を使用して Pod をロールには、maxUnavailable0 (ゼロ) に設定します。Pod 中断バジェットをゼロに減らすと自発的な中断が防止されるため、Pod を手動で削除する必要があります。

Pod の Disruption Budget の指定

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
  namespace: myproject
spec:
  kafka:
    # ...
    template:
      podDisruptionBudget:
        maxUnavailable: 0
# ...

23.3.2. トピックを利用可能な状態に維持しながらの手動での Pod のローリング

アップグレード時に、Cluster Operator 経由で Pod の手動ローリング更新をトリガーできます。Pod リソースを使用して、ローリング更新は新規 Pod でリソースの Pod を再起動します。AMQ Streams Drain Cleaner を使用する場合と同様に、Pod の Disruption Budget の maxUnavailable の値をゼロに設定する必要があります。

ドレイン (解放) する必要のある Pod を監視する必要があります。次に Pod アノテーションを追加して更新を行います。

ここで、アノテーションは Kafka ブローカーを更新します。

Kafka ブローカー Pod での手動ローリング更新の実行

oc annotate pod <cluster_name>-kafka-<index> strimzi.io/manual-rolling-update=true

<cluster_name> は、クラスターの名前に置き換えます。Kafka ブローカー Pod の名前は <cluster-name>-kafka-<index> です。ここで、<index> はゼロで始まり、レプリカの合計数から 1 を引いた数で終了します。例: my-cluster-kafka-0

23.4. Cluster Operator のアップグレード

デプロイの最初の方法と同じ方法を使用して、Cluster Operator をアップグレードします。

インストールファイルの使用
インストール用の YAML ファイルを使用して Cluster Operator をデプロイした場合は、インストールファイルを使用した Cluster Operator のアップグレード の説明に従って、Operator のインストールファイルを変更してアップグレードを実行します。
OperatorHub の使用

OperatorHub から AMQ Streams をデプロイした場合は、Operator Lifecycle Manager (OLM) を使用して AMQ Streams Operator の更新チャネルを新しい AMQ Streams バージョンに変更します。

チャネルを更新すると、選択したアップグレード戦略に応じて、次のタイプのアップグレードのいずれかが開始されます。

  • 自動アップグレード
  • インストール開始前に承認が必要な手動アップグレード
注記

安定した チャンネルに登録すると、チャンネルを変更せずに自動更新を取得できます。ただし、インストール前のアップグレード手順が失われる可能性があるため、自動更新を有効にすることは推奨しません。バージョン固有のチャネルでのみ自動アップグレードを使用します。

OperatorHub を使用した Operator のアップグレードについての詳細は、Upgrading installed Operators (OpenShift documentation) を参照してください。

23.4.1. Cluster Operator をアップグレードすると Kafka バージョンエラーが返される

Cluster Operator を、使用している Kafka の現在のバージョンをサポートしていないバージョンにアップグレードすると、サポートされていない Kafka バージョン エラーが発生します。このエラーはすべてのインストール方法に適用され、Kafka をサポートされている Kafka バージョンにアップグレードする必要があることを意味します。Kafka リソースの spec.kafka.version をサポートされているバージョンに変更します。

oc を使用して、Kafka リソースの ステータス でこのようなエラーメッセージを確認できます。

エラーの Kafka ステータスの確認

oc get kafka <kafka_cluster_name> -n <namespace> -o jsonpath='{.status.conditions}'

<kafka_cluster_name> は、Kafka クラスターの名前に、<namespace> は、Pod が実行されている OpenShift namespace に置き換えます。

23.4.2. OperatorHub を使用した AMQ Streams 1.7 以前からのアップグレード

OperatorHub を使用して AMQ Streams 1.7 以前からアップグレードする場合に必要となるアクション

AMQ Streams Operator をバージョン 2.5 にアップグレードする前に、次の変更を加える必要があります。

  • カスタムリソースおよび CRD を v1beta2 に変換します。
  • ControlPlaneListener フィーチャーゲートが無効になっている AMQ Streams のバージョンにアップグレードします。

これらの要件については、「1.7 より前の AMQ Streams バージョンからのアップグレード」 を参照してください。

AMQ Streams 1.7 以前からアップグレードする場合は、次の手順を実行します。

  1. AMQ Streams 1.7 にアップグレードします。
  2. AMQ Streams ソフトウェアのダウンロードページ から、AMQ Streams 1.8 で提供される Red Hat AMQ Streams API Conversion Tool をダウンロードします。
  3. カスタムリソースおよび CRD を v1beta2 に変換します。

    詳細は、AMQ Streams 1.7 アップグレードドキュメント を参照してください。

  4. OperatorHub で、AMQ Streams Operator のバージョン 1.7 を削除します。
  5. AMQ Streams Operator のバージョン 2.5 も存在する場合は、削除します。

    存在しない場合は、次のステップに進みます。

    AMQ Streams Operator の Approval StrategyAutomatic に設定されている場合、Operator のバージョン 2.5 がすでにクラスターに存在する可能性があります。リリース前にカスタムリソースおよび CRD を v1beta2 API バージョンに 変換しなかった 場合、Operator が管理するカスタムリソースおよび CRD は古い API バージョンを使用します。その結果、2.5 Operator は Pending ステータスで停止します。この状況では、AMQ Streams Operator のバージョン 1.7 だけでなくバージョン 2.5 も削除する必要があります。

    両方の Operator を削除すると、新しい Operator バージョンがインストールされるまで、調整は一時停止されます。カスタムリソースへの変更が遅延しないように、次の手順を直ちに実行します。

  6. OperatorHub で、次のいずれかを実行します。

    • AMQ Streams Operator のバージョン 1.8 にアップグレードします (ControlPlaneListener フィーチャーゲートはデフォルトで無効になっています)。
    • ControlPlaneListener フィーチャーゲートを無効にして、AMQ Streams Operator のバージョン 2.0 または 2.2 (ControlPlaneListener フィーチャーゲートがデフォルトで有効になっている) にアップグレードします。
  7. AMQ Streams Operator のバージョン 2.5 にすぐにアップグレードしてください。

    インストールされた 2.5 Operator はクラスターの監視を開始し、ローリング更新を実行します。このプロセス中に、クラスターのパフォーマンスが一時的に低下する場合があります。

23.4.3. インストールファイルを使用した Cluster Operator のアップグレード

この手順では、AMQ Streams 2.5 を使用するように Cluster Operator デプロイメントをアップグレードする方法を説明します。

インストール YAML ファイルを使用して Cluster Operator をデプロイした場合は、以下の手順に従います。

Cluster Operator によって管理される Kafka クラスターの可用性は、アップグレード操作による影響を受けません。

注記

特定バージョンの AMQ Streams へのアップグレード方法は、そのバージョンをサポートするドキュメントを参照してください。

前提条件

手順

  1. 既存の Cluster Operator リソース (/install/cluster-operator ディレクトリー内) に追加した設定変更を書留めておきます。すべての変更は、新しいバージョンの Cluster Operator によって上書きされます。
  2. カスタムリソースを更新して、AMQ Streams バージョン 2.5 で使用できるサポート対象の設定オプションを反映します。
  3. Cluster Operator を更新します。

    1. Cluster Operator を実行している namespace に従い、新しい Cluster Operator バージョンのインストールファイルを編集します。

      Linux の場合は、以下を使用します。

      sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml

      MacOS の場合は、以下を使用します。

      sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
    2. 既存の Cluster Operator Deployment で 1 つ以上の環境変数を編集した場合、install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ファイルを編集し、これらの環境変数を使用します。
  4. 設定を更新したら、残りのインストールリソースとともにデプロイします。

    oc replace -f install/cluster-operator

    ローリング更新が完了するのを待ちます。

  5. 新しい Operator バージョンがアップグレード元の Kafka バージョンをサポートしなくなった場合、Cluster Operator はバージョンがサポートされていないことを示すエラーメッセージを返します。そうでない場合は、エラーメッセージは返されません。

    • エラーメッセージが返される場合は、新しい Cluster Operator バージョンでサポートされる Kafka バージョンにアップグレードします。

      1. Kafka カスタムリソースを編集します。
      2. spec kafka.version プロパティーをサポートされる Kafka バージョンに変更します。
    • エラーメッセージが返されない場合は、次のステップに進みます。Kafka のバージョンを後でアップグレードします。
  6. Kafka Pod のイメージを取得して、アップグレードが正常に完了したことを確認します。

    oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

    イメージタグには、新しい Operator のバージョンが表示されます。以下に例を示します。

    registry.redhat.io/amq-streams/strimzi-kafka-35-rhel8:2.5.1

Cluster Operator はバージョン 2.5 にアップグレードされましたが、管理するクラスターで稼働している Kafka のバージョンは変更されていません。

Cluster Operator のアップグレードの次に、Kafka のアップグレード を実行する必要があります。

23.5. Kafka のアップグレード

Cluster Operator を 2.5 にアップグレードした後、次にすべての Kafka ブローカーをサポートされる最新バージョンの Kafka にアップグレードします。

Kafka のアップグレードは、Kafka ブローカーのローリング更新によって Cluster Operator によって実行されます。

Cluster Operator は、Kafka クラスターの設定に基づいてローリング更新を開始します。

Kafka.spec.kafka.config に以下が含まれている場合Cluster Operator によって開始されるもの

inter.broker.protocol.versionlog.message.format.version の両方。

単一のローリング更新。更新後、inter.broker.protocol.version を手動で更新し、続いて log.message.format.version を更新する必要があります。それぞれを変更すると、ローリング更新がさらにトリガーされます。

inter.broker.protocol.version または log.message.format.version のいずれか。

2 つのローリング更新

inter.broker.protocol.version または log.message.format.version の設定なし。

2 つのローリング更新

重要

Kafka 3.0.0 以降、inter.broker.protocol.version3.0 以上に設定されていると、log.message.format.version オプションは無視されるため、設定する必要はありません。ブローカーの log.message.format.version プロパティーおよびトピックの message.format.version プロパティーは、非推奨となり、Kafka の今後のリリースで削除されます。

Cluster Operator は、Kafka のアップグレードの一環として、ZooKeeper のローリング更新を開始します。

  • ZooKeeper バージョンが変更されなくても、単一のローリング更新が発生します。
  • 新しいバージョンの Kafka に新しいバージョンの ZooKeeper が必要な場合、追加のローリング更新が発生します。

23.5.1. Kafka バージョン

Kafka のログメッセージ形式バージョンと inter-broker プロトコルバージョンは、それぞれメッセージに追加されるログ形式バージョンとクラスターで使用される Kafka プロトコルのバージョンを指定します。正しいバージョンが使用されるようにするため、アップグレードプロセスでは、既存の Kafka ブローカーの設定変更と、クライアントアプリケーション (コンシューマーおよびプロデューサー) のコード変更が行われます。

以下の表は、Kafka バージョンの違いを示しています。

表23.1 Kafka バージョンの相違点
AMQ Streams のバージョンKafka バージョンInter-broker プロトコルバージョンログメッセージ形式バージョンZooKeeper バージョン

2.5

3.5.0

3.5

3.5

3.6.4

2.4

3.4.0

3.4

3.4

3.6.3

注記

AMQ Streams 2.5 は Kafka 3.5.0 を使用しますが、アップグレードの目的で Kafka 3.4.0 もサポートされます。

Inter-broker プロトコルバージョン

Kafka では、Inter-broker の通信に使用されるネットワークプロトコルは Inter-broker プロトコル と呼ばれます。Kafka の各バージョンには、互換性のあるバージョンの Inter-broker プロトコルがあります。上記の表が示すように、プロトコルのマイナーバージョンは、通常 Kafka のマイナーバージョンと一致するように番号が増加されます。

Inter-broker プロトコルのバージョンは、Kafka リソースでクラスター全体に設定されます。これを変更するには、Kafka.spec.kafka.configinter.broker.protocol.version プロパティーを編集します。

ログメッセージ形式バージョン

プロデューサーが Kafka ブローカーにメッセージを送信すると、特定の形式を使用してメッセージがエンコードされます。この形式は Kafka のリリース間で変更になる可能性があるため、メッセージにはエンコードに使用されたメッセージ形式のバージョンが指定されます。

特定のメッセージ形式のバージョンを設定するために使用されるプロパティーは以下のとおりです。

  • トピック用の message.format.version プロパティー
  • Kafka ブローカーの log.message.format.version プロパティー

Kafka 3.0.0 以降、メッセージ形式のバージョンの値は inter.broker.protocol.version と一致すると見なされ、設定する必要はありません。値は、使用される Kafka バージョンを反映します。

Kafka 3.0.0 以降にアップグレードする場合は、inter.broker.protocol.version を更新する際にこの設定を削除できます。それ以外の場合は、アップグレード先の Kafka バージョンに基づいてメッセージ形式のバージョンを設定します。

トピックの message.format.version のデフォルト値は、Kafka ブローカーに設定される log.message.format.version によって定義されます。トピックの message.format.version は、トピック設定を編集すると手動で設定できます。

23.5.2. クライアントをアップグレードするストラテジー

Kafka クライアントをアップグレードすると、Kafka の新しいバージョンで導入された機能、修正、改善の恩恵を受けることができます。アップグレードされたクライアントは、他のアップグレードされた Kafka コンポーネントとの互換性を維持します。クライアントのパフォーマンスと安定性も向上する可能性があります。

スムーズな移行を確保するために、Kafka クライアントとブローカーをアップグレードするための最適なアプローチを検討してください。選択するアップグレード戦略は、ブローカーを最初にアップグレードするかクライアントを最初にアップグレードするかによって異なります。Kafka 3.0 以降、ブローカーとクライアントを独立して任意の順序でアップグレードできるようになりました。クライアントまたはブローカーをアップグレードするかどうかは、最初に、アップグレードする必要があるアプリケーションの数や許容できるダウンタイムの量など、いくつかの要因によって決まります。

ブローカーより前にクライアントをアップグレードすると、一部の新機能はブローカーによってまだサポートされていないため、機能しない可能性があります。ただし、ブローカーは、異なるバージョンで実行され、異なるログメッセージバージョンをサポートするプロデューサーとコンシューマーを処理できます。

Kafka 3.0 より古いバージョンの Kafka を使用する場合のクライアントのアップグレード

Kafka 3.0 より前では、log.message.format.version プロパティー (またはトピックレベルの message.format.version プロパティー) を使用して、ブローカーの特定のメッセージ形式を設定していました。これにより、ブローカーは、古いメッセージ形式を使用していた古い Kafka クライアントをサポートできるようになりました。そうしないと、ブローカーは古いクライアントからのメッセージを変換する必要があり、これには大幅なパフォーマンスコストがかかります。

Apache Kafka Java クライアントは、バージョン 0.11 以降、最新のメッセージ形式バージョンをサポートしています。すべてのクライアントが最新のメッセージバージョンを使用している場合は、ブローカーをアップグレードするときに、log.message.format.version または message.format.version のオーバーライドを削除できます。

ただし、古いメッセージ形式バージョンを使用しているクライアントがまだある場合は、まずクライアントをアップグレードすることを推奨します。コンシューマーから始めて、ブローカーのアップグレード時に log.message.format.version または message.format.version のオーバーライドを削除する前に、プロデューサーをアップグレードします。これにより、すべてのクライアントが最新のメッセージ形式バージョンをサポートできるようになり、アップグレードプロセスがスムーズに進むようになります。

次のメトリックを使用して、Kafka クライアントの名前とバージョンを追跡できます。

  • kafka.server:type=socket-server-metrics,clientSoftwareName=<name>,clientSoftwareVersion=<version>,listener=<listener>,networkProcessor=<processor>
ヒント

次の Kafka ブローカーメトリックは、メッセージのダウンコンバージョンのパフォーマンスを監視するのに役立ちます。

  • kafka.network:type=RequestMetrics,name=MessageConversionsTimeMs,request={Produce|Fetch} はメッセージ変換の実行にかかる時間に関するメトリックを提供します。
  • kafka.server:type=BrokerTopicMetrics,name={Produce|Fetch}MessageConversionsPerSec,topic=(-.\w+) は一定期間に変換されたメッセージの数に関するメトリックを提供します。

23.5.3. Kafka バージョンおよびイメージマッピング

Kafka のアップグレード時に、STRIMZI_KAFKA_IMAGES 環境変数と Kafka.spec.kafka.version プロパティーの設定について考慮してください。

  • それぞれの Kafka リソースは Kafka.spec.kafka.version で設定できます。
  • Cluster Operator の STRIMZI_KAFKA_IMAGES 環境変数により、Kafka のバージョンと、指定の Kafka リソースでそのバージョンが要求されるときに使用されるイメージをマッピングできます。

    • Kafka.spec.kafka.image を設定しないと、そのバージョンのデフォルトのイメージが使用されます。
    • Kafka.spec.kafka.image を設定すると、デフォルトのイメージがオーバーライドされます。
警告

Cluster Operator は、Kafka ブローカーの想定されるバージョンが実際にイメージに含まれているかどうかを検証できません。所定のイメージが所定の Kafka バージョンに対応することを必ず確認してください。

23.5.4. Kafka ブローカーおよびクライアントアプリケーションのアップグレード

AMQ Streams Kafka クラスターを、サポートされている最新の Kafka バージョンおよび インターブローカープロトコルバージョン にアップグレードします。

クライアントをアップグレードするストラテジー を選択する必要もあります。Kafka クライアントは、この手順の 6 でアップグレードされます。

前提条件

  • Cluster Operator が稼働しています。
  • AMQ Streams Kafka クラスターをアップグレードする前に、Kafka リソースの Kafka.spec.kafka.config プロパティーに、新しい Kafka バージョンでサポートされていない設定オプションが含まれてい ない ことを確認してください。

手順

  1. Kafka クラスター設定を更新します。

    oc edit kafka <my_cluster>
  2. 設定されている場合は、inter.broker.protocol.version および log.message.format.version プロパティーが 現在の バージョンに設定されていることを確認してください。

    たとえば、Kafka バージョン 3.4.0 から 3.5.0 にアップグレードする場合、現在のバージョンは 3.4 です。

    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.4.0
        config:
          log.message.format.version: "3.4"
          inter.broker.protocol.version: "3.4"
          # ...

    log.message.format.version および inter.broker.protocol.version が設定されていない場合、AMQ Streams では、次のステップの Kafka バージョンの更新後、これらのバージョンを現在のデフォルトに自動的に更新します。

    注記

    log.message.format.version および inter.broker.protocol.version の値は、浮動小数点数として解釈されないように文字列である必要があります。

  3. Kafka.spec.kafka.version を変更して、新しい Kafka バージョンを指定します。現在の Kafka バージョンのデフォルトで log.message.format.version および inter.broker.protocol.version のままにします。

    注記

    kafka.version を変更すると、クラスターのすべてのブローカーがアップグレードされ、新しいブローカーバイナリーの使用が開始されます。このプロセスでは、一部のブローカーは古いバイナリーを使用し、他のブローカーはすでに新しいバイナリーにアップグレードされています。inter.broker.protocol.version を現在の設定のままにしておくと、ブローカーはアップグレード中に相互に通信し続けることができます。

    たとえば、Kafka 3.4.0 から 3.5.0 にアップグレードする場合:

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.5.0 1
        config:
          log.message.format.version: "3.4" 2
          inter.broker.protocol.version: "3.4" 3
          # ...
    1
    Kafka のバージョンが新しいバージョンに変更されます。
    2
    メッセージ形式のバージョンは変更されません。
    3
    ブローカー間のプロトコルバージョンは変更されません。
    警告

    新しい Kafka バージョンの inter.broker.protocol.version が変更された場合は、Kafka をダウングレードできません。ブローカー間プロトコルのバージョンは、__consumer_offsets に書き込まれたメッセージなど、ブローカーによって保存される永続メタデータに使用されるスキーマを判断します。ダウングレードされたクラスターはメッセージを理解しません。

  4. Kafka クラスターのイメージが Kafka.spec.kafka.image の Kafka カスタムリソースで定義されている場合、image を更新して、新しい Kafka バージョンでコンテナーイメージを示すようにします。

    Kafka バージョンおよびイメージマッピング を参照してください。

  5. エディターを保存して終了し、ローリング更新の完了を待ちます。

    Pod の状態の遷移を監視して、ローリング更新の進捗を確認します。

    oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

    ローリング更新により、各 Pod が新バージョンの Kafka のブローカーバイナリーを使用するようになります。

  6. クライアントのアップグレードに選択したストラテジー に応じて、新バージョンのクライアントバイナリーを使用するようにすべてのクライアントアプリケーションをアップグレードします。

    必要に応じて、Kafka Connect および MirrorMaker の version プロパティーを新バージョンの Kafka として設定します。

    1. Kafka Connect では、KafkaConnect.spec.version を更新します。
    2. MirrorMaker では、KafkaMirrorMaker.spec.version を更新します。
    3. MirrorMaker 2 の場合は、KafkaMirrorMaker2.spec.version を更新します。
  7. 設定されている場合、新しい inter.broker.protocol.version バージョンを使用するように Kafka リソースを更新します。それ以外の場合は、ステップ 9 に進みます。

    たとえば、Kafka 3.5.0 にアップグレードする場合:

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.5.0
        config:
          log.message.format.version: "3.4"
          inter.broker.protocol.version: "3.5"
          # ...
  8. Cluster Operator によってクラスターが更新されるまで待ちます。
  9. 設定されている場合、新しい log.message.format.version バージョンを使用するように Kafka リソースを更新します。それ以外の場合は、ステップ 10 に進みます。

    たとえば、Kafka 3.5.0 にアップグレードする場合:

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.5.0
        config:
          log.message.format.version: "3.5"
          inter.broker.protocol.version: "3.5"
          # ...
    重要

    Kafka 3.0.0 以降、inter.broker.protocol.version3.0 以上に設定されていると、log.message.format.version オプションは無視されるため、設定する必要はありません。

  10. Cluster Operator によってクラスターが更新されるまで待ちます。

    • これで、Kafka クラスターおよびクライアントが新バージョンの Kafka を使用するようになります。
    • ブローカーは、ブローカー間プロトコルバージョンと新バージョンの Kafka のメッセージ形式バージョンを使用して、メッセージを送信するように設定されます。

23.6. AMQ Streams のアップグレード時に FIPS モードに切り替える

AMQ Streams をアップグレードして、FIPS 対応の OpenShift クラスターで FIPS モードで実行します。AMQ Streams 2.4 までは、FIPS_MODE 環境変数を使用して FIPS モードを無効にすることによってのみ、FIPS 対応の OpenShift クラスターでの実行が可能でした。リリース 2.4 から、AMQ Streams は FIPS モードをサポートします。FIPS_MODE を disabled に設定して、FIPS 対応の OpenShift クラスターで AMQ Streams を実行する場合は、この手順に従って有効にすることができます。

前提条件

  • FIPS 対応の OpenShift クラスター
  • FIPS_MODE 環境変数が disabled に設定された既存の Cluster Operator デプロイメント

手順

  1. Cluster Operator をバージョン 2.4 以降にアップグレードしますが、FIPS_MODE 環境変数を disabled に設定したままにします。
  2. 最初に AMQ Streams バージョン 2.3 より古いものをデプロイした場合、PKCS #12 ストアで古い暗号化アルゴリズムとダイジェストアルゴリズムが使用される可能性があります。これらは、FIPS が有効になっている場合はサポートされません。更新されたアルゴリズムで証明書を再作成するには、クラスターとクライアントの CA 証明書を更新します。

  3. SCRAM-SHA-512 認証を使用する場合は、ユーザーのパスワードの長さを確認してください。長さが 32 文字未満の場合は、次のいずれかの方法で新しいパスワードを生成します。

    1. ユーザーオペレーターが十分な長さの新しいパスワードを使用して新しいパスワードを生成できるように、ユーザーシークレットを削除します。
    2. KafkaUser カスタムリソースの .spec.authentication.password プロパティーを使用してパスワードを指定した場合は、同じパスワード設定で参照されている OpenShift シークレットのパスワードを更新します。新しいパスワードを使用するようにクライアントを更新することを忘れないでください。
  4. CA 証明書が正しいアルゴリズムを使用していること、および SCRAM-SHA-512 パスワードが十分な長さであることを確認してください。その後、FIPS モードを有効にできます。
  5. Cluster Operator デプロイメントから FIPS_MODE 環境変数を削除します。これにより Cluster Operator が再起動され、すべてのオペランドがロールされて FIPS モードが有効になります。再起動が完了すると、すべての Kafka クラスターが FIPS モードを有効にして実行されるようになります。

第24章 AMQ Streams のダウングレード

アップグレードしたバージョンの AMQ Streams で問題が発生した場合は、インストールを直前のバージョンに戻すことができます。

YAML インストールファイルを使用して AMQ Streams をインストールした場合は、以前のリリースから YAML インストールファイルを使用して、以下のダウングレード手順を実行できます。

以前のバージョンの AMQ Streams では使用している Kafka バージョンがサポートされない場合、メッセージに追加されるログメッセージ形式のバージョンが一致すれば Kafka をダウングレードすることができます。

警告

次のダウングレード手順は、インストールファイルを使用して AMQ Streams をインストールした場合にのみ適しています。OperatorHub などの別の方法を使用して AMQ Streams をインストールした場合、ドキュメントで指定されていないかぎり、その方法ではダウングレードがサポートされない可能性があります。ダウングレードプロセスを確実に成功させるには、サポートされているアプローチを使用することが不可欠です。

24.1. Cluster Operator の以前のバージョンへのダウングレード

AMQ Streams で問題が発生した場合は、インストールを元に戻すことができます。

この手順では、Cluster Operator デプロイメントを以前のバージョンにダウングレードする方法を説明します。

前提条件

作業を開始する前に

AMQ Streams フィーチャーゲート のダウングレード要件を確認してください。フィーチャーゲートが永続的に有効になっている場合は、ターゲットバージョンにダウングレードする前に、フィーチャーゲートを無効にできるバージョンにダウングレードする必要がある場合があります。

手順

  1. 既存の Cluster Operator リソース (/install/cluster-operator ディレクトリー内) に追加した設定変更を書留めておきます。すべての変更は、以前のバージョンの Cluster Operator によって上書きされます。
  2. カスタムリソースを元に戻して、ダウングレードする AMQ Streams バージョンで利用可能なサポート対象の設定オプションを反映します。
  3. Cluster Operator を更新します。

    1. Cluster Operator を実行している namespace に従い、以前のバージョンのインストールファイルを編集します。

      Linux の場合は、以下を使用します。

      sed -i 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml

      MacOS の場合は、以下を使用します。

      sed -i '' 's/namespace: .*/namespace: my-cluster-operator-namespace/' install/cluster-operator/*RoleBinding*.yaml
    2. 既存の Cluster Operator Deployment で 1 つ以上の環境変数を編集した場合、install/cluster-operator/060-Deployment-strimzi-cluster-operator.yaml ファイルを編集し、これらの環境変数を使用します。
  4. 設定を更新したら、残りのインストールリソースとともにデプロイします。

    oc replace -f install/cluster-operator

    ローリング更新が完了するのを待ちます。

  5. Kafka Pod のイメージを取得して、ダウングレードが正常に完了したことを確認します。

    oc get pod my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

    イメージタグには、新しい AMQ Streams バージョンと Kafka バージョンが順に示されます。例: NEW-STRIMZI-VERSION-kafka-CURRENT-KAFKA-VERSION

Cluster Operator は以前のバージョンにダウングレードされました。

24.2. Kafka のダウングレード

Kafka バージョンのダウングレードは、Cluster Operator によって実行されます。

24.2.1. ダウングレードでの Kafka バージョンの互換性

Kafka のダウングレードは、互換性のある現在およびターゲットの Kafka バージョン と、メッセージがログに記録された状態に依存します。

そのバージョンが、クラスターでこれまで使用された inter.broker.protocol.version 設定をサポートしない場合、または新しい log.message.format.version を使用するメッセージログにメッセージが追加された場合は、下位バージョンの Kafka に戻すことはできません。

Inter.broker.protocol.version は、__consumer_offsets に書き込まれたメッセージのスキーマなど、ブローカーによって保存される永続メタデータに使用されるスキーマを判断します。クラスターで以前使用された inter.broker.protocol.version が認識されない Kafka バージョンにダウングレードすると、ブローカーが認識できないデータが発生します。

ダウングレードする Kafka のバージョンの関係は次のとおりです。

  • ダウングレードする Kafka バージョンの log.message.format.version が現行バージョンと 同じ である場合、Cluster Operator は、ブローカーのローリング再起動を 1 回実行してダウングレードを行います。
  • 別の log.message.format.version の場合、ダウングレード後の Kafka バージョンが使用するバージョンに設定された log.message.format.version に 実行中のクラスターに存在する場合に限り、ダウングレードが可能です。通常は、アップグレードの手順が log.message.format.version の変更前に中止された場合にのみ該当します。その場合、ダウングレードには以下が必要です。

    • 2 つのバージョンで Interbroker プロトコルが異なる場合、ブローカーのローリング再起動が 2 回必要です。
    • 両バージョンで同じ場合は、ローリング再起動が 1 回必要です。

以前のバージョンでサポートされない log.message.format.version が新バージョンで使われていた場合 (log.message.format.version のデフォルト値が使われていた場合など)、ダウングレードは実行 できません。たとえば、log.message.format.version が変更されていないため、このリソースは Kafka バージョン 3.4.0 にダウングレードできます。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
spec:
  # ...
  kafka:
    version: 3.5.0
    config:
      log.message.format.version: "3.4"
      # ...

log.message.format.version3.5 に設定されているか、値が指定されていない場合、パラメーターが 3.5.0 ブローカーのデフォルト値 3.5 を取得した場合、ダウングレードは不可能です。

重要

Kafka 3.0.0 以降、inter.broker.protocol.version3.0 以上に設定されていると、log.message.format.version オプションは無視されるため、設定する必要はありません。

24.2.2. Kafka ブローカーおよびクライアントアプリケーションのダウングレード

AMQ Streams Kafka クラスターを Kafka の下位 (以前の) バージョンにダウングレードします (3.5.0 から 3.4.0 へのダウングレードなど)。

前提条件

  • Cluster Operator が稼働しています。
  • AMQ Streams Kafka クラスターをダウングレードする前に、Kafka リソースについて以下を確認してください。

    • 重要: Kafka バージョンの互換性
    • Kafka.spec.kafka.config に、ダウングレードする Kafka バージョンでサポートされていないオプションが含まれていない。
    • Kafka.spec.kafka.config に、ダウングレード先の Kafka バージョンでサポートされる log.message.format.versioninter.broker.protocol.version がある。

      Kafka 3.0.0 以降、inter.broker.protocol.version3.0 以上に設定されていると、log.message.format.version オプションは無視されるため、設定する必要はありません。

手順

  1. Kafka クラスター設定を更新します。

    oc edit kafka KAFKA-CONFIGURATION-FILE
  2. Kafka.spec.kafka.version を変更して、以前のバージョンを指定します。

    たとえば、Kafka 3.5.0 から 3.4.0 にダウングレードする場合:

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.4.0 1
        config:
          log.message.format.version: "3.4" 2
          inter.broker.protocol.version: "3.4" 3
          # ...
    1
    Kafka のバージョンが以前のバージョンに変更されます。
    2
    メッセージ形式のバージョンは変更されません。
    3
    ブローカー間のプロトコルバージョンは変更されません。
    注記

    log.message.format.version および inter.broker.protocol.version の値は、浮動小数点数として解釈されないように文字列である必要があります。

  3. Kafka バージョンのイメージが Cluster Operator の STRIMZI_KAFKA_IMAGES に定義されているイメージとは異なる場合は、Kafka.spec.kafka.image を更新します。

    「Kafka バージョンおよびイメージマッピング」 を参照

  4. エディターを保存して終了し、ローリング更新の完了を待ちます。

    更新をログで確認するか、Pod 状態の遷移を監視して確認します。

    oc logs -f CLUSTER-OPERATOR-POD-NAME | grep -E "Kafka version downgrade from [0-9.]+ to [0-9.]+, phase ([0-9]+) of \1 completed"
    oc get pod -w

    Cluster Operator ログで INFO レベルのメッセージを確認します。

    Reconciliation #NUM(watch) Kafka(NAMESPACE/NAME): Kafka version downgrade from FROM-VERSION to TO-VERSION, phase 1 of 1 completed
  5. すべてのクライアントアプリケーション (コンシューマー) をダウングレードして、以前のバージョンのクライアントバイナリーを使用します。

    これで、Kafka クラスターおよびクライアントは以前の Kafka バージョンを使用するようになります。

  6. トピックメタデータの保存に ZooKeeper を使用する 1.7 よりも前のバージョンの AMQ Streams に戻す場合は、Kafka クラスターから内部トピックストアのトピックを削除します。

    oc run kafka-admin -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi-topic-operator-kstreams-topic-store-changelog --delete && ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi_store_topic --delete

第25章 大量のメッセージ処理

AMQ Streams デプロイメントで大量のメッセージを処理する必要がある場合は、設定オプションを使用してスループットとレイテンシーを最適化できます。

プロデューサーとコンシューマーの設定は、Kafka ブローカーへの要求のサイズと頻度を制御するのに役立ちます。設定オプションの詳細は、以下を参照してください。

また、Kafka Connect ランタイムソースコネクター (MirrorMaker 2 を含む) およびシンクコネクターで使用されるプロデューサーとコンシューマーで同じ設定オプションを使用することもできます。

ソースコネクター
  • Kafka Connect ランタイムのプロデューサーは、メッセージを Kafka クラスターに送信します。
  • MirrorMaker 2 の場合、ソースシステムは Kafka であるため、コンシューマーはソース Kafka クラスターからメッセージを取得します。
シンクコネクター
  • Kafka Connect ランタイムのコンシューマーは、Kafka クラスターからメッセージを取得します。

コンシューマーの場合、1 回のフェッチリクエストでフェッチされるデータの量を増やして、レイテンシーを短縮することができます。fetch.max.bytes および max.partition.fetch.bytes プロパティーを使用して、フェッチ要求のサイズを増やします。max.poll.records プロパティーを使用して、コンシューマーバッファーから返されるメッセージ数の上限を設定することもできます。

MirrorMaker 2 の場合、ソースからメッセージをフェッチする特定のコンシューマーに関連して、ソースコネクターレベル (consumer.*) で fetch.max.bytesmax.partition.fetch.bytes、および max.poll.records の値を設定します。

プロデューサーの場合は、1 つの生成リクエストで送信されるメッセージバッチのサイズを増やすことができます。batch.size プロパティーを使用してバッチサイズを増やします。バッチサイズを大きくすると、送信する準備ができている未処理のメッセージの数と、メッセージキュー内のバックログのサイズが減少します。同じパーティションに送信されるメッセージはまとめてバッチ処理されます。バッチサイズに達すると、プロデュースリクエストがターゲットクラスターに送信されます。バッチサイズを大きくすると、プロデュースリクエストが遅延し、より多くのメッセージがバッチに追加され、同時にブローカーに送信されます。これにより、多数のメッセージを処理するトピックパーティションが複数ある場合に、スループットが向上します。

プロデューサーが適切なプロデューサーバッチサイズに対して処理するレコードの数とサイズを考慮します。

linger.ms を使用してミリ秒単位の待機時間を追加し、プロデューサーの負荷が減少したときにプロデュースリクエストを遅らせます。遅延は、最大バッチサイズ未満の場合に、より多くのレコードをバッチに追加できることを意味します。

ソースコネクターレベル (producer.override.*) で batch.size および linger.ms の値を設定します。これは、ターゲット Kafka クラスターにメッセージを送信する特定のプロデューサーに関連するためです。

Kafka Connect ソースコネクターでは、ターゲット Kafka クラスターへのデータストリーミングパイプラインは以下のようになります。

Kafka Connect ソースコネクターのデータストリーミングパイプライン

外部データソース → (Kafka Connect タスク) ソースメッセージキュー → プロデューサーバーッファー → ターゲット Kafka トピック

Kafka Connect シンクコネクターの場合、ターゲット外部データソースへのデータストリーミングパイプラインは次のとおりです。

Kafka Connect シンクコネクターのデータストリーミングパイプライン

ソース Kafka トピック → (Kafka Connect タスク) シンクメッセージキュー → コンシューマーバッファー → 外部データソース

MirrorMaker 2 の場合、ターゲット Kafka クラスターへのデータミラーリングパイプラインは次のとおりです。

MirrorMaker 2 のデータミラーリングパイプライン

ソース Kafka トピック → (Kafka Connect タスク) ソースメッセージキュー → プロデューサーバーッファー → ターゲット Kafka トピック

プロデューサーは、バッファー内のメッセージをターゲット Kafka クラスター内のトピックに送信します。これが発生している間、Kafka Connect タスクは引き続きデータソースをポーリングして、ソースメッセージキューにメッセージを追加します。

ソースコネクターのプロデューサーバーッファーのサイズは、producer.override.buffer.memory プロパティーを使用して設定されます。タスクは、バッファーがフラッシュされる前に、指定されたタイムアウト期間 (offset.flush.timeout.ms) 待機します。これは、送信されたメッセージがブローカーによって確認され、コミットされたデータがオフセットされるのに十分な時間です。ソースタスクは、シャットダウン中を除き、オフセットをコミットする前にプロデューサーがメッセージキューを空にするのを待ちません。

プロデューサーがソースメッセージキュー内のメッセージのスループットについていけない場合、バッファリングは、max.block.ms で制限された期間内にバッファーに使用可能なスペースができるまでブロックされます。バッファー内に未確認のメッセージがあれば、この期間中に送信されます。これらのメッセージが確認されてフラッシュされるまで、新しいメッセージはバッファーに追加されません。

次の設定変更を試して、未処理メッセージの基になるソースメッセージキューを管理可能なサイズに保つことができます。

  • offset.flush.timeout.ms のデフォルト値 (ミリ秒) を増やす
  • 十分な CPU およびメモリーリソースがあることを確認します。
  • 以下を実行して、並行して実行されるタスクの数を増やします。

    • tasksMax プロパティーを使用して並行して実行するタスクの数を増やす
    • replicas プロパティーを使用してタスクを実行するワーカーノードの数の増加

使用可能な CPU とメモリーリソース、およびワーカーノードの数に応じて、並列実行できるタスクの数を検討してください。必要な効果が得られるまで、設定値を調整し続けることを推奨します。

25.1. 大量メッセージ用の Kafka Connect の設定

Kafka Connect は、ソースの外部データシステムからデータをフェッチし、それを Kafka Connect ランタイムプロデューサーに渡して、ターゲットクラスターにレプリケートします。

次の例は、KafkaConnect カスタムリソースを使用した Kafka Connect の設定を示しています。

大量のメッセージを処理するための Kafka Connect 設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect-cluster
  annotations:
    strimzi.io/use-connector-resources: "true"
spec:
  replicas: 3
  config:
    offset.flush.timeout.ms: 10000
    # ...
  resources:
    requests:
      cpu: "1"
      memory: 2Gi
    limits:
      cpu: "2"
      memory: 2Gi
  # ...

プロデューサー設定は、KafkaConnector カスタムリソースを使用して管理されるソースコネクター用に追加されます。

大量のメッセージを処理するためのソースコネクターの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
metadata:
  name: my-source-connector
  labels:
    strimzi.io/cluster: my-connect-cluster
spec:
  class: org.apache.kafka.connect.file.FileStreamSourceConnector
  tasksMax: 2
  config:
    producer.override.batch.size: 327680
    producer.override.linger.ms: 100
    # ...

注記

FileStreamSourceConnector および FileStreamSinkConnector は、コネクターの例として提供されています。これらを KafkaConnector リソースとしてデプロイする方法については、「KafkaConnector リソースのデプロイ」 を参照してください。

シンクコネクターのコンシューマー設定が追加されます。

大量のメッセージを処理するためのシンクコネクターの設定例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnector
metadata:
  name: my-sink-connector
  labels:
    strimzi.io/cluster: my-connect-cluster
spec:
  class: org.apache.kafka.connect.file.FileStreamSinkConnector
  tasksMax: 2
  config:
    consumer.fetch.max.bytes: 52428800
    consumer.max.partition.fetch.bytes: 1048576
    consumer.max.poll.records: 500
    # ...

KafkaConnector カスタムリソースの代わりに Kafka Connect API を使用してコネクターを管理している場合は、コネクター設定を JSON オブジェクトとして追加できます。

大量のメッセージを処理するためのソースコネクター設定を追加するための curl 要求の例

curl -X POST \
  http://my-connect-cluster-connect-api:8083/connectors \
  -H 'Content-Type: application/json' \
  -d '{ "name": "my-source-connector",
    "config":
    {
      "connector.class":"org.apache.kafka.connect.file.FileStreamSourceConnector",
      "file": "/opt/kafka/LICENSE",
      "topic":"my-topic",
      "tasksMax": "4",
      "type": "source"
      "producer.override.batch.size": 327680
      "producer.override.linger.ms": 100
    }
}'

25.2. 大量のメッセージ用の MirrorMaker 2 の設定

MirrorMaker 2 はソースクラスターからデータを取得し、それを Kafka Connect ランタイムプロデューサーに渡して、ターゲットクラスターにレプリケーションします。

次の例は、KafkaMirrorMaker2 カスタムリソースを使用した MirrorMaker 2 の設定を示しています。

大量のメッセージを処理するための MirrorMaker 2 設定の例

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaMirrorMaker2
metadata:
  name: my-mirror-maker2
spec:
  version: 3.5.0
  replicas: 1
  connectCluster: "my-cluster-target"
  clusters:
  - alias: "my-cluster-source"
    bootstrapServers: my-cluster-source-kafka-bootstrap:9092
  - alias: "my-cluster-target"
    config:
      offset.flush.timeout.ms: 10000
    bootstrapServers: my-cluster-target-kafka-bootstrap:9092
  mirrors:
  - sourceCluster: "my-cluster-source"
    targetCluster: "my-cluster-target"
    sourceConnector:
      tasksMax: 2
      config:
        producer.override.batch.size: 327680
        producer.override.linger.ms: 100
        consumer.fetch.max.bytes: 52428800
        consumer.max.partition.fetch.bytes: 1048576
        consumer.max.poll.records: 500
    # ...
  resources:
    requests:
      cpu: "1"
      memory: Gi
    limits:
      cpu: "2"
      memory: 4Gi

25.3. MirrorMaker 2 メッセージフローの確認

Prometheus と Grafana を使用してデプロイメントを監視している場合は、MirrorMaker 2 のメッセージフローを確認できます。

AMQ Streams で提供される MirrorMaker 2 Grafana ダッシュボードの例には、フラッシュパイプラインに関連する次のメトリックが表示されます。

  • Kafka Connect の未処理メッセージキューにあるメッセージの数
  • プロデューサーバーッファーの使用可能なバイト数
  • オフセットコミットタイムアウト (ミリ秒)

これらのメトリックを使用して、メッセージの量に基づいて設定を調整する必要があるかどうかを判断できます。

第26章 Kafka の再起動に関する情報の検索

Cluster Operator が OpenShift クラスターで Kafka Pod を再起動した後、Pod が再起動した理由を説明する OpenShift イベントを Pod の namespace に発行します。クラスターの動作を理解するために、コマンドラインから再起動イベントを確認できます。

ヒント

Prometheus などのメトリック収集ツールを使用して、再起動イベントをエクスポートおよび監視できます。出力を適切な形式でエクスポートできる イベントエクスポーター でメトリックツールを使用します。

26.1. 再起動イベントの理由

Cluster Operator は、特定の理由で再起動イベントを開始します。再起動イベントに関する情報をフェッチすることで、理由を確認できます。

表26.1 再起動の理由
イベント説明

CaCertHasOldGeneration

Pod はまだ古い CA で署名されたサーバー証明書を使用しているため、証明書の更新の一環として再起動する必要があります。

CaCertRemoved

期限切れの CA 証明書が削除され、Pod が再起動されて現在の証明書で実行されます。

CaCertRenewed

CA 証明書が更新され、Pod が再起動され、更新された証明書で実行されます。

ClientCaCertKeyReplaced

クライアント CA 証明書の署名に使用されるキーが置き換えられ、CA 更新プロセスの一環として Pod が再起動されています。

ClusterCaCertKeyReplaced

クラスターの CA 証明書の署名に使用されたキーが置き換えられ、CA 更新プロセスの一環として Pod が再起動されています。

ConfigChangeRequiresRestart

一部の Kafka 設定プロパティーは動的に変更されますが、ブローカーの再始動が必要になるものもあります。

FileSystemResizeNeeded

ファイルシステムのサイズが大きくなり、適用するには再起動が必要です。

KafkaCertificatesChanged

Kafka ブローカーによって使用される 1 つ以上の TLS 証明書が更新されており、それらを使用するには再起動が必要です。

ManualRollingUpdate

ユーザーは、再起動をトリガーするために、Pod、または Pod が属する StrimziPodSet セットにアノテーションを付けました。

PodForceRestartOnError

修正するには Pod の再起動が必要なエラーが発生しました。

PodHasOldRevision

Kafka ボリュームに対してディスクが追加または削除されました。変更を適用するには再起動が必要です。StrimziPodSet リソースの使用時に Pod を再作成する必要がある場合も同じ理由が示されます。

PodHasOldRevision

Pod がメンバーである StrimziPodSet が更新されたため、Pod を再作成する必要があります。StrimziPodSet リソースを使用する場合、ディスクが Kafka ボリュームから追加または削除された場合に同じ理由が示されます。

PodStuck

Pod はまだ保留中であり、スケジュールされていないかスケジュールできないため、Operator は稼働を続けるための最終手段として Pod を再起動しました。

PodUnresponsive

AMQ Streams が Pod に接続できませんでした。これはブローカーが正しく起動していないことを示している可能性があるため、Operator は問題を解決するために Pod を再起動しました。

26.2. イベントフィルターの再起動

コマンドラインから再起動イベントをチェックする場合は、field-selector を指定して、OpenShift イベントフィールドをフィルタリングできます。

次のフィールドは、field-selector でイベントをフィルタリングするときに使用できます。

regardingObject.kind
再起動されたオブジェクト。再起動イベントの場合、種類は常に Pod です。
regarding.namespace
Pod が属する namespace。
regardingObject.name
Pod の名前 (例: strimzi-cluster-kafka-0)
regardingObject.uid
Pod の一意の ID。
reason
Pod が再起動された理由 (JbodVolumesChanged など)。
reportingController
AMQ Streams 再起動イベントのレポートコンポーネントは、常に strimzi.io/cluster-operator です。
source
source は、reportingController の古いバージョンです。AMQ Streams 再起動イベントのレポートコンポーネントは、常に strimzi.io/cluster-operator です。
type
Warning または Normal のいずれかのイベントタイプ。AMQ Streams 再起動イベントの場合、タイプは Normal です。
注記

古いバージョンの OpenShift では、requiring 接頭辞を使用するフィールドは、代わにり includedObject 接頭辞を使用する場合があります。以前は reportingControllerreportingComponent と呼ばれていました。

26.3. Kafka の再起動の確認

Cluster Operator によって開始された再起動イベントを一覧表示するには、oc コマンドを使用します。reportingController または ソース イベントフィールドを使用して Cluster Operator をレポートコンポーネントとして設定し、Cluster Operator によって出力される再起動イベントをフィルターします。

前提条件

  • Cluster Operator は OpenShift クラスターで実行されています。

手順

  1. Cluster Operator によって発行されたすべての再起動イベントを取得します。

    oc -n kafka get events --field-selector reportingController=strimzi.io/cluster-operator

    返されたイベントを示す例

    LAST SEEN   TYPE     REASON                   OBJECT                        MESSAGE
    2m          Normal   CaCertRenewed            pod/strimzi-cluster-kafka-0   CA certificate renewed
    58m         Normal   PodForceRestartOnError   pod/strimzi-cluster-kafka-1   Pod needs to be forcibly restarted due to an error
    5m47s       Normal   ManualRollingUpdate      pod/strimzi-cluster-kafka-2   Pod was manually annotated to be rolled

    reason またはその他の field-selector オプションを指定して、返されるイベントを制限することもできます。

    ここで、特定の理由が追加されます。

    oc -n kafka get events --field-selector reportingController=strimzi.io/cluster-operator,reason=PodForceRestartOnError
  2. YAML などの出力形式を使用して、1 つ以上のイベントに関するより詳細な情報を返します。

    oc -n kafka get events --field-selector reportingController=strimzi.io/cluster-operator,reason=PodForceRestartOnError -o yaml

    詳細なイベント出力を示す例

    apiVersion: v1
    items:
    - action: StrimziInitiatedPodRestart
      apiVersion: v1
      eventTime: "2022-05-13T00:22:34.168086Z"
      firstTimestamp: null
      involvedObject:
          kind: Pod
          name: strimzi-cluster-kafka-1
          namespace: kafka
      kind: Event
      lastTimestamp: null
      message: Pod needs to be forcibly restarted due to an error
      metadata:
          creationTimestamp: "2022-05-13T00:22:34Z"
          generateName: strimzi-event
          name: strimzi-eventwppk6
          namespace: kafka
          resourceVersion: "432961"
          uid: 29fcdb9e-f2cf-4c95-a165-a5efcd48edfc
      reason: PodForceRestartOnError
      reportingController: strimzi.io/cluster-operator
      reportingInstance: strimzi-cluster-operator-6458cfb4c6-6bpdp
      source: {}
      type: Normal
    kind: List
    metadata:
      resourceVersion: ""
      selfLink: ""

以下のフィールドは非推奨となったため、これらのイベントでは入力されません。

  • firstTimestamp
  • lastTimestamp
  • source

第27章 AMQ Streams の管理

AMQ Streams を管理するには、Kafka クラスターと関連リソースのスムーズな実行を維持するためにさまざまなタスクを実行する必要があります。oc コマンドを使用してリソースのステータスを確認し、ローリング 更新のメンテナンス期間を設定し、AMQ Streams Drain Cleaner や Kafka Static Quota プラグインなどのツールを活用してデプロイメントを効果的に管理します。

27.1. カスタムリソースの使用

oc コマンドを使用して、AMQ Streams カスタムリソースで情報を取得し、他の操作を実行できます。

カスタムリソースの status サブリソースで oc を使用すると、リソースに関する情報を取得できます。

27.1.1. カスタムリソースでの oc 操作の実施

リソースタイプに対して操作を行うには、getdescribeeditdelete などの oc コマンドを使用します。たとえば、oc get kafkatopics はすべての Kafka トピックのリストを取得し、oc get kafkas はデプロイされたすべての Kafka クラスターを取得します。

リソースタイプを参照する際には、単数形と複数形の両方の名前を使うことができます。oc get kafkasoc get kafka と同じ結果になります。

リソースの 短縮名 を使用することもできます。短縮名を理解すると、AMQ Streams を管理する時間を節約できます。Kafka のショートネームは k なので、oc get k を実行してすべての Kafka クラスターをリストアップすることもできます。

oc get k

NAME         DESIRED KAFKA REPLICAS   DESIRED ZK REPLICAS
my-cluster   3                        3
表27.1 各 AMQ Streams リソースの正式名および短縮名
AMQ Streams リソース正式名短縮名

Kafka

kafka

k

Kafka Topic

kafkatopic

kt

Kafka User

kafkauser

ku

Kafka Connect

kafkaconnect

kc

Kafka Connector

kafkaconnector

kctr

Kafka Mirror Maker

kafkamirrormaker

kmm

Kafka Mirror Maker 2

kafkamirrormaker2

kmm2

Kafka Bridge

kafkabridge

kb

Kafka Rebalance

kafkarebalance

kr

27.1.1.1. リソースカテゴリー

カスタムリソースのカテゴリーは、oc コマンドでも使用できます。

すべての AMQ Streams カスタムリソースはカテゴリー strimzi に属するため、strimzi を使用してすべての AMQ Streams リソースを 1 つのコマンドで取得できます。

例えば、oc get strimzi を実行すると、指定された名前空間のすべての AMQ Streams カスタムリソースがリスト表示されます。

oc get strimzi

NAME                                   DESIRED KAFKA REPLICAS DESIRED ZK REPLICAS
kafka.kafka.strimzi.io/my-cluster      3                      3

NAME                                   PARTITIONS REPLICATION FACTOR
kafkatopic.kafka.strimzi.io/kafka-apps 3          3

NAME                                   AUTHENTICATION AUTHORIZATION
kafkauser.kafka.strimzi.io/my-user     tls            simple

oc get strimzi -o name コマンドは、すべてのリソースタイプとリソース名を返します。-o name オプションは type/name 形式で出力を取得します。

oc get strimzi -o name

kafka.kafka.strimzi.io/my-cluster
kafkatopic.kafka.strimzi.io/kafka-apps
kafkauser.kafka.strimzi.io/my-user

この strimzi コマンドを他のコマンドと組み合わせることができます。たとえば、これを oc delete コマンドに渡して、単一のコマンドですべてのリソースを削除できます。

oc delete $(oc get strimzi -o name)

kafka.kafka.strimzi.io "my-cluster" deleted
kafkatopic.kafka.strimzi.io "kafka-apps" deleted
kafkauser.kafka.strimzi.io "my-user" deleted

1 つの操作ですべてのリソースを削除することは、AMQ Streams の新機能をテストする場合などに役立ちます。

27.1.1.2. サブリソースのステータスのクエリー

-o オプションに渡すことのできる他の値もあります。たとえば、-o yaml を使用すると、YAML 形式で出力されます。-o json を使用すると JSON として返されます。

oc get --help のすべてのオプションが表示されます。

最も便利なオプションの 1 つは JSONPath サポート で、JSONPath 式を渡して Kubernetes API にクエリーを実行できます。JSONPath 式は、リソースの特定部分を抽出または操作できます。

たとえば、JSONPath 式 {.status.listeners[?(@.name=="tls")].bootstrapServers} を使用して、Kafka カスタムリソースのステータスからブートストラップアドレスを取得し、Kafka クライアントで使用できます。

この場合、コマンドは tls という名前のリスナーの bootstrapServers 値を検索します。

oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="tls")].bootstrapServers}{"\n"}'

my-cluster-kafka-bootstrap.myproject.svc:9093

名前の条件を変更することで、他の Kafka リスナーのアドレスも取得できます。

jsonpath を使用して、カスタムリソースから他のプロパティーまたはプロパティーのグループを抽出できます。

27.1.2. AMQ Streams カスタムリソースのステータス情報

ステータスプロパティーは、特定のカスタムリソースのステータス情報を提供します。

次の表に、ステータス情報 (デプロイ時) を提供するカスタムリソースと、ステータスプロパティーを定義するスキーマを示します。

スキーマの詳細は、AMQ Streams Custom Resource API Reference を参照してください。

表27.2 ステータス情報を提供するカスタムリソース
AMQ Streams リソーススキーマ参照ステータス情報がパブリッシュされる場所

Kafka

KafkaStatus スキーマ参照

Kafka クラスター

KafkaTopic

KafkaTopicStatus スキーマ参照

Kafka クラスター内の Kafka トピック

KafkaUser

KafkaUserStatus スキーマ参照

Kafka クラスター内の Kafka ユーザー

KafkaConnect

KafkaConnectStatus スキーマ参照

Kafka Connect クラスター

KafkaConnector

KafkaConnectorStatus スキーマ参照

KafkaConnector リソース

KafkaMirrorMaker2

KafkaMirrorMaker2Status スキーマ参照

Kafka MirrorMaker 2 クラスター

KafkaMirrorMaker

KafkaMirrorMakerStatus スキーマ参照

Kafka MirrorMaker クラスター

KafkaBridge

KafkaBridgeStatus スキーマ参照

AMQ Streams Kafka Bridge

KafkaRebalance

KafkaRebalance スキーマ参照

リバランスの状況と結果

リソースの status プロパティーは、リソースの状態に関する情報を提供します。status.conditions および status.observedGeneration プロパティーは、すべてのリソースに共通です。

status.conditions
ステータス条件は、リソースの 現在の状態 を表します。ステータス条件プロパティーは、仕様 で指定された設定で定義されているように、リソースが 目的の状態 に到達することに関連する進行状況を追跡するのに役立ちます。状況条件プロパティーは、リソースの状態が変更された時間と理由、およびオペレーターが目的の状態を実現するのを妨げたり遅らせたりするイベントの詳細を提供します。
status.observedGeneration
最後に観察された世代は、Cluster Operator によるリソースの最新の調整を示します。observedGeneration の値が metadata.generation (デプロイメントの現在のバージョン)(の値と異なる場合、リソースの最新の更新が Operator によって処理されていません。これらの値が同じである場合、リソースの最新の変更がステータス情報に反映されます。

status プロパティーは、リソース固有の情報も提供します。たとえば、KafkaStatus はリスナーアドレスに関する情報と Kafka クラスターの ID を提供します。

AMQ Streams によってカスタムリソースのステータスが作成および維持されます。定期的にカスタムリソースの現在の状態が評価され、その結果に応じてステータスが更新されます。くださいーたとえば、oc edit を使用してカスタムリソースで更新を行う場合、その status は編集不可能です。さらに、status の変更は Kafka クラスターステータスの設定に影響しません。

ここでは、Kafka カスタムリソースの status プロパティーを確認します。

Kafka カスタムリソースのステータス

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
spec:
  # ...
status:
  clusterId: XP9FP2P-RByvEy0W4cOEUA 1
  conditions: 2
    - lastTransitionTime: '2023-01-20T17:56:29.396588Z'
      status: 'True'
      type: Ready 3
  listeners: 4
    - addresses:
        - host: my-cluster-kafka-bootstrap.prm-project.svc
          port: 9092
      bootstrapServers: 'my-cluster-kafka-bootstrap.prm-project.svc:9092'
      name: plain
      type: plain
    - addresses:
        - host: my-cluster-kafka-bootstrap.prm-project.svc
          port: 9093
      bootstrapServers: 'my-cluster-kafka-bootstrap.prm-project.svc:9093'
      certificates:
        - |
          -----BEGIN CERTIFICATE-----

          -----END CERTIFICATE-----
      name: tls
      type: tls
    - addresses:
        - host: >-
            2054284155.us-east-2.elb.amazonaws.com
          port: 9095
      bootstrapServers: >-
        2054284155.us-east-2.elb.amazonaws.com:9095
      certificates:
        - |
          -----BEGIN CERTIFICATE-----

          -----END CERTIFICATE-----
      name: external2
      type: external2
    - addresses:
        - host: ip-10-0-172-202.us-east-2.compute.internal
          port: 31644
      bootstrapServers: 'ip-10-0-172-202.us-east-2.compute.internal:31644'
      certificates:
        - |
          -----BEGIN CERTIFICATE-----

          -----END CERTIFICATE-----
      name: external1
      type: external1
  observedGeneration: 3 5

1
Kafka クラスター ID。
2
ステータス conditions は、Kafka クラスターの現在の状態を表します。
3
Ready 状態は、Cluster Operator が Kafka クラスターがトラフィックを処理できると見なしていることを示します。
4
listeners は、Kafka ブートストラップアドレスをタイプ別に記述します。
5
observedGeneration 値は、クラスターオペレーターによる Kafka カスタムリソースの最後の調整を示します。
注記

Kafka ブートストラップアドレスがステータスに一覧表示されても、それらのエンドポイントまたは Kafka クラスターが Ready 状態であるとは限りません。

ステータス情報のアクセス

リソースのステータス情報はコマンドラインから取得できます。詳細は、「カスタムリソースのステータスの検出」 を参照してください。

27.1.3. カスタムリソースのステータスの検出

この手順では、カスタムリソースのステータスを検出する方法を説明します。

前提条件

  • OpenShift クラスター
  • Cluster Operator が稼働中である。

手順

  • カスタムリソースを指定し、-o jsonpath オプションを使用して標準の JSONPath 式を適用して status プロパティーを選択します。

    oc get kafka <kafka_resource_name> -o jsonpath='{.status}'

    この式は、指定されたカスタムリソースのすべてのステータス情報を返します。status.listeners または status.observedGeneration などのドット表記を使用すると、表示するステータス情報を微調整できます。

関連情報

27.2. ラベルおよびアノテーションを使用したサービスの検出

サービスディスカバリーは、AMQ Streams と同じ OpenShift クラスターで稼働しているクライアントアプリケーションの Kafka クラスターとの対話を容易にします。

サービスディスカバリー ラベルおよびアノテーションは、Kafka クラスターにアクセスするために使用されるサービスに対して生成されます。

  • 内部 Kafka ブートストラップサービス
  • HTTP Bridge サービス

ラベルは、サービスの検出を可能にします。アノテーションは、クライアントアプリケーションが接続を確立するために使用できる接続詳細を提供します。

サービスディスカバリーラベル strimzi.io/discovery は、Service リソースに対して true に設定されています。サービスディスカバリーアノテーションには同じキーがあり、各サービスの接続詳細を JSON 形式で提供します。

内部 Kafka ブートストラップサービスの例
apiVersion: v1
kind: Service
metadata:
  annotations:
    strimzi.io/discovery: |-
      [ {
        "port" : 9092,
        "tls" : false,
        "protocol" : "kafka",
        "auth" : "scram-sha-512"
      }, {
        "port" : 9093,
        "tls" : true,
        "protocol" : "kafka",
        "auth" : "tls"
      } ]
  labels:
    strimzi.io/cluster: my-cluster
    strimzi.io/discovery: "true"
    strimzi.io/kind: Kafka
    strimzi.io/name: my-cluster-kafka-bootstrap
  name: my-cluster-kafka-bootstrap
spec:
  #...
HTTP Bridge サービスの例
apiVersion: v1
kind: Service
metadata:
  annotations:
    strimzi.io/discovery: |-
      [ {
        "port" : 8080,
        "tls" : false,
        "auth" : "none",
        "protocol" : "http"
      } ]
  labels:
    strimzi.io/cluster: my-bridge
    strimzi.io/discovery: "true"
    strimzi.io/kind: KafkaBridge
    strimzi.io/name: my-bridge-bridge-service

27.2.1. サービスの接続詳細の返信

サービスを検出するには、コマンドラインまたは対応する API 呼び出しでサービスを取得するときに、ディスカバリーラベルを指定します。

oc get service -l strimzi.io/discovery=true

サービスディスカバリーラベルの取得時に接続詳細が返されます。

27.3. ターミナルからの ZooKeeper への接続

ZooKeeper サービスは暗号化および認証でセキュア化され、AMQ Streams の一部でない外部アプリケーションでの使用は想定されていません。

ただし、ZooKeeper への接続が必要な CLI ツールを使用する場合は、ZooKeeper Pod 内の端末を使用して、ZooKeeper アドレスとして localhost:12181 に接続できます。

前提条件

  • 利用可能な OpenShift クラスター
  • 稼働中の Kafka クラスター
  • Cluster Operator が稼働中である。

手順

  1. OpenShift コンソールを使用してターミナルを開くか、CLI から exec コマンドを実行します。

    以下に例を示します。

    oc exec -ti my-cluster-zookeeper-0 -- bin/zookeeper-shell.sh localhost:12181 ls /

    必ず localhost:12181 を使用してください。

27.4. カスタムリソースの調整の一時停止

修正や更新を実行するために、AMQ Streams Operator によって管理されるカスタムリソースの調整を一時停止すると便利な場合があります。調整が一時停止されると、カスタムリソースに加えられた変更は一時停止が終了するまで Operator によって無視されます。

カスタムリソースの調整を一時停止するには、configure で strimzi.io/pause-reconciliation アノテーションを true に設定します。これにより、適切な Operator がカスタムリソースの調整を一時停止するよう指示されます。たとえば、Cluster Operator による調整が一時停止されるように、アノテーションを KafkaConnect リソースに適用できます。

pause アノテーションを有効にしてカスタムリソースを作成することもできます。カスタムリソースは作成されますが、無視されます。

前提条件

  • カスタムリソースを管理する AMQ Streams Operator が稼働している必要があります。

手順

  1. pause-reconciliationtrue に設定して、OpenShift のカスタムリソースにアノテーションを付けます。

    oc annotate <kind_of_custom_resource> <name_of_custom_resource> strimzi.io/pause-reconciliation="true"

    たとえば、KafkaConnect カスタムリソースの場合は以下のようになります。

    oc annotate KafkaConnect my-connect strimzi.io/pause-reconciliation="true"
  2. カスタムリソースの status 条件で、ReconciliationPaused への変更が表示されることを確認し ます。

    oc describe <kind_of_custom_resource> <name_of_custom_resource>

    type 条件は、lastTransitionTimeReconciliationPaused に変わります。

    一時停止された調整条件タイプを持つカスタムリソースの例

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaConnect
    metadata:
      annotations:
        strimzi.io/pause-reconciliation: "true"
        strimzi.io/use-connector-resources: "true"
      creationTimestamp: 2021-03-12T10:47:11Z
      #...
    spec:
      # ...
    status:
      conditions:
      - lastTransitionTime: 2021-03-12T10:47:41.689249Z
        status: "True"
        type: ReconciliationPaused

一時停止からの再開

  • 調整を再開するには、アノテーションを false に設定するか、アノテーションを削除します。

27.5. ローリング更新のメンテナンス時間枠

メンテナンス時間枠によって、Kafka および ZooKeeper クラスターの特定のローリング更新が便利な時間に開始されるようにスケジュールできます。

27.5.1. メンテナンス時間枠の概要

ほとんどの場合、Cluster Operator は対応する Kafka リソースの変更に対応するために Kafka または ZooKeeper クラスターのみを更新します。これにより、Kafka リソースの変更を適用するタイミングを計画し、Kafka クライアントアプリケーションへの影響を最小限に抑えることができます。

ただし、Kafka リソースの変更がなくても Kafka および ZooKeeper クラスターの更新が発生することがあります。たとえば、Cluster Operator によって管理される CA (認証局) 証明書が期限切れ直前である場合にローリング再起動の実行が必要になります。

サービスの 可用性 は Pod のローリング再起動による影響を受けないはずですが (ブローカーおよびトピックの設定が適切である場合)、Kafka クライアントアプリケーションの パフォーマンス は影響を受ける可能性があります。メンテナンス時間枠によって、Kafka および ZooKeeper クラスターのこのような自発的な更新が便利な時間に開始されるようにスケジュールできます。メンテナンス時間枠がクラスターに設定されていない場合は、予測できない高負荷が発生する期間など、不便な時間にこのような自発的なローリング更新が行われる可能性があります。

27.5.2. メンテナンス時間枠の定義

Kafka.spec.maintenanceTimeWindows プロパティーに文字列の配列を入力して、メンテナンス時間枠を設定します。各文字列は、UTC (協定世界時、Coordinated Universal Time) であると解釈される cron 式 です。UTC は実用的にはグリニッジ標準時と同じです。

以下の例では、日、月、火、水、および木曜日の午前 0 時に開始し、午前 1 時 59 分 (UTC) に終わる、単一のメンテナンス時間枠が設定されます。

# ...
maintenanceTimeWindows:
  - "* * 0-1 ? * SUN,MON,TUE,WED,THU *"
# ...

実際には、必要な CA 証明書の更新が設定されたメンテナンス時間枠内で完了できるように、Kafka リソースの Kafka.spec.clusterCa.renewalDays および Kafka.spec.clientsCa.renewalDays プロパティーとともにメンテナンス期間を設定する必要があります。

注記

AMQ Streams では、指定の期間にしたがってメンテナンス操作を正確にスケジュールしません。その代わりに、調整ごとにメンテナンス期間が現在オープンであるかどうかを確認します。これは、特定の時間枠内でのメンテナンス操作の開始が、最大で Cluster Operator の調整が行われる間隔の長さ分、遅れる可能性があることを意味します。したがって、メンテナンス時間枠は最低でもその間隔の長さにする必要があります。

27.5.3. メンテナンス時間枠の設定

サポートされるプロセスによってトリガーされるローリング更新のメンテナンス時間枠を設定できます。

前提条件

  • OpenShift クラスター
  • Cluster Operator が稼働中である。

手順

  1. Kafka リソースの maintenanceTimeWindows プロパティー を追加または編集します。たとえば、0800 から 1059 までと、1400 から 1559 までのメンテナンスを可能にするには、以下のように maintenanceTimeWindows を設定します。

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
    spec:
      kafka:
        # ...
      zookeeper:
        # ...
      maintenanceTimeWindows:
        - "* * 8-10 * * ?"
        - "* * 14-15 * * ?"
  2. リソースを作成または更新します。

    oc apply -f <kafka_configuration_file>

27.6. AMQ Streams Drain Cleaner を使用した Pod のエビクト

Kafka および ZooKeeper Pod は、OpenShift のアップグレード、メンテナンス、または Pod の再スケジュール中にエビクトされる可能性があります。Kafka ブローカーおよび ZooKeeper Pod が AMQ Streams によってデプロイされた場合に、AMQ Streams Drain Cleaner ツールを使用して Pod のエビクションを処理できます。AMQ Streams Drain Cleaner は、OpenShift の代わりにエビクションを処理します。Kafka デプロイメントの podDisruptionBudget0 (ゼロ) に設定する必要があります。その後、OpenShift は Pod を自動的にエビクトできなくなります。

AMQ Streams Drain Cleaner をデプロイすることで、Cluster Operator を使用して OpenShift ではなく Kafka Pod を移動できます。Cluster Operator は、トピックの複製の数が最低数未満にならないようにします。Kafka はエビクションプロセス中も稼働状態を維持できます。Cluster Operator は、OpenShift ワーカーノードが連続してドレイン (解放) されるため、トピックが同期するのを待ちます。

受付 Webhook は、AMQ Streams Drain Cleaner に Kubernetes API への Pod エビクション要求を通知します。AMQ Streams Drain Cleaner は次に、ドレイン (解放) する Pod にローリング更新アノテーションを追加します。これにより、Cluster Operator に、エビクトされた Pod のローリング更新を実行するように指示します。

注記

AMQ Streams Drain Cleaner を使用していない場合は、Pod アノテーションを追加して手動でローリング更新を実行 できます。

Webhook の設定

AMQ Streams Drain Cleaner デプロイメントファイルには、ValidatingWebhookConfiguration リソースファイルが含まれます。リソースでは、Kubernetes API で Webhook を登録する設定が可能です。

この設定は、Pod のエビクション要求の場合に使用する Kubernetes API の ルール を定義します。ルールは、pods/eviction サブリソースに関連する CREATE 操作だけがインターセプトされることを指定します。これらのルールが満たされている場合、API は通知を転送します。

clientConfig は、Webhook を公開する AMQ Streams Drain Cleaner サービスおよび /drainer エンドポイントを参照します。Webhook は、認証を必要とする、セキュアな TLS 接続を使用します。caBundle プロパティーは、HTTPS 通信を検証する証明書チェーンを指定します。証明書は Base64 でエンコードされます。

Pod エビクション通知の Webhook 設定

apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingWebhookConfiguration
# ...
webhooks:
  - name: strimzi-drain-cleaner.strimzi.io
    rules:
      - apiGroups:   [""]
        apiVersions: ["v1"]
        operations:  ["CREATE"]
        resources:   ["pods/eviction"]
        scope:       "Namespaced"
    clientConfig:
      service:
        namespace: "strimzi-drain-cleaner"
        name: "strimzi-drain-cleaner"
        path: /drainer
        port: 443
        caBundle: Cg==
    # ...

27.6.1. AMQ Streams Drain Cleaner デプロイメントファイルのダウンロード

AMQ Streams Drain Cleaner をデプロイおよび使用するには、デプロイメントファイルをダウンロードする必要があります。

AMQ Streams Drain Cleaner デプロイメントファイルは、AMQ Streams ソフトウェアダウンロードページ から入手できます。

27.6.2. インストールファイルを使用した AMQ Streams Drain Cleaner のデプロイ

Cluster Operator および Kafka クラスターが実行中の OpenShift クラスターに、AMQ Streams Drain Cleaner をデプロイします。

AMQ Streams は、特定の時点で 1 つの Kafka または ZooKeeper Pod のみが使用不能になることを許可するデフォルトの PodDisruptionBudget (PDB) を設定します。計画的なメンテナンスまたはアップグレードに Drain Cleaner を使用するには、PDB をゼロに設定する必要があります。これは、Pod の自発的な削除を防止し、Kafka または ZooKeeper クラスターが利用可能な状態を維持できるようにするためです。これを行うには、Kafka または ZooKeeper テンプレートで maxUnavailable 値をゼロに設定します。StrimziPodSet カスタムリソースは、maxUnavailable 値を直接使用できないカスタムコントローラーを使用して Kafka および ZooKeeper Pod を管理します。代わりに、maxUnavailable 値は minAvailable 値に変換されます。たとえば、ブローカー Pod が 3 つあり、maxUnavailable プロパティーが 0 (ゼロ) に設定されている場合、minAvailable 設定は 3 となり、3 つのブローカー Pod がすべて使用可能である必要があり、使用できない Pod が存在しないことが許可されます。

前提条件

  • AMQ Streams Drain Cleaner デプロイメントファイルをダウンロード しておく。
  • 更新する OpenShift ワーカーノードで実行している高可用性 Kafka クラスターデプロイメントがある。
  • トピックを複製して高可用性に対応する

    少なくとも 3 つのレプリケーション係数と、レプリケーション係数よりも 1 つ少ない In-Sync レプリカの最小数を指定するトピック設定。

    高可用性のためにレプリケートされた Kafka トピック

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      name: my-topic
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 1
      replicas: 3
      config:
        # ...
        min.insync.replicas: 2
        # ...

Kafka または ZooKeeper の除外

Kafka または ZooKeeper Pod を Drain Cleaner 操作に含めない場合は、Drain Cleaner Deployment 設定ファイル内のデフォルトの環境変数を変更します。

  • KafkaPod を除外するには、STRIMZI_DRAIN_KAFKAfalse に設定します。
  • ZooKeeper Pod を除外するには、STRIMZI_DRAIN_ZOOKEEPERfalse に設定します。

ZooKeeper Pod を除外する設定例

apiVersion: apps/v1
kind: Deployment
spec:
  # ...
  template:
    spec:
      serviceAccountName: strimzi-drain-cleaner
      containers:
        - name: strimzi-drain-cleaner
          # ...
          env:
            - name: STRIMZI_DRAIN_KAFKA
              value: "true"
            - name: STRIMZI_DRAIN_ZOOKEEPER
              value: "false"
          # ...

手順

  1. template 設定を使用して、Kafka リソースの Kafka セクションと ZooKeeper セクションで maxUnavailable0 (ゼロ) に設定します。

    Pod の Disruption Budget の指定

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    metadata:
      name: my-cluster
      namespace: myproject
    spec:
      kafka:
        template:
          podDisruptionBudget:
            maxUnavailable: 0
    
      # ...
      zookeeper:
        template:
          podDisruptionBudget:
            maxUnavailable: 0
      # ...

    この設定により、計画的な中断が発生した場合に Pod が自動的に削除されなくなり、AMQ Streams Drain Cleaner と Cluster Operator が Pod を別のワーカーノードにロールしたままになります。

    AMQ Streams Drain Cleaner を使用して ZooKeeper ノードをドレイン (解放) する場合は、ZooKeeper に同じ設定を追加します。

  2. Kafka リソースを更新します。

    oc apply -f <kafka_configuration_file>
  3. AMQ Streams Drain Cleaner をデプロイします。

    • OpenShift で Drain Cleaner を実行するには、/install/drain-cleaner/openshift ディレクトリーにあるリソースを適用します。

      oc apply -f ./install/drain-cleaner/openshift

27.6.3. AMQ Streams Drain Cleaner の使用

AMQ Streams Drain Cleaner を Cluster Operator と組み合わせて使用し、ドレイン (解放) されているノードから Kafka ブローカーまたは ZooKeeper Pod を移動します。AMQ Streams Drain Cleaner を実行すると、Pod にローリング更新 Pod アノテーションが付けられます。Cluster Operator はアノテーションに基づいてローリング更新を実行します。

前提条件

手順

  1. Kafka ブローカーまたは ZooKeeper Pod をホストする、特定の OpenShift ノードをドレイン (解放) します。

    oc get nodes
    oc drain <name-of-node> --delete-emptydir-data --ignore-daemonsets --timeout=6000s --force
  2. AMQ Streams Drain Cleaner ログのエビクションイベントを確認し、Pod が再起動のアノテーションが付けられていることを確認します。

    Pod のアノテーションを示す AMQ Streams Drain Cleaner ログ

    INFO ... Received eviction webhook for Pod my-cluster-zookeeper-2 in namespace my-project
    INFO ... Pod my-cluster-zookeeper-2 in namespace my-project will be annotated for restart
    INFO ... Pod my-cluster-zookeeper-2 in namespace my-project found and annotated for restart
    
    INFO ... Received eviction webhook for Pod my-cluster-kafka-0 in namespace my-project
    INFO ... Pod my-cluster-kafka-0 in namespace my-project will be annotated for restart
    INFO ... Pod my-cluster-kafka-0 in namespace my-project found and annotated for restart

  3. Cluster Operator ログで調整イベントを確認し、ローリング更新を確認します。

    Cluster Operator log shows rolling updates(クラスター Operator ログによるローリング更新の表示)

    INFO  PodOperator:68 - Reconciliation #13(timer) Kafka(my-project/my-cluster): Rolling Pod my-cluster-zookeeper-2
    INFO  PodOperator:68 - Reconciliation #13(timer) Kafka(my-project/my-cluster): Rolling Pod my-cluster-kafka-0
    INFO  AbstractOperator:500 - Reconciliation #13(timer) Kafka(my-project/my-cluster): reconciled

27.6.4. AMQ Streams Drain Cleaner によって使用される TLS 証明書の監視

デフォルトでは、Drain Cleaner デプロイメントは、認証に使用する TLS 証明書を含むシークレットを監視します。Drain Cleaner は、証明書の更新などの変更を監視します。変更を検出すると、TLS 証明書の再ロードが再開されます。Drain Cleaner インストールファイルは、デフォルトでこの動作を有効にします。ただし、Drain Cleaner インストールファイルの Deployment 設定 (060-Deployment.yaml) で STRIMZI_CERTIFICATE_WATCH_ENABLED 環境変数を false に設定することで、証明書の監視を無効にすることができます。

STRIMZI_CERTIFICATE_WATCH_ENABLED を有効にすると、TLS 証明書の監視に次の環境変数を使用することもできます。

表27.3 TLS 証明書を監視するための Drain Cleaner 環境変数
環境変数説明デフォルト

STRIMZI_CERTIFICATE_WATCH_ENABLED

証明書監視を有効または無効にします。

false

STRIMZI_CERTIFICATE_WATCH_NAMESPACE

Drain Cleaner がデプロイされ、証明書シークレットが存在する namespace

strimzi-drain-cleaner

STRIMZI_CERTIFICATE_WATCH_POD_NAME

Drain Cleaner の Pod 名

-

STRIMZI_CERTIFICATE_WATCH_SECRET_NAME

TLS 証明書を含むシークレットの名前

strimzi-drain-cleaner

STRIMZI_CERTIFICATE_WATCH_SECRET_KEYS

TLS 証明書を含むシークレット内のフィールドのリスト

tls.crt, tls.key

監視動作を制御するための環境変数設定の例

apiVersion: apps/v1
kind: Deployment
metadata:
  name: strimzi-drain-cleaner
  labels:
    app: strimzi-drain-cleaner
  namespace: strimzi-drain-cleaner
spec:
  # ...
    spec:
      serviceAccountName: strimzi-drain-cleaner
      containers:
        - name: strimzi-drain-cleaner
          # ...
          env:
            - name: STRIMZI_DRAIN_KAFKA
              value: "true"
            - name: STRIMZI_DRAIN_ZOOKEEPER
              value: "true"
            - name: STRIMZI_CERTIFICATE_WATCH_ENABLED
              value: "true"
            - name: STRIMZI_CERTIFICATE_WATCH_NAMESPACE
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: STRIMZI_CERTIFICATE_WATCH_POD_NAME
              valueFrom:
                fieldRef:
                  fieldPath: metadata.name
              # ...

ヒント

Downward API メカニズムを使用して、STRIMZI_CERTIFICATE_WATCH_NAMESPACE および STRIMZI_CERTIFICATE_WATCH_POD_NAME を設定します。

27.7. アノテーションを使用した Kafka ノードの削除

この手順では、OpenShift アノテーションを使用して既存の Kafka ノードを削除する方法を説明します。Kafka ノードの削除するには、Kafka ブローカーが稼働している Pod と、関連する PersistentVolumeClaim の両方を削除します (クラスターが永続ストレージでデプロイされた場合)。削除後、Pod と関連する PersistentVolumeClaim が自動的に再作成されます。

警告

PersistentVolumeClaim を削除すると、永久的なデータ損失が発生する可能性があり、クラスターの可用性は保証できません。以下の手順は、ストレージで問題が発生した場合にのみ実行してください。

前提条件

  • 稼働中の Cluster Operator

手順

  1. 削除する Pod の名前を見つけます。

    Kafka ブローカー Pod の名前は <cluster-name>-kafka-<index> です。ここで、<index> はゼロで始まり、レプリカの合計数から 1 を引いた数で終了します。例: my-cluster-kafka-0

  2. OpenShift で Pod リソースにアノテーションを付けます。

    oc annotate を使用します。

    oc annotate pod cluster-name-kafka-index strimzi.io/delete-pod-and-pvc=true
  3. 基盤となる永続ボリューム要求 (Persistent Volume Claim) でアノテーションが付けられた Pod が削除され、再作成されるときに、次の調整の実行を待ちます。

27.8. アノテーションを使用した ZooKeeper ノードの削除

この手順では、OpenShift アノテーションを使用して既存の ZooKeeper ノードを削除する方法を説明します。ZooKeeper ノードを削除するには、ZooKeeper が稼働している Pod と、関連する PersistentVolumeClaim の両方を削除します (クラスターが永続ストレージでデプロイされた場合)。削除後、Pod と関連する PersistentVolumeClaim が自動的に再作成されます。

警告

PersistentVolumeClaim を削除すると、永久的なデータ損失が発生する可能性があり、クラスターの可用性は保証できません。以下の手順は、ストレージで問題が発生した場合にのみ実行してください。

前提条件

  • 稼働中の Cluster Operator

手順

  1. 削除する Pod の名前を見つけます。

    ZooKeeper Pod の名前は <cluster-name>-zookeeper-<index> です。ここで、<index> はゼロで始まり、レプリカの合計数から 1 を引いた数で終了します。例: my-cluster-zookeeper-0

  2. OpenShift で Pod リソースにアノテーションを付けます。

    oc annotate を使用します。

    oc annotate pod cluster-name-zookeeper-index strimzi.io/delete-pod-and-pvc=true
  3. 基盤となる永続ボリューム要求 (Persistent Volume Claim) でアノテーションが付けられた Pod が削除され、再作成されるときに、次の調整の実行を待ちます。

27.9. アノテーションを使用した Kafka クラスターと ZooKeeper クラスターのローリングアップデートの開始

AMQ Streams は、Cluster Operator 経由で Kafka および ZooKeeper クラスターのローリング更新を手動でトリガーするために、リソースでアノテーションの使用をサポートします。ローリング更新により、新しい Pod でリソースの Pod が再起動されます。

通常、例外的な状況でのみ、特定の Pod や Pod のセットを手動で実行する必要があります。ただし、Pod を直接削除せずに、Cluster Operator 経由でローリング更新を実行すると、以下を確実に行うことができます。

  • Pod を手動で削除しても、他の Pod を並行して削除するなどの、同時に行われる Cluster Operator の操作とは競合しません。
  • Cluster Operator ロジックによって、In-Sync レプリカの数などの Kafka 設定で指定された内容が処理されます。

27.9.1. Pod 管理のアノテーションを使用したローリング更新の実行

この手順では、Kafka クラスターまたは ZooKeeper クラスターのローリング更新をトリガーする方法を説明します。更新をトリガーするには、クラスター上で実行されている Pod を管理するアノテーションを StrimziPodSet に追加します。

前提条件

手動でローリング更新を実行するには、稼働中の Cluster Operator および Kafka クラスターが必要です。

手順

  1. 手動で更新する Kafka または ZooKeeper Pod を制御するリソースの名前を見つけます。

    たとえば、Kafka クラスターの名前が my-cluster の場合には、対応する名前は my-cluster-kafka および my-cluster-zookeeper になります。

  2. oc annotate を使用して、OpenShift で適切なリソースにアノテーションを付けます。

    StrimziPodSet のアノテーション

    oc annotate strimzipodset <cluster_name>-kafka strimzi.io/manual-rolling-update=true
    
    oc annotate strimzipodset <cluster_name>-zookeeper strimzi.io/manual-rolling-update=true

  3. 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。アノテーションが調整プロセスで検出されれば、アノテーションが付いたリソース内のすべての Pod でローリング更新がトリガーされます。すべての Pod のローリング更新が完了すると、アノテーションはリソースから削除されます。

27.9.2. Pod アノテーションを使用したローリング更新の実行

この手順では、OpenShift Pod アノテーションを使用して、既存の Kafka クラスターまたは ZooKeeper クラスターのローリング更新を手動でトリガーする方法を説明します。複数の Pod にアノテーションが付けられると、連続したローリング更新は同じ調整実行内で実行されます。

前提条件

手動でローリング更新を実行するには、稼働中の Cluster Operator および Kafka クラスターが必要です。

使用されるトピックレプリケーション係数に関係なく、Kafka クラスターでローリング更新を実行できます。ただし、更新中に Kafka を稼働し続けるには、以下が必要になります。

  • 更新するノードで実行されている高可用性 Kafka クラスターデプロイメント。
  • 高可用性のためにレプリケートされたトピック。

    少なくとも 3 つのレプリケーション係数と、レプリケーション係数よりも 1 つ少ない In-Sync レプリカの最小数を指定するトピック設定。

    高可用性のためにレプリケートされた Kafka トピック

    apiVersion: kafka.strimzi.io/v1beta2
    kind: KafkaTopic
    metadata:
      name: my-topic
      labels:
        strimzi.io/cluster: my-cluster
    spec:
      partitions: 1
      replicas: 3
      config:
        # ...
        min.insync.replicas: 2
        # ...

手順

  1. 手動で更新する Kafka または ZooKeeper Pod の名前を見つけます。

    たとえば、Kafka クラスターの名前が my-cluster の場合、対応する Pod 名は my-cluster-kafka-indexmy-cluster-zookeeper-index になります。インデックス はゼロで始まり、レプリカの総数マイナス 1 で終わります。

  2. OpenShift で Pod リソースにアノテーションを付けます。

    oc annotate を使用します。

    oc annotate pod cluster-name-kafka-index strimzi.io/manual-rolling-update=true
    
    oc annotate pod cluster-name-zookeeper-index strimzi.io/manual-rolling-update=true
  3. 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。アノテーションが調整プロセスで検出されれば、アノテーションが付けられた Pod のローリング更新がトリガーされます。Pod のローリング更新が完了すると、アノテーションは Pod から削除されます。

27.10. アノテーションを使用した MirrorMaker 2 コネクターの再起動の実行

この手順では、OpenShift アノテーションを使用して Kafka MirrorMaker 2 コネクターの再起動を手動でトリガーする方法について説明します。

前提条件

  • Cluster Operator が稼働中である。

手順

  1. 再起動する Kafka MirrorMaker 2 コネクターを制御する KafkaMirrorMaker2 カスタムリソースの名前を見つけます。

    oc get KafkaMirrorMaker2
  2. KafkaMirrorMaker2 カスタムリソースから再起動する Kafka MirrorMaker 2 コネクターの名前を見つけます。

    oc describe KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME
  3. コネクターを再起動するには、OpenShift で KafkaMirrorMaker2 リソースにアノテーションを付けます。この例では、oc annotatemy-source->my-target.MirrorSourceConnector という名前のコネクターを再起動します。

    oc annotate KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME "strimzi.io/restart-connector=my-source->my-target.MirrorSourceConnector"
  4. 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。

    アノテーションが調整プロセスによって検出されているかぎり、Kafka MirrorMaker 2 コネクターは再起動されます。再起動要求が許可されると、アノテーションは KafkaMirrorMaker2 カスタムリソースから削除されます。

27.11. アノテーションを使用した MirrorMaker 2 コネクタータスクの再起動の実行

この手順では、OpenShift アノテーションを使用して Kafka MirrorMaker 2 コネクタータスクの再起動を手動でトリガーする方法について説明します。

前提条件

  • Cluster Operator が稼働中である。

手順

  1. 再起動する Kafka MirrorMaker 2 コネクターを制御する KafkaMirrorMaker2 カスタムリソースの名前を見つけます。

    oc get KafkaMirrorMaker2
  2. KafkaMirrorMaker2 カスタムリソースから、Kafka MirrorMaker 2 コネクターの名前と再起動するタスクの ID を見つけます。タスク ID は 0 から始まる負の値ではない整数です。

    oc describe KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME
  3. コネクタータスクを再起動するには、OpenShift で KafkaMirrorMaker2 リソースにアノテーションを付けます。この例では、oc annotatemy-source->my-target.MirrorSourceConnector という名前のコネクターのタスク 0 を再起動します。

    oc annotate KafkaMirrorMaker2 KAFKAMIRRORMAKER-2-NAME "strimzi.io/restart-connector-task=my-source->my-target.MirrorSourceConnector:0"
  4. 次の調整が発生するまで待ちます (デフォルトでは 2 分ごとです)。

    アノテーションが調整プロセスによって検出されているかぎり、Kafka MirrorMaker 2 コネクタータスクが再起動されます。再起動タスクの要求が受け入れられると、KafkaMirrorMaker2 のカスタムリソースからアノテーションが削除されます。

27.12. 永続ボリュームからのクラスターの復元

Kafka クラスターは、永続ボリューム (PV) が存在していれば、そこから復元できます。

たとえば、以下の場合に行います。

  • namespace が意図せずに削除された後。
  • OpenShift クラスター全体が失われた後でも PV がインフラストラクチャーに残っている場合。

27.12.1. namespace が削除された場合の復元

永続ボリュームと namespace の関係により、namespace の削除から復元することが可能です。PersistentVolume (PV) は、namespace の外部に存在するストレージリソースです。PV は、namespace 内部に存在する PersistentVolumeClaim (PVC) を使用して Kafka Pod にマウントされます。

PV の回収 (reclaim) ポリシーは、namespace が削除されるときにクラスターに動作方法を指示します。以下に、回収 (reclaim) ポリシーの設定とその結果を示します。

  • Delete (デフォルト) に設定すると、PVC が namespace 内で削除されるときに PV が削除されます。
  • Retain に設定すると、namespace の削除時に PV は削除されません。

namespace が意図せず削除された場合に PV から復旧できるようにするには、PV 仕様で persistentVolumeReclaimPolicy プロパティーを使用してポリシーを Delete から Retain にリセットする必要があります。

apiVersion: v1
kind: PersistentVolume
# ...
spec:
  # ...
  persistentVolumeReclaimPolicy: Retain

または、PV は、関連付けられたストレージクラスの回収 (reclaim) ポリシーを継承できます。ストレージクラスは、動的ボリュームの割り当てに使用されます。

ストレージクラスの reclaimPolicy プロパティーを設定することで、ストレージクラスを使用する PV が適切な回収 (reclaim) ポリシー で作成されます。ストレージクラスは、storageClassName プロパティーを使用して PV に対して設定されます。

apiVersion: v1
kind: StorageClass
metadata:
  name: gp2-retain
parameters:
  # ...
# ...
reclaimPolicy: Retain
apiVersion: v1
kind: PersistentVolume
# ...
spec:
  # ...
  storageClassName: gp2-retain
注記

Retain を回収 (reclaim) ポリシーとして使用しながら、クラスター全体を削除する場合は、PV を手動で削除する必要があります。そうしないと、PV は削除されず、リソースに不要な経費がかかる原因になります。

27.12.2. OpenShift クラスター喪失からの復旧

クラスターが失われた場合、ディスク/ボリュームのデータがインフラストラクチャー内に保持されていれば、それらのデータを使用してクラスターを復旧できます。PV が復旧可能でそれらが手動で作成されていれば、復旧の手順は namespace の削除と同じです。

27.12.3. 削除したクラスターの永続ボリュームからの復元

この手順では、削除されたクラスターを永続ボリューム (PV) から復元する方法を説明します。

この状況では、Topic Operator はトピックが Kafka に存在することを認識しますが、KafkaTopic リソースは存在しません。

クラスター再作成の手順を行うには、2 つの方法があります。

  1. すべての KafkaTopic リソースを復旧できる場合は、オプション 1 を使用します。

    これにより、クラスターが起動する前に KafkaTopic リソースを復旧することで、該当するトピックが Topic Operator によって削除されないようにする必要があります。

  2. すべての KafkaTopic リソースを復旧できない場合は、オプション 2 を使用します。

    この場合、Topic Operator なしでクラスターをデプロイし、Topic Operator のトピックストアメタデータを削除してから、Topic Operator で Kafka クラスターを再デプロイすることで、該当するトピックから KafkaTopic リソースを再作成できるようにします。

注記

Topic Operator がデプロイされていない場合は、PersistentVolumeClaim (PVC) リソースのみを復旧する必要があります。

作業を開始する前に

この手順では、データの破損を防ぐために PV を正しい PVC にマウントする必要があります。volumeName が PVC に指定されており、それが PV の名前に一致する必要があります。

詳細は、永続ストレージ を参照してください。

注記

この手順には、手動での再作成が必要な KafkaUser リソースの復旧は含まれません。パスワードと証明書を保持する必要がある場合は、KafkaUser リソースの作成前にシークレットを再作成する必要があります。

手順

  1. クラスターの PV についての情報を確認します。

    oc get pv

    PV の情報がデータとともに表示されます。

    この手順で重要な列を示す出力例:

    NAME                                         RECLAIMPOLICY CLAIM
    pvc-5e9c5c7f-3317-11ea-a650-06e1eadd9a4c ... Retain ...    myproject/data-my-cluster-zookeeper-1
    pvc-5e9cc72d-3317-11ea-97b0-0aef8816c7ea ... Retain ...    myproject/data-my-cluster-zookeeper-0
    pvc-5ead43d1-3317-11ea-97b0-0aef8816c7ea ... Retain ...    myproject/data-my-cluster-zookeeper-2
    pvc-7e1f67f9-3317-11ea-a650-06e1eadd9a4c ... Retain ...    myproject/data-0-my-cluster-kafka-0
    pvc-7e21042e-3317-11ea-9786-02deaf9aa87e ... Retain ...    myproject/data-0-my-cluster-kafka-1
    pvc-7e226978-3317-11ea-97b0-0aef8816c7ea ... Retain ...    myproject/data-0-my-cluster-kafka-2
    • NAME は各 PV の名前を示します。
    • RECLAIM POLICY は PV が 保持される ことを示します。
    • CLAIM は元の PVC へのリンクを示します。
  2. 元の namespace を再作成します。

    oc create namespace myproject
  3. 元の PVC リソース仕様を再作成し、PVC を該当する PV にリンクします。

    以下に例を示します。

    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: data-0-my-cluster-kafka-0
    spec:
      accessModes:
      - ReadWriteOnce
      resources:
        requests:
          storage: 100Gi
      storageClassName: gp2-retain
      volumeMode: Filesystem
      volumeName: pvc-7e1f67f9-3317-11ea-a650-06e1eadd9a4c
  4. PV 仕様を編集して、元の PVC にバインドされた claimRef プロパティーを削除します。

    以下に例を示します。

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      annotations:
        kubernetes.io/createdby: aws-ebs-dynamic-provisioner
        pv.kubernetes.io/bound-by-controller: "yes"
        pv.kubernetes.io/provisioned-by: kubernetes.io/aws-ebs
      creationTimestamp: "<date>"
      finalizers:
      - kubernetes.io/pv-protection
      labels:
        failure-domain.beta.kubernetes.io/region: eu-west-1
        failure-domain.beta.kubernetes.io/zone: eu-west-1c
      name: pvc-7e226978-3317-11ea-97b0-0aef8816c7ea
      resourceVersion: "39431"
      selfLink: /api/v1/persistentvolumes/pvc-7e226978-3317-11ea-97b0-0aef8816c7ea
      uid: 7efe6b0d-3317-11ea-a650-06e1eadd9a4c
    spec:
      accessModes:
      - ReadWriteOnce
      awsElasticBlockStore:
        fsType: xfs
        volumeID: aws://eu-west-1c/vol-09db3141656d1c258
      capacity:
        storage: 100Gi
      claimRef:
        apiVersion: v1
        kind: PersistentVolumeClaim
        name: data-0-my-cluster-kafka-2
        namespace: myproject
        resourceVersion: "39113"
        uid: 54be1c60-3319-11ea-97b0-0aef8816c7ea
      nodeAffinity:
        required:
          nodeSelectorTerms:
          - matchExpressions:
            - key: failure-domain.beta.kubernetes.io/zone
              operator: In
              values:
              - eu-west-1c
            - key: failure-domain.beta.kubernetes.io/region
              operator: In
              values:
              - eu-west-1
      persistentVolumeReclaimPolicy: Retain
      storageClassName: gp2-retain
      volumeMode: Filesystem

    この例では、以下のプロパティーが削除されます。

    claimRef:
      apiVersion: v1
      kind: PersistentVolumeClaim
      name: data-0-my-cluster-kafka-2
      namespace: myproject
      resourceVersion: "39113"
      uid: 54be1c60-3319-11ea-97b0-0aef8816c7ea
  5. Cluster Operator をデプロイします。

    oc create -f install/cluster-operator -n my-project
  6. クラスターを再作成します。

    クラスターの再作成に必要なすべての KafkaTopic リソースがあるかどうかに応じて、以下の手順を実行します。

    オプション 1: クラスターを失う前に存在した KafkaTopic リソースが すべて ある場合 (__consumer_offsets からコミットされたオフセットなどの内部トピックを含む)。

    1. すべての KafkaTopic リソースを再作成します。

      クラスターをデプロイする前にリソースを再作成する必要があります。そうでないと、Topic Operator によってトピックが削除されます。

    2. Kafka クラスターをデプロイします。

      以下に例を示します。

      oc apply -f kafka.yaml

    オプション 2: クラスターを失う前に存在したすべての KafkaTopic リソースがない場合。

    1. オプション 1 と同様に Kafka クラスターをデプロイしますが、デプロイ前に Kafka リソースから topicOperator プロパティーを削除して、Topic Operator がない状態でデプロイします。

      デプロイメントに Topic Operator が含まれると、Topic Operator によってすべてのトピックが削除されます。

    2. Kafka クラスターから内部トピックストアのトピックを削除します。

      oc run kafka-admin -ti --image=registry.redhat.io/amq-streams/kafka-35-rhel8:2.5.1 --rm=true --restart=Never -- ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi-topic-operator-kstreams-topic-store-changelog --delete && ./bin/kafka-topics.sh --bootstrap-server localhost:9092 --topic __strimzi_store_topic --delete

      このコマンドは、Kafka クラスターへのアクセスに使用されるリスナーおよび認証のタイプに対応している必要があります。

    3. Kafka クラスターを topicOperator プロパティーで再デプロイして TopicOperator を有効にし、KafkaTopic リソースを再作成します。

      以下に例を示します。

      apiVersion: kafka.strimzi.io/v1beta2
      kind: Kafka
      metadata:
        name: my-cluster
      spec:
        #...
        entityOperator:
          topicOperator: {} 1
          #...
    1
    ここで示すデフォルト設定には、追加のプロパティーはありません。EntityTopicOperatorSpec スキーマ参照 で説明されているプロパティーを使用して、必要な設定を指定します。
  7. KafkaTopic リソースのリストを表示して、復旧を確認します。

    oc get KafkaTopic

27.13. AMQ Streams のアンインストール

OpenShift Container Platform Web コンソールまたは CLI を使用して、OperatorHub から OpenShift 4.10 〜 4.14 上の AMQ Streams をアンインストールできます。

AMQ Streams のインストールに使用したのと同じアプローチを使用します。

AMQ Streams をアンインストールする場合は、デプロイメント専用に作成され、AMQ Streams リソースから参照されるリソースを特定する必要があります。

このようなリソースには以下があります。

  • シークレット (カスタム CA および証明書、Kafka Connect Secrets、その他の Kafka シークレット)
  • ロギング ConfigMap (external タイプ)

KafkaKafkaConnectKafkaMirrorMakerKafkaBridge のいずれかの設定で参照されるリソースです。

警告

CustomResourceDefinitions を削除すると、対応するカスタムリソース (KafkaKafkaConnectKafkaMirrorMaker、または KafkaBridge)、およびそれらに依存するリソース (Deployments、StatefulSets、およびその他の依存リソース) のガベージコレクションが実行されます。

27.13.1. Web コンソールを使用した OperatorHub からの AMQ Streams のアンインストール

この手順では、OperatorHub から AMQ Streams をアンインストールし、デプロイメントに関連するリソースを削除する方法を説明します。

コンソールから手順を実行したり、別の CLI コマンドを使用したりできます。

前提条件

  • cluster-admin または strimzi-admin パーミッションを持つアカウントを使用して OpenShift Container Platform Web コンソールにアクセスできる。
  • 削除するリソースを特定している。

    AMQ Streams をアンインストールしたら、以下の oc CLI コマンドを使用してリソースを検索して、削除されていることを確認できます。

    AMQ Streams デプロイメントに関連するリソースを検索するコマンド

    oc get <resource_type> --all-namespaces | grep <kafka_cluster_name>

    <resource_type> は、secret または configmap などのチェックするリソースのタイプに置き換えます。

手順

  1. OpenShift Web コンソールで、Operators > Installed Operators に移動します。
  2. インストールされている AMQ Streams Operator のオプションアイコン (縦に 3 つの点) を選択し、Uninstall Operator をクリックします。

    Operator が Installed Operators から削除されます。

  3. Home > Projects に移動し、AMQ Streams と Kafka コンポーネントがインストールされているプロジェクトを選択します。
  4. Inventory のオプションをクリックして関連リソースを削除します。

    リソースには以下が含まれます。

    • Deployments
    • StatefulSets
    • Pod
    • Services
    • ConfigMap
    • Secrets
    ヒント

    検索を使用して、Kafka クラスターの名前で始まる関連リソースを検索します。また、Workloads でもリソースを検索できます。

代わりの CLI コマンド

CLI コマンドを使用して、OperatorHub から AMQ Streams をアンインストールできます。

  1. AMQ Streams サブスクリプションを削除します。

    oc delete subscription amq-streams -n openshift-operators
  2. クラスターサービスバージョン (CSV) を削除します。

    oc delete csv amqstreams.<version>  -n openshift-operators
  3. 関連する CRD を削除します。

    oc get crd -l app=strimzi -o name | xargs oc delete

27.13.2. CLI を使用した AMQ Streams のアンインストール

この手順では、oc コマンドラインツールを使用して AMQ Streams をアンインストールし、デプロイメントに関連するリソースを削除する方法を説明します。

前提条件

  • cluster-admin または strimzi-admin 権限を持つアカウントを使用して、OpenShift クラスターにアクセスできる。
  • 削除するリソースを特定している。

    AMQ Streams をアンインストールしたら、以下の oc CLI コマンドを使用してリソースを検索して、削除されていることを確認できます。

    AMQ Streams デプロイメントに関連するリソースを検索するコマンド

    oc get <resource_type> --all-namespaces | grep <kafka_cluster_name>

    <resource_type> は、secret または configmap などのチェックするリソースのタイプに置き換えます。

手順

  1. Cluster Operator Deployment、関連する CustomResourceDefinitions、および RBAC リソースを削除します。

    Cluster Operator のデプロイに使用するインストールファイルを指定します。

    oc delete -f install/cluster-operator
  2. 前提条件で特定したリソースを削除します。

    oc delete <resource_type> <resource_name> -n <namespace>

    <resource_type> は削除するリソースのタイプに、 <resource_name> はリソースの名前に置き換えます。

    シークレットの削除例

    oc delete secret my-cluster-clients-ca-cert -n my-project

27.14. よくある質問

第28章 AMQ Streams でのメータリングの使用

OCP 4 で利用可能なメータリングツールを使用して、異なるデータソースからメータリングレポートを生成できます。クラスター管理者として、メータリングを使用してクラスターの内容を分析できます。独自のクエリーを作成するか、事前定義 SQL クエリーを使用して、利用可能な異なるデータソースからデータを処理する方法を定義できます。Prometheus をデフォルトのデータソースとして使用すると、Pod、namespace、およびその他ほとんどの OpenShift リソースのレポートを生成できます。

OpenShift のメータリング Operator を使用すると、インストールされた AMQ Streams コンポーネントを分析し、Red Hat サブスクリプションに準拠しているかどうかを判断できます。

AMQ Streams でメータリングを使用するには、まず OpenShift Container Platform に メータリング Operator をインストールし、設定する必要があります。

28.1. メータリングリソース

メータリングには、メータリングのデプロイメントやインストール、およびメータリングが提供するレポート機能を管理するために使用できるリソースが多数含まれています。メータリングは以下の CRD を使用して管理されます。

表28.1 メータリングリソース
名前説明

MeteringConfig

デプロイメントのメータリングスタックを設定します。メータリングスタック設定用の各コンポーネントを制御するカスタマイズおよび設定オプションが含まれます。

Report

使用するクエリー、クエリーを実行するタイミングおよび頻度、および結果を保存する場所を制御します。

ReportQuery

ReportDataSources 内に含まれるデータに対して分析を実行するために使用される SQL クエリーが含まれます。

ReportDataSource

ReportQuery および Report で利用可能なデータを制御します。メータリング内で使用できるように複数の異なるデータベースへのアクセスの設定を可能にします。

28.2. AMQ Streams のメータリングラベル

以下の表では、AMQ Streams インフラストラクチャーコンポーネントおよびインテグレーションのメータリングラベルがリスト表示されています。

表28.2 メータリングラベル
ラベル使用できる値

com.company

Red_Hat

rht.prod_name

Red_Hat_Application_Foundations

rht.prod_ver

2023.Q3

rht.comp

AMQ_Streams

rht.comp_ver

2.5

rht.subcomp

インフラストラクチャー

cluster-operator

entity-operator

topic-operator

user-operator

zookeeper

アプリケーション

kafka-broker

kafka-connect

kafka-connect-build

kafka-mirror-maker2

kafka-mirror-maker

cruise-control

kafka-bridge

kafka-exporter

drain-cleaner

rht.subcomp_t

infrastructure

application

  • インフラストラクチャーの例 (インフラストラクチャーコンポーネントが entity-operator の場合)

    com.company=Red_Hat
    rht.prod_name=Red_Hat_Application_Foundations
    rht.prod_ver=2023.Q3
    rht.comp=AMQ_Streams
    rht.comp_ver=2.5
    rht.subcomp=entity-operator
    rht.subcomp_t=infrastructure
  • アプリケーションの例 (インテグレーションのデプロイメント名が kafka-bridge の場合)

    com.company=Red_Hat
    rht.prod_name=Red_Hat_Application_Foundations
    rht.prod_ver=2023.Q3
    rht.comp=AMQ_Streams
    rht.comp_ver=2.5
    rht.subcomp=kafka-bridge
    rht.subcomp_t=application

付録A サブスクリプションの使用

AMQ Streams は、ソフトウェアサブスクリプションから提供されます。サブスクリプションを管理するには、Red Hat カスタマーポータルでアカウントにアクセスします。

アカウントへのアクセス

  1. access.redhat.com に移動します。
  2. アカウントがない場合は作成します。
  3. アカウントにログインします。

サブスクリプションのアクティベート

  1. access.redhat.com に移動します。
  2. My Subscriptions に移動します。
  3. Activate a subscription に移動し、16 桁のアクティベーション番号を入力します。

Zip および Tar ファイルのダウンロード

zip または tar ファイルにアクセスするには、カスタマーポータルを使用して、ダウンロードする関連ファイルを検索します。RPM パッケージを使用している場合、この手順は必要ありません。

  1. ブラウザーを開き、access.redhat.com/downloads で Red Hat カスタマーポータルの Product Downloads ページにログインします。
  2. INTEGRATION AND AUTOMATION カテゴリーで、AMQ Streams for Apache Kafka エントリーを見つけます。
  3. 必要な AMQ Streams 製品を選択します。Software Downloads ページが開きます。
  4. コンポーネントの Download リンクをクリックします。

DNF を使用したパッケージのインストール

パッケージとすべてのパッケージ依存関係をインストールするには、以下を使用します。

dnf install <package_name>

ローカルディレクトリーからダウンロード済みのパッケージをインストールするには、以下を使用します。

dnf install <path_to_download_package>

改訂日時: 2023-11-22

法律上の通知

Copyright © 2023 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.
Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.