第2章 Streams for Apache Kafka Console の Kafka クラスターへの接続

手順

1. Streams for Apache Kafka Console インストールアーティファクトをダウンロードして展開します。

   アーティファクトは、Streams for Apache Kafka ソフトウェアダウンロードページ から入手できるインストールおよびサンプルファイルに含まれています。

   ファイルには、コンソール、Kafka クラスター、および Prometheus に必要なデプロイメント設定が含まれています。

   この Kafka 設定の例では、コンソールが Kafka クラスターに接続するために使用するルートリスナーを作成します。コンソールと Kafka クラスターは同じ OpenShift クラスターにデプロイされるため、ルートの代わりに Kafka クラスターの内部ブートストラップアドレスを使用できます。

2. Prometheus インストールファイルを適用して、コンソールに必要な設定を持つ Prometheus インスタンスを作成します。

   1. console-prometheus-server.clusterrolebinding.yaml ファイルの ${NAMESPACE} を編集して、Prometheus インスタンスがインストールされる namespace を使用します。

      Copy to Clipboard Toggle word wrap

      sed -i 's/${NAMESPACE}/'"my-project"'/g' <resource_path>/console-prometheus-server.clusterrolebinding.yaml

      たとえば、この手順では、my-project namespace にインストールします。この設定では、Prometheus のロールとそのサービスアカウントをバインドします。

   2. 次の順序でインストールファイルを適用して、Prometheus インスタンスを作成します。

      Copy to Clipboard Toggle word wrap

      # Prometheus security resources
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus-server.clusterrole.yaml
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus-server.serviceaccount.yaml
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus-server.clusterrolebinding.yaml
      
      # Prometheus PodMonitor and Kubernetes scrape configurations
      oc apply -n my-project -f <resource_path>/prometheus/kafka-resources.podmonitor.yaml
      oc apply -n my-project -f <resource_path>/prometheus/kubernetes-scrape-configs.secret.yaml
      
      # Prometheus instance
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus.prometheus.yaml

      インスタンスの名前は console-prometheus で、コンソールに接続するためのサービスの URL は http://prometheus-operated.my-project.svc.cluster.local:9090 です (my-project は namespace 名から取得されます)。

      注記

      console-prometheus インスタンスは OpenShift クラスターの外部からアクセスする必要がないため、ルートはデプロイされません。

3. Kafka クラスターを作成してデプロイします。

   1. KRaft モードで動作している Kafka クラスターでコンソールを使用している場合は、console-kafka-metrics.configmap.yaml ファイルでクラスターのメトリクス設定を更新します。

      • KRaft 関連のメトリクス設定のコメントを解除します。
      • ZooKeeper 関連のメトリクスをコメントアウトします。

      このファイルには、コンソールに必要なメトリクス設定が含まれています。

   2. console-kafka-user1.kafkauser.yaml ファイル内の KafkaUser カスタムリソースを編集し、ACL タイプを追加して、コンソールから Kafka クラスターへの承認済みアクセスを付与します。

      少なくとも、Kafka ユーザーには次の ACL ルールが必要です。

      • cluster リソースの Describe、DescribeConfigs 権限
      • すべての topic リソースに対する Read、Describe、DescribeConfigs 権限

      • すべての group リソースに対する Read、Describe 権限

        ユーザー認証設定の例

        Copy to Clipboard Toggle word wrap

        apiVersion: kafka.strimzi.io/v1beta2
        kind: KafkaUser
        metadata:
          name: console-kafka-user1
          labels:
            strimzi.io/cluster: console-kafka
        spec:
          authentication:
            type: scram-sha-512
          authorization:
            type: simple
            acls:
              - resource:
                  type: cluster
                  name: ""
                  patternType: literal
                operations:
                  - Describe
                  - DescribeConfigs
              - resource:
                  type: topic
                  name: "*"
                  patternType: literal
                operations:
                  - Read
                  - Describe
                  - DescribeConfigs
              - resource:
                  type: group
                  name: "*"
                  patternType: literal
                operations:
                  - Read
                  - Describe

   3. console-kafka.kafka.yaml ファイルを編集して、プレースホルダーを置き換えます。

      Copy to Clipboard Toggle word wrap

      sed -i 's/type: ${LISTENER_TYPE}/type: route/g' console-kafka.kafka.yaml
      sed -i 's/\${CLUSTER_DOMAIN}/'"<my_router_base_domain>"'/g' console-kafka.kafka.yaml

      このファイルには、Kafka クラスターを作成するための Kafka カスタムリソース設定が含まれています。

      これらのコマンドは次のことを実行します。

      • type: ${LISTENER_TYPE} を type: route に置き換えます。この例では route タイプを使用していますが、${LISTENER_TYPE} をデプロイメントの有効なリスナータイプに置き換えることもできます。
      • ${CLUSTER_DOMAIN} を、ブートストラップおよび各ブローカーのサービスで使用されるルートリスナーホストを指定するために必要なベースドメインの値に置き換えます。デフォルトでは、route リスナーのホストは OpenShift によって自動的に割り当てられます。ただし、ホストを指定して、割り当てられたルートをオーバーライドすることができます。

      あるいは、サンプル設定を独自の Kafka デプロイメントにコピーする こともできます。

   4. 次の順序でインストールファイルを適用して、Kafka クラスターを作成します。

      Copy to Clipboard Toggle word wrap

      # Metrics configuration
      oc apply -n my-project -f <resource_path>/console-kafka-metrics.configmap.yaml
      
      # Create the cluster
      oc apply -n my-project -f <resource_path>/console-kafka.kafka.yaml
      
      # Create a user for the cluster
      oc apply -n my-project -f <resource_path>/console-kafka-user1.kafkauser.yaml

      独自の Kafka クラスターを使用している場合は、console-kafka.kafka.yaml の代わりに更新された Kafka リソース設定を適用します。

      インストールファイルは、Kafka クラスターと、クラスターに接続するためにコンソールで必要な Kafka ユーザーおよびメトリクス設定を作成します。コンソールから監視する Kafka クラスターごとに、Kafka ユーザーとメトリクス設定が必要です。各 Kafka ユーザーには一意の名前が必要です。

   5. Kafka クラスターが Prometheus インスタンスとは異なる namespace にある場合は、kafka-resources.podmonitor.yaml ファイルを変更して namespaceSelector を含めます。

      Copy to Clipboard Toggle word wrap

      apiVersion: monitoring.coreos.com/v1
      kind: PodMonitor
      metadata:
        name: kafka-resources
        labels:
          app: console-kafka-monitor
      spec:
        namespaceSelector:
          matchNames:
            - <kafka_namespace>
        # ...

      これにより、Prometheus が Kafka Pod を監視できるようになります。<kafka_namespace> は、Kafka クラスターがデプロイされている実際の namespace に置き換えます。

4. デプロイメントのステータスを確認します。

   Copy to Clipboard Toggle word wrap

   oc get pods -n <my_console_namespace>

   出力には Operator とクラスターの準備状況が表示されます

   Copy to Clipboard Toggle word wrap

   NAME                          READY   STATUS   RESTARTS
   strimzi-cluster-operator      1/1     Running  0
   console-kafka-kafka-0         1/1     Running  0
   console-kafka-kafka-1         1/1     Running  0
   console-kafka-kafka-2         1/1     Running  0
   prometheus-operator-...       1/1     Running  0
   prometheus-console-prometheus 1/1     Running  0

   ここで、console-kafka はクラスターの名前です。

   Pod ID は作成された Pod を識別します。

   デフォルトのデプロイメントでは、3 つの Pod をインストールします。

   READY は、ready/expected 状態のレプリカ数を表示します。STATUS が Running と表示されれば、デプロイメントは成功です。

5. Streams for Apache Kafka Console をインストールします。

   1. コンソールインスタンスがインストールされる namespace を使用するように console-server.clusterrolebinding.yaml ファイルを編集します。

      Copy to Clipboard Toggle word wrap

      sed -i 's/${NAMESPACE}/'"my-project"'/g' /<resource_path>console-server.clusterrolebinding.yaml

      設定により、コンソールのロールとそのサービスアカウントがバインドされます。

   2. 次の順序でインストールファイルを適用して、コンソールユーザーインターフェイスをインストールし、インターフェイスにルートします。

      Copy to Clipboard Toggle word wrap

      # Console security resources
      oc apply -n my-project -f <resource_path>/console-server.clusterrole.yaml
      oc apply -n my-project -f <resource_path>/console-server.serviceaccount.yaml
      oc apply -n my-project -f <resource_path>/console-server.clusterrolebinding.yaml
      
      # Console user interface service
      oc apply -n my-project -f <resource_path>/console-ui.service.yaml
      
      # Console route
      oc apply -n my-project -f <resource_path>/console-ui.route.yaml

      インストールにより、コンソールユーザーインターフェイスを実行するために必要なロール、ロールバインディング、サービスアカウント、サービス、およびルートが作成されます。

   3. コンソール内でのセッション管理と認証のための 2 つのシークレット値 (前提条件で説明) を含む console-ui-secrets という Secret を作成します。

      Copy to Clipboard Toggle word wrap

      oc create secret generic console-ui-secrets -n my-project \
          --from-literal=SESSION_SECRET="<session_secret_value>" \
          --from-literal=NEXTAUTH_SECRET="<next_secret_value>"

      コンソールがデプロイされると、シークレットは環境変数としてマウントされます。

   4. コンソールユーザーインターフェイス用に作成されたルートのホスト名を取得します。

      Copy to Clipboard Toggle word wrap

      oc get route console-ui-route -n my-project -o jsonpath='{.spec.host}'

      コンソールユーザーインターフェイスにアクセスするには、ホスト名が必要です。

   5. console.deployment.yaml ファイルを編集してプレースホルダーを置き換えます。

      Copy to Clipboard Toggle word wrap

      sed -i 's/${CONSOLE_HOSTNAME}/'"<route_hostname>"'/g' console.deployment.yaml
      sed -i 's/${NAMESPACE}/'"my-project"'/g' console.deployment.yaml

      これらのコマンドは次のことを実行します。

      • https://${CONSOLE_HOSTNAME} を、コンソールユーザーインターフェイスにアクセスするために使用されるルートである https://<route_hostname> に置き換えます。
      • コンソールが使用する Prometheus インスタンスの URL である http://prometheus-operated.${NAMESPACE}.svc.cluster.local:9090 内の ${NAMESPACE} を my-project namespace に置き換えます。

      独自の Kafka クラスターを使用している場合は、正しいクラスター名が使用され、他の環境変数が 正しい値で設定されている ことを確認してください。これらの値により、コンソールはクラスターに接続してメトリクスを取得できるようになります。

   6. コンソールをインストールします。

      Copy to Clipboard Toggle word wrap

      oc apply -n my-project -f <resource_path>/console.deployment.yaml

      出力はコンソールの準備状況を示します

      Copy to Clipboard Toggle word wrap

      NAME                          READY   STATUS   RESTARTS
      strimzi-cluster-operator      1/1     Running  0
      console-kafka-kafka-0         1/1     Running  0
      console-kafka-kafka-0         1/1     Running  0
      console-kafka-kafka-0         1/1     Running  0
      prometheus-operator-...       1/1     Running  0
      prometheus-console-prometheus 1/1     Running  0
      console-...                   2/2     Running  0