14.6. ロードバランサーを使用した Kafka へのアクセス

手順

1. 外部リスナーを loadbalancer タイプに設定して Kafka リソースを設定します。

   以下に例を示します。

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     labels:
       app: my-cluster
     name: my-cluster
     namespace: myproject
   spec:
     kafka:
       # ...
       listeners:
         - name: external3
           port: 9094
           type: loadbalancer
           tls: true
           authentication:
             type: tls
           # ...
       # ...
     zookeeper:
       # ...

2. リソースを作成または更新します。

   oc apply -f <kafka_configuration_file>

   Kafka ブローカーの ID を検証するためのクラスター CA 証明書も、シークレット my-cluster-cluster-ca-cert に作成されます。

   loadbalancer タイプのサービスとロードバランサーは、外部ブートストラップサービスと同様に、Kafka ブローカーごとに作成されます。

   ロードバランサーサービス、ブートストラップおよびブローカー用に作成されたロードバランサー

   NAME                                  TYPE            CLUSTER-IP      PORT(S)
   my-cluster-kafka-external3-0          LoadBalancer    172.30.204.234  9094:30011/TCP
   my-cluster-kafka-external3-1          LoadBalancer    172.30.164.89   9094:32544/TCP
   my-cluster-kafka-external3-2          LoadBalancer    172.30.73.151   9094:32504/TCP
   my-cluster-kafka-external3-bootstrap  LoadBalancer    172.30.30.228   9094:30371/TCP
   
   NAME                                  EXTERNAL-IP (loadbalancer)
   my-cluster-kafka-external3-0          a8a519e464b924000b6c0f0a05e19f0d-1132975133.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external3-1          ab6adc22b556343afb0db5ea05d07347-611832211.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external3-2          a9173e8ccb1914778aeb17eca98713c0-777597560.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external3-bootstrap  a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com

   クライアント接続に使用されるブートストラップアドレスは、Kafka リソースの status に伝播されます。

   ブートストラップアドレスのステータスの例

   status:
     clusterId: Y_RJQDGKRXmNF7fEcWldJQ
     conditions:
       - lastTransitionTime: '2023-01-31T14:59:37.113630Z'
         status: 'True'
         type: Ready
     kafkaVersion: 3.7.0
     listeners:
       # ...
       - addresses:
           - host: >-
               a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
             port: 9094
         bootstrapServers: >-
           a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9094
         certificates:
           - |
             -----BEGIN CERTIFICATE-----
   
             -----END CERTIFICATE-----
         name: external3
     observedGeneration: 2
     operatorLastSuccessfulVersion: 2.7
    # ...

   クライアント接続に使用される DNS アドレスは、各ロードバランサーサービスの status に伝達されます。

   ブートストラップロードバランサーのステータスの例

   status:
     loadBalancer:
       ingress:
         - hostname: >-
             a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
    # ...

3. Kafka リソースのステータスから、Kafka クラスターにアクセスする際に使用するブートストラップアドレスを取得します。

   oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external3")].bootstrapServers}{"\n"}'
   
   a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9094

4. クラスター CA 証明書を抽出します。

   oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt

5. ブローカーに接続するようにクライアントを設定します。

   1. Kafka クラスターに接続するためのブートストラップアドレスとして、Kafka クライアントのブートストラップホストとポートを指定します。たとえば、a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9094 です。

   2. 抽出した証明書を Kafka クライアントのトラストストアに追加して、TLS 接続を設定します。

      クライアント認証メカニズムを有効にした場合は、クライアントでもそれを設定する必要があります。