13.6. 使用 loadbalancers 访问 Kafka

流程

1. 配置一个 Kafka 资源，并将外部监听程序设置为 loadbalancer 类型。

   例如：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     labels:
       app: my-cluster
     name: my-cluster
     namespace: myproject
   spec:
     kafka:
       # ...
       listeners:
         - name: external3
           port: 9094
           type: loadbalancer
           tls: true
           authentication:
             type: tls
           # ...
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

2. 创建或更新资源。

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap

   在 secret my-cluster-cluster-ca-cert 中还创建了用于验证 kafka 代理身份的集群 CA 证书。

   为每个 Kafka 代理创建 loadbalancer 类型服务和负载均衡器，以及外部 bootstrap 服务。

   为 bootstrap 和代理创建的 LoadBalancer 服务和负载均衡器

   NAME                                  TYPE            CLUSTER-IP      PORT(S)
   my-cluster-kafka-external3-0          LoadBalancer    172.30.204.234  9094:30011/TCP
   my-cluster-kafka-external3-1          LoadBalancer    172.30.164.89   9094:32544/TCP
   my-cluster-kafka-external3-2          LoadBalancer    172.30.73.151   9094:32504/TCP
   my-cluster-kafka-external3-bootstrap  LoadBalancer    172.30.30.228   9094:30371/TCP
   
   NAME                                  EXTERNAL-IP (loadbalancer)
   my-cluster-kafka-external3-0          a8a519e464b924000b6c0f0a05e19f0d-1132975133.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external3-1          ab6adc22b556343afb0db5ea05d07347-611832211.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external3-2          a9173e8ccb1914778aeb17eca98713c0-777597560.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external3-bootstrap  a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com

   Copy to Clipboard Toggle word wrap

   用于客户端连接的 bootstrap 地址传播到 Kafka 资源的 status。

   bootstrap 地址的状态示例

   status:
     clusterId: Y_RJQDGKRXmNF7fEcWldJQ
     conditions:
       - lastTransitionTime: '2023-01-31T14:59:37.113630Z'
         status: 'True'
         type: Ready
     kafkaVersion: 3.6.0
     listeners:
       # ...
       - addresses:
           - host: >-
               a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
             port: 9094
         bootstrapServers: >-
           a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9094
         certificates:
           - |
             -----BEGIN CERTIFICATE-----
   
             -----END CERTIFICATE-----
         name: external3
     observedGeneration: 2
     operatorLastSuccessfulVersion: 2.6
    # ...

   Copy to Clipboard Toggle word wrap

   用于客户端连接的 DNS 地址传播到每个 loadbalancer 服务的状态。

   bootstrap loadbalancer 的状态示例

   status:
     loadBalancer:
       ingress:
         - hostname: >-
             a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
    # ...

   Copy to Clipboard Toggle word wrap

3. 从 Kafka 资源的状态中检索可用于访问 Kafka 集群的 bootstrap 地址。

   oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external3")].bootstrapServers}{"\n"}'
   
   a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9094

   Copy to Clipboard Toggle word wrap

4. 提取集群 CA 证书。

   oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt

   Copy to Clipboard Toggle word wrap

5. 将您的客户端配置为连接到代理。

   1. 指定 Kafka 客户端中的 bootstrap 主机和端口作为连接到 Kafka 集群的 bootstrap 地址。例如，a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9094。

   2. 将提取的证书添加到 Kafka 客户端的信任存储中，以配置 TLS 连接。

      如果启用了客户端身份验证机制，您还需要在客户端中配置它。