7.5. 使用 loadbalancers 访问 Kafka

流程

1. 配置一个 Kafka 资源，并将外部监听程序设置为 loadbalancer 类型。

   例如：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     labels:
       app: my-cluster
     name: my-cluster
     namespace: myproject
   spec:
     kafka:
       # ...
       listeners:
         - name: external
           port: 9095
           type: loadbalancer
           tls: true
           authentication:
             type: tls
           # ...
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

2. 创建或更新资源。

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap

   验证 kafka 代理的身份的集群 CA 证书也会在 secret my-cluster-cluster-ca-cert 中创建。

   为每个 Kafka 代理创建 loadbalancer 类型服务和负载均衡器，以及外部 bootstrap 服务。

   为 bootstrap 和代理创建的 LoadBalancer 服务和负载均衡器

   NAME                                  TYPE            CLUSTER-IP      PORT(S)
   my-cluster-kafka-external-0          LoadBalancer     172.30.204.234  9095:30011/TCP
   my-cluster-kafka-external-1          LoadBalancer     172.30.164.89   9095:32544/TCP
   my-cluster-kafka-external-2          LoadBalancer     172.30.73.151   9095:32504/TCP
   my-cluster-kafka-external-bootstrap  LoadBalancer     172.30.30.228   9095:30371/TCP
   
   NAME                                 EXTERNAL-IP (loadbalancer)
   my-cluster-kafka-external-0          a8a519e464b924000b6c0f0a05e19f0d-1132975133.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external-1          ab6adc22b556343afb0db5ea05d07347-611832211.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external-2          a9173e8ccb1914778aeb17eca98713c0-777597560.us-west-2.elb.amazonaws.com
   my-cluster-kafka-external-bootstrap  a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com

   Copy to Clipboard Toggle word wrap

   用于客户端连接的 bootstrap 地址传播到 Kafka 资源的 status。

   bootstrap 地址的状态示例

   status:
     clusterId: Y_RJQDGKRXmNF7fEcWldJQ
     conditions:
       - lastTransitionTime: '2023-01-31T14:59:37.113630Z'
         status: 'True'
         type: Ready
     listeners:
       # ...
       - addresses:
           - host: >-
               a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
             port: 9095
         bootstrapServers: >-
           a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095
         certificates:
           - |
             -----BEGIN CERTIFICATE-----
   
             -----END CERTIFICATE-----
         name: external
         type: external
     observedGeneration: 2
    # ...

   Copy to Clipboard Toggle word wrap

   用于客户端连接的 DNS 地址会传播到每个 loadbalancer 服务的状态。

   bootstrap loadbalancer 的状态示例

   status:
     loadBalancer:
       ingress:
         - hostname: >-
             a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com
    # ...

   Copy to Clipboard Toggle word wrap

3. 从 Kafka 资源的状态中检索可用于访问 Kafka 集群的 bootstrap 地址。

   oc get kafka my-cluster -o=jsonpath='{.status.listeners[?(@.name=="external")].bootstrapServers}{"\n"}'
   
   a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095

   Copy to Clipboard Toggle word wrap

4. 提取集群 CA 证书。

   oc get secret my-cluster-cluster-ca-cert -o jsonpath='{.data.ca\.crt}' | base64 -d > ca.crt

   Copy to Clipboard Toggle word wrap

5. 将您的客户端配置为连接到代理。

   1. 指定 Kafka 客户端中的 bootstrap 主机和端口作为连接到 Kafka 集群的 bootstrap 地址。例如，a8d4a6fb363bf447fb6e475fc3040176-36312313.us-west-2.elb.amazonaws.com:9095。

   2. 将提取的证书添加到 Kafka 客户端的信任存储中，以配置 TLS 连接。

      如果启用了客户端身份验证机制，您还需要在客户端上配置它。