第 2 章 将 Apache Kafka 控制台的 Streams 连接到 Kafka 集群

流程

1. 下载并提取 Apache Kafka 控制台安装工件的 Streams。

   工件包含在安装以及 Apache Kafka 软件下载页面的 Streams 中提供的示例文件。

   文件包含控制台、Kafka 集群和 Prometheus 所需的部署配置。

   示例 Kafka 配置会创建一个路由监听程序，控制台用来连接到 Kafka 集群。由于控制台和 Kafka 集群部署在同一 OpenShift 集群中，您可以使用 Kafka 集群的内部 bootstrap 地址而不是路由。

2. 通过应用 Prometheus 安装文件，使用控制台所需的配置创建 Prometheus 实例：

   1. 编辑 console-prometheus-server.clusterrolebinding.yaml 文件中的 ${NAMESPACE}，以使用 Prometheus 实例要安装到的命名空间：

      sed -i 's/${NAMESPACE}/'"my-project"'/g' <resource_path>/console-prometheus-server.clusterrolebinding.yaml

      Copy to Clipboard Toggle word wrap

      例如，在此流程中，我们将安装到 my-project 命名空间。配置将 Prometheus 的角色与其服务帐户绑定。

   2. 通过按照以下顺序应用安装文件来创建 Prometheus 实例：

      # Prometheus security resources
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus-server.clusterrole.yaml
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus-server.serviceaccount.yaml
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus-server.clusterrolebinding.yaml
      
      # Prometheus PodMonitor and Kubernetes scrape configurations
      oc apply -n my-project -f <resource_path>/prometheus/kafka-resources.podmonitor.yaml
      oc apply -n my-project -f <resource_path>/prometheus/kubernetes-scrape-configs.secret.yaml
      
      # Prometheus instance
      oc apply -n my-project -f <resource_path>/prometheus/console-prometheus.prometheus.yaml

      Copy to Clipboard Toggle word wrap

      实例名为 console-prometheus，用于连接控制台的服务的 URL 为 http://prometheus-operated.my-project.svc.cluster.local:9090，并且 my-project 从命名空间名称中获取。

      注意

      没有为 console-prometheus 实例部署路由，因为不需要从 OpenShift 集群外部访问它。

3. 创建和部署 Kafka 集群。

   1. 如果您使用在 KRaft 模式下运行的 Kafka 集群的控制台，请在 console-kafka-metrics.configmap.yaml 文件中更新集群的指标配置：

      • 取消注释 KRaft 相关指标配置。
      • 注释掉 ZooKeeper 相关指标。

      此文件包含控制台所需的指标配置。

   2. 通过添加 ACL 类型来为 Kafka 集群提供授权访问来编辑 console-kafka-user1.kafkauser.yaml 文件中的 KafkaUser 自定义资源。

      Kafka 用户至少需要以下 ACL 规则：

      • 描述 集群资源的DescribeConfigs 权限
      • 所有 主题 资源的 读取、DescribeConfigs 权限

      • 所有 组资源 的读取、描述 权限

        用户授权设置示例

        apiVersion: kafka.strimzi.io/v1beta2
        kind: KafkaUser
        metadata:
          name: console-kafka-user1
          labels:
            strimzi.io/cluster: console-kafka
        spec:
          authentication:
            type: scram-sha-512
          authorization:
            type: simple
            acls:
              - resource:
                  type: cluster
                  name: ""
                  patternType: literal
                operations:
                  - Describe
                  - DescribeConfigs
              - resource:
                  type: topic
                  name: "*"
                  patternType: literal
                operations:
                  - Read
                  - Describe
                  - DescribeConfigs
              - resource:
                  type: group
                  name: "*"
                  patternType: literal
                operations:
                  - Read
                  - Describe

        Copy to Clipboard Toggle word wrap

   3. 编辑 console-kafka.kafka.yaml 文件以替换占位符：

      sed -i 's/type: ${LISTENER_TYPE}/type: route/g' console-kafka.kafka.yaml
      sed -i 's/\${CLUSTER_DOMAIN}/'"<my_router_base_domain>"'/g' console-kafka.kafka.yaml

      Copy to Clipboard Toggle word wrap

      此文件包含用于创建 Kafka 集群的 Kafka 自定义资源配置。

      这些命令执行以下操作：

      • 将 type: ${LISTENER_TYPE} 替换为 type: route。虽然本示例使用 路由类型，但您可以将 ${LISTENER_TYPE} 替换为部署的任何有效的监听程序类型。
      • 将 ${CLUSTER_DOMAIN} 替换为指定 bootstrap 和 per-broker 服务使用的路由监听程序主机所需的基域值。默认情况下，路由 监听程序主机由 OpenShift 自动分配。但是，您可以通过指定主机来覆盖分配的路由主机。

      另外，您可以将 示例配置复制到您自己的 Kafka 部署 中。

   4. 通过按以下顺序应用安装文件来创建 Kafka 集群：

      # Metrics configuration
      oc apply -n my-project -f <resource_path>/console-kafka-metrics.configmap.yaml
      
      # Create the cluster
      oc apply -n my-project -f <resource_path>/console-kafka.kafka.yaml
      
      # Create a user for the cluster
      oc apply -n my-project -f <resource_path>/console-kafka-user1.kafkauser.yaml

      Copy to Clipboard Toggle word wrap

      如果您使用自己的 Kafka 集群，请应用更新的 Kafka 资源配置而不是 console-kafka.kafka.yaml。

      安装文件会创建一个 Kafka 集群以及 Kafka 用户以及控制台所需的指标配置，用于连接到您要通过控制台监控的每个 Kafka 集群和指标配置。每个 Kafka 用户都需要一个唯一名称。

   5. 如果 Kafka 集群位于与 Prometheus 实例不同的命名空间中，请修改 kafka-resources.podmonitor.yaml 文件使其包含 namespaceSelector ：

      apiVersion: monitoring.coreos.com/v1
      kind: PodMonitor
      metadata:
        name: kafka-resources
        labels:
          app: console-kafka-monitor
      spec:
        namespaceSelector:
          matchNames:
            - <kafka_namespace>
        # ...

      Copy to Clipboard Toggle word wrap

      这样可确保 Prometheus 可以监控 Kafka pod。将 <kafka_namespace > 替换为部署 Kafka 集群的实际命名空间。

4. 检查部署的状态：

   oc get pods -n <my_console_namespace>

   Copy to Clipboard Toggle word wrap

   输出显示 Operator 和集群就绪度

   NAME                          READY   STATUS   RESTARTS
   strimzi-cluster-operator      1/1     Running  0
   console-kafka-kafka-0         1/1     Running  0
   console-kafka-kafka-1         1/1     Running  0
   console-kafka-kafka-2         1/1     Running  0
   prometheus-operator-...       1/1     Running  0
   prometheus-console-prometheus 1/1     Running  0

   Copy to Clipboard Toggle word wrap

   在这里，console-kafka 是集群的名称。

   标识创建的 pod 的 pod ID。

   在默认部署中，您要安装三个 pod。

   READY 显示就绪/预期的副本数。当 STATUS 显示为 Running 时，部署成功。

5. 安装 Apache Kafka 控制台的流。

   1. 编辑 console-server.clusterrolebinding.yaml 文件，以使用控制台实例要安装到的命名空间：

      sed -i 's/${NAMESPACE}/'"my-project"'/g' /<resource_path>console-server.clusterrolebinding.yaml

      Copy to Clipboard Toggle word wrap

      配置将控制台的角色与其服务帐户绑定。

   2. 通过应用安装文件（按以下顺序）安装控制台用户界面并路由到接口：

      # Console security resources
      oc apply -n my-project -f <resource_path>/console-server.clusterrole.yaml
      oc apply -n my-project -f <resource_path>/console-server.serviceaccount.yaml
      oc apply -n my-project -f <resource_path>/console-server.clusterrolebinding.yaml
      
      # Console user interface service
      oc apply -n my-project -f <resource_path>/console-ui.service.yaml
      
      # Console route
      oc apply -n my-project -f <resource_path>/console-ui.route.yaml

      Copy to Clipboard Toggle word wrap

      安装会创建运行控制台用户界面所需的角色、角色绑定、服务帐户、服务和路由。

   3. 为控制台中的会话管理和身份验证，创建一个名为 console-ui-secrets 的 Secret，其中包含两个 secret 值（如先决条件中所述）：

      oc create secret generic console-ui-secrets -n my-project \
          --from-literal=SESSION_SECRET="<session_secret_value>" \
          --from-literal=NEXTAUTH_SECRET="<next_secret_value>"

      Copy to Clipboard Toggle word wrap

      部署控制台时，secret 作为环境变量挂载。

   4. 获取为控制台用户界面创建的路由的主机名：

      oc get route console-ui-route -n my-project -o jsonpath='{.spec.host}'

      Copy to Clipboard Toggle word wrap

      访问控制台用户界面需要主机名。

   5. 编辑 console.deployment.yaml 文件以替换占位符：

      sed -i 's/${CONSOLE_HOSTNAME}/'"<route_hostname>"'/g' console.deployment.yaml
      sed -i 's/${NAMESPACE}/'"my-project"'/g' console.deployment.yaml

      Copy to Clipboard Toggle word wrap

      这些命令执行以下操作：

      • 将 https://${CONSOLE_HOSTNAME} 替换为 https://<route_hostname >，这是用于访问控制台用户界面的路由。
      • 将 ${NAMESPACE} 替换为 http://prometheus-operated.${NAMESPACE}.svc.cluster.local:9090 中的 my-project 命名空间名称，这是控制台使用的 Prometheus 实例的 URL。

      如果您使用自己的 Kafka 集群，请确保使用正确的集群名称，并将其他环境变量 配置为正确的值。这些值可让控制台连接到集群并检索指标。

   6. 安装控制台：

      oc apply -n my-project -f <resource_path>/console.deployment.yaml

      Copy to Clipboard Toggle word wrap

      输出显示控制台就绪

      NAME                          READY   STATUS   RESTARTS
      strimzi-cluster-operator      1/1     Running  0
      console-kafka-kafka-0         1/1     Running  0
      console-kafka-kafka-0         1/1     Running  0
      console-kafka-kafka-0         1/1     Running  0
      prometheus-operator-...       1/1     Running  0
      prometheus-console-prometheus 1/1     Running  0
      console-...                   2/2     Running  0

      Copy to Clipboard Toggle word wrap