Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

7.8. Apache Kafka operator 的 Streams 的替代独立部署选项

您可以对主题 Operator 和 User Operator 执行独立部署。如果您使用不是由 Cluster Operator 管理的 Kafka 集群，请考虑这些 Operator 的独立部署。

您将操作器部署到 OpenShift。Kafka 可以在 OpenShift 外部运行。例如，您可以使用 Kafka 作为受管服务。您可以调整独立 Operator 的部署配置，以匹配 Kafka 集群的地址。

7.8.1. 部署独立主题 Operator
复制链接

此流程演示了如何将主题 Operator 部署为主题管理的独立组件。您可以将独立主题 Operator 与不是由 Cluster Operator 管理的 Kafka 集群一起使用。

独立部署文件随 Apache Kafka 的 Streams 提供。使用 05-Deployment-strimzi-topic-operator.yaml 部署文件来部署 Topic Operator。添加或设置与 Kafka 集群建立连接所需的环境变量。

主题 Operator 监视单个命名空间中的 KafkaTopic 资源。您可以在 Topic Operator 配置中指定要监视的命名空间以及与 Kafka 集群的连接。单个主题 Operator 可以监视单个命名空间。一个命名空间应该只由一个 Topic Operator 监视。如果要使用多个主题 Operator，请将每个主题配置为监视不同的命名空间。这样，您可以将主题 Operator 与多个 Kafka 集群一起使用。

先决条件

  • 您正在运行一个 Kafka 集群，供 Topic Operator 连接到。

    只要为连接正确配置了独立主题 Operator，Kafka 集群就可以在裸机环境、虚拟机或受管云应用程序服务上运行。

流程

  1. 编辑 install/topic-operator/05-Deployment-strimzi-topic-operator.yaml 独立部署文件中的 env 属性。

    独立主题 Operator 部署配置示例

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: strimzi-topic-operator
  labels:
    app: strimzi
spec:
  # ...
  template:
    # ...
    spec:
      # ...
      containers:
        - name: strimzi-topic-operator
          # ...
          env:
            - name: STRIMZI_NAMESPACE
    1 
    
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS
    2 
    
              value: my-kafka-bootstrap-address:9092
            - name: STRIMZI_RESOURCE_LABELS
    3 
    
              value: "strimzi.io/cluster=my-cluster"
            - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
    4 
    
              value: "120000"
            - name: STRIMZI_LOG_LEVEL
    5 
    
              value: INFO
            - name: STRIMZI_TLS_ENABLED
    6 
    
              value: "false"
            - name: STRIMZI_JAVA_OPTS
    7 
    
              value: "-Xmx=512M -Xms=256M"
            - name: STRIMZI_JAVA_SYSTEM_PROPERTIES
    8 
    
              value: "-Djavax.net.debug=verbose -DpropertyName=value"
            - name: STRIMZI_PUBLIC_CA
    9 
    
              value: "false"
            - name: STRIMZI_TLS_AUTH_ENABLED
    10 
    
              value: "false"
            - name: STRIMZI_SASL_ENABLED
    11 
    
              value: "false"
            - name: STRIMZI_SASL_USERNAME
    12 
    
              value: "admin"
            - name: STRIMZI_SASL_PASSWORD
    13 
    
              value: "password"
            - name: STRIMZI_SASL_MECHANISM
    14 
    
              value: "scram-sha-512"
            - name: STRIMZI_SECURITY_PROTOCOL
    15 
    
              value: "SSL"
            - name: STRIMZI_USE_FINALIZERS
              value: "false"
    16
    Copy to Clipboard Toggle word wrap

    1
    主题 Operator 的 OpenShift 命名空间，以监视 KafkaTopic 资源。指定 Kafka 集群的命名空间。
    2
    bootstrap 代理地址的主机和端口对，用于发现并连接到 Kafka 集群中的所有代理。使用逗号分隔的列表，在服务器停机时指定两个或三个代理地址。
    3
    用于标识 Topic Operator 管理的 KafkaTopic 资源的标签。这不一定是 Kafka 集群的名称。它可以是分配给 KafkaTopic 资源的标签。如果部署多个主题 Operator，则标签必须为每个主题都是唯一的。也就是说，操作员无法管理同一资源。
    4
    定期协调之间的间隔，以毫秒为单位。默认值为 120000 (2 分钟)。
    5
    打印日志信息的级别。您可以将级别设置为 ERROR、WARNING、INFO、DEBUG 或 TRACE。
    6
    启用 TLS 支持与 Kafka 代理的加密通信。
    7
    （可选）运行主题 Operator 的 JVM 使用的 Java 选项。
    8
    （可选）为主题 Operator 设置的调试(-D)选项。
    9
    （可选）如果通过 STRIMZI_TLS_ENABLED 启用 TLS，则跳过生成信任存储证书。如果启用了此环境变量，代理必须为其 TLS 证书使用公共可信证书颁发机构。默认值为 false。
    10
    （可选）为 mTLS 身份验证生成密钥存储证书。把它设置为 false 可禁用使用 mTLS 到 Kafka 代理的客户端身份验证。默认值是 true。
    11
    （可选）在连接到 Kafka 代理时为客户端身份验证启用 SASL 支持。默认值为 false。
    12
    （可选）客户端身份验证的 SASL 用户名。仅在通过 STRIMZI_SASL_ENABLED 启用 SASL 时才需要。
    13
    （可选）客户端身份验证的 SASL 密码。仅在通过 STRIMZI_SASL_ENABLED 启用 SASL 时才需要。
    14
    （可选）客户端身份验证的 SASL 机制。仅在通过 STRIMZI_SASL_ENABLED 启用 SASL 时才需要。您可以将值设为 plain、scram-sha-256 或 scram-sha-512。
    15
    （可选）用于与 Kafka 代理通信的安全协议。默认值为 "PLAINTEXT"。您可以将值设为 PLAINTEXT、SSL、SSL、SASL_PLAINTEXT 或 SASL_SSL。
    16
    如果您不想使用终结器来控制 主题删除，请将 STRIMZI_USE_FINALIZERS 设置为 false。
  2. 如果要连接到使用公共证书颁发机构的 Kafka 代理，请将 STRIMZI_PUBLIC_CA 设置为 true。将此属性设置为 true，例如，如果您使用 Amazon AWS MSK 服务。

  3. 如果您使用 STRIMZI_TLS_ENABLED 环境变量启用 mTLS，请指定用于验证与 Kafka 集群连接的密钥存储和信任存储。

    mTLS 配置示例

    # ....
env:
  - name: STRIMZI_TRUSTSTORE_LOCATION
    1 
    
    value: "/path/to/truststore.p12"
  - name: STRIMZI_TRUSTSTORE_PASSWORD
    2 
    
    value: "TRUSTSTORE-PASSWORD"
  - name: STRIMZI_KEYSTORE_LOCATION
    3 
    
    value: "/path/to/keystore.p12"
  - name: STRIMZI_KEYSTORE_PASSWORD
    4 
    
    value: "KEYSTORE-PASSWORD"
# ...
    Copy to Clipboard Toggle word wrap

    1
    truststore 包含用于为 Kafka 和 ZooKeeper 服务器证书签名的证书颁发机构的公钥。
    2
    用于访问 truststore 的密码。
    3
    密钥存储包含 mTLS 身份验证的私钥。
    4
    用于访问密钥存储的密码。

  4. 如果您需要配置自定义 SASL 身份验证，您可以使用独立操作器的 STRIMZI_SASL_CUSTOM_CONFIG_JSON 环境变量定义必要的身份验证属性。例如，此配置可用于访问云供应商中的 Kafka 集群，带有自定义登录模块（如 AWS Identity and Access Management 的 Amazon MSK Library for AWS Identity and Access Management (aws-msk_iam-auth)）。

    属性 STRIMZI_ALTERABLE_TOPIC_CONFIG 默认为 ALL，允许在 KafkaTopic 资源中设置所有 .spec.config 属性。如果此设置不适用于受管 Kafka 服务，如下所示：

    • 如果只能配置属性子集，请将它们以逗号分隔的值列出。
    • 如果没有配置属性，请使用 NONE，这等同于空属性列表。
    注意

    只有以 sasl 开头的 Kafka 配置属性，可以使用 STRIMZI_SASL_CUSTOM_CONFIG_JSON 环境变量设置。

    自定义 SASL 配置示例

    # ....
env:
  - name: STRIMZI_SASL_ENABLED
    value: "true"
  - name: STRIMZI_SECURITY_PROTOCOL
    value: SASL_SSL
  - name: STRIMZI_SKIP_CLUSTER_CONFIG_REVIEW
    1 
    
    value: "true"
  - name: STRIMZI_ALTERABLE_TOPIC_CONFIG
    2 
    
    value: compression.type, max.message.bytes, message.timestamp.difference.max.ms, message.timestamp.type, retention.bytes, retention.ms
  - name: STRIMZI_SASL_CUSTOM_CONFIG_JSON
    3 
    
    value: |
      {
        "sasl.mechanism": "AWS_MSK_IAM",
        "sasl.jaas.config": "software.amazon.msk.auth.iam.IAMLoginModule required;",
        "sasl.client.callback.handler.class": "software.amazon.msk.auth.iam.IAMClientCallbackHandler"
      }
  - name: STRIMZI_PUBLIC_CA
    value: "true"
  - name: STRIMZI_TRUSTSTORE_LOCATION
    value: /etc/pki/java/cacerts
  - name: STRIMZI_TRUSTSTORE_PASSWORD
    value: changeit
  - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS
    value: my-kafka-cluster-.kafka-serverless.us-east-1.amazonaws.com:9098
# ...
    Copy to Clipboard Toggle word wrap

    1
    禁用对不允许主题配置更改的受管 Kafka 服务的集群配置查找。
    2
    定义根据受管 Kafka 服务设置的限制可以更新的主题配置属性。
    3
    指定要以 JSON 格式设置的 SASL 属性。仅允许以 sasl. 开头的属性。

    带有外部 jar 的 Dockerfile 示例

    FROM strimzi/operator:latest

USER root

RUN mkdir -p ${STRIMZI_HOME}/external-libs
RUN chmod +rx ${STRIMZI_HOME}/external-libs

COPY ./aws-msk-iam-auth-and-dependencies/* ${STRIMZI_HOME}/external-libs/
ENV JAVA_CLASSPATH=${STRIMZI_HOME}/external-libs/*

USER 1001
    Copy to Clipboard Toggle word wrap

  5. 应用对部署配置的 更改 来部署主题 Operator。

  6. 检查部署的状态： 

    oc get deployments
    Copy to Clipboard Toggle word wrap

    输出显示部署名称和就绪

    NAME                    READY  UP-TO-DATE  AVAILABLE
strimzi-topic-operator  1/1    1           1
    Copy to Clipboard Toggle word wrap

    READY 显示就绪/预期的副本数。当 AVAILABLE 输出显示为 1 时，部署成功。

7.8.2. 部署独立用户 Operator
复制链接

此流程演示了如何将 User Operator 部署为用户管理的独立组件。您可以将独立用户 Operator 与不是由 Cluster Operator 管理的 Kafka 集群一起使用。

独立部署可以处理任何 Kafka 集群。

独立部署文件随 Apache Kafka 的 Streams 提供。使用 05-Deployment-strimzi-user-operator.yaml 部署文件来部署 User Operator。添加或设置与 Kafka 集群建立连接所需的环境变量。

User Operator 监视单个命名空间中的 KafkaUser 资源。您可以在 User Operator 配置中指定要监视的命名空间以及与 Kafka 集群的连接。单个 User Operator 可以监视单个命名空间。一个命名空间应该只由一个 User Operator 监视。如果要使用多个 User Operator，请将每个 Operator 配置为监视不同的命名空间。这样，您可以将 User Operator 与多个 Kafka 集群一起使用。

先决条件

  • 您正在运行一个 Kafka 集群，供 User Operator 连接。

    只要为连接正确配置了独立用户 Operator，Kafka 集群就可以在裸机环境、虚拟机或受管云应用程序服务上运行。

流程

  1. 编辑 install/user-operator/05-Deployment-strimzi-user-operator.yaml 独立部署文件中的以下 env 属性。

    独立用户 Operator 部署配置示例

    apiVersion: apps/v1
kind: Deployment
metadata:
  name: strimzi-user-operator
  labels:
    app: strimzi
spec:
  # ...
  template:
    # ...
    spec:
      # ...
      containers:
        - name: strimzi-user-operator
          # ...
          env:
            - name: STRIMZI_NAMESPACE
    1 
    
              valueFrom:
                fieldRef:
                  fieldPath: metadata.namespace
            - name: STRIMZI_KAFKA_BOOTSTRAP_SERVERS
    2 
    
              value: my-kafka-bootstrap-address:9092
            - name: STRIMZI_CA_CERT_NAME
    3 
    
              value: my-cluster-clients-ca-cert
            - name: STRIMZI_CA_KEY_NAME
    4 
    
              value: my-cluster-clients-ca
            - name: STRIMZI_LABELS
    5 
    
              value: "strimzi.io/cluster=my-cluster"
            - name: STRIMZI_FULL_RECONCILIATION_INTERVAL_MS
    6 
    
              value: "120000"
            - name: STRIMZI_WORK_QUEUE_SIZE
    7 
    
              value: 10000
            - name: STRIMZI_CONTROLLER_THREAD_POOL_SIZE
    8 
    
              value: 10
            - name: STRIMZI_USER_OPERATIONS_THREAD_POOL_SIZE
    9 
    
              value: 4
            - name: STRIMZI_LOG_LEVEL
    10 
    
              value: INFO
            - name: STRIMZI_GC_LOG_ENABLED
    11 
    
              value: "true"
            - name: STRIMZI_CA_VALIDITY
    12 
    
              value: "365"
            - name: STRIMZI_CA_RENEWAL
    13 
    
              value: "30"
            - name: STRIMZI_JAVA_OPTS
    14 
    
              value: "-Xmx=512M -Xms=256M"
            - name: STRIMZI_JAVA_SYSTEM_PROPERTIES
    15 
    
              value: "-Djavax.net.debug=verbose -DpropertyName=value"
            - name: STRIMZI_SECRET_PREFIX
    16 
    
              value: "kafka-"
            - name: STRIMZI_ACLS_ADMIN_API_SUPPORTED
    17 
    
              value: "true"
            - name: STRIMZI_MAINTENANCE_TIME_WINDOWS
    18 
    
              value: '* * 8-10 * * ?;* * 14-15 * * ?'
            - name: STRIMZI_KAFKA_ADMIN_CLIENT_CONFIGURATION
    19 
    
              value: |
                default.api.timeout.ms=120000
                request.timeout.ms=60000
    Copy to Clipboard Toggle word wrap

    1
    User Operator 的 OpenShift 命名空间以监视 KafkaUser 资源。只能指定一个命名空间。
    2
    bootstrap 代理地址的主机和端口对，用于发现并连接到 Kafka 集群中的所有代理。使用逗号分隔的列表，在服务器停机时指定两个或三个代理地址。
    3
    包含用于 mTLS 身份验证的新用户证书的 CA （证书颁发机构）值的 OpenShift Secret (ca.crt)值。
    4
    包含 CA 的私钥(ca.key)值的 OpenShift Secret，它签署 mTLS 身份验证的新用户证书。
    5
    标识由 User Operator 管理的 KafkaUser 资源的标签。这不一定是 Kafka 集群的名称。它可以是分配给 KafkaUser 资源的标签。如果部署多个 User Operator，则每个标签都必须是唯一的。也就是说，操作员无法管理同一资源。
    6
    定期协调之间的间隔，以毫秒为单位。默认值为 120000 (2 分钟)。
    7
    控制器事件队列的大小。队列的大小应至少与预期 User Operator 操作用户的最大数量相同。默认值为 1024。
    8
    用于协调用户的 worker 池的大小。较大的池可能需要更多资源，但它也会处理更多 KafkaUser 资源。默认值为 50。
    9
    Kafka Admin API 和 OpenShift 操作的 worker 池的大小。较大的池可能需要更多资源，但它也会处理更多的 KafkaUser 资源。默认为 4。
    10
    打印日志信息的级别。您可以将级别设置为 ERROR、WARNING、INFO、DEBUG 或 TRACE。
    11
    启用垃圾回收(GC)日志记录。默认值是 true。
    12
    CA 的有效性周期。默认值为 365 天。
    13
    CA 的续订周期。续订周期从当前证书的到期日期开始向后测量。默认值为 30 天，在旧证书过期前启动证书续订。
    14
    （可选）运行 User Operator 的 JVM 使用的 Java 选项
    15
    （可选）为 User Operator 设置的调试(-D)选项
    16
    （可选）由 User Operator 创建的 OpenShift secret 名称的前缀。
    17
    （可选） 指示 Kafka 集群是否支持使用 Kafka Admin API 管理授权 ACL 规则。当设置为 false 时，User Operator 将拒绝具有 simple 授权 ACL 规则的所有资源。这有助于避免 Kafka 集群日志中不必要的异常。默认值是 true。
    18
    （可选） Semi-colon separated list of Cron Expressions 定义过期用户证书的维护时间窗。
    19
    （可选）配置用户 Operator 以属性格式使用的 Kafka Admin 客户端的配置选项。

  2. 如果您使用 mTLS 连接到 Kafka 集群，请指定用于验证连接的 secret。否则，请转到下一步。

    mTLS 配置示例

    # ....
env:
  - name: STRIMZI_CLUSTER_CA_CERT_SECRET_NAME
    1 
    
    value: my-cluster-cluster-ca-cert
  - name: STRIMZI_EO_KEY_SECRET_NAME
    2 
    
    value: my-cluster-entity-operator-certs
# ..."
    Copy to Clipboard Toggle word wrap

    1
    包含为 Kafka 代理证书签名的 CA 的公钥(ca.crt)值的 OpenShift Secret。
    2
    包含证书公钥(entity-operator.crt)和私钥(entity-operator.key)的 OpenShift Secret，用于针对 Kafka 集群的 mTLS 身份验证。

  3. 部署 User Operator。 

    oc create -f install/user-operator
    Copy to Clipboard Toggle word wrap

  4. 检查部署的状态： 

    oc get deployments
    Copy to Clipboard Toggle word wrap

    输出显示部署名称和就绪

    NAME                   READY  UP-TO-DATE  AVAILABLE
strimzi-user-operator  1/1    1           1
    Copy to Clipboard Toggle word wrap

    READY 显示就绪/预期的副本数。当 AVAILABLE 输出显示为 1 时，部署成功。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat