25.7. 使用 ZooKeeper 升级 Kafka

流程

1. 更新 Kafka 集群配置：

   oc edit kafka <kafka_configuration_file>

2. 如果配置，请检查 inter.broker.protocol.version 和 log.message.format.version 属性是否已设置为 当前版本。

   例如，如果从 Kafka 版本 3.6.0 升级到 3.7.0，则当前版本是 3.6。

   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.6.0
       config:
         log.message.format.version: "3.6"
         inter.broker.protocol.version: "3.6"
         # ...

   如果没有配置 log.message.format.version 和 inter.broker.protocol.version，则 Apache Kafka 的 Streams 会在在下一步中更新到 Kafka 版本后自动将这些版本更新为当前默认值。

   注意

   log.message.format.version 和 inter.broker.protocol.version 的值必须是字符串，以防止它们被解释为浮点号。

3. 更改 Kafka.spec.kafka.version 以指定新的 Kafka 版本；将 log.message.format.version 和 inter.broker.protocol.version 保留为 当前 Kafka 版本的默认值。

   注意

   更改 kafka.version 可确保升级集群中的所有代理，以使用新的代理二进制文件。在此过程中，一些代理使用旧的二进制文件，而其他代理已升级到新的二进制文件。将 inter.broker.protocol.version 保持不变在当前设置中，可确保代理可以在升级过程中继续相互通信。

   例如，如果从 Kafka 3.6.0 升级到 3.7.0 ：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.7.0 1
       config:
         log.message.format.version: "3.6" 2
         inter.broker.protocol.version: "3.6" 3
         # ...

   1

   Kafka 版本已改为新版本。

   2

   消息格式版本保持不变。

   3

   inter-broker 协议版本保持不变。

   警告

   如果新的 Kafka 版本更改的 inter.broker.protocol.version，则无法降级 Kafka。inter-broker 协议版本决定用于代理存储的持久性元数据的模式，包括写入 __consumer_offsets 的消息。降级的集群不了解消息。

4. 如果在 Kafka 自定义资源的 Kafka.spec.kafka.image 中定义了 Kafka 集群 的镜像，请更新该镜像以指向新的 Kafka 版本的容器镜像。

   请参阅 Kafka 版本和镜像映射

5. 保存并退出编辑器，然后等待滚动更新完成。

   通过观察 pod 状态转换来检查滚动更新的进度：

   oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

   滚动更新可确保每个 pod 都使用 Kafka 的新版本的代理二进制文件。

6. 根据您选择的 策略来升级客户端，升级所有客户端应用程序以使用客户端二进制文件的新版本。

   如果需要，将 Kafka Connect 和 MirrorMaker 的 version 属性设置为 Kafka 的新版本：

   1. 对于 Kafka Connect，更新 KafkaConnect.spec.version。
   2. 对于 MirrorMaker，更新 KafkaMirrorMaker.spec.version。

   3. 对于 MirrorMaker 2，更新 KafkaMirrorMaker2.spec.version。

      注意

      如果使用手动构建的自定义镜像，您必须重建这些镜像以确保它们与 Apache Kafka 基础镜像的最新流最新。例如，如果您从 基础 Kafka Connect 镜像创建了容器镜像，请更新 Dockerfile 以指向最新的基础镜像和构建配置。

7. 验证升级的客户端应用程序是否与新的 Kafka 代理正常工作。

8. 如果配置，将 Kafka 资源更新为使用新的 inter.broker.protocol.version 版本。否则，请转到第 9 步。

   例如，如果升级到 Kafka 3.7.0 ：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.7.0
       config:
         log.message.format.version: "3.6"
         inter.broker.protocol.version: "3.7"
         # ...

9. 等待 Cluster Operator 更新集群。

10. 如果配置，将 Kafka 资源更新为使用新的 log.message.format.version 版本。否则，请转到第 10 步。

    例如，如果升级到 Kafka 3.7.0 ：

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.7.0
        config:
          log.message.format.version: "3.7"
          inter.broker.protocol.version: "3.7"
          # ...

    重要

    从 Kafka 3.0.0，当 inter.broker.protocol.version 设置为 3.0 或更高版本时，log.message.format.version 选项会被忽略，且不需要设置。

11. 等待 Cluster Operator 更新集群。

    您可以从 Kafka 资源的状态检查升级是否已成功完成。