23.5. 升级 Kafka

流程

1. 更新 Kafka 集群配置：

   oc edit kafka <my_cluster>

   Copy to Clipboard Toggle word wrap

2. 如果配置，请检查 inter.broker.protocol.version 和 log.message.format.version 属性是否已设置为 当前版本。

   例如，如果从 Kafka 版本 3.4.0 升级到 3.5.0，则当前版本为 3.4 ：

   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.4.0
       config:
         log.message.format.version: "3.4"
         inter.broker.protocol.version: "3.4"
         # ...

   Copy to Clipboard Toggle word wrap

   如果没有配置 log.message.format.version 和 inter.broker.protocol.version，AMQ Streams 会在升级到下一个 Kafka 版本后将这些版本更新至当前的默认值。

   注意

   log.message.format.version 和 inter.broker.protocol.version 的值必须是字符串，以防止它们被解释为浮点号。

3. 更改 Kafka.spec.kafka.version 以指定新的 Kafka 版本；保留 log.message.format.version 和 inter.broker.protocol.version，作为 当前 Kafka 版本的默认值。

   注意

   更改 kafka.version 可确保集群中的所有代理都会被升级，以使用新的代理二进制文件开始。在此过程中，一些代理会使用旧的二进制文件，而其他代理已升级到新二进制文件。在当前设置中保持不变 inter.broker.protocol.version，可确保代理可以在整个升级过程中继续相互通信。

   例如，如果从 Kafka 3.4.0 升级到 3.5.0 ：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.5.0 

   1

   
       config:
         log.message.format.version: "3.4" 

   2

   
         inter.broker.protocol.version: "3.4" 

   3

   
         # ...

   Copy to Clipboard Toggle word wrap

   1

   Kafka 版本被改为新版本。

   2

   消息格式版本保持不变。

   3

   inter-broker 协议版本不会改变。

   警告

   如果新 Kafka 版本的 inter.broker.protocol.version 发生变化，则无法降级 Kafka。inter-broker 协议版本决定用于代理存储的持久元数据的模式，包括写入 __consumer_offsets 的消息。降级的集群不知道消息。

4. 如果在 Kafka 自定义资源中定义了 Kafka 集群的镜像，在 Kafka.spec.kafka.image 中，更新 image 以指向新的 Kafka 版本的容器镜像。

   请参阅 Kafka 版本和镜像映射

5. 保存并退出编辑器，然后等待滚动更新完成。

   通过观察 pod 状态转换来检查滚动更新的进度：

   oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

   Copy to Clipboard Toggle word wrap

   滚动更新可确保每个 pod 都对新版本的 Kafka 使用代理二进制文件。

6. 根据您选择 升级客户端的策略，升级所有客户端应用程序以使用客户端二进制文件的新版本。

   如果需要，将 Kafka Connect 和 MirrorMaker 的 version 属性设置为 Kafka 的新版本：

   1. 对于 Kafka Connect，更新 KafkaConnect.spec.version。
   2. 对于 MirrorMaker，更新 KafkaMirrorMaker.spec.version。
   3. 对于 MirrorMaker 2，更新 KafkaMirrorMaker2.spec.version。

7. 如果配置，将 Kafka 资源更新为使用新的 inter.broker.protocol.version 版本。否则，请转到第 9 步。

   例如，如果升级到 Kafka 3.5.0 ：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.5.0
       config:
         log.message.format.version: "3.4"
         inter.broker.protocol.version: "3.5"
         # ...

   Copy to Clipboard Toggle word wrap
8. 等待 Cluster Operator 更新集群。

9. 如果配置，将 Kafka 资源更新为使用新的 log.message.format.version 版本。否则，请转到第 10 步。

   例如，如果升级到 Kafka 3.5.0 ：

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.5.0
       config:
         log.message.format.version: "3.5"
         inter.broker.protocol.version: "3.5"
         # ...

   Copy to Clipboard Toggle word wrap
   重要

   从 Kafka 3.0.0 开始，当将 inter.broker.protocol.version 设置为 3.0 或更高版本时，log.message.format.version 选项将被忽略，不需要设置。

10. 等待 Cluster Operator 更新集群。

    • Kafka 集群和客户端现在使用新的 Kafka 版本。
    • 代理被配置为使用 Kafka 的新版本间的代理和消息格式版本发送信息。