9.5. 升级 Kafka

代理级消费者第一个策略

1. 升级所有消耗的应用程序。
2. 将 broker-level log.message.format.version 更改为新版本。
3. 升级所有生产应用程序。

1. 升级所有消耗的应用程序。
2. 将 topic-level message.format.version 更改为新版本。
3. 升级所有生产应用程序。

1. 将 topic-level message.format.version 改为旧版本（或依赖主题 defaulting to the broker-level log.message.format.version）。
2. 升级所有消耗和生产应用程序。
3. 验证升级的应用程序是否正常工作。
4. 将 topic-level message.format.version 更改为新版本。

流程

1. 更新 Kafka 集群配置：

   oc edit kafka my-cluster

   Copy to Clipboard Toggle word wrap

2. 如果配置，请确保 Kafka.spec.kafka.config 将 log.message.format.version 和 inter.broker.protocol.version 设置为 当前 Kafka 版本的默认值。

   例如，如果从 Kafka 版本 3.1.0 升级到 3.2.3:

   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.1.0
       config:
         log.message.format.version: "3.1"
         inter.broker.protocol.version: "3.1"
         # ...

   Copy to Clipboard Toggle word wrap

   如果没有配置 log.message.format.version 和 inter.broker.protocol.version，AMQ Streams 会在下一步升级到 Kafka 版本后自动将这些版本更新为当前默认值。

   注意

   log.message.format.version 和 inter.broker.protocol.version 的值必须是字符串，以防止它们被解释为浮点号。

3. 更改 Kafka.spec.kafka.version 以指定新的 Kafka 版本；将 log.message.format.version 和 inter.broker.protocol.version 保留为 当前 Kafka 版本的默认值。

   注意

   更改 kafka.version 可确保将使用新的代理二进制文件升级集群中的所有代理。在此过程中，一些代理使用旧的二进制文件，而其他代理已升级到新的二进制文件。不要使 inter.broker.protocol.version 保持不变，代理可以在升级期间继续相互通信。

   例如，如果从 Kafka 3.1.0 升级到 3.2.3:

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.2.3 

   1

   
       config:
         log.message.format.version: "3.1" 

   2

   
         inter.broker.protocol.version: "3.1" 

   3

   
         # ...

   Copy to Clipboard Toggle word wrap

   1

   Kafka 版本被改为新版本。

   2

   消息格式版本保持不变。

   3

   Inter-broker 协议版本保持不变。

   警告

   如果新 Kafka 版本有 inter.broker.protocol.version 的变化，则无法降级 Kafka。inter-broker 协议版本决定了用于代理存储的持久性元数据的 schema，包括写入 __consumer_offsets 的消息。降级的集群将无法了解信息。

4. 如果在 Kafka 自定义资源中定义了 Kafka 集群的镜像，在 Kafka.spec.kafka.image 中，更新 image 以指向新的 Kafka 版本的容器镜像。

   请参阅 Kafka 版本和镜像映射

5. 保存并退出编辑器，然后等待滚动更新完成。

   通过观察 pod 状态转换来检查滚动更新的进度：

   oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

   Copy to Clipboard Toggle word wrap

   滚动更新可确保每个 pod 都对 Kafka 的新版本使用 broker 二进制文件。

6. 根据您选择的 策略来升级客户端，将所有客户端应用升级到使用客户端二进制文件的新版本。

   如果需要，将 Kafka Connect 和 MirrorMaker 的版本 属性设置为 Kafka 的新版本：

   1. 对于 Kafka Connect，更新 KafkaConnect.spec.version。
   2. 对于 MirrorMaker，更新 KafkaMirrorMaker.spec.version。
   3. 对于 MirrorMaker 2.0，更新 KafkaMirrorMaker2.spec.version。

7. 如果配置，更新 Kafka 资源以使用新的 inter.broker.protocol.version 版本。否则，请转到第 9 步。

   例如，如果升级到 Kafka 3.2.3:

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.2.3
       config:
         log.message.format.version: "3.1"
         inter.broker.protocol.version: "3.2"
         # ...

   Copy to Clipboard Toggle word wrap
8. 等待 Cluster Operator 更新集群。

9. 如果配置，更新 Kafka 资源以使用新的 log.message.format.version 版本。否则，转至第 10 步。

   例如，如果升级到 Kafka 3.2.3:

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   spec:
     # ...
     kafka:
       version: 3.2.3
       config:
         log.message.format.version: "3.2"
         inter.broker.protocol.version: "3.2"
         # ...

   Copy to Clipboard Toggle word wrap
   重要

   从 Kafka 3.0.0，当 inter.broker.protocol.version 设置为 3.0 或更高版本时，logging.message.format.version 选项会被忽略，不需要设置。

10. 等待 Cluster Operator 更新集群。

    • Kafka 集群和客户端现在使用新的 Kafka 版本。
    • 代理被配置为使用新版本的 Kafka 的 inter-broker 协议版本和消息格式版本来发送消息。