17.3. 升级 Kafka 代理和 ZooKeeper
此流程描述了如何在主机机器上升级 Kafka 代理和 ZooKeeper 使用最新版本的 AMQ Streams。
您更新您的文件,然后配置并重启所有 Kafka 代理以使用新的代理协议版本。执行这些步骤后,将使用新的内部代理版本在 Kafka 代理之间传输数据。
从 Kafka 3.0.0 开始,消息格式版本值被假定为与 inter.broker.protocol.version 匹配,不需要设置。这些值反映了使用的 Kafka 版本。
收到的消息仍然以更早的消息格式版本附加到消息日志中。
先决条件
-
以
kafka用户身份登录 Red Hat Enterprise Linux。
流程
对于 AMQ Streams 集群中的每个 Kafka 代理,且一次:
从 AMQ Streams 软件下载页面,下载 AMQ Streams 归档。
注意如有提示,登录到您的红帽帐户。
在命令行中,创建一个临时目录并提取
amq-streams-x.y.z-bin.zip文件的内容。mkdir /tmp/kafka unzip amq-streams-x.y.z-bin.zip -d /tmp/kafka如果运行,停止 ZooKeeper 以及在主机上运行的 Kafka 代理。
/opt/kafka/bin/zookeeper-server-stop.sh /opt/kafka/bin/kafka-server-stop.sh jcmd | grep zookeeper jcmd | grep kafka从现有安装中删除
libs和bin目录:rm -rf /opt/kafka/libs /opt/kafka/bin从临时目录复制
libs和bin目录:cp -r /tmp/kafka/kafka_y.y-x.x.x/libs /opt/kafka/ cp -r /tmp/kafka/kafka_y.y-x.x.x/bin /opt/kafka/删除临时目录。
rm -r /tmp/kafka编辑
/opt/kafka/config/server.properties属性文件。将
inter.broker.protocol.version和log.message.format.version属性设置为当前版本。例如,如果从 Kafka 版本 3.1.0 升级到 3.2.3,则当前版本为 3.1。
inter.broker.protocol.version=3.1 log.message.format.version=3.1使用您要从其升级的 Kafka 版本的正确版本(
3.0、3.1等等)。在当前设置中,使inter.broker.protocol.version保持不变,可确保代理可以在整个升级过程中继续相互通信。如果没有配置属性,请使用当前版本添加它们。
如果您要从 Kafka 3.0.0 或更高版本升级,则只需要设置
inter.broker.protocol.version。重启更新的 ZooKeeper 和 Kafka 代理:
/opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties /opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.propertiesKafka 代理和 Zookeeper 将开始使用最新 Kafka 版本的二进制文件。
有关在多节点集群中重启代理的详情,请参考 第 3.3 节 “执行安全滚动重启 Kafka 代理”。
验证重启的 Kafka 代理是否已与分区副本保持同步:
使用
kafka-topics.sh工具来确保代理中包含的所有副本重新同步。具体步骤请参阅 列出和描述主题。在接下来的步骤中,更新 Kafka 代理以使用新的 inter-broker 协议版本。
每次更新每个代理。
警告完成以下步骤后,无法降级 AMQ Streams。
在
/opt/kafka/config/server.properties属性文件中将inter.broker.protocol.version属性设置为3.2:inter.broker.protocol.version=3.2在命令行中停止您修改的 Kafka 代理:
/opt/kafka/bin/kafka-server-stop.sh检查 Kafka 是否没有运行:
jcmd | grep kafka重启您修改的 Kafka 代理:
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties检查 Kafka 是否正在运行:
jcmd | grep kafka如果您从 Kafka 3.0.0 之前的版本升级,请将
/opt/kafka/config/server.properties属性中的log.message.format.version属性设置为3.2:log.message.format.version=3.2在命令行中停止您修改的 Kafka 代理:
/opt/kafka/bin/kafka-server-stop.sh检查 Kafka 是否没有运行:
jcmd | grep kafka重启您修改的 Kafka 代理:
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties检查 Kafka 是否正在运行:
jcmd | grep kafka验证重启的 Kafka 代理是否已与分区副本保持同步:
使用
kafka-topics.sh工具来确保代理中包含的所有副本重新同步。具体步骤请参阅 列出和描述主题。