19.5. 升级 Kafka 组件
在主机机器上升级 Kafka 组件以使用最新版本的 AMQ Streams。您可以使用 AMQ Streams 安装文件来升级以下组件:
- Kafka Connect
- MirrorMaker
- Kafka Bridge (区分 ZIP 文件)
先决条件
-
以
kafka
用户身份登录 Red Hat Enterprise Linux。 - 您已下载了 安装文件。
您已在单独的主机上安装 Kafka 和其他 Kafka 组件。
更多信息请参阅 第 3.1 节 “安装环境”。
如果 Kafka 组件在与 Kafka 和 ZooKeeper 相同的主机上运行,则在升级时还需要停止并启动 Kafka 和 ZooKeeper。
流程
对于运行 Kafka 组件实例的每个主机:
从 AMQ Streams 软件下载页面 下载 AMQ Streams 或 Kafka Bridge 安装文件。
注意如有提示,登录到您的红帽帐户。
在命令行中,创建一个临时目录并提取
amq-streams-<version>-bin.zip
文件的内容。mkdir /tmp/kafka unzip amq-streams-<version>-bin.zip -d /tmp/kafka
mkdir /tmp/kafka unzip amq-streams-<version>-bin.zip -d /tmp/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 对于 Kafka Bridge,提取
amq-streams-<version>-bridge-bin.zip
文件。- 如果运行,请停止主机上运行的 Kafka 组件。
从现有安装中删除
libs
和bin
目录:rm -rf /opt/kafka/libs /opt/kafka/bin
rm -rf /opt/kafka/libs /opt/kafka/bin
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 从临时目录中复制
libs
和bin
目录:cp -r /tmp/kafka/kafka_<version>/libs /opt/kafka/ cp -r /tmp/kafka/kafka_<version>/bin /opt/kafka/
cp -r /tmp/kafka/kafka_<version>/libs /opt/kafka/ cp -r /tmp/kafka/kafka_<version>/bin /opt/kafka/
Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
如果需要,更新
config
目录中的配置文件以反映新版本中的任何更改。 删除临时目录。
rm -r /tmp/kafka
rm -r /tmp/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 使用适当的脚本和属性文件启动 Kafka 组件。
以独立模式启动 Kafka 连接
/opt/kafka/bin/connect-standalone.sh \ /opt/kafka/config/connect-standalone.properties <connector1>.properties [<connector2>.properties ...]
/opt/kafka/bin/connect-standalone.sh \ /opt/kafka/config/connect-standalone.properties <connector1>.properties [<connector2>.properties ...]
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 以分布式模式启动 Kafka 连接
/opt/kafka/bin/connect-distributed.sh \ /opt/kafka/config/connect-distributed.properties
/opt/kafka/bin/connect-distributed.sh \ /opt/kafka/config/connect-distributed.properties
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 以专用模式启动 MirrorMaker 2
/opt/kafka/bin/connect-mirror-maker.sh \ /opt/kafka/config/connect-mirror-maker.properties
/opt/kafka/bin/connect-mirror-maker.sh \ /opt/kafka/config/connect-mirror-maker.properties
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 启动 Kafka Bridge
su - kafka ./bin/kafka_bridge_run.sh \ --config-file=<path>/application.properties
su - kafka ./bin/kafka_bridge_run.sh \ --config-file=<path>/application.properties
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 验证 Kafka 组件是否正在运行,并按预期生成或消耗数据。
在独立模式中验证 Kafka 连接正在运行
jcmd | grep ConnectStandalone
jcmd | grep ConnectStandalone
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在分布式模式中验证 Kafka 连接正在运行
jcmd | grep ConnectDistributed
jcmd | grep ConnectDistributed
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在专用模式中验证 MirrorMaker 2 正在运行
jcmd | grep mirrorMaker
jcmd | grep mirrorMaker
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 通过检查日志来验证 Kafka Bridge 正在运行
HTTP-Kafka Bridge started and listening on port 8080 HTTP-Kafka Bridge bootstrap servers localhost:9092
HTTP-Kafka Bridge started and listening on port 8080 HTTP-Kafka Bridge bootstrap servers localhost:9092
Copy to Clipboard Copied! Toggle word wrap Toggle overflow