17.4. 升级 Kafka 连接
这个步骤描述了如何在主机机器上升级 Kafka 连接集群。
先决条件
-
以
kafka
用户身份登录 Red Hat Enterprise Linux。 - Kafka Connect 未启动。
流程
对于 AMQ Streams 集群中的每个 Kafka 代理,且一次:
从 AMQ Streams 软件下载页面,下载 AMQ Streams 归档。
注意如有提示,登录到您的红帽帐户。
在命令行中,创建一个临时目录并提取
amq-streams-x.y.z-bin.zip
文件的内容。mkdir /tmp/kafka unzip amq-streams-x.y.z-bin.zip -d /tmp/kafka
mkdir /tmp/kafka unzip amq-streams-x.y.z-bin.zip -d /tmp/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 如果运行,停止主机上运行的 Kafka 代理和 ZooKeeper。
/opt/kafka/bin/kafka-server-stop.sh /opt/kafka/bin/zookeeper-server-stop.sh
/opt/kafka/bin/kafka-server-stop.sh /opt/kafka/bin/zookeeper-server-stop.sh
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 从现有安装中删除
libs
和bin
目录:rm -rf /opt/kafka/libs /opt/kafka/bin
rm -rf /opt/kafka/libs /opt/kafka/bin
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 从临时目录复制
libs
和bin
目录:cp -r /tmp/kafka/kafka_y.y-x.x.x/libs /opt/kafka/ cp -r /tmp/kafka/kafka_y.y-x.x.x/bin /opt/kafka/
cp -r /tmp/kafka/kafka_y.y-x.x.x/libs /opt/kafka/ cp -r /tmp/kafka/kafka_y.y-x.x.x/bin /opt/kafka/
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 删除临时目录。
rm -r /tmp/kafka
rm -r /tmp/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在独立或分布式模式下启动 Kafka 连接。
若要在单机模式中启动,请运行
connect-standalone.sh
脚本。指定 Kafka Connect 独立配置文件和 Kafka 连接连接器的配置文件。su - kafka /opt/kafka/bin/connect-standalone.sh /opt/kafka/config/connect-standalone.properties connector1.properties [connector2.properties ...]
su - kafka /opt/kafka/bin/connect-standalone.sh /opt/kafka/config/connect-standalone.properties connector1.properties [connector2.properties ...]
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要使用分布式模式启动,请在所有 Kafka Connect 节点上使用
/opt/kafka/config/connect-distributed.properties
配置文件启动 Kafka Connect worker:su - kafka /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties
su - kafka /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
验证 Kafka Connect 是否正在运行:
在独立模式中:
jcmd | grep ConnectStandalone
jcmd | grep ConnectStandalone
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在分布式模式中:
jcmd | grep ConnectDistributed
jcmd | grep ConnectDistributed
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
- 验证 Kafka 连接是否如预期生成和使用数据。