第 4 章 运行多节点环境
多节点环境由多个节点组成,它们作为集群运行。您可以有一个复制 ZooKeeper 节点和代理节点集群,并在代理间复制主题。
多节点环境提供稳定性和可用性。
4.1. 运行多节点 ZooKeeper 集群
将 ZooKeeper 配置为多节点集群。
先决条件
- Apache Kafka 的流安装在用作 ZooKeeper 集群节点的所有主机上。
运行集群
在
/var/lib/zookeeper/
中创建myid
文件。为第一个 ZooKeeper 节点输入 ID1
,为第二个 ZooKeeper 节点输入2
,以此类推。su - kafka echo "<NodeID>" > /var/lib/zookeeper/myid
例如:
su - kafka echo "1" > /var/lib/zookeeper/myid
编辑 ZooKeeper
/opt/kafka/config/zookeeper.properties
配置文件:-
将选项
dataDir
设置为/var/lib/zookeeper/
。 -
配置
initLimit
和syncLimit
选项。 -
配置
reconfigEnabled
和standaloneEnabled
选项。 添加所有 ZooKeeper 节点的列表。该列表还应包含当前的节点。
具有五个成员的 ZooKeeper 集群节点配置示例
tickTime=2000 dataDir=/var/lib/zookeeper/ initLimit=5 syncLimit=2 reconfigEnabled=true standaloneEnabled=false server.1=172.17.0.1:2888:3888:participant;172.17.0.1:2181 server.2=172.17.0.2:2888:3888:participant;172.17.0.2:2181 server.3=172.17.0.3:2888:3888:participant;172.17.0.3:2181 server.4=172.17.0.4:2888:3888:participant;172.17.0.4:2181 server.5=172.17.0.5:2888:3888:participant;172.17.0.5:2181
-
将选项
使用默认配置文件启动 ZooKeeper。
su - kafka /opt/kafka/bin/zookeeper-server-start.sh -daemon /opt/kafka/config/zookeeper.properties
验证 ZooKeeper 是否正在运行。
jcmd | grep zookeeper
返回:
number org.apache.zookeeper.server.quorum.QuorumPeerMain /opt/kafka/config/zookeeper.properties
- 在集群的所有节点上重复此步骤。
使用
ncat
实用程序向每个节点发送stat
命令,以验证所有节点是否都是集群的成员。使用 ncat stat 检查节点状态
echo stat | ncat localhost 2181
要使用四个字母单词命令,如
stat
,您需要在zookeeper.properties
中指定4lw.commands.whitelist
prerequisites。输出显示节点是
领导机
或后续。
ncat 命令的输出示例
ZooKeeper version: 3.4.13-2d71af4dbe22557fda74f9a9b4309b15a7487f03, built on 06/29/2018 00:39 GMT Clients: /0:0:0:0:0:0:0:1:59726[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 2 Sent: 1 Connections: 1 Outstanding: 0 Zxid: 0x200000000 Mode: follower Node count: 4