4.2. 运行多节点 Kafka 集群

将 Kafka 配置为多节点集群。

先决条件

AMQ Streams 安装在所有用作 Kafka 代理的主机上。
配置了 ZooKeeper 集群并运行。

运行集群

对于 AMQ Streams 集群中的每个 Kafka 代理：

编辑 /opt/kafka/config/server.properties Kafka 配置文件，如下所示：

将第一个代理的 broker.id 字段设置为 0， 第二个代理为 1，以此类推。
在 zookeeper.connect 选项中配置连接到 ZooKeeper 的详情。
配置 Kafka 侦听程序。

设置提交日志应存储在 logs.dir 目录中的目录。

在这里，我们看到 Kafka 代理的示例配置：

broker.id=0
zookeeper.connect=zoo1.my-domain.com:2181,zoo2.my-domain.com:2181,zoo3.my-domain.com:2181
listeners=REPLICATION://:9091,PLAINTEXT://:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,REPLICATION:PLAINTEXT
inter.broker.listener.name=REPLICATION
log.dirs=/var/lib/kafka

broker.id=0
zookeeper.connect=zoo1.my-domain.com:2181,zoo2.my-domain.com:2181,zoo3.my-domain.com:2181
listeners=REPLICATION://:9091,PLAINTEXT://:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,REPLICATION:PLAINTEXT
inter.broker.listener.name=REPLICATION
log.dirs=/var/lib/kafka

Copy to Clipboard

Toggle word wrap

在典型的安装中，每个 Kafka 代理在相同的硬件上运行，只有 broker.id 配置属性在每个代理配置间有所不同。

使用默认配置文件启动 Kafka 代理。

su - kafka
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

su - kafka
/opt/kafka/bin/kafka-server-start.sh -daemon /opt/kafka/config/server.properties

Copy to Clipboard

Toggle word wrap

验证 Kafka 代理是否正在运行。
```
jcmd | grep Kafka
```
```
jcmd | grep Kafka
```
Copy to Clipboard Toggle word wrap
返回：
```
number kafka.Kafka /opt/kafka/config/server.properties
```
```
number kafka.Kafka /opt/kafka/config/server.properties
```
Copy to Clipboard Toggle word wrap

使用 ncat 程序向 ZooKeeper 节点发送 dump 命令，验证所有节点是否是 Kafka 集群的成员。

使用 ncat 转储来检查 ZooKeeper 中注册的所有 Kafka 代理

echo dump | ncat zoo1.my-domain.com 2181

echo dump | ncat zoo1.my-domain.com 2181

Copy to Clipboard

Toggle word wrap

要使用四个字母字词命令，如 dump，您需要在 zookeeper.properties 中指定 4lw.commands.whitelist=*。

输出必须包含您刚才配置和启动的所有 Kafka 代理。

带有 3 节点的 Kafka 集群的 ncat 命令的输出示例

SessionTracker dump:
org.apache.zookeeper.server.quorum.LearnerSessionTracker@28848ab9
ephemeral nodes dump:
Sessions with Ephemerals (3):
0x20000015dd00000:
        /brokers/ids/1
0x10000015dc70000:
        /controller
        /brokers/ids/0
0x10000015dc70001:
        /brokers/ids/2

SessionTracker dump:
org.apache.zookeeper.server.quorum.LearnerSessionTracker@28848ab9
ephemeral nodes dump:
Sessions with Ephemerals (3):
0x20000015dd00000:
        /brokers/ids/1
0x10000015dc70000:
        /controller
        /brokers/ids/0
0x10000015dc70001:
        /brokers/ids/2

Copy to Clipboard

Toggle word wrap

返回顶部

4.2. 运行多节点 Kafka 集群

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links