3.3. 安装 Kafka
使用 AMQ Streams ZIP 文件在 Red Hat Enterprise Linux 上安装 Kafka。您可以在单节点或多节点环境中安装 Kafka。在此过程中,单个 Kafka 代理和 ZooKeeper 实例安装在单一主机上(节点)。
AMQ Streams 安装文件包括运行其他 Kafka 组件的二进制文件,如 Kafka Connect、Kafka MirrorMaker 2 和 Kafka Bridge。在单节点环境中,您可以从安装 Kafka 的同一主机上运行这些组件。但是,建议您添加安装文件并在单独的主机上运行其他 Kafka 组件。
如果您使用多节点环境,您可以在多个主机上安装 Kafka 代理和 ZooKeeper 实例。对每个主机重复安装步骤。要识别每个 ZooKeeper 实例和代理,您可以在配置中添加唯一 ID。更多信息请参阅 第 4 章 运行多节点环境。
流程
在主机上安装带有 ZooKeeper 的 Kafka。
添加新的
kafka用户和组:groupadd kafka useradd -g kafka kafka passwd kafka
groupadd kafka useradd -g kafka kafka passwd kafkaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 将
amq-streams-<version>-bin.zip文件的内容提取到/opt/kafka目录中:unzip amq-streams-<version>-bin.zip -d /opt mv /opt/kafka*redhat* /opt/kafka
unzip amq-streams-<version>-bin.zip -d /opt mv /opt/kafka*redhat* /opt/kafkaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 此步骤需要管理员特权。
将
/opt/kafka目录的所有权更改为kafka用户:chown -R kafka:kafka /opt/kafka
chown -R kafka:kafka /opt/kafkaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 创建用于存储 ZooKeeper 数据的
/var/lib/zookeeper目录,并将其所有权设置为kafka用户:mkdir /var/lib/zookeeper chown -R kafka:kafka /var/lib/zookeeper
mkdir /var/lib/zookeeper chown -R kafka:kafka /var/lib/zookeeperCopy to Clipboard Copied! Toggle word wrap Toggle overflow 创建用于存储 Kafka 数据的目录
/var/lib/kafka,并将其所有权设置为kafka用户:mkdir /var/lib/kafka chown -R kafka:kafka /var/lib/kafka
mkdir /var/lib/kafka chown -R kafka:kafka /var/lib/kafkaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 您还可以使用安装在同一主机上运行其他 Kafka 组件,如 Kafka Connect。
要运行其他组件,请使用组件配置中的
bootstrap.servers属性指定要连接到 Kafka 代理的主机名和端口。指向同一主机上单个 Kafka 代理的 bootstrap 服务器配置示例
bootstrap.servers=localhost:9092
bootstrap.servers=localhost:9092Copy to Clipboard Copied! Toggle word wrap Toggle overflow 但是,我们建议在单独的主机上安装并运行 Kafka 组件。
(可选)在单独的主机上安装 Kafka 组件。
-
将安装文件提取到每个主机上的
/opt/kafka目录中。 -
将
/opt/kafka目录的所有权更改为kafka用户。 添加
bootstrap.servers配置,将组件连接到运行 Kafka 代理的主机(或多节点环境中的主机)。指向不同主机上 Kafka 代理的 bootstrap 服务器配置示例
bootstrap.servers=kafka0.<host_ip_address>:9092,kafka1.<host_ip_address>:9092,kafka2.<host_ip_address>:9092
bootstrap.servers=kafka0.<host_ip_address>:9092,kafka1.<host_ip_address>:9092,kafka2.<host_ip_address>:9092Copy to Clipboard Copied! Toggle word wrap Toggle overflow 您可以将此配置用于 Kafka Connect、MirrorMaker 2 和 Kafka Bridge。
-
将安装文件提取到每个主机上的