2.3. 安装 Kafka
使用 AMQ Streams ZIP 文件在 Red Hat Enterprise Linux 上安装 Kafka。您可以在单节点或多节点环境中安装 Kafka。在此过程中,单个 Kafka 代理和 ZooKeeper 实例安装在单一主机上(node)。
AMQ Streams 安装文件包括运行其他 Kafka 组件的二进制文件,如 Kafka Connect、Kafka MirrorMaker 2.0 和 Kafka Bridge。在单节点环境中,您可以从安装 Kafka 的同一主机运行这些组件。但是,建议您添加安装文件并在单独的主机上运行其他 Kafka 组件。
如果您使用多节点环境,您可以在多个主机上安装 Kafka 代理和 ZooKeeper 实例。为每个主机重复安装步骤。要识别每个 ZooKeeper 实例和代理,您可以在配置中添加唯一的 ID。更多信息请参阅 第 3 章 运行多节点环境。
流程
使用 ZooKeeper 在您的主机上安装 Kafka。
添加新的
kafka
用户和组:groupadd kafka useradd -g kafka kafka passwd kafka
groupadd kafka useradd -g kafka kafka passwd kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将
amq-streams-<version>-bin.zip
文件的内容提取到/opt/kafka
目录中。unzip amq-streams-<version>-bin.zip -d /opt mv /opt/kafka*redhat* /opt/kafka
unzip amq-streams-<version>-bin.zip -d /opt mv /opt/kafka*redhat* /opt/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 此步骤需要管理员特权。
将
/opt/kafka
目录的所有权改为kafka
用户:chown -R kafka:kafka /opt/kafka
chown -R kafka:kafka /opt/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 创建目录
/var/lib/zookeeper
以存储 ZooKeeper 数据并将其所有权设置为kafka
用户:mkdir /var/lib/zookeeper chown -R kafka:kafka /var/lib/zookeeper
mkdir /var/lib/zookeeper chown -R kafka:kafka /var/lib/zookeeper
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 创建用于存储 Kafka 数据的目录
/var/lib/kafka
,并将其所有权设置为kafka
用户:mkdir /var/lib/kafka chown -R kafka:kafka /var/lib/kafka
mkdir /var/lib/kafka chown -R kafka:kafka /var/lib/kafka
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 现在,您可以将 Kafka 的默认配置作为单节点集群运行。
您还可以使用安装在同一主机上运行其他 Kafka 组件,如 Kafka Connect。
要运行其他组件,请使用组件配置中的
bootstrap.servers
属性指定要连接到 Kafka 代理的主机名和端口。指向同一主机上单个 Kafka 代理的 bootstrap 服务器配置示例
bootstrap.servers=localhost:9092
bootstrap.servers=localhost:9092
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 但是,我们建议在单独的主机上安装并运行 Kafka 组件。
(可选)在单独的主机上安装 Kafka 组件。
-
将安装文件提取到每个主机上的
/opt/kafka
目录。 -
将
/opt/kafka
目录的所有权更改为kafka
用户。 添加
bootstrap.servers
配置,将组件连接到运行 Kafka 代理的主机(或多节点环境中的主机)。指向不同主机上的 Kafka 代理的 bootstrap 服务器配置示例
bootstrap.servers=kafka0.<host_ip_address>:9092,kafka1.<host_ip_address>:9092,kafka2.<host_ip_address>:9092
bootstrap.servers=kafka0.<host_ip_address>:9092,kafka1.<host_ip_address>:9092,kafka2.<host_ip_address>:9092
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 您可以将此配置用于 Kafka Connect、MirrorMaker 2.0 和 Kafka Bridge。
-
将安装文件提取到每个主机上的