14.4. 配置并启动 Cruise 控制
配置 Cruise Control 使用的属性,然后使用 kafka-cruise-control-start.sh 脚本启动 Cruise Control 服务器。服务器托管于整个 Kafka 集群的单一机器上。
当 Cruise Control 启动时,会自动创建三个主题。如需更多信息,请参阅 自动创建的主题。
先决条件
-
以
kafka用户身份登录 Red Hat Enterprise Linux。 - 第 14.2 节 “下载 Cruise Control”
- 第 14.3 节 “部署 Cruise Control Metrics Reporter”
流程
-
编辑 Cruise Control 属性文件 (
/opt/cruise-control/config/cruisecontrol.properties)。 配置以下示例配置中显示的属性:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- Kafka 代理的主机和端口号(始终端口 9092)。
- 2
- Kafka 指标示例存储的复制因素。如果要在单节点 Kafka 和 ZooKeeper 集群中评估 Cruise Control,请将此属性设置为 1。对于生产环境,请将此属性设置为 2 或更多。
- 3
- 为代理资源设置最大容量限制的配置文件。使用应用到 Kafka 部署配置的文件。如需更多信息,请参阅 容量配置。
- 4
- 使用完全限定域名(FQDN)的以逗号分隔的默认优化目标列表。许多主要优化目标(请参见 5)已设为默认优化目标;如果需要,您可以添加或删除目标。更多信息请参阅 第 14.5 节 “优化目标概述”。
- 5
- 使用 FQDN 来以逗号分隔的主要优化目标列表。要完全排除目标,用于生成优化建议,请将它们从列表中删除。更多信息请参阅 第 14.5 节 “优化目标概述”。
- 6
- 使用 FQDN 的以逗号分隔的硬目标列表。七大主要优化目标已经设置为硬目标;如果需要,您可以添加或删除目标。更多信息请参阅 第 14.5 节 “优化目标概述”。
- 7
- 从默认优化目标生成的缓存优化建议的时间间隔(以毫秒为单位)。更多信息请参阅 第 14.6 节 “优化建议概述”。
- 8
- ZooKeeper 连接的主机和端口号(始终端口 2181)。
启动 Cruise Control 服务器。服务器默认在端口 9092 上启动;(可选)指定不同的端口。
cd /opt/cruise-control/ ./kafka-cruise-control-start.sh config/cruisecontrol.properties <port_number>
cd /opt/cruise-control/ ./kafka-cruise-control-start.sh config/cruisecontrol.properties <port_number>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要验证 Cruise Control 是否正在运行,请向 Cruise Control 服务器的
/state端点发送 GET 请求:curl 'http://HOST:PORT/kafkacruisecontrol/state'
curl 'http://HOST:PORT/kafkacruisecontrol/state'Copy to Clipboard Copied! Toggle word wrap Toggle overflow
自动创建主题
下表显示了当 Cruise Control 启动时自动创建的三个主题。Cruise Control 正确工作且必须不会被删除或更改这些主题。
| 自动创建主题 | 已创建 | 功能 |
|---|---|---|
|
| Cruise Control Metrics Reporter | 将 Metrics Reporter 的原始指标存储在每个 Kafka 代理中。 |
|
| Sything Control | 存储每个分区的派生指标。它们由 指标 Sample Aggregator 创建。 |
|
| Sything Control | 存储用于创建 Cluster Workload Model 的指标示例。 |
要确保在自动创建的主题中禁用日志压缩,请确保配置 Cruise Control Metrics Reporter,如 第 14.3 节 “部署 Cruise Control Metrics Reporter” 所述。日志压缩功能可以删除 Cruise Control 需要的记录并阻止它正常工作。