13.6. 优化提议概述
optimization proposal 是要生成一个更加均衡的 Kafka 集群、在代理中平均分配分区工作负载的建议概述。
每个优化建议均基于一组用于生成它的 优化目标，受代理资源配置的任何容量限制。
所有优化的提议都是对提议重新平衡的影响的估算。您可以批准或拒绝提议。在不生成优化建议的情况下，您无法批准集群重新平衡。
您可以使用以下端点之一运行优化建议：
-
/rebalance -
/add_broker -
/remove_broker
13.6.1. 重新平衡端点
当您发送 POST 请求来生成优化建议时，您可以指定重新平衡端点。
/rebalance-
/rebalance端点通过在集群中的所有代理间移动副本来运行完全重新平衡。 /add_broker-
add_broker端点在扩展 Kafka 集群后通过添加一个或多个代理来使用。通常，在扩展 Kafka 集群后，新的代理仅用于托管新创建的主题的分区。如果没有创建新主题，则不会使用新添加的代理，现有代理仍保留在同一负载中。通过在向集群添加代理后立即使用add_broker端点，重新平衡操作会将副本从现有代理移到新添加的代理中。您可以在 POST 请求中将新代理指定为brokerid列表。 /remove_broker-
在缩减 Kafka 集群前，使用
/remove_broker端点删除一个或多个代理。如果您缩减 Kafka 集群，代理也会关闭，即使它们托管副本。这可能会导致复制的分区，并可能导致某些分区位于其最小 ISR 下（同步副本）。为了避免这种潜在问题，/remove_broker端点会将副本从要删除的代理移出。当这些代理不再托管副本时，可以安全地运行缩减操作。您可以在 POST 请求中指定您要删除的代理作为brokerid列表。
通常，使用 /rebalance 端点通过在代理间分散负载来重新平衡 Kafka 集群。只有在您要扩展集群或缩减并相应地重新平衡副本时，才使用 /add-broker 端点和 /remove_broker 端点。
运行重新平衡的过程实际上在三个不同的端点之间相同。唯一的区别是列出添加或将添加到请求的代理。
13.6.2. 批准或拒绝优化建议
优化提议摘要显示了所提议的更改范围。通过 Cruise Control API 对 HTTP 请求返回概述。
当您向 /rebalance 端点发出 POST 请求时，响应中会返回一个优化提议概述。
返回优化提议概述
curl -v -X POST 'cruise-control-server:9090/kafkacruisecontrol/rebalance'
使用摘要决定是否批准或拒绝优化提议。
- 批准优化提议
-
您可以通过向
/rebalance端点发出 POST 请求并将dryrun参数设置为false来批准优化提议（默认为true）。Cruise Control 将提议应用到 Kafka 集群，并启动集群重新平衡操作。 - 拒绝优化方案
-
如果您选择不批准优化方案，您可以更改优化目标或更新任何重新平衡性能调优选项，然后生成另一个提议。您可以在没有
dryrun参数的情况下重新发送请求，以生成新的优化建议。
使用优化建议来评估重新平衡所需的移动。例如，概述描述了 inter-broker 和 intra-broker 移动。inter-broker 重新平衡在独立代理间移动数据。在使用 JBOD 存储配置时，intra-broker 重新平衡可在同一代理上的磁盘之间移动数据。即使您没有提前并批准提议，此类信息也很有用。
因为在重新平衡时在 Kafka 集群中出现额外的负载，您可能会拒绝优化过程或延迟其批准。
在以下示例中，提议建议在不同的代理间重新平衡数据。重新平衡涉及在代理间移动 55 分区副本，包括 12MB 数据。虽然分区副本间的移动对性能有高影响，但数据总数不大。如果总数据量较大，您可以拒绝提议，或者在批准重新平衡以限制 Kafka 集群性能的影响时的时间。
重新平衡性能调优选项有助于降低数据移动的影响。如果可扩展重新平衡周期，您可以将重新平衡分成较小的批处理。一次减少数据移动会减少集群的负载。
优化提议概述示例
Optimization has 55 inter-broker replica (12 MB) moves, 0 intra-broker replica (0 MB) moves and 24 leadership moves with a cluster model of 5 recent windows and 100.000% of the partitions covered. Excluded Topics: []. Excluded Brokers For Leadership: []. Excluded Brokers For Replica Move: []. Counts: 3 brokers 343 replicas 7 topics. On-demand Balancedness Score Before (78.012) After (82.912). Provision Status: RIGHT_SIZED.
这个提议还会将 24 个分区领导机移到不同的代理中，这对性能的影响较低。
balancedness 分数是优化提议前后 Kafka 集群的整体平衡量。平衡分数基于优化目标。如果满足所有目标，则分数为 100。当一个目标不满足时，分数会降低。比较均衡分数，以查看 Kafka 集群是否低于重新平衡。
provision 状态指示当前集群配置是否支持优化目标。检查 provision 状态，以查看是否应添加或删除代理。
| 状态 | 描述 |
|---|---|
| RIGHT_SIZED | 集群有适当的代理数来满足优化目标。 |
| UNDER_PROVISIONED | 集群已置备，需要更多代理来满足优化目标。 |
| OVER_PROVISIONED | 集群过度置备，需要较少的代理来满足优化目标。 |
| UNDECIDED | 状态不相关，或者尚未决定。 |
13.6.3. 优化提议概述属性
下表描述了优化提议中包含的属性。
| 属性 | 描述 |
|---|---|
|
|
在重新平衡操作期间影响性能 ：高。
在重新平衡操作期间影响性能 ：变量.集群重新平衡所需的时间越大，完成集群重新平衡所需的时间。 |
|
|
重新平衡操作期间的性能影响 ： 高，但少于
在重新平衡操作期间影响性能 ：变量.集群重新平衡所需的时间越大，完成集群重新平衡所需的时间。在同一代理的磁盘间移动大量数据比独立代理之间的影响较低（请参阅 |
|
| 优化建议中分区副本/领导移动计算以外的主题数量。 您可以使用以下方法之一排除主题：
在
在对 与正则表达式匹配的主题列在响应中，并将在集群重新平衡中排除。 |
|
|
在重新平衡操作期间影响性能 ：低. |
|
|
|
|
|
|
|
| Kafka 集群的整体平衡的测量。
Cruise Control 根据多个因素（目标在
|
13.6.4. 缓存的优化方案
Cruise Control 根据配置的默认优化目标维护缓存的优化建议。从工作负载模型生成，缓存的优化方案每 15 分钟更新一次，以反映 Kafka 集群的当前状态。
当使用以下目标配置时，返回最新缓存的优化方案：
- 默认优化目标
- 用户提供的优化目标，可在当前缓存的提议中满足
要更改缓存的优化提议刷新间隔，请编辑 cruisecontrol.properties 文件中的 proposal.expiration.ms 设置。考虑快速更改集群的间隔较短，尽管这会在 Cruise Control 服务器上增加负载。
