第 12 章 使用分区重新分配工具

分区重新分配工具(kafka-reassign-partitions.sh)的工作原理，方法是生成一个分区分配计划，指定哪些分区应从其当前代理移到新代理中。

如果您对计划满意，您可以执行它。然后该工具执行以下操作：

分区重新分配工具有三种不同的模式：

在任意给定时间，集群中只能有一个重新分配，且无法取消正在运行的重新分配。如果需要取消重新分配，请等待它完成，然后执行另一个重新分配来恢复第一个重新分配的影响。kafka-reassign-partitions.sh 将打印这个 reversion 的重新分配 JSON 作为其输出的一部分。非常大的重新分配应该被分解为多个较小的重新分配，以防需要停止 in-progress 重新分配。

该工具使用重新分配 JSON 文件，指定要重新分配的主题。如果要移动特定的分区，您可以生成重新分配 JSON 文件或手动创建文件。

重新分配 JSON 文件的结构如下：

{
  "version": 1,
  "partitions": [
    <PartitionObjects>
  ]
}

其中 <PartitionObjects > 是一个以逗号分隔的对象列表，如下所示：

{
  "topic": <TopicName>,
  "partition": <Partition>,
  "replicas": [ <AssignedBrokerIds> ]
}

以下是一个示例重新分配 JSON 文件，它将主题 topic-a 的分区 4 分配给代理 2, 4 和 7；主题 topic-b 的分区 2 分配给代理 1, 5 和 7：

{
  "version": 1,
  "partitions": [
    {
      "topic": "topic-a",
      "partition": 4,
      "replicas": [2,4,7]
    },
    {
      "topic": "topic-b",
      "partition": 2,
      "replicas": [1,5,7]
    }
  ]
}

未包含在 JSON 中的分区不会改变。

在 Kafka 集群中使用 JBOD 存储时，您可以选择在特定卷及其日志目录间重新分配分区（每个卷都有一个日志目录）。要将分区重新分配给特定卷，请在重新分配 JSON 文件中的 < PartitionObjects& gt; 中添加 log_dirs 选项。

{
  "topic": <TopicName>,
  "partition": <Partition>,
  "replicas": [ <AssignedBrokerIds> ],
  "log_dirs": [ <AssignedLogDirs> ]
}

log_dirs 对象应包含与 replicas 对象中指定的副本数相同的日志目录数量。该值应该是日志目录的绝对路径，也可以是 任何 关键字。

{
      "topic": "topic-a",
      "partition": 4,
      "replicas": [2,4,7].
      "log_dirs": [ "/var/lib/kafka/data-0/kafka-log2", "/var/lib/kafka/data-0/kafka-log4", "/var/lib/kafka/data-0/kafka-log7" ]
}

分区重新分配可能会是一个较慢的过程，因为它涉及在代理间传输大量数据。为了避免对客户端造成负面影响，您可以节流重新分配过程。使用带有 kafka-reassign-partitions.sh 工具的 --throttle 参数来节流重新分配。您可以为代理之间的分区移动指定每秒的最大阈值（以字节为单位）。例如，-- throttle 5000000 为移动 50 MBps 的分区设置最大阈值。

节流可能会导致重新分配更长的时间完成。

例如，对于生成者，这可能会清单高于等待确认的正常延迟。对于消费者，这可能会导致在轮询之间延迟更高的延迟导致的吞吐量下降。