第 15 章 使用分区重新分配工具

分区重新分配工具(kafka-reassign-partitions.sh)通过生成分区分配计划来工作，指定应将哪些分区从当前代理移到新代理中。

如果您对计划满意，您可以执行它。然后，该工具执行以下操作：

分区重新分配工具有三个不同的模式：

在任何给定时间，集群中只能有一个重新分配运行，且无法取消正在运行的重新分配。如果需要取消重新分配，请等待它完成，然后执行另一个重新分配来恢复第一个重新分配的影响。kafka-reassign-partitions.sh 将打印这个 reversion 的重新分配 JSON 作为其输出的一部分。非常大的重新分配应该被分解为多个较小的重新分配，以防需要停止 in-progress 重新分配。

kafka-reassign-partitions.sh 工具使用一个重新分配 JSON 文件，该文件指定要重新分配的主题。如果要移动特定分区，您可以生成重新分配 JSON 文件或手动创建文件。

一个基本的重新分配 JSON 文件在以下示例中显示结构，它描述了属于两个 Kafka 主题的三个分区。每个分区都会被重新分配给一组新的副本，这些副本由代理 ID 识别。版本、topic、分区、和 replicas 属性都是必需的。

{
  "version": 1, 1
  "partitions": [ 2
    {
      "topic": "example-topic-1", 3
      "partition": 0, 4
      "replicas": [1, 2, 3] 5
    },
    {
      "topic": "example-topic-1",
      "partition": 1,
      "replicas": [2, 3, 4]
    },
    {
      "topic": "example-topic-2",
      "partition": 0,
      "replicas": [3, 4, 5]
    }
  ]
}

如果您只使用主题数组指定 主题，分区重新分配工具会重新分配属于指定主题的所有分区。

{
  "version": 1,
  "topics": [
    { "topic": "my-topic"}
  ]
}

当在 Kafka 集群中使用 JBOD 存储时，您可以在特定卷及其日志目录间重新分配分区（每个卷只有一个日志目录）。

要将分区重新分配给特定卷，请在重新分配 JSON 文件中为每个分区添加 log_dirs 值。每个 log_dirs 数组包含与 replicas 数组相同的条目数，因为每个副本都应分配给特定的日志目录。log_dirs 数组包含一个到日志目录的绝对路径或特殊值 any。any 值表示 Kafka 可以为该副本选择任何可用的日志目录，这在 JBOD 卷间重新分配分区时很有用。

{
  "version": 1,
  "partitions": [
    {
      "topic": "example-topic-1",
      "partition": 0,
      "replicas": [1, 2, 3]
      "log_dirs": ["/var/lib/kafka/data-0/kafka-log1", "any", "/var/lib/kafka/data-1/kafka-log2"]
    },
    {
      "topic": "example-topic-1",
      "partition": 1,
      "replicas": [2, 3, 4]
      "log_dirs": ["any",  "/var/lib/kafka/data-2/kafka-log3", "/var/lib/kafka/data-3/kafka-log4"]
    },
    {
      "topic": "example-topic-2",
      "partition": 0,
      "replicas": [3, 4, 5]
      "log_dirs": ["/var/lib/kafka/data-4/kafka-log5", "any",  "/var/lib/kafka/data-5/kafka-log6"]
    }
  ]
}

分区重新分配可能会是一个较慢的过程，因为它涉及在代理间传输大量数据。为了避免对客户端产生不利影响，您可以限制重新分配过程。使用带有 kafka-reassign-partitions.sh 工具的 --throttle 参数，以节流重新分配。您可以为代理间移动分区指定每秒的最大阈值（以字节为单位）。例如，-- throttle 5000000 为移动分区设置 50 MBps 的最大阈值。

节流可能会导致重新分配完成所需的时间。

例如，对于生成者，这可能比等待确认的正常延迟高。对于消费者，这可能因为轮询之间延迟更高的吞吐量导致的吞吐量下降。