5.2. 迁移到 KRaft 模式

流程

1. 对于 Kafka 集群，创建带有 控制器 角色的节点池。

   节点池在集群中添加控制器节点的仲裁。

   控制器节点池的配置示例

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaNodePool
   metadata:
     name: controller
     labels:
       strimzi.io/cluster: my-cluster
   spec:
     replicas: 3
     roles:
       - controller
     storage:
       type: jbod
       volumes:
         - id: 0
           type: persistent-claim
           size: 20Gi
           deleteClaim: false
       resources:
         requests:
           memory: 64Gi
           cpu: "8"
         limits:
           memory: 64Gi
           cpu: "12"

   Copy to Clipboard Toggle word wrap

   注意

   对于迁移，您无法使用共享代理和控制器角色的节点池。

2. 应用新的 KafkaNodePool 资源以创建控制器。

   在 Cluster Operator 日志中预期在基于 ZooKeeper 的环境中使用控制器相关的错误。错误可能会阻止协调。要防止这种情况，请立即执行下一步。

3. 通过将 strimzi.io/kraft 注解设置为迁移，在 Kafka 资源中启用 KRaft 迁移 ：

   oc annotate kafka my-cluster strimzi.io/kraft="migration" --overwrite

   Copy to Clipboard Toggle word wrap

   启用 KRaft 迁移

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     namespace: my-project
     annotations:
       strimzi.io/kraft: migration
   # ...

   Copy to Clipboard Toggle word wrap

   将注解应用到 Kafka 资源配置会开始迁移。

4. 检查控制器是否已启动，且代理已推出：

   oc get pods -n my-project

   Copy to Clipboard Toggle word wrap

   输出显示代理和控制器节点池中的节点

   NAME                     READY  STATUS   RESTARTS
   my-cluster-kafka-0       1/1    Running  0
   my-cluster-kafka-1       1/1    Running  0
   my-cluster-kafka-2       1/1    Running  0
   my-cluster-controller-3  1/1    Running  0
   my-cluster-controller-4  1/1    Running  0
   my-cluster-controller-5  1/1    Running  0
   # ...

   Copy to Clipboard Toggle word wrap

5. 检查迁移的状态：

   oc get kafka my-cluster -n my-project -w

   Copy to Clipboard Toggle word wrap

   更新元数据状态

   NAME        ...  METADATA STATE
   my-cluster  ...  Zookeeper
   my-cluster  ...  KRaftMigration
   my-cluster  ...  KRaftDualWriting
   my-cluster  ...  KRaftPostMigration

   Copy to Clipboard Toggle word wrap

   METADATA STATE 显示用于管理 Kafka 元数据和协调操作的机制。在迁移开始时，这是 ZooKeeper。

   • 当元数据仅存储在 ZooKeeper 中时，Zooee 是初始状态。
   • KRaftMigration 是迁移正在进行时的状态。启用 ZooKeeper 到 KRaft 迁移(zookeeper.metadata.migration.enable)的标记被添加到代理中，并使用控制器注册。根据集群中的主题和分区数量，迁移可能需要一些时间。
   • KRaftDualWriting 是 Kafka 集群作为 KRaft 集群工作时的状态，但元数据存储在 Kafka 和 ZooKeeper 中。代理会再次回滚，以移除该标志以启用迁移。
   • KRaftPostMigration 是为代理启用 KRaft 模式时的状态。元数据仍然存储在 Kafka 和 ZooKeeper 中。

   迁移状态也在 Kafka 资源的 status.kafkaMetadataState 属性中表示。

   警告

   您可以从此时回滚到使用 ZooKeeper。下一步是启用 KRaft。在启用 KRaft 后无法执行回滚。

6. 当元数据状态达到 KRaftPostMigration 时，通过将 strimzi.io/kraft 注解设置为启用，在 Kafka 资源配置中启用 KRaft ：

   oc annotate kafka my-cluster strimzi.io/kraft="enabled" --overwrite

   Copy to Clipboard Toggle word wrap

   启用 KRaft 迁移

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     namespace: my-project
     annotations:
       strimzi.io/kraft: enabled
   # ...

   Copy to Clipboard Toggle word wrap

7. 检查 move to full KRaft 模式的状态：

   oc get kafka my-cluster -n my-project -w

   Copy to Clipboard Toggle word wrap

   更新元数据状态

   NAME        ...  METADATA STATE
   my-cluster  ...  Zookeeper
   my-cluster  ...  KRaftMigration
   my-cluster  ...  KRaftDualWriting
   my-cluster  ...  KRaftPostMigration
   my-cluster  ...  PreKRaft
   my-cluster  ...  KRaft

   Copy to Clipboard Toggle word wrap

   • 当所有 ZooKeeper 相关资源都自动删除时，PreKRaft 就是状态。
   • KRaft 是 KRaft 迁移完成后的最终状态（控制器已滚动后）。
   注意

   根据为 ZooKeeper 配置 deleteClaim 的方式，其持久性卷声明(PVC)和持久性卷(PV)可能无法删除。deleteClaim 指定在卸载集群时是否删除 PVC。默认值为 false。

8. 从 Kafka 资源中删除任何与 ZooKeeper 相关的配置。

   删除以下部分：

   • spec.zookeeper

   如果存在，您还可以从 . spec.kafka.config 部分删除 以下选项：

   • log.message.format.version
   • inter.broker.protocol.version

   删除 log.message.format.version 和 inter.broker.protocol.version 会导致代理和控制器再次推出。删除 ZooKeeper 属性会删除与 KRaft-operated 集群中存在的 ZooKeeper 配置相关的任何警告信息。