9.10. Kafka 및 Zoo Cryostat 스토리지 구성

프로세스

1. 클러스터의 Kafka 리소스를 편집합니다.

   Kafka 클러스터, Zoo Cryostat 클러스터 또는 둘 다에 할당된 영구 볼륨의 크기를 늘리려면 size 속성을 변경합니다.

   • Kafka 클러스터의 경우 spec.kafka.storage 에서 size 속성을 업데이트합니다.
   • Zoo Cryostat 클러스터의 경우 spec.zookeeper.storage 에서 size 속성을 업데이트합니다.

   볼륨 크기를 2000Gi로 늘리는 Kafka 구성

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: persistent-claim
         size: 2000Gi
         class: my-storage-class
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

2. 리소스를 생성하거나 업데이트합니다.

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap

   OpenShift는 Cluster Operator의 요청에 대한 응답으로 선택한 영구 볼륨의 용량을 늘립니다. 크기 조정이 완료되면 Cluster Operator는 크기가 조정된 영구 볼륨을 사용하는 모든 Pod를 재시작합니다. 이 작업은 자동으로 수행됩니다.

3. 클러스터의 관련 Pod에 대해 스토리지 용량이 증가했는지 확인합니다.

   oc get pv

   Copy to Clipboard Toggle word wrap

   스토리지가 증가된 Kafka 브로커 Pod

   NAME               CAPACITY   CLAIM
   pvc-0ca459ce-...   2000Gi     my-project/data-my-cluster-kafka-2
   pvc-6e1810be-...   2000Gi     my-project/data-my-cluster-kafka-0
   pvc-82dc78c9-...   2000Gi     my-project/data-my-cluster-kafka-1

   Copy to Clipboard Toggle word wrap

   출력에는 브로커 Pod와 연결된 각 PVC의 이름이 표시됩니다.

프로세스

1. Kafka 리소스에서 spec.kafka.storage.volumes 속성을 편집합니다. volumes 배열에 새 볼륨을 추가합니다. 예를 들어 ID 2 를 사용하여 새 볼륨을 추가합니다.

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: jbod
         volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
         - id: 1
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
         - id: 2
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

2. 리소스를 생성하거나 업데이트합니다.

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap

3. 새 주제를 만들거나 기존 파티션을 새 디스크에 다시 할당합니다.

   작은 정보

   크루즈 컨트롤은 파티션을 다시 할당하는 효과적인 도구입니다. intra-broker 디스크 균형을 수행하려면 KafkaRebalance.spec 아래에서 rebalanceDisk 를 true 로 설정합니다.

프로세스

1. 제거하려는 디스크에서 모든 파티션을 다시 할당합니다. 제거하려는 디스크에 여전히 할당된 파티션의 데이터가 손실될 수 있습니다.

   작은 정보

   kafka-reassign-partitions.sh 툴을 사용하여 파티션을 다시 할당할 수 있습니다.

2. Kafka 리소스에서 spec.kafka.storage.volumes 속성을 편집합니다. volumes 배열에서 하나 이상의 볼륨을 제거합니다. 예를 들어 ID가 1 인 볼륨을 제거합니다.

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
   spec:
     kafka:
       # ...
       storage:
         type: jbod
         volumes:
         - id: 0
           type: persistent-claim
           size: 100Gi
           deleteClaim: false
       # ...
     zookeeper:
       # ...

   Copy to Clipboard Toggle word wrap

3. 리소스를 생성하거나 업데이트합니다.

   oc apply -f <kafka_configuration_file>

   Copy to Clipboard Toggle word wrap