2.3. IBM Power 인프라에서 스토리지 노드 교체

절차

1. 노드를 식별하고 교체할 노드에서 레이블을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 오브젝트 스토리지 장치(OSD) Pod를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 이전 단계에서 확인한 포드 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage

4. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

5. Terminating 상태인 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

7. 노드를 삭제합니다.

   $ oc delete node <node_name>

8. 필수 인프라를 갖춘 새로운 IBM Power 머신을 확보하십시오. IBM Power에 클러스터 설치를 참조하십시오.
9. 새 IBM Power 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

    $ oc get csr

11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

12. OpenShift 웹 콘솔에서 컴퓨팅 노드 를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

13. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 경우 Action Menu(작업 메뉴) Edit Labels (레이블 편집) 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    1. 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''

14. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

15. localVolumeDiscovery 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   #- worker-0
                   - worker-1
                   - worker-2
                   - worker-3
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 worker-0 은 제거되었으며 worker-3 은 새 노드입니다.

16. 새로 추가된 작업자 노드를 localVolume에 추가합니다.

    1. 편집할 로컬 볼륨을 결정합니다.

       # oc get -n $local_storage_project localvolume
       NAME           AGE
       localblock    25h

    2. 새 노드를 포함하도록 localVolume 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n $local_storage_project localvolume localblock
       [...]
           nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   #- worker-0
                   - worker-1
                   - worker-2
                   - worker-3
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 worker-0 은 제거되었으며 worker-3 은 새 노드입니다.

17. 새 로컬 블록 PV를 사용할 수 있는지 확인합니다.

    $ oc get pv | grep localblock
    NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
    local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
    local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
    local-pv-b481410    500Gi     RWO        Delete       Available                                            localblock     3m24s
    local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h

18. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

    1. 나중에 PVC를 식별하여 특정 PVC와 연결된 PV를 삭제해야 합니다.

       $ osd_id_to_remove=1
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       여기서 osd_id_to_remove 는 rook-ceph-osd 접두사 바로 뒤에 포드 이름에 있는 정수입니다. 이 예에서 배포 이름은 rook-ceph-osd-1 입니다.

       출력 예:

       ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
           ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc

       이 예에서 PVC 이름은 ocs-deviceset-localblock-0-data-0-g2mmc 입니다.

    2. 클러스터에서 실패한 OSD를 제거합니다.

       $ oc process -n openshift-storage ocs-osd-removal \
       -p FAILED_OSD_IDS=<failed_osd_id> FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -

       OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

       주의

       이 단계에서는 OSD가 클러스터에서 완전히 제거됩니다. osd_id_to_remove 의 올바른 값이 제공되는지 확인합니다.

20. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    완료된 상태로 OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

21. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

22. 오류가 발생한 노드와 연결된 PV를 삭제합니다.

    1. PVC와 연결된 PV를 확인합니다.

       PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 가져온 이름과 동일해야 합니다.

       # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
       local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0

    2. Released 에 PV가 있는 경우 이를 삭제합니다.

       # oc delete pv <persistent-volume>

       예를 들면 다음과 같습니다.

       # oc delete pv local-pv-5c9b8982
       persistentvolume "local-pv-5c9b8982" deleted

23. crashcollector Pod 배포를 식별합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

24. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

검증 단계

1. 다음 명령을 실행하고 출력에 새 노드가 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 Pod 를 클릭하고 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

   새 증분 원이 생성되고 Running 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   출력 예:

   rook-ceph-mon-b-74f6dc9dd6-4llzq                                   1/1     Running     0          6h14m
   rook-ceph-mon-c-74948755c-h7wtx                                    1/1     Running     0          4h24m
   rook-ceph-mon-d-598f69869b-4bv49                                   1/1     Running     0          162m

   OSD 및 Mon은 Running 상태에 도달하는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 확인한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆에 "crypt" 키워드를 확인합니다.

      $ lsblk

6. 확인 단계가 실패하면 Red Hat 지원팀에 문의하십시오.