2.2. IBM Z 또는 LinuxONE 인프라에서 스토리지 노드 교체

절차

1. 노드를 식별하고 교체할 노드의 레이블을 가져옵니다. rack 레이블을 기록해 둡니다.

   $ oc get nodes --show-labels | grep <node_name>

2. 교체할 노드에서 실행 중인 OSD(모든) 및 오브젝트 스토리지 장치(OSD) Pod를 확인합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 이전 단계에서 확인한 포드의 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. 노드를 예약 불가로 표시합니다.

   $ oc adm cordon <node_name>

5. 상태가 종료되는 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

7. 노드를 삭제합니다.

   $ oc delete node <node_name>

8. 새 IBM zSystem 스토리지 노드를 교체용으로 가져옵니다.

9. Pending 상태인 OpenShift Data Foundation과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.

   $ oc get csr

10. 새 노드에 필요한 모든 OpenShift Data Foundation CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

11. OpenShift 웹 콘솔에서 컴퓨팅 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

12. 다음 중 하나를 사용하여 새 노드에 openshift-storage 레이블을 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu (ECDHE) Edit Labels를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

13. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

       # oc edit -n local-storage-project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 결정합니다.

       다음 명령의 local-storage-project 를 로컬 스토리지 프로젝트의 이름으로 교체합니다. 기본 프로젝트 이름은 OpenShift Data Foundation 4.6 이상에서 openshift-local-storage 입니다. 이전 버전에서는 기본적으로 local-storage 를 사용합니다.

       # oc get -n local-storage-project localvolumeset
       NAME          AGE
       localblock   25h

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 삭제합니다.

       # oc edit -n local-storage-project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

14. 새 localblock PV를 사용할 수 있는지 확인합니다.

    $ oc get pv | grep localblock
              CAPA- ACCESS RECLAIM                                STORAGE
    NAME      CITY  MODES  POLICY  STATUS     CLAIM               CLASS       AGE
    local-pv- 931Gi  RWO   Delete  Bound      openshift-storage/  localblock  25h
    3e8964d3                                  ocs-deviceset-2-0
                                              -79j94
    local-pv- 931Gi  RWO   Delete  Bound      openshift-storage/  localblock  25h
    414755e0                                  ocs-deviceset-1-0
                                              -959rp
    local-pv- 931Gi RWO Delete Available localblock 3m24s b481410
    local-pv- 931Gi  RWO   Delete  Bound      openshift-storage/  localblock  25h
    d9c5cbd6                                  ocs-deviceset-0-0
                                              -nvs68

15. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

16. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

    1. 이후 특정 PVC와 연결된 PV를 삭제해야 하는 대로 PVC를 식별합니다.

       $ osd_id_to_remove=1
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       여기서 osd_id_to_remove 는 rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다. 이 예제에서 배포 이름은 rook-ceph-osd-1 입니다.

       출력 예:

       ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
           ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc

       이 예에서 PVC 이름은 ocs-deviceset-localblock-0-data-0-g2mmc 입니다.

    2. 클러스터에서 실패한 OSD를 제거합니다.

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} |oc create -f -

       명령에 쉼표로 구분된 OSD ID를 추가하여 두 개 이상의 OSD를 제거할 수 있습니다. (예: FAILED_OSD_IDS=0,1,2)

       주의

       이 단계에서는 클러스터에서 OSD가 완전히 제거됩니다. osd_id_to_remove 의 올바른 값이 제공되었는지 확인합니다.

17. ocs-osd-removal 포드의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    Completed 상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-osd_id_to_remove -n openshift-storage

    참고

    ocs-osd-removal 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 추가 디버깅을 위해 Pod 로그를 확인합니다. 예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-osd_id_to_remove -n openshift-storage --tail=-1

    다음과 같이 제거된 OSD를 수동으로 정리해야 할 수 있습니다.

    ceph osd crush remove osd.osd_id_to_remove
    ceph osd rm osd_id_to_remove
    ceph auth del osd.osd_id_to_remove
    ceph osd crush rm osd_id_to_remove

18. 오류가 발생한 노드와 연결된 PV를 삭제합니다.

    1. PVC와 연결된 PV를 확인합니다.

       PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 얻은 이름과 동일해야 합니다.

       # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
       local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0

    2. 릴리스된 PV가 있는 경우 이를 삭제합니다.

       # oc delete pv <persistent-volume>

       예를 들면 다음과 같습니다.

       # oc delete pv local-pv-5c9b8982
       persistentvolume "local-pv-5c9b8982" deleted

19. crashcollector Pod 배포를 확인합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

20. ocs-osd-removal 작업을 삭제합니다.

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    출력 예:

    job.batch "ocs-osd-removal-0" deleted

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

5. 선택 사항: 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      $ chroot /host

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      하나 이상의 ocs-deviceset 이름 옆에 crypt 키워드가 있는지 확인합니다.

6. 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
2. 결함이 있는 노드를 식별하고 해당 머신 이름을 클릭합니다.
3. 작업 주석 편집을 클릭하고 추가를 클릭합니다.
4. machine.openshift.io/exclude-node-draining 을 추가하고 저장을 클릭합니다.
5. 작업 머신 삭제를 클릭하고 삭제 를 클릭합니다.

6. 새 머신이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.

   중요

   이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.

7. 컴퓨팅 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

8. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

   사용자 인터페이스에서

   1. 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
   2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

   명령줄 인터페이스

   • OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

   $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

   <new_node_name>

   새 노드의 이름을 지정합니다.

검증 단계

1. 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= | cut -d' ' -f1

2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

4. 새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

5. 선택 사항: 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node_name>

      $ chroot /host

   2. 사용 가능한 블록 장치 목록을 표시합니다.

      $ lsblk

      하나 이상의 ocs-deviceset 이름 옆에 crypt 키워드가 있는지 확인합니다.

6. 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.