2.4. VMware 인프라에서 스토리지 노드 교체

절차

1. 교체할 노드에서 NODE 및 get 레이블을 식별합니다.

   $ oc get nodes --show-labels | grep <node_name>

2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

5. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

6. 노드를 삭제합니다.

   $ oc delete node <node_name>

7. vSphere에 로그인하여 식별된 VM을 종료합니다.
8. VMware에서 필요한 인프라를 사용하여 새 VM을 만듭니다. 지원되는 인프라 및 플랫폼 보기.
9. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

    $ oc get csr

11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

12. OpenShift 웹 콘솔에서 Compute Nodes (컴퓨팅 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

13. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스

    1. 새 노드의 경우 작업 메뉴 (PS) 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.

    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

14. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

15. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다.

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

16. 새 localblock PV를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

17. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

18. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -

    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

19. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

20. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

21. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

검증 단계

1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

   새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오.

      $ lsblk

6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

3. 교체할 노드의 레이블을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

4. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

6. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

7. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

8. 컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
9. 필요한 시스템 외에도 작업 메뉴 (TI) 머신 삭제를 클릭합니다.
10. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

11. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

12. OpenShift 웹 콘솔에서 Compute Nodes (컴퓨팅 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.
13. 물리적으로 새 장치를 노드에 추가합니다.

14. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스

    1. 새 노드의 경우 작업 메뉴 (PS) 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.

    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

15. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

16. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다.

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

17. 새 localblock PV를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

18. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -

    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

20. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

21. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

22. PVC와 연결된 PV를 식별합니다.

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태의 PV가 있는 경우 삭제합니다.

    # oc delete pv <persistent-volume>

    예를 들면 다음과 같습니다.

    #oc delete pv local-pv-d6bf175b
    persistentvolume "local-pv-d9c5cbd6" deleted

23. crashcollector 포드 배포를 식별합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

24. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

검증 단계

1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

   새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오.

      $ lsblk

6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

절차

1. 교체할 노드에서 NODE 및 get 레이블을 식별합니다.

   $ oc get nodes --show-labels | grep <node_name>

2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

5. 종료 상태인 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

7. 노드를 삭제합니다.

   $ oc delete node <node_name>

8. vSphere에 로그인하여 식별된 VM을 종료합니다.
9. VMware에서 필요한 인프라를 사용하여 새 VM을 만듭니다. 지원되는 인프라 및 플랫폼 보기.
10. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

11. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

    $ oc get csr

12. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

13. OpenShift 웹 콘솔에서 Compute Nodes (컴퓨팅 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

14. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스

    1. 새 노드의 경우 작업 메뉴 (PS) 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.

    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

15. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

16. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다.

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

17. 새 localblock PV를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

18. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -

    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

20. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

21. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

22. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

검증 단계

1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

   새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오.

      $ lsblk

6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

3. 교체할 노드의 레이블을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

4. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

6. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

7. 종료 상태인 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

8. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

9. 컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
10. 필요한 시스템 외에도 작업 메뉴 (TI) 머신 삭제를 클릭합니다.
11. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

12. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

13. OpenShift 웹 콘솔에서 Compute Nodes (컴퓨팅 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.
14. 물리적으로 새 장치를 노드에 추가합니다.

15. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스

    1. 새 노드의 경우 작업 메뉴 (PS) 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.

    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

16. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

17. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다.

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

18. 새 localblock PV를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

19. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

20. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -

    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

21. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

22. OSD 제거가 완료되었는지 확인합니다.

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예:

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

23. PVC와 연결된 PV를 식별합니다.

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태의 PV가 있는 경우 삭제합니다.

    # oc delete pv <persistent-volume>

    예를 들면 다음과 같습니다.

    #oc delete pv local-pv-d6bf175b
    persistentvolume "local-pv-d9c5cbd6" deleted

24. crashcollector 포드 배포를 식별합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

25. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

검증 단계

1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

   새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오.

      $ lsblk

6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.