Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

2.4. VMware 인프라에서 스토리지 노드 교체

2.4.1. VMware 사용자 프로비저닝 인프라에서 운영 노드 교체
링크 복사

사전 요구 사항

  • 교체 노드가 교체하는 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
  • OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

  1. 노드를 확인하고 교체해야 하는 노드의 라벨을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>
    <node_name>
    교체해야 하는 노드의 이름을 지정합니다.

  2. 모니터 Pod(있는 경우) 및 교체해야 하는 노드에서 실행 중인 OSD를 확인합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
     
    $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
     
    $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  6. 노드를 제거합니다. 

    $ oc delete node <node_name>
  7. VMware vSphere에 로그인하고 확인된 VM(가상 머신)을 종료합니다.
  8. 필요한 인프라를 사용하여 VMware vSphere에서 새 VM을 생성합니다. 인프라 요구 사항을 참조하십시오.
  9. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

  10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <certificate_name>
    <certificate_name>
    CSR의 이름을 지정합니다.
  12. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

  13. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서
    1. 새 노드의 Action Menu (ECDHE) Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장 을 클릭합니다.
    명령줄 인터페이스에서
    • OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
    <new_node_name>
    새 노드의 이름을 지정합니다.

  14. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
     
    echo $local_storage_project

    출력 예: 

    openshift-local-storage

  15. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 결정합니다. 

      # oc get -n $local_storage_project localvolumeset

      출력 예: 

      NAME          AGE
localblock   25h

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예제에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

  16. 새 로컬 블록 영구 볼륨(PV)을 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available

    출력 예: 

    local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  17. openshift-storage 프로젝트로 이동합니다. 

    $ oc project openshift-storage

  18. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
    <failed_osd_id>

    는 rook-ceph-osd 접두사 직후 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 둘 이상의 OSD(예: FAILED_OSD_IDS=0,1, 2)를 제거할 수 있습니다.

    OSD가 제거된 후 3개의 OSD가 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 또는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

  19. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    상태가 Completed 로 OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  20. OSD가 제거되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  21. PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다. 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

    출력 예: 

    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태에 PV가 있는 경우 이를 삭제합니다. 

    # oc delete pv <persistent_volume>

    예를 들면 다음과 같습니다. 

    # oc delete pv local-pv-d6bf175b

    출력 예: 

    persistentvolume "local-pv-d9c5cbd6" deleted

  22. crashcollector Pod 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    기존 crashcollector Pod 배포가 있는 경우 이를 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

  23. ocs-osd-removal-job 삭제 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

    새로운 증분 mon 이 생성되고 Running 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 모니터링 Pod가 Running 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD pod가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

  5. 선택사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 새 노드 각각에 대해 다음을 수행합니다.

    1. 디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다. 

      $ oc debug node/<node_name>
       
      $ chroot /host

    2. 사용 가능한 블록 장치 목록을 표시합니다. 

      $ lsblk

      crypt 키워드가 하나 이상의 ocs-deviceset 이름 옆에 있는지 확인합니다.

  6. 확인 단계가 실패하면 Red Hat 지원에 문의하십시오.

2.4.2. VMware 설치 관리자 프로비저닝 인프라에서 작동 노드 교체
링크 복사

사전 요구 사항

  • 교체 노드가 교체하는 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
  • OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. 해당 시스템 이름을 기록해 둡니다.

  3. 노드에 라벨을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>
    <node_name>
    교체해야 하는 노드의 이름을 지정합니다.

  4. 노드에서 실행 중인 mon (있는 경우) 및 OSD(오브젝트 스토리지 장치)를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
     
    $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
     
    $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  7. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
  8. 컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  9. 필요한 시스템 외에도 동작 메뉴(ECDHE) 머신 삭제를 클릭합니다.
  10. 삭제를 클릭하여 시스템 삭제를 확인합니다. 새 머신이 자동으로 생성됩니다.

  11. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  12. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
  13. 물리적으로 새 장치를 노드에 추가합니다.

  14. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서
    1. 새 노드의 Action Menu (ECDHE) Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장 을 클릭합니다.
    명령줄 인터페이스에서
    • OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
    <new_node_name>
    새 노드의 이름을 지정합니다.

  15. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
     
    echo $local_storage_project

    출력 예: 

    openshift-local-storage

  16. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

    2. 편집해야 하는 localVolumeSet 을 결정합니다. 

      # oc get -n $local_storage_project localvolumeset

      출력 예: 

      NAME          AGE
localblock   25h

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

  17. 새 로컬 블록 영구 볼륨(PV)을 사용할 수 있는지 확인합니다. 

    $ oc get pv | grep localblock | grep Available

    출력 예: 

    local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  18. openshift-storage 프로젝트로 이동합니다. 

    $ oc project openshift-storage

  19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
    <failed_osd_id>

    는 rook-ceph-osd 접두사 직후 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 둘 이상의 OSD(예: FAILED_OSD_IDS=0,1, 2)를 제거할 수 있습니다.

    OSD가 제거된 후 3개의 OSD가 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 또는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

  20. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    상태가 Completed 로 OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  21. OSD가 제거되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  22. PVC(영구 볼륨 클레임)와 연결된 PV를 확인합니다. 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

    출력 예: 

    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태에 PV가 있는 경우 이를 삭제합니다. 

    # oc delete pv <persistent_volume>

    예를 들면 다음과 같습니다. 

    # oc delete pv local-pv-d6bf175b

    출력 예: 

    persistentvolume "local-pv-d9c5cbd6" deleted

  23. crashcollector Pod 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    기존 crashcollector Pod 배포가 있는 경우 이를 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

  24. ocs-osd-removal-job 삭제 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

    새로운 증분 mon 이 생성되고 Running 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 모니터링 Pod가 Running 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD pod가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

  5. 선택사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 새 노드 각각에 대해 다음을 수행합니다.

    1. 디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다. 

      $ oc debug node/<node_name>
       
      $ chroot /host

    2. 사용 가능한 블록 장치 목록을 표시합니다. 

      $ lsblk

      crypt 키워드가 하나 이상의 ocs-deviceset 이름 옆에 있는지 확인합니다.

  6. 확인 단계가 실패하면 Red Hat 지원에 문의하십시오.

2.4.3. VMware 사용자 프로비저닝 인프라에서 실패한 노드 교체
링크 복사

사전 요구 사항

  • 교체 노드가 교체하는 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
  • OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

  1. 노드를 확인하고 교체해야 하는 노드의 라벨을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>
    <node_name>
    교체해야 하는 노드의 이름을 지정합니다.

  2. 모니터 Pod(있는 경우) 및 교체해야 하는 노드에서 실행 중인 OSD를 확인합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
     
    $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
     
    $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. Terminating 상태인 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  6. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  7. 노드를 제거합니다. 

    $ oc delete node <node_name>
  8. VMware vSphere에 로그인하고 확인된 VM(가상 머신)을 종료합니다.
  9. 필요한 인프라를 사용하여 VMware vSphere에서 새 VM을 생성합니다. 인프라 요구 사항을 참조하십시오.
  10. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

  11. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  12. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <certificate_name>
    <certificate_name>
    CSR의 이름을 지정합니다.
  13. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

  14. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서
    1. 새 노드의 Action Menu (ECDHE) Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장 을 클릭합니다.
    명령줄 인터페이스에서
    • OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
    <new_node_name>
    새 노드의 이름을 지정합니다.

  15. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
     
    echo $local_storage_project

    출력 예: 

    openshift-local-storage

  16. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 결정합니다. 

      # oc get -n $local_storage_project localvolumeset

      출력 예: 

      NAME          AGE
localblock   25h

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예제에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

  17. 새 로컬 블록 영구 볼륨(PV)을 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available

    출력 예: 

    local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  18. openshift-storage 프로젝트로 이동합니다. 

    $ oc project openshift-storage

  19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
    <failed_osd_id>

    는 rook-ceph-osd 접두사 직후 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 둘 이상의 OSD(예: FAILED_OSD_IDS=0,1, 2)를 제거할 수 있습니다.

    OSD가 제거된 후 3개의 OSD가 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 또는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

  20. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    상태가 Completed 로 OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  21. OSD가 제거되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  22. PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다. 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

    출력 예: 

    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태에 PV가 있는 경우 이를 삭제합니다. 

    # oc delete pv <persistent_volume>

    예를 들면 다음과 같습니다. 

    # oc delete pv local-pv-d6bf175b

    출력 예: 

    persistentvolume "local-pv-d9c5cbd6" deleted

  23. crashcollector Pod 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    기존 crashcollector Pod 배포가 있는 경우 이를 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

  24. ocs-osd-removal-job 삭제 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

    새로운 증분 mon 이 생성되고 Running 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 모니터링 Pod가 Running 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD pod가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

  5. 선택사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 새 노드 각각에 대해 다음을 수행합니다.

    1. 디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다. 

      $ oc debug node/<node_name>
       
      $ chroot /host

    2. 사용 가능한 블록 장치 목록을 표시합니다. 

      $ lsblk

      crypt 키워드가 하나 이상의 ocs-deviceset 이름 옆에 있는지 확인합니다.

  6. 확인 단계가 실패하면 Red Hat 지원에 문의하십시오.

2.4.4. VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체
링크 복사

사전 요구 사항

  • 교체 노드가 교체하는 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
  • OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. 해당 시스템 이름을 기록해 둡니다.

  3. 노드에 라벨을 가져옵니다. 

    $ oc get nodes --show-labels | grep _<node_name>_
    <node_name>
    교체해야 하는 노드의 이름을 지정합니다.

  4. 노드에서 실행 중인 mon (있는 경우) 및 OSD(오브젝트 스토리지 장치)를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i _<node_name>_

  5. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
     
    $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
     
    $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon _<node_name>_

  7. Terminating 상태인 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i _<node_name>_ |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  8. 노드를 드레이닝합니다. 

    $ oc adm drain _<node_name>_ --force --delete-emptydir-data=true --ignore-daemonsets
  9. 컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  10. 필요한 시스템 외에도 동작 메뉴(ECDHE) 머신 삭제를 클릭합니다.
  11. 삭제를 클릭하여 머신이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다.

  12. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  13. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
  14. 물리적으로 새 장치를 노드에 추가합니다.

  15. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서
    1. 새 노드의 Action Menu (ECDHE) Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장 을 클릭합니다.
    명령줄 인터페이스에서
    • OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node _<new_node_name>_ cluster.ocs.openshift.io/openshift-storage=""
    <new_node_name>
    새 노드의 이름을 지정합니다.

  16. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
     
    echo $local_storage_project

    출력 예: 

    openshift-local-storage

  17. localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - **newnode.example.com**
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예제에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

    2. 편집해야 하는 localVolumeSet 을 결정합니다. 

      # oc get -n $local_storage_project localvolumeset

      출력 예: 

      NAME          AGE
localblock   25h

    3. 새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock

      출력 예: 

      [...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - **newnode.example.com**
[...]

      편집기를 종료하기 전에 저장하십시오.

      이 예제에서는 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

  18. 새 로컬 블록 PV를 사용할 수 있는지 확인합니다. 

    $ oc get pv | grep localblock | grep Available

    출력 예: 

    local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  19. openshift-storage 프로젝트로 이동합니다. 

    $ oc project openshift-storage

  20. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
    <failed_osd_id>

    는 rook-ceph-osd 접두사 직후 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 둘 이상의 OSD(예: FAILED_OSD_IDS=0,1, 2)를 제거할 수 있습니다.

    OSD가 제거된 후 3개의 OSD가 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 또는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

  21. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    상태가 Completed 로 OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  22. OSD가 제거되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  23. PVC(영구 볼륨 클레임)와 연결된 PV를 확인합니다. 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

    출력 예: 

    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태에 PV가 있는 경우 이를 삭제합니다. 

    # oc delete pv _<persistent_volume>_

    예를 들면 다음과 같습니다. 

    # oc delete pv local-pv-d6bf175b

    출력 예: 

    persistentvolume "local-pv-d9c5cbd6" deleted

  24. crashcollector Pod 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=_<failed_node_name>_ -n openshift-storage

    기존 crashcollector Pod 배포가 있는 경우 이를 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=_<failed_node_name>_ -n openshift-storage

  25. ocs-osd-removal-job 삭제 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

    새로운 증분 mon 이 생성되고 Running 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 모니터링 Pod가 Running 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD pod가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

  5. 선택사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 새 노드 각각에 대해 다음을 수행합니다.

    1. 디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다. 

      $ oc debug node/<node_name>
       
      $ chroot /host

    2. 사용 가능한 블록 장치 목록을 표시합니다. 

      $ lsblk

      crypt 키워드가 하나 이상의 ocs-deviceset 이름 옆에 있는지 확인합니다.

  6. 확인 단계가 실패하면 Red Hat 지원에 문의하십시오.
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

Legal Notice

Theme

© 2026 Red Hat맨 위로 이동