Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

2.3. IBM Power 인프라에서 스토리지 노드 교체

OpenShift Data Foundation의 경우 운영 노드에 대해 노드 교체를 사전에 수행하고 IBM Power와 관련된 배포를 위해 실패한 노드에 대해 적극적으로 노드 교체를 수행할 수 있습니다.

2.3.1. IBM Power에서 작동 또는 실패한 스토리지 노드 교체
링크 복사

사전 요구 사항

  • 교체한 노드와 유사한 인프라 및 리소스로 교체된 교체 노드가 구성되었는지 확인합니다.
  • OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

  1. 노드를 식별하고 교체해야 하는 노드의 라벨을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>
    Copy to Clipboard Toggle word wrap
    <node_name>
    교체해야 하는 노드의 이름을 지정합니다.

  2. ( 있는 경우) 및 교체해야 하는 노드에서 실행 중인 OSD(Object Storage Device) Pod를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>
    Copy to Clipboard Toggle word wrap

  3. 이전 단계에서 확인한 Pod의 배포를 축소합니다.

    예를 들어 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
    Copy to Clipboard Toggle word wrap 
    $ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
    Copy to Clipboard Toggle word wrap 
    $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
    Copy to Clipboard Toggle word wrap

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>
    Copy to Clipboard Toggle word wrap

  5. Terminating 상태의 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'
    Copy to Clipboard Toggle word wrap

  6. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    Copy to Clipboard Toggle word wrap

  7. 노드를 제거합니다. 

    $ oc delete node <node_name>
    Copy to Clipboard Toggle word wrap
  8. 필수 인프라가 있는 새로운 IBM Power 머신을 가져옵니다. IBM Power에 클러스터 설치를 참조하십시오.
  9. 새 IBM Power 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

  10. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr
    Copy to Clipboard Toggle word wrap

  11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <certificate_name>
    Copy to Clipboard Toggle word wrap
    <certificate_name>
    CSR의 이름을 지정합니다.
  12. OpenShift 웹 콘솔에서 컴퓨팅 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

  13. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.

    사용자 인터페이스에서
    1. 새 노드의 Action Menu(작업 메뉴) → Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.
    명령줄 인터페이스에서
    1. 새 노드에 OpenShift Data Foundation 레이블을 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''
    Copy to Clipboard Toggle word wrap
    <new_node_name>
    새 노드의 이름을 지정합니다.

  14. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    Copy to Clipboard Toggle word wrap

    예를 들어 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    Copy to Clipboard Toggle word wrap 
    echo $local_storage_project
    Copy to Clipboard Toggle word wrap

    출력 예: 

    openshift-local-storage
    Copy to Clipboard Toggle word wrap

  15. 새로 추가된 작업자 노드를 localVolume 에 추가합니다.

    1. 편집해야 하는 localVolume 을 확인합니다. 

      # oc get -n $local_storage_project localvolume
      Copy to Clipboard Toggle word wrap

      출력 예: 

      NAME           AGE
localblock    25h
      Copy to Clipboard Toggle word wrap

    2. 새 노드를 포함하도록 localVolume 정의를 업데이트하고 실패한 노드를 제거합니다. 

      # oc edit -n $local_storage_project localvolume localblock
      Copy to Clipboard Toggle word wrap

      출력 예: 

      [...]
    nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            #- worker-0
            - worker-1
            - worker-2
            - worker-3
[...]
      Copy to Clipboard Toggle word wrap

      편집기를 종료하기 전에 저장하셔야 합니다.

      이 예에서는 worker-0 이 제거되고 worker-3 이 새 노드입니다.

  16. 새 로컬 블록 PV(영구 볼륨)를 사용할 수 있는지 확인합니다. 

    $ oc get pv | grep localblock
    Copy to Clipboard Toggle word wrap

    출력 예: 

    NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
local-pv-b481410    500Gi     RWO        Delete       Available                                            localblock     3m24s
local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h
    Copy to Clipboard Toggle word wrap

  17. openshift-storage 프로젝트로 이동합니다. 

    $ oc project openshift-storage
    Copy to Clipboard Toggle word wrap

  18. 클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

    1. PVC(영구 볼륨 클레임)를 식별합니다. 

      $ osd_id_to_remove=1
      Copy to Clipboard Toggle word wrap 
      $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvc
      Copy to Clipboard Toggle word wrap

      여기서 & lt;osd_id_to_remove >는 rook-ceph-osd 접두사 직후 Pod 이름의 정수입니다.

      이 예에서 배포 이름은 rook-ceph-osd-1 입니다.

      출력 예: 

      ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
    ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
      Copy to Clipboard Toggle word wrap

    2. 클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다. 

      $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
      Copy to Clipboard Toggle word wrap
      <failed_osd_id>

      rook-ceph-osd 접두사 직후 pod 이름의 정수입니다. 명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.

      OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.

주의

이 단계에서는 OSD가 클러스터에서 완전히 제거됩니다. osd_id_to_remove 의 올바른 값이 제공되었는지 확인합니다.

  1. ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.

    Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
    Copy to Clipboard Toggle word wrap

  2. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
    Copy to Clipboard Toggle word wrap

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    Copy to Clipboard Toggle word wrap
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들어 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
    Copy to Clipboard Toggle word wrap

  3. 실패한 노드와 연결된 PV를 삭제합니다.

    1. PVC와 연결된 PV를 확인합니다. 

      # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
      Copy to Clipboard Toggle word wrap

      출력 예: 

      local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0
      Copy to Clipboard Toggle word wrap

      PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 얻은 이름과 동일해야 합니다.

    2. Released 상태가 PV인 경우 삭제합니다. 

      # oc delete pv <persistent_volume>
      Copy to Clipboard Toggle word wrap

      예를 들어 다음과 같습니다. 

      # oc delete pv local-pv-5c9b8982
      Copy to Clipboard Toggle word wrap

      출력 예: 

      persistentvolume "local-pv-5c9b8982" deleted
      Copy to Clipboard Toggle word wrap

  4. crashcollector Pod 배포를 확인합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage
    Copy to Clipboard Toggle word wrap

    기존 crashcollector Pod 배포가 있는 경우 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage
    Copy to Clipboard Toggle word wrap

  5. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job
    Copy to Clipboard Toggle word wrap

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted
    Copy to Clipboard Toggle word wrap

검증 단계

  1. 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
    Copy to Clipboard Toggle word wrap

  2. 워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.

    새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon
    Copy to Clipboard Toggle word wrap

    출력 예: 

    rook-ceph-mon-b-74f6dc9dd6-4llzq                                   1/1     Running     0          6h14m
rook-ceph-mon-c-74948755c-h7wtx                                    1/1     Running     0          4h24m
rook-ceph-mon-d-598f69869b-4bv49                                   1/1     Running     0          162m
    Copy to Clipboard Toggle word wrap

    OSD 및 모니터링 포드가 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd
    Copy to Clipboard Toggle word wrap

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다. 

      $ oc debug node/<node_name>
      Copy to Clipboard Toggle word wrap 
      $ chroot /host
      Copy to Clipboard Toggle word wrap

    2. 사용 가능한 블록 장치 목록을 표시합니다. 

      $ lsblk
      Copy to Clipboard Toggle word wrap

      하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.

  6. 확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat