2.4. VMware 인프라에서 스토리지 노드 교체

운영 노드를 교체하려면 다음을 참조하십시오.
- 2.4.1절. “VMware 사용자 프로비저닝 인프라에서 운영 노드 교체”.
- 2.4.2절. “VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체”.
실패한 노드를 교체하려면 다음을 참조하십시오.
- 2.4.3절. “VMware 사용자 프로비저닝 인프라에서 실패한 노드 교체”.
- 2.4.4절. “VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체”.

2.4.1. VMware 사용자 프로비저닝 인프라에서 운영 노드 교체

사전 요구 사항

교체한 노드와 유사한 인프라, 리소스 및 디스크로 교체된 교체 노드가 구성되었는지 확인합니다.
OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

노드를 식별하고 교체해야 하는 노드의 라벨을 가져옵니다.
```
$ oc get nodes --show-labels | grep <node_name>
```
<node_name>
교체해야 하는 노드의 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인 모니터 포드(있는 경우)와 OSD를 확인합니다.
```
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
```

이전 단계에서 확인한 Pod의 배포를 축소합니다.

예를 들어 다음과 같습니다.

$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage

$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage

$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

노드를 예약 불가능으로 표시합니다.
```
$ oc adm cordon <node_name>
```

노드를 드레이닝합니다.

$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

노드를 제거합니다.
```
$ oc delete node <node_name>
```
VMware vSphere에 로그인하고 식별한 VM(가상 머신)을 종료합니다.
필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 인프라 요구 사항을 참조하십시오.
새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.
보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.
```
$ oc get csr
```
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
```
$ oc adm certificate approve <certificate_name>
```
<certificate_name>
CSR의 이름을 지정합니다.
OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
사용자 인터페이스에서
새 노드의 Action Menu(작업 메뉴) Edit Labels 를 클릭합니다.
cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.
명령줄 인터페이스에서
새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
```
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
```
<new_node_name>
새 노드의 이름을 지정합니다.

OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

예를 들어 다음과 같습니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

echo $local_storage_project

출력 예:

openshift-local-storage

localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

편집할 localVolumeSet 을 결정합니다.

# oc get -n $local_storage_project localvolumeset

출력 예:

NAME          AGE
localblock   25h

새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumeset localblock

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

새 로컬 블록 PV(영구 볼륨)를 사용할 수 있는지 확인합니다.

$oc get pv | grep localblock | grep Available

출력 예:

local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

openshift-storage 프로젝트로 이동합니다.
```
$ oc project openshift-storage
```
클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
```
$ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
```
<failed_osd_id>
rook-ceph-osd 접두사 직후 pod 이름의 정수입니다.
명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.
OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.
ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.
Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.
```
# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
```

OSD 제거가 완료되었는지 확인합니다.

$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

출력 예:

2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

중요

ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

예를 들어 다음과 같습니다.

# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.

# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

출력 예:

local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

Released 상태가 PV인 경우 삭제합니다.

# oc delete pv <persistent_volume>

예를 들어 다음과 같습니다.

# oc delete pv local-pv-d6bf175b

출력 예:

persistentvolume "local-pv-d9c5cbd6" deleted

crashcollector Pod 배포를 확인합니다.

$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

ocs-osd-removal-job 을 삭제합니다.

# oc delete -n openshift-storage job ocs-osd-removal-job

출력 예:

job.batch "ocs-osd-removal-job" deleted

검증 단계

새 노드가 출력에 있는지 확인합니다.

$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
- csi-cephfsplugin-*
- csi-rbdplugin-*
기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.
```
$ oc get pod -n openshift-storage | grep mon
```
출력 예:
```
rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s
```
OSD 및 모니터링 Pod는 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.
1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.
```
$ oc debug node/<node_name>
```
```
$ chroot /host
```
2. 사용 가능한 블록 장치 목록을 표시합니다.
```
$ lsblk
```
  하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.
확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

2.4.2. VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체

사전 요구 사항

교체한 노드와 유사한 인프라, 리소스 및 디스크로 교체된 교체 노드가 구성되었는지 확인합니다.
OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.
노드의 라벨을 가져옵니다.
```
$ oc get nodes --show-labels | grep <node_name>
```
<node_name>
교체해야 하는 노드의 이름을 지정합니다.
mon (있는 경우)과 노드에서 실행 중인 OSD(오브젝트 스토리지 장치)를 식별합니다.
```
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
```

이전 단계에서 확인한 Pod의 배포를 축소합니다.

예를 들어 다음과 같습니다.

$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage

$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage

$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

노드를 예약 불가능으로 표시합니다.
```
$ oc adm cordon <node_name>
```

노드를 드레이닝합니다.

$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
필요한 머신 외에도 작업 메뉴(Cinder) 머신 삭제를 클릭합니다.
삭제를 클릭하여 시스템 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요
이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다.
OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
노드에 물리적으로 새 장치를 추가합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
사용자 인터페이스에서
새 노드의 Action Menu(작업 메뉴) Edit Labels 를 클릭합니다.
cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.
명령줄 인터페이스에서
새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
```
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
```
<new_node_name>
새 노드의 이름을 지정합니다.

OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

예를 들어 다음과 같습니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

echo $local_storage_project

출력 예:

openshift-local-storage

localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

편집해야 하는 localVolumeSet 을 결정합니다.

# oc get -n $local_storage_project localvolumeset

출력 예:

NAME          AGE
localblock   25h

새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumeset localblock

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

새 로컬 블록 PV(영구 볼륨)를 사용할 수 있는지 확인합니다.

$ oc get pv | grep localblock | grep Available

출력 예:

local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

openshift-storage 프로젝트로 이동합니다.
```
$ oc project openshift-storage
```
클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
```
$ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
```
<failed_osd_id>
rook-ceph-osd 접두사 직후 pod 이름의 정수입니다.
명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.
OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.
ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.
Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.
```
# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
```

OSD 제거가 완료되었는지 확인합니다.

$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

출력 예:

2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

중요

ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

예를 들어 다음과 같습니다.

# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

PVC(영구 볼륨 클레임)와 연결된 PV를 식별합니다.

# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

출력 예:

local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

Released 상태가 PV인 경우 삭제합니다.

# oc delete pv <persistent_volume>

예를 들어 다음과 같습니다.

# oc delete pv local-pv-d6bf175b

출력 예:

persistentvolume "local-pv-d9c5cbd6" deleted

crashcollector Pod 배포를 확인합니다.

$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

ocs-osd-removal-job 을 삭제합니다.

# oc delete -n openshift-storage job ocs-osd-removal-job

출력 예:

job.batch "ocs-osd-removal-job" deleted

검증 단계

새 노드가 출력에 있는지 확인합니다.

$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
- csi-cephfsplugin-*
- csi-rbdplugin-*
기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.
```
$ oc get pod -n openshift-storage | grep mon
```
출력 예:
```
rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s
```
OSD 및 모니터링 Pod는 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.
1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.
```
$ oc debug node/<node_name>
```
```
$ chroot /host
```
2. 사용 가능한 블록 장치 목록을 표시합니다.
```
$ lsblk
```
  하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.
확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

2.4.3. VMware 사용자 프로비저닝 인프라에서 실패한 노드 교체

사전 요구 사항

교체한 노드와 유사한 인프라, 리소스 및 디스크로 교체된 교체 노드가 구성되었는지 확인합니다.
OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

노드를 식별하고 교체해야 하는 노드의 라벨을 가져옵니다.
```
$ oc get nodes --show-labels | grep <node_name>
```
<node_name>
교체해야 하는 노드의 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인 모니터 포드(있는 경우)와 OSD를 확인합니다.
```
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
```

이전 단계에서 확인한 Pod의 배포를 축소합니다.

예를 들어 다음과 같습니다.

$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage

$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage

$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

노드를 예약 불가능으로 표시합니다.
```
$ oc adm cordon <node_name>
```

Terminating 상태의 Pod를 제거합니다.

$ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

노드를 드레이닝합니다.

$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

노드를 제거합니다.
```
$ oc delete node <node_name>
```
VMware vSphere에 로그인하고 식별한 VM(가상 머신)을 종료합니다.
필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 인프라 요구 사항을 참조하십시오.
새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.
보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.
```
$ oc get csr
```
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
```
$ oc adm certificate approve <certificate_name>
```
<certificate_name>
CSR의 이름을 지정합니다.
OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
사용자 인터페이스에서
새 노드의 Action Menu(작업 메뉴) Edit Labels 를 클릭합니다.
cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.
명령줄 인터페이스에서
새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
```
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
```
<new_node_name>
새 노드의 이름을 지정합니다.

OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

예를 들어 다음과 같습니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

echo $local_storage_project

출력 예:

openshift-local-storage

localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

편집할 localVolumeSet 을 결정합니다.

# oc get -n $local_storage_project localvolumeset

출력 예:

NAME          AGE
localblock   25h

새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumeset localblock

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

새 로컬 블록 PV(영구 볼륨)를 사용할 수 있는지 확인합니다.

$oc get pv | grep localblock | grep Available

출력 예:

local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

openshift-storage 프로젝트로 이동합니다.
```
$ oc project openshift-storage
```
클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
```
$ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
```
<failed_osd_id>
rook-ceph-osd 접두사 직후 pod 이름의 정수입니다.
명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.
OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.
ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.
Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.
```
# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
```

OSD 제거가 완료되었는지 확인합니다.

$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

출력 예:

2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

중요

ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

예를 들어 다음과 같습니다.

# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.

# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

출력 예:

local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

Released 상태가 PV인 경우 삭제합니다.

# oc delete pv <persistent_volume>

예를 들어 다음과 같습니다.

# oc delete pv local-pv-d6bf175b

출력 예:

persistentvolume "local-pv-d9c5cbd6" deleted

crashcollector Pod 배포를 확인합니다.

$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

ocs-osd-removal-job 을 삭제합니다.

# oc delete -n openshift-storage job ocs-osd-removal-job

출력 예:

job.batch "ocs-osd-removal-job" deleted

검증 단계

새 노드가 출력에 있는지 확인합니다.

$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
- csi-cephfsplugin-*
- csi-rbdplugin-*
기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.
```
$ oc get pod -n openshift-storage | grep mon
```
출력 예:
```
rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s
```
OSD 및 모니터링 Pod는 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.
1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.
```
$ oc debug node/<node_name>
```
```
$ chroot /host
```
2. 사용 가능한 블록 장치 목록을 표시합니다.
```
$ lsblk
```
  하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.
확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

2.4.4. VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체

사전 요구 사항

교체한 노드와 유사한 인프라, 리소스 및 디스크로 교체된 교체 노드가 구성되었는지 확인합니다.
OpenShift Container Platform 클러스터에 로그인해야 합니다.

절차

OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.
노드의 라벨을 가져옵니다.
```
$ oc get nodes --show-labels | grep _<node_name>_
```
<node_name>
교체해야 하는 노드의 이름을 지정합니다.
노드에서 실행 중인 mon (있는 경우) 및 OSD(오브젝트 스토리지 장치)를 식별합니다.
```
$ oc get pods -n openshift-storage -o wide | grep -i _<node_name>_
```

이전 단계에서 확인한 Pod의 배포를 축소합니다.

예를 들어 다음과 같습니다.

$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage

$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage

$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

노드를 예약 불가능으로 표시합니다.
```
$ oc adm cordon _<node_name>_
```

Terminating 상태의 Pod를 제거합니다.

$ oc get pods -A -o wide | grep -i _<node_name>_ |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

노드를 드레이닝합니다.

$ oc adm drain _<node_name>_ --force --delete-emptydir-data=true --ignore-daemonsets

컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
필요한 머신 외에도 작업 메뉴(Cinder) 머신 삭제를 클릭합니다.
삭제를 클릭하여 머신이 삭제되었는지 확인합니다. 새 시스템이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요
이 활동은 최소 5분에서 10분 이상 걸릴 수 있습니다.
OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
노드에 물리적으로 새 장치를 추가합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
사용자 인터페이스에서
새 노드의 Action Menu(작업 메뉴) Edit Labels 를 클릭합니다.
cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.
명령줄 인터페이스에서
새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
```
$ oc label node _<new_node_name>_ cluster.ocs.openshift.io/openshift-storage=""
```
<new_node_name>
새 노드의 이름을 지정합니다.

OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

예를 들어 다음과 같습니다.

$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

echo $local_storage_project

출력 예:

openshift-local-storage

localVolumeDiscovery 및 localVolumeSet 에 새 작업자 노드를 추가합니다.

새 노드를 포함하도록 localVolumeDiscovery 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - **newnode.example.com**
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

편집해야 하는 localVolumeSet 을 결정합니다.

# oc get -n $local_storage_project localvolumeset

출력 예:

NAME          AGE
localblock   25h

새 노드를 포함하도록 localVolumeSet 정의를 업데이트하고 실패한 노드를 제거합니다.

# oc edit -n $local_storage_project localvolumeset localblock

출력 예:

[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - **newnode.example.com**
[...]

편집기를 종료하기 전에 저장하셔야 합니다.

이 예에서 server3.example.com 이 제거되고 newnode.example.com 이 새 노드입니다.

새 로컬 블록 PV를 사용할 수 있는지 확인합니다.

$ oc get pv | grep localblock | grep Available

출력 예:

local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

openshift-storage 프로젝트로 이동합니다.
```
$ oc project openshift-storage
```
클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
```
$ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -
```
<failed_osd_id>
rook-ceph-osd 접두사 직후 pod 이름의 정수입니다.
명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같은 OSD 를 두 개 이상 제거할 수 있습니다.
OSD가 3개만 있는 클러스터에서 FORCE_OSD_REMOVAL 값을 true 로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.
ocs-osd-removal-job Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.
Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.
```
# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
```

OSD 제거가 완료되었는지 확인합니다.

$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

출력 예:

2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0

중요

ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

예를 들어 다음과 같습니다.

# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

PVC(영구 볼륨 클레임)와 연결된 PV를 식별합니다.

# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released

출력 예:

local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

Released 상태가 PV인 경우 삭제합니다.

# oc delete pv _<persistent_volume>_

예를 들어 다음과 같습니다.

# oc delete pv local-pv-d6bf175b

출력 예:

persistentvolume "local-pv-d9c5cbd6" deleted

crashcollector Pod 배포를 확인합니다.

$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=_<failed_node_name>_ -n openshift-storage

기존 crashcollector Pod 배포가 있는 경우 삭제합니다.

$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=_<failed_node_name>_ -n openshift-storage

ocs-osd-removal-job 을 삭제합니다.

# oc delete -n openshift-storage job ocs-osd-removal-job

출력 예:

job.batch "ocs-osd-removal-job" deleted

검증 단계

새 노드가 출력에 있는지 확인합니다.

$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

워크로드 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
- csi-cephfsplugin-*
- csi-rbdplugin-*
기타 모든 필수 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.
```
$ oc get pod -n openshift-storage | grep mon
```
출력 예:
```
rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s
```
OSD 및 모니터링 Pod는 Running 상태로 전환되는 데 몇 분이 걸릴 수 있습니다.

새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd

선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.
1. 디버그 Pod를 생성하고 선택한 하나 이상의 호스트에 대한 chroot 환경을 엽니다.
```
$ oc debug node/<node_name>
```
```
$ chroot /host
```
2. 사용 가능한 블록 장치 목록을 표시합니다.
```
$ lsblk
```
  하나 이상의 ocs-deviceset 이름 옆에 있는 crypt 키워드를 확인합니다.
확인 단계에 실패하는 경우 Red Hat 지원에 문의하십시오.

2.4. VMware 인프라에서 스토리지 노드 교체

2.4.1. VMware 사용자 프로비저닝 인프라에서 운영 노드 교체

2.4.2. VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체

2.4.3. VMware 사용자 프로비저닝 인프라에서 실패한 노드 교체

2.4.4. VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat 소개

Red Hat legal and privacy links

Red Hat legal and privacy links