2.3. IBM Power 인프라에서 스토리지 노드 교체
OpenShift Data Foundation의 경우 IBM Power와 관련된 배포를 위해 운영 노드에 대해 사전에 노드 교체를 수행하고 실패한 노드에 대한 대응을 수행할 수 있습니다.
2.3.1. IBM Power에서 운영 또는 실패한 스토리지 노드 교체
사전 요구 사항
- 교체 노드가 교체하는 노드와 유사한 인프라 및 리소스로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
노드를 확인하고 교체해야 하는 노드의 라벨을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드의 이름을 지정합니다.
mon(있는 경우)과 교체해야 하는 노드에서 실행 중인 OSD(오브젝트 스토리지 장치) Pod를 확인합니다.$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>Terminating상태인 Pod를 제거합니다.$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets노드를 제거합니다.
$ oc delete node <node_name>- 필요한 인프라로 새로운 IBM Power 머신을 확보하십시오. IBM Power에 클러스터 설치를 참조하십시오.
- 새 IBM Power 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
-
OpenShift 웹 콘솔에서 컴퓨팅
노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다. 다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장 을 클릭합니다.
- 명령줄 인터페이스에서
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
새로 추가된 작업자 노드를
localVolume에 추가합니다.편집해야 하는
localVolume을 결정합니다.# oc get -n $local_storage_project localvolume
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolume정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolume localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: #- worker-0 - worker-1 - worker-2 - worker-3 [...]편집기를 종료하기 전에 저장하십시오.
이 예제에서는
worker-0이 제거되고worker-3이 새 노드입니다.
새
로컬 블록영구 볼륨(PV)을 사용할 수 있는지 확인합니다.$ oc get pv | grep localblock
출력 예:
NAME CAPACITY ACCESSMODES RECLAIMPOLICY STATUS CLAIM STORAGECLASS AGE local-pv-3e8964d3 500Gi RWO Delete Bound ocs-deviceset-localblock-2-data-0-mdbg9 localblock 25h local-pv-414755e0 500Gi RWO Delete Bound ocs-deviceset-localblock-1-data-0-4cslf localblock 25h local-pv-b481410 500Gi RWO Delete Available localblock 3m24s local-pv-5c9b8982 500Gi RWO Delete Bound ocs-deviceset-localblock-0-data-0-g2mmc localblock 25hopenshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
PVC(영구 볼륨 클레임)를 식별합니다.
$ osd_id_to_remove=1
$ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvc여기서 &
lt;osd_id_to_remove>는rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.이 예에서 배포 이름은
rook-ceph-osd-1입니다.출력 예:
ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>는
rook-ceph-osd접두사 직후 Pod 이름의 정수입니다. 명령에 쉼표로 구분된 OSD ID를 추가하여 둘 이상의 OSD(예:FAILED_OSD_IDS=0,1,2)를 제거할 수 있습니다.OSD가 제거된 후 3개의 OSD가 있는 클러스터에서
FORCE_OSD_REMOVAL값을true또는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.주의이 단계를 수행하면 클러스터에서 OSD가 완전히 제거됩니다.
osd_id_to_remove의 올바른 값이 제공되었는지 확인합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.상태가
Completed로 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD가 제거되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
오류가 발생한 노드와 연결된 PV를 삭제합니다.
PVC와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-5c9b8982 500Gi RWO Delete Released openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc localblock 24h worker-0
PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 가져온 이름과 동일해야 합니다.
Released상태에 PV가 있는 경우 이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-5c9b8982
출력 예:
persistentvolume "local-pv-5c9b8982" deleted
crashcollectorPod 배포를 식별합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 이를 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job삭제# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드
포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다. -
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새로운 증분
mon이 생성되고 Running 상태인지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-b-74f6dc9dd6-4llzq 1/1 Running 0 6h14m rook-ceph-mon-c-74948755c-h7wtx 1/1 Running 0 4h24m rook-ceph-mon-d-598f69869b-4bv49 1/1 Running 0 162m
OSD 및 모니터 Pod가
Running상태가 되는 데 몇 분이 걸릴 수 있습니다.새 OSD pod가 교체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 식별된 새 노드 각각에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
crypt키워드가 하나 이상의ocs-deviceset이름 옆에 있는지 확인합니다.
- 확인 단계가 실패하면 Red Hat 지원에 문의하십시오.
