2.3.4. VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체
사전 요구 사항
- Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
- RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.
-
이전 버전에서 OpenShift Container Storage 버전 4.8로 업그레이드하고
LocalVolumeDiscovery 및 LocalVolumeSet오브젝트를 아직 생성하지 않은 경우 로컬 스토리지에서 지원하는 클러스터의 업데이트 후 구성 변경에 설명된 절차에 따라 수행합니다.
절차
-
OpenShift 웹 콘솔에 로그인하고 컴퓨팅
노드를 클릭합니다. - 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.
교체할 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name>
교체할 노드에서 실행 중인
mon(있는 경우) 및 OSD를 식별합니다.$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
이전 단계에서 식별된 포드의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>
종료 상태인 Pod를 제거합니다.
$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets
-
컴퓨팅
머신을 클릭합니다. 필요한 시스템을 검색합니다. -
필요한 시스템 외에도 작업 메뉴 (TI)
머신 삭제를 클릭합니다. - Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.
새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.
-
OpenShift 웹 콘솔에서 Compute
Nodes (컴퓨팅 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다. - 물리적으로 새 장치를 노드에 추가합니다.
다음 중 하나를 사용하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.
- 출처: 사용자 인터페이스
-
새 노드의 경우 작업 메뉴 (PS)
레이블 편집을 클릭합니다. -
cluster.ocs.openshift.io/openshift-storage를 추가하고 Save(저장 )를 클릭합니다.
-
새 노드의 경우 작업 메뉴 (PS)
- 명령줄 인터페이스의
다음 명령을 실행하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local) echo $local_storage_project openshift-local-storagelocalVolumeDiscovery 및에 새 작업자 노드를 추가합니다.localVolumeSet새 노드를 포함하고 실패한 노드를 제거하도록
localVolumeDiscovery정의를 업데이트합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]
편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com이 새 노드입니다.편집할
localVolumeSet을 확인합니다.# oc get -n $local_storage_project localvolumeset NAME AGE localblock 25h새 노드를 포함하고 실패한 노드를 제거하도록
localVolumeSet정의를 업데이트합니다.# oc edit -n $local_storage_project localvolumeset localblock [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]
편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com이 새 노드입니다.
새
localblockPV를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available local-pv-551d950 512Gi RWO Delete Available localblock 26sopenshift-storage프로젝트로 변경합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -
ocs-osd-removal-job포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.상태가
Completed인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
참고ocs-osd-removal-job이 실패하고 Pod가 예상되는Completed상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다. 예를 들면 다음과 같습니다.# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage
PVC와 연결된 PV를 식별합니다.
#oc get pv -L kubernetes.io/hostname | grep localblock | grep Released local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1Released상태의 PV가 있는 경우 삭제합니다.# oc delete pv <persistent-volume>
예를 들면 다음과 같습니다.
#oc delete pv local-pv-d6bf175b persistentvolume "local-pv-d9c5cbd6" deletedcrashcollector포드 배포를 식별합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage
기존
crashcollector포드 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage
ocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드
Pod 를 클릭하여 새 노드의 다음 Pod가 Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Container Storage 포드가 Running 상태인지 확인합니다.
새 incremental
mon이 생성되었으며 Running(실행 중) 상태인지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 Mon은
Running(실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd(선택 사항) 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.
디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.
$ oc debug node/<node name> $ chroot /host
"lsblk"를 실행하고
ocs-deviceset이름 옆의 "crypt" 키워드를 확인하십시오.$ lsblk
- 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.
