2.5.2. Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 오류가 발생한 노드 교체
다음 절차에 따라 OpenShift Data Foundation의 Red Hat Virtualization 설치 관리자 프로비저닝 인프라(IPI)에서 작동하지 않는 오류가 발생한 노드를 교체합니다.
사전 요구 사항
- 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 대체 노드를 구성하는 것이 좋습니다.
- RHCS(OpenShift Container Platform) 클러스터에 로그인해야 합니다.
-
이전 버전에서 OpenShift Data Foundation 버전 4.8로 업그레이드하고
LocalVolumeDiscovery및LocalVolumeSet개체를 아직 생성하지 않은 경우 로컬 스토리지에서 지원하는 클러스터의 업데이트 후 구성 변경 절차에 따라 지금 수행하십시오.
절차
-
OpenShift 웹 콘솔에 로그인하고 컴퓨팅
노드 를 클릭합니다. - 교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.
교체할 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name>
교체할 노드에서 실행 중인 mon(있는 경우) 및 OSD를 식별합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
이전 단계에서 확인한 포드 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>
Terminating상태인 Pod를 제거합니다.$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
-
컴퓨팅
머신 을 클릭합니다. 필요한 머신을 검색합니다. - 필요한 시스템 외에도 Action 메뉴 (octets) → 머신 삭제를 클릭합니다.
Delete 를 클릭하여 머신 삭제를 확인합니다. 새 머신이 자동으로 생성됩니다. 새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동은 최소 5-10분 이상 걸릴 수 있습니다.
-
OpenShift 웹 콘솔에서 컴퓨팅
노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다. - 새 장치를 노드에 물리적으로 추가합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
- 사용자 인터페이스에서
-
새 노드의 경우 Action Menu(작업 메뉴)
Edit Labels (레이블 편집) 를 클릭합니다. - cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
-
새 노드의 경우 Action Menu(작업 메뉴)
- 명령줄 인터페이스에서
- 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 식별하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local) echo $local_storage_project openshift-local-storagelocalVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com은 새 노드입니다.편집할
로컬 볼륨세트를 결정합니다.# oc get -n $local_storage_project localvolumeset NAME AGE localblock 25h
로컬VolumeSet정의를 업데이트하여 새 노드를 포함하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumeset localblock [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com은 새 노드입니다.
새
로컬 블록PV를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 변경합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=_<failed_osd_id>_ FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -
<failed_osd_id>rook-ceph-osd접두사 바로 뒤에 있는 Pod 이름의 정수입니다. 명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같이 두 개 이상의 OSD를 제거할 수 있습니다.OSD가 3개만 있는 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.완료된상태로 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 expectedCompleted상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released local-pv-d6bf175b 512Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h server3.example.com
Released에 PV가 있는 경우 이를 삭제합니다.
# oc delete pv <persistent-volume>
예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b persistentvolume "local-pv-d6bf175b" deleted
crashcollectorPod 배포를 식별합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage
기존 crashcollector Pod 배포가 있는 경우 삭제합니다.
$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage
ocs-osd-removal작업을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
다음 명령을 실행하고 출력에 새 노드가 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드
Pod 를 클릭하고 새 노드의 다음 Pod가 Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 증분
원이생성되고 Running 상태인지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 Mon은
Running상태에 도달하는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 교체 노드에서 실행되고 있는지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인한 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node name> $ chroot /host
"lsblk"를 실행하고
ocs-deviceset이름 옆에 "crypt" 키워드를 확인합니다.$ lsblk
- 확인 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
