2.4.2. VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체
사전 요구 사항
- 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 대체 노드를 구성하는 것이 좋습니다.
- RHCS(OpenShift Container Platform) 클러스터에 로그인해야 합니다.
-
이전 버전에서 OpenShift Data Foundation 버전 4.8로 업그레이드하고
LocalVolumeDiscovery및LocalVolumeSet개체를 아직 생성하지 않은 경우 로컬 스토리지에서 지원하는 클러스터의 업데이트 후 구성 변경 절차에 따라 지금 수행하십시오.
절차
-
OpenShift 웹 콘솔에 로그인하고 컴퓨팅
노드 를 클릭합니다. - 교체해야 하는 노드를 식별합니다. 시스템 이름을 기록해 둡니다.
교체할 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name>
교체할 노드에서 실행 중인
mon(있는 경우) 및 OSD를 식별합니다.$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
이전 단계에서 확인한 포드 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
-
컴퓨팅
머신 을 클릭합니다. 필요한 머신을 검색합니다. -
필요한 시스템 외에도 Action 메뉴 (octets)
머신 삭제를 클릭합니다. - Delete 를 클릭하여 머신 삭제를 확인합니다. 새 머신이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동은 최소 5-10분 이상 걸릴 수 있습니다.
-
OpenShift 웹 콘솔에서 컴퓨팅
노드 를 클릭하고 새 노드가 Ready 상태인지 확인합니다. - 물리적으로 노드에 새 장치를 추가합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
- 사용자 인터페이스에서
-
새 노드의 경우 Action Menu(작업 메뉴)
Edit Labels(레이블 편집) 를 클릭합니다. -
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
-
새 노드의 경우 Action Menu(작업 메뉴)
- 명령줄 인터페이스에서
다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 식별하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local) echo $local_storage_project openshift-local-storagelocalVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]
편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com은 새 노드입니다.편집할
로컬 볼륨세트를 결정합니다.# oc get -n $local_storage_project localvolumeset NAME AGE localblock 25h로컬VolumeSet정의를 업데이트하여 새 노드를 포함하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumeset localblock [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]
편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com은 새 노드입니다.
새
로컬 블록PV를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available local-pv-551d950 512Gi RWO Delete Available localblock 26sopenshift-storage프로젝트로 변경합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> FORCE_OSD_REMOVAL=false | oc create -n openshift-storage -f -<failed_osd_id>rook-ceph-osd접두사 바로 뒤에 있는 Pod 이름의 정수입니다. 명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD_IDS=0,1,2)와 같이 두 개 이상의 OSD를 제거할 수 있습니다.OSD가 3개만 있는 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경하거나 OSD를 제거한 후 데이터의 복제본 3개를 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.완료된상태로 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 expectedCompleted상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC와 연결된 PV를 확인합니다.
#oc get pv -L kubernetes.io/hostname | grep localblock | grep Released local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1Released에 PV가 있는 경우 이를 삭제합니다.# oc delete pv <persistent-volume>
예를 들면 다음과 같습니다.
#oc delete pv local-pv-d6bf175b persistentvolume "local-pv-d9c5cbd6" deletedcrashcollectorPod 배포를 식별합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage
기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage
ocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
다음 명령을 실행하고 출력에 새 노드가 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드
Pod 를 클릭하고 새 노드의 다음 Pod가 Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 증분
원이생성되고 Running 상태인지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 Mon은
Running상태에 도달하는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 교체 노드에서 실행되고 있는지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인한 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node name> $ chroot /host
"lsblk"를 실행하고
ocs-deviceset이름 옆에 "crypt" 키워드를 확인합니다.$ lsblk
- 확인 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
