2.3.2. VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체

절차

1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 노드를 클릭합니다.
2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

3. 교체할 노드의 레이블을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

4. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

   예를 들면 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

6. 노드를 예약 불가능으로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

7. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap
8. 컴퓨팅 머신을 클릭합니다. 필요한 시스템을 검색합니다.
9. 필요한 시스템 외에도 작업 메뉴 (TI) 머신 삭제를 클릭합니다.
10. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

11. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

12. OpenShift 웹 콘솔에서 Compute Nodes (컴퓨팅 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.
13. 물리적으로 새 장치를 노드에 추가합니다.

14. 다음 중 하나를 사용하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스

    1. 새 노드의 경우 작업 메뉴 (PS) 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.

    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

      Copy to Clipboard Toggle word wrap

15. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    Copy to Clipboard Toggle word wrap

    예를 들면 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

    Copy to Clipboard Toggle word wrap

16. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다.

       # oc get -n $local_storage_project localvolumeset
       NAME          AGE
       localblock   25h

       Copy to Clipboard Toggle word wrap

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다.

       # oc edit -n $local_storage_project localvolumeset localblock
       [...]
          nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - server1.example.com
                   - server2.example.com
                   #- server3.example.com
                   - newnode.example.com
       [...]

       Copy to Clipboard Toggle word wrap

       편집기를 종료하기 전에 저장해야 합니다.

       위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

17. 새 localblock PV를 사용할 수 있는지 확인합니다.

    $oc get pv | grep localblock | grep Available
    local-pv-551d950     512Gi    RWO    Delete  Available
    localblock     26s

    Copy to Clipboard Toggle word wrap

18. openshift-storage 프로젝트로 변경합니다.

    $ oc project openshift-storage

    Copy to Clipboard Toggle word wrap

19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.

    $ oc process -n openshift-storage ocs-osd-removal \
    -p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -

    Copy to Clipboard Toggle word wrap

20. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다.

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap
    참고

    ocs-osd-removal-job 이 실패하고 Pod가 예상되는 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다. 예를 들면 다음과 같습니다.

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    Copy to Clipboard Toggle word wrap

21. PVC와 연결된 PV를 식별합니다.

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
    local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Copy to Clipboard Toggle word wrap

    Released 상태의 PV가 있는 경우 삭제합니다.

    # oc delete pv <persistent-volume>

    Copy to Clipboard Toggle word wrap

    예를 들면 다음과 같습니다.

    #oc delete pv local-pv-d6bf175b
    persistentvolume "local-pv-d9c5cbd6" deleted

    Copy to Clipboard Toggle word wrap

22. crashcollector 포드 배포를 식별합니다.

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    Copy to Clipboard Toggle word wrap

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    Copy to Clipboard Toggle word wrap

23. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    Copy to Clipboard Toggle word wrap

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

    Copy to Clipboard Toggle word wrap

검증 단계

1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 모든 OpenShift Container Storage 포드가 Running 상태인지 확인합니다.

   새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   출력 예:

   rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
   0          38m
   rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
   0          38m
   rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
   0          4m8s

   Copy to Clipboard Toggle word wrap

   OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (선택 사항) 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오.

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.