4.3.3. 사용자 프로비저닝 인프라에서 실패한 Amazon EC2 노드 교체

절차

1. 노드를 식별하고 교체할 노드에서 레이블을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

   Copy to Clipboard Toggle word wrap

2. 교체할 노드에서 실행 중인 mon(있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

   Copy to Clipboard Toggle word wrap

3. 이전 단계에서 확인한 포드 배포를 축소합니다.

   예:

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

   Copy to Clipboard Toggle word wrap

4. 노드를 예약 불가로 표시합니다.

   $ oc adm cordon <node_name>

   Copy to Clipboard Toggle word wrap

5. Terminating 상태인 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

   Copy to Clipboard Toggle word wrap

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   Copy to Clipboard Toggle word wrap

7. 노드를 삭제합니다.

   $ oc delete node <node_name>

   Copy to Clipboard Toggle word wrap
8. 필수 인프라를 사용하여 새 Amazon EC2 I3 머신 인스턴스를 생성합니다. 지원되는 인프라 및 플랫폼을 참조하십시오.
9. 새 Amazon EC2 I3 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

    $ oc get csr

    Copy to Clipboard Toggle word wrap

11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

    Copy to Clipboard Toggle word wrap
12. OpenShift 웹 콘솔에서 컴퓨팅 노드 를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

13. 다음 중 하나를 사용하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 경우 Action Menu(작업 메뉴) Edit Labels(레이블 편집) 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 다음 명령을 실행하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

    Copy to Clipboard Toggle word wrap

14. 새 작업자 노드에서 사용할 수 있는 로컬 스토리지 장치를 OpenShift Container StorageCluster에 추가합니다.

    1. LocalVolume CR에 새 디스크 항목을 추가합니다.

       LocalVolume CR을 편집합니다. 실패한 장치 /dev/disk/by-id/{id} 를 제거하거나 주석 처리하고 새 /dev/disk/by-id/{id} 를 추가할 수 있습니다.

       $ oc get -n local-storage localvolume

       Copy to Clipboard Toggle word wrap

       출력 예:

       NAME          AGE
       local-block   25h

       Copy to Clipboard Toggle word wrap

       $ oc edit -n local-storage localvolume local-block

       Copy to Clipboard Toggle word wrap

       출력 예:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       Copy to Clipboard Toggle word wrap

       CR을 편집한 후 변경 사항을 저장해야 합니다.

       이 CR에서 by-id를 사용하여 두 개의 새 장치가 추가되었는지 확인할 수 있습니다.

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. 로컬 블록이 있는 PV를 표시합니다.

       $ oc get pv | grep localblock

       Copy to Clipboard Toggle word wrap

       출력 예:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

       Copy to Clipboard Toggle word wrap

15. 오류가 발생한 노드와 연결된 스토리지 리소스를 삭제합니다.

    1. 교체할 OSD와 연결된 장치 세트를 식별합니다.

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       Copy to Clipboard Toggle word wrap

       여기서 osd_id_to_remove 는 rook-ceph-osd 접두사 바로 직후 포드 이름에 있는 정수입니다. 이 예에서 배포 이름은 rook-ceph-osd-0 입니다.

       출력 예:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       Copy to Clipboard Toggle word wrap

    2. PVC와 연결된 PV를 확인합니다.

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       Copy to Clipboard Toggle word wrap

       여기서 , X ,y 및 pvc-suffix 는 이전 단계에서 식별된 DeviceSet의 값입니다.

       출력 예:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       Copy to Clipboard Toggle word wrap

       이 예에서 연결된 PV는 local-pv-8176b2bf 입니다.

    3. openshift-storage 프로젝트로 변경합니다.

       $ oc project openshift-storage

       Copy to Clipboard Toggle word wrap

    4. 클러스터에서 실패한 OSD를 제거합니다.

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_ids_to_remove} | oc create -f -

       Copy to Clipboard Toggle word wrap

    5. ocs-osd-removal Pod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다. 완료된 상태로 OSD 제거 작업이 성공했는지 확인합니다.

       # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

       Copy to Clipboard Toggle word wrap
       참고

       ocs-osd-removal이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다. 예:

       # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

       Copy to Clipboard Toggle word wrap

    6. 이전 단계에서 확인된 PV를 삭제합니다. 이 예에서 PV 이름은 local-pv-8176b2bf 입니다.

       $ oc delete pv local-pv-8176b2bf

       Copy to Clipboard Toggle word wrap

       출력 예:

       persistentvolume "local-pv-8176b2bf" deleted

       Copy to Clipboard Toggle word wrap

16. 이전 단계에서 식별한 crashcollector Pod 배포를 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

    Copy to Clipboard Toggle word wrap

17. ocs-osd-removal 작업을 삭제합니다.

    $ oc delete job ocs-osd-removal-${osd_id_to_remove}

    Copy to Clipboard Toggle word wrap

    출력 예:

    job.batch "ocs-osd-removal-0" deleted

    Copy to Clipboard Toggle word wrap

검증 단계

1. 다음 명령을 실행하고 출력에 새 노드가 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

   Copy to Clipboard Toggle word wrap

2. 워크로드 Pod 를 클릭하고 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 필요한 OpenShift Container Storage Pod가 모두 Running 상태인지 확인합니다.

   또한 새로운 증분 원이 생성되고 Running 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   Copy to Clipboard Toggle word wrap

   출력 예:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   Copy to Clipboard Toggle word wrap

   OSD 및 mon의 상태는 Running 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD 포드가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

   Copy to Clipboard Toggle word wrap

5. (선택 사항) 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   이전 단계에서 확인한 각 새 노드에 대해 다음을 수행합니다.

   1. 디버그 Pod를 생성하고 선택한 호스트에 대한 chroot 환경을 엽니다.

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. "lsblk"를 실행하고 ocs-deviceset 이름 옆에 "crypt" 키워드를 확인합니다.

      $ lsblk

      Copy to Clipboard Toggle word wrap
6. 확인 단계가 실패하면 Red Hat 지원팀에 문의하십시오.