2.3.3. 사용자 프로비저닝 인프라에서 실패한 Amazon EC2 노드 교체

절차

1. 노드를 식별하고 교체할 노드의 레이블을 가져옵니다.

   $ oc get nodes --show-labels | grep <node_name>

2. 교체할 노드에서 실행 중인 mon(있는 경우) 및 OSD를 식별합니다.

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 이전 단계에서 확인한 포드의 배포를 축소합니다.

   예를 들어 다음과 같습니다.

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. 노드를 예약 불가로 표시합니다.

   $ oc adm cordon <node_name>

5. Terminating 상태인 Pod를 제거합니다.

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. 노드를 드레이닝합니다.

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

7. 노드를 삭제합니다.

   $ oc delete node <node_name>

8. 필요한 인프라를 사용하여 새 Amazon EC2 I3 머신 인스턴스를 생성합니다. 지원되는 인프라 및 플랫폼을 참조하십시오.
9. 새로운 Amazon EC2 I3 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

10. 보류 중인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다.

    $ oc get csr

11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.

    $ oc adm certificate approve <Certificate_Name>

12. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.

13. 다음 중 하나를 사용하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.

    사용자 인터페이스에서

    1. 새 노드의 Action Menu(작업 메뉴) Edit Labels 를 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 저장을 클릭합니다.

    명령줄 인터페이스에서

    • 다음 명령을 실행하여 OpenShift Container Storage 레이블을 새 노드에 적용합니다.

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

14. OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고 local_storage_project 변수에 할당합니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들어 다음과 같습니다.

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
    echo $local_storage_project
    openshift-local-storage

15. 새 작업자 노드에서 사용 가능한 로컬 스토리지 장치를 OpenShift Container StorageCluster에 추가합니다.

    1. 새 디스크 항목을 LocalVolume CR에 추가합니다.

       LocalVolume CR을 편집합니다. /dev/disk/by-id/{id} 장치를 제거하거나 주석 처리하고 새 /dev/disk/by-id/{id} 를 추가할 수 있습니다.

       $ oc get -n $local_storage_project localvolume

       출력 예:

       NAME          AGE
       local-block   25h

       $ oc edit -n $local_storage_project localvolume local-block

       출력 예:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR을 편집한 후 변경 사항을 저장해야 합니다.

       이 CR에서 by-id를 사용하는 두 개의 새 장치가 추가된 것을 확인할 수 있습니다.

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. 로컬 블록으로 PV를 표시합니다.

       $ oc get pv | grep localblock

       출력 예:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

16. 장애가 발생한 노드와 연결된 스토리지 리소스를 삭제합니다.

    1. 교체할 OSD와 연결된 DeviceSet을 식별합니다.

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       여기서 osd_id_to_remove 는 rook-ceph-osd 접두사 바로 뒤의 Pod 이름의 정수입니다. 이 예에서 배포 이름은 rook-ceph-osd-0 입니다.

       출력 예:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

    2. PVC와 연결된 PV를 확인합니다.

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       여기서 x,y, pvc-suffix 는 이전 단계에서 식별되는 DeviceSet의 값입니다.

       출력 예:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       이 예에서 연결된 PV는 local-pv-8176b2bf 입니다.

    3. openshift-storage 프로젝트로 변경합니다.

       $ oc project openshift-storage

    4. 클러스터에서 오류가 발생한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_ids_to_remove} | oc create -f -

    5. ocs-osd-removal-job 포드의 상태를 확인하여 OSD가 제거되었는지 확인합니다. Completed 상태는 OSD 제거 작업이 성공했는지 확인합니다.

       # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

       참고

       ocs-osd-removal-job 이 실패하고 Pod가 예상 Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다. 예를 들어 다음과 같습니다.

       # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

    6. 이전 단계에서 확인한 PV를 삭제합니다. 이 예에서 PV 이름은 local-pv-8176b2bf 입니다.

       $ oc delete pv local-pv-8176b2bf

       출력 예:

       persistentvolume "local-pv-8176b2bf" deleted

17. 이전 단계에서 확인한 크래시collector Pod 배포를 삭제합니다.

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

18. ocs-osd-removal-job 을 삭제합니다.

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예:

    job.batch "ocs-osd-removal-job" deleted

검증 단계

1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다.

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 워크로드 Pod 를 클릭하여 새 노드의 다음 Pod가 실행 중 상태인지 확인합니다.

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 기타 모든 필수 OpenShift Container Storage Pod가 Running 상태인지 확인합니다.

   또한 새로운 증분식 mon 이 생성되고 Running 상태인지 확인합니다.

   $ oc get pod -n openshift-storage | grep mon

   출력 예:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   OSD 및 mon의 경우 Running 상태가 되는 데 몇 분이 걸릴 수 있습니다.

4. 새 OSD pod가 교체 노드에서 실행되고 있는지 확인합니다.

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. (선택 사항) 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

   1. 이전 단계에서 식별한 각 새 노드에 대해 다음을 수행합니다.

      1. 디버그 Pod를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다.

         $ oc debug node/<node name>
         $ chroot /host

      2. "lsblk"를 실행하고 ocs-deviceset 이름 옆에 있는 "crypt" 키워드가 있는지 확인합니다.

         $ lsblk

6. 확인 단계에 실패하는 경우 Red Hat 지원팀에 문의하십시오.