4장. OpenShift Data Foundation 설치 제거

절차

1. LocalVolumeSet 및 OpenShift Data Foundation에서 사용 중인 해당 StorageClassName 을 식별합니다.

   $ oc get localvolumesets.local.storage.openshift.io -n openshift-local-storage

2. LocalVolumeSet 을 제공하는 StorageClass 로 SC 변수를 설정합니다.

   $ export SC="<StorageClassName>"

3. 나중에 정리할 장치를 나열하고 확인합니다. 디스크의 장치 ID를 나열하려면 여기에 언급된 절차를 따르십시오. 사용 가능한 스토리지 장치 찾기를 참조하십시오.

   출력 예:

   /dev/disk/by-id/scsi-360050763808104bc28000000000000eb
   /dev/disk/by-id/scsi-360050763808104bc28000000000000ef
   /dev/disk/by-id/scsi-360050763808104bc28000000000000f3

4. LocalVolumeSet 을 삭제합니다.

   $ oc delete localvolumesets.local.storage.openshift.io <name-of-volumeset> -n openshift-local-storage

5. 지정된 StorageClassName 의 로컬 스토리지 PV를 삭제합니다.

   $ oc get pv | grep $SC | awk '{print $1}'| xargs oc delete pv

6. StorageClassName 을 삭제합니다.

   $ oc delete sc $SC

7. LocalVolumeSet 에서 생성한 심볼릭 링크를 삭제합니다.

   [[ ! -z $SC ]] && for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /mnt/local-storage/${SC}/; done

8. LocalVolumeDiscovery 삭제.

   $ oc delete localvolumediscovery.local.storage.openshift.io/auto-discover-devices -n openshift-local-storage

9. LocalVolume 리소스(있는 경우)를 제거합니다.

   다음 단계를 사용하여 현재 또는 이전 OpenShift Data Foundation 버전에서 PV를 프로비저닝하는 데 사용된 LocalVolume 리소스를 제거합니다. 또한 이러한 리소스가 클러스터의 다른 테넌트에서 사용하지 않는지 확인합니다.

   각 로컬 볼륨에서 다음을 수행합니다.

   1. LocalVolume 및 OpenShift Data Foundation에서 사용 중인 해당 StorageClassName 을 식별합니다.

      $ oc get localvolume.local.storage.openshift.io -n openshift-local-storage

   2. 변수 LV를 LocalVolume의 이름으로 설정하고 변수 SC를 StorageClass의 이름으로 설정합니다.

      예를 들면 다음과 같습니다.

      $ LV=local-block
      $ SC=localblock

   3. 나중에 정리할 장치를 나열하고 확인합니다.

      $ oc get localvolume -n openshift-local-storage $LV -o jsonpath='{ .spec.storageClassDevices[].devicePaths[] }{"\n"}'

      출력 예:

      /dev/sdb
      /dev/sdc
      /dev/sdd
      /dev/sde

   4. 로컬 볼륨 리소스를 삭제합니다.

      $ oc delete localvolume -n openshift-local-storage --wait=true $LV

   5. 나머지 PV 및 스토리지 클래스가 있는 경우 삭제합니다.

      $ oc delete pv -l storage.openshift.com/local-volume-owner-name=${LV} --wait --timeout=5m
      $ oc delete storageclass $SC --wait --timeout=5m

   6. 해당 리소스의 스토리지 노드에서 아티팩트를 정리합니다.

      $ [[ ! -z $SC ]] && for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /mnt/local-storage/${SC}/; done

      출력 예:

      Starting pod/node-xxx-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...
      Starting pod/node-yyy-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...
      Starting pod/node-zzz-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...

10. 각각 1단계와 8단계에 나열된 로컬 볼륨 또는 로컬 볼륨의 디스크를 초기화하여 재사용할 수 있도록 합니다.

    1. 스토리지 노드를 나열합니다.

       oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

       출력 예:

       NAME      STATUS   ROLES    AGE     VERSION
       node-xxx  Ready    worker   4h45m  v1.18.3+6c42de8
       node-yyy  Ready    worker   4h46m  v1.18.3+6c42de8
       node-zzz  Ready    worker   4h45m  v1.18.3+6c42de8

    2. 노드 콘솔을 가져오고 프롬프트가 나타나면 chroot /host 명령을 실행합니다.

       $ oc debug node/node-xxx
       Starting pod/node-xxx-debug …
       To use host binaries, run `chroot /host`
       Pod IP: w.x.y.z
       If you don't see a command prompt, try pressing enter.
       sh-4.2# chroot /host

    3. 디스크 경로를 따옴표 내에 DISKS 변수에 저장합니다. 디스크 경로 목록은 로컬 volumeset 및 로컬 볼륨의 각각 3단계 및 8.c단계를 참조하십시오.

       출력 예:

       sh-4.4# DISKS="/dev/disk/by-id/scsi-360050763808104bc28000000000000eb /dev/disk/by-id/scsi-360050763808104bc28000000000000ef /dev/disk/by-id/scsi-360050763808104bc28000000000000f3 "
       or
       sh-4.2# DISKS="/dev/sdb /dev/sdc /dev/sdd /dev/sde ".

    4. 모든 디스크에서 sgdisk --zap-all 을 실행합니다.

       sh-4.4# for disk in $DISKS; do sgdisk --zap-all $disk;done

       출력 예:

       Creating new GPT entries.
       GPT data structures destroyed! You may now partition the disk using fdisk or
       other utilities.
       Creating new GPT entries.
       GPT data structures destroyed! You may now partition the disk using fdisk or
       other utilities.
       Creating new GPT entries.
       GPT data structures destroyed! You may now partition the disk using fdisk or
       other utilities.
       Creating new GPT entries.
       GPT data structures destroyed! You may now partition the disk using fdisk or
       other utilities.

    5. 쉘을 종료하고 다른 노드에 대해 반복합니다.

       sh-4.4# exit
       exit
       sh-4.2# exit
       exit
       Removing debug pod ...

11. openshift-local-storage 네임스페이스를 삭제하고 삭제가 완료될 때까지 기다립니다. openshift-local-storage 네임스페이스가 활성 프로젝트인 경우 다른 프로젝트로 전환해야 합니다.

    예를 들면 다음과 같습니다.

    $ oc project default
    $ oc delete project openshift-local-storage --wait=true --timeout=5m

    다음 명령에서 a NotFound 오류를 반환하면 프로젝트가 삭제됩니다.

    $ oc get project openshift-local-storage