Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

4장. OpenShift Data Foundation 설치 제거

4.1. 내부 연결 장치 모드에서 OpenShift Data Foundation 설치 제거
링크 복사

이 섹션의 단계를 사용하여 OpenShift Data Foundation을 제거합니다.

주석 제거

Storage Cluster의 주석은 제거 프로세스의 동작을 변경하는 데 사용됩니다. 제거 제거 동작을 정의하기 위해 스토리지 클러스터에 다음 두 가지 주석이 도입되었습니다.

  • uninstall.ocs.openshift.io/cleanup-policy: delete
  • uninstall.ocs.openshift.io/mode: graceful

다음 표에서는 이러한 주석과 함께 사용할 수 있는 다양한 값에 대한 정보를 제공합니다.

Expand
표 4.1. uninstall.ocs.openshift.io 주석 제거 설명
주석값기본값동작

cleanup-policy

delete

있음

Rook은 물리 드라이브와 DataDirHostPath를 정리합니다.

cleanup-policy

보존

없음

Rook은 물리적 드라이브와 DataDirHostPath를 정리 하지 않습니다.

mode

graceful

있음

Rook 및 NooBaa는 관리자/사용자가 PVC(영구 볼륨 클레임) 및 Object Bucket Claims(OBC)를 제거할 때까지 제거 프로세스를 일시 중지합니다.

mode

강제

없음

Rook 및 NooBaa는 Rook 및 NooBaa를 사용하여 프로비저닝된 PVC/OBC가 각각 존재하는 경우에도 제거됨을 진행합니다.

주석 값을 편집하여 정리 정책 또는 제거 모드를 변경합니다. 

$ oc -n openshift-storage annotate storagecluster ocs-storagecluster uninstall.ocs.openshift.io/cleanup-policy="retain" --overwrite
Copy to Clipboard Toggle word wrap 
$ oc -n openshift-storage annotate storagecluster ocs-storagecluster uninstall.ocs.openshift.io/mode="forced" --overwrite
Copy to Clipboard Toggle word wrap

두 명령에 대해 예상되는 출력: 

storagecluster.ocs.openshift.io/ocs-storagecluster annotated
Copy to Clipboard Toggle word wrap

사전 요구 사항

  • OpenShift Data Foundation 클러스터가 정상 상태인지 확인합니다. 리소스 또는 노드로 부족하여 일부 Pod가 성공적으로 종료되지 않으면 설치 제거 프로세스가 실패할 수 있습니다. 클러스터가 비정상 상태인 경우 OpenShift Data Foundation을 제거하기 전에 Red Hat Customer Support에 문의하십시오.
  • 애플리케이션이 OpenShift Data Foundation에서 제공하는 스토리지 클래스를 사용하여 PVC(영구 볼륨 클레임) 또는 개체 버킷 클레임(OBC)을 사용하지 않는지 확인합니다.
  • 관리자가 사용자 정의 리소스(예: 사용자 정의 스토리지 클래스, cephblockpool)를 생성한 경우 관리자가 이를 사용하는 리소스를 제거한 후 관리자가 삭제해야 합니다.

절차

  1. OpenShift Data Foundation을 사용하는 볼륨 스냅샷을 삭제합니다.

    1. 모든 네임스페이스의 볼륨 스냅샷을 나열합니다. 

      $ oc get volumesnapshot --all-namespaces
      Copy to Clipboard Toggle word wrap

    2. 이전 명령의 출력에서 OpenShift Data Foundation을 사용하는 볼륨 스냅샷을 식별하고 삭제합니다. 

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>
      Copy to Clipboard Toggle word wrap
      <VOLUME-SNAPSHOT-NAME>
      볼륨 스냅샷의 이름입니다.
      <NAMESPACE>
      프로젝트 네임스페이스입니까?

  2. OpenShift Data Foundation을 사용하는 PVC 및 OBC를 삭제합니다.

    기본 제거 모드(graceful)에서는 OpenShift Data Foundation을 사용하는 모든 PVC와 OBCs가 삭제될 때까지 설치 제거가 대기합니다.

    PVC를 삭제하지 않고 Storage 클러스터를 삭제하려면 uninstall mode 주석을 강제 적용하고 이 단계를 건너뛰도록 설정할 수 있습니다. 이렇게 하면 시스템의 고립된 PVC 및 OBC가 생성됩니다.

    1. OpenShift Data Foundation을 사용하여 OpenShift Container Platform 모니터링 스택 PVC를 삭제합니다.

      OpenShift Data Foundation에서 모니터링 스택 제거를참조하십시오.

    2. OpenShift Data Foundation을 사용하여 OpenShift Container Platform 레지스트리 PVC를 삭제합니다.

      OpenShift Data Foundation에서 OpenShift Container Platform 레지스트리 제거

    3. OpenShift Data Foundation을 사용하여 OpenShift Container Platform 로깅 PVC를 삭제합니다.

      OpenShift Data Foundation에서 클러스터 로깅 Operator 제거

    4. OpenShift Data Foundation을 사용하여 프로비저닝된 다른 PVC 및 OBC를 삭제합니다.

      • 다음은 OpenShift Data Foundation을 사용하여 프로비저닝된 PVC 및 OBC를 식별하는 샘플 스크립트입니다. 이 스크립트는 OpenShift Data Foundation에서 내부적으로 사용하는 PVC를 무시합니다. 

        #!/bin/bash

RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"

NOOBAA_DB_PVC="noobaa-db"
NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"

# Find all the OCS StorageClasses
OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')

# List PVCs in each of the StorageClasses
for SC in $OCS_STORAGECLASSES
do
        echo "======================================================================"
        echo "$SC StorageClass PVCs and OBCs"
        echo "======================================================================"
        oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
        oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
        echo
done
        Copy to Clipboard Toggle word wrap
        참고

        클라우드 플랫폼에 RGW_PROVISIONER 를 생략합니다.

      • OBC를 삭제합니다. 

        $ oc delete obc <obc-name> -n <project-name>
        Copy to Clipboard Toggle word wrap
        <obc-name>
        OBC의 이름입니다.
        <project-name>
        프로젝트의 이름입니다.

      • PVC를 삭제합니다. 

        $ oc delete pvc <pvc-name> -n <project-name>
        Copy to Clipboard Toggle word wrap
        <pvc-name>
        PVC의 이름입니다.
        <project-name>

        프로젝트의 이름입니다.

        참고

        클러스터에 생성된 사용자 정의 백업 저장소, 버킷 클래스 등을 모두 제거했는지 확인합니다.

  3. Storage System 오브젝트를 삭제하고 연결된 리소스가 제거될 때까지 기다립니다. 

    $ oc delete -n openshift-storage storagesystem --all --wait=true
    Copy to Clipboard Toggle word wrap

  4. uninstall.ocs.openshift.io/cleanup-policy 가 delete(기본값)로 설정되어 있는지 정리 Pod를 확인하고 상태가 Completed 인지 확인합니다. 

    $ oc get pods -n openshift-storage | grep -i cleanup
    Copy to Clipboard Toggle word wrap

    출력 예: 

    NAME                                READY   STATUS      RESTARTS   AGE
cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s
    Copy to Clipboard Toggle word wrap

  5. /var/lib/rook 디렉토리가 이제 비어 있는지 확인합니다. 이 디렉터리는 uninstall.ocs.openshift.io/cleanup-policy 주석이 delete(기본값)로 설정된 경우에만 비어 있습니다. 

    $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done
    Copy to Clipboard Toggle word wrap

  6. 설치 시 암호화가 활성화된 경우 모든 OpenShift Data Foundation 노드의 OSD 장치에서 dm-crypt 관리 장치-매퍼 매핑을 제거합니다.

    1. 스토리지 노드의 호스트에 디버그 Pod 및 chroot 를 생성합니다. 

      $ oc debug node/<node-name>
      Copy to Clipboard Toggle word wrap 
      $ chroot /host
      Copy to Clipboard Toggle word wrap
      <node-name>
      노드의 이름입니다.

    2. 장치 이름을 가져오고 OpenShift Data Foundation 장치를 기록합니다. 

      $ dmsetup ls
      Copy to Clipboard Toggle word wrap

      출력 예: 

      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)
      Copy to Clipboard Toggle word wrap

    3. 매핑된 장치를 제거합니다. 

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt
      Copy to Clipboard Toggle word wrap
      중요

      권한이 부족하여 위의 명령이 중단되면 다음 명령을 실행합니다.

      • Ctrl+Z 를 눌러 위 명령을 종료합니다.

      • 중지된 프로세스의 PID를 찾습니다. 

        $ ps -ef | grep crypt
        Copy to Clipboard Toggle word wrap

      • kill 명령을 사용하여 프로세스를 종료합니다. 

        $ kill -9 <PID>
        Copy to Clipboard Toggle word wrap
        <PID>
        프로세스 ID입니다.

      • 장치 이름이 제거되었는지 확인합니다. 

        $ dmsetup ls
        Copy to Clipboard Toggle word wrap

  7. 네임스페이스를 삭제하고 삭제가 완료될 때까지 기다립니다. openshift-storage 가 활성 프로젝트인 경우 다른 프로젝트로 전환해야 합니다.

    예를 들어 다음과 같습니다. 

    $ oc project default
    Copy to Clipboard Toggle word wrap 
    $ oc delete project openshift-storage --wait=true --timeout=5m
    Copy to Clipboard Toggle word wrap

    다음 명령에서 NotFound 오류를 반환하면 프로젝트가 삭제됩니다. 

    $ oc get project openshift-storage
    Copy to Clipboard Toggle word wrap
    참고

    OpenShift Data Foundation을 설치 제거하는 동안 네임스페이스 가 완전히 삭제되지 않고 종료 상태로 남아 있는 경우, 설치 제거 중에 남은 리소스 문제 해결 및 삭제 단계를 수행하여 네임스페이스가 종료되지 않도록 하는 오브젝트를 식별합니다.

  8. 로컬 스토리지 장치를 사용하여 OpenShift Data Foundation을 배포한 경우 로컬 스토리지 Operator 구성을 삭제합니다. 로컬 스토리지 Operator 구성 제거를 참조하십시오.

  9. 스토리지 노드의 레이블을 지정합니다. 

    $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
    Copy to Clipboard Toggle word wrap 
    $ oc label nodes  --all topology.rook.io/rack-
    Copy to Clipboard Toggle word wrap

  10. 노드가 테인트된 경우 OpenShift Data Foundation 테인트를 제거합니다. 

    $ oc adm taint nodes --all node.ocs.openshift.io/storage-
    Copy to Clipboard Toggle word wrap

  11. OpenShift Data Foundation을 사용하여 프로비저닝된 모든 PV(영구 볼륨)가 삭제되었는지 확인합니다. Released 상태에 PV가 남아 있는 경우 삭제합니다. 

    $ oc get pv
    Copy to Clipboard Toggle word wrap 
    $ oc delete pv <pv-name>
    Copy to Clipboard Toggle word wrap
    <pv-name>
    PV의 이름입니다.

  12. CustomResourceDefinitions 를 제거합니다. 

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io storagesystems.odf.openshift.io --wait=true --timeout=5m
    Copy to Clipboard Toggle word wrap

  13. OpenShift Data Foundation이 완전히 제거되도록 하려면 OpenShift Container Platform 웹 콘솔에서

    1. 스토리지 를 클릭합니다.
    2. OpenShift Data Foundation 이 Storage에 더 이상 표시되지 않는지 확인합니다.

4.1.1. 로컬 스토리지 Operator 구성 제거
링크 복사

로컬 스토리지 장치를 사용하여 OpenShift Data Foundation을 배포한 경우에만 이 섹션의 지침을 사용합니다.

참고

OpenShift Data Foundation 배포의 경우 localvolume 리소스를 사용하는 경우에만 8단계로 이동합니다.

절차

  1. LocalVolumeSet 및 OpenShift Data Foundation에서 사용 중인 해당 StorageClassName 을 식별합니다. 

    $ oc get localvolumesets.local.storage.openshift.io -n openshift-local-storage
    Copy to Clipboard Toggle word wrap

  2. LocalVolumeSet 을 제공하는 StorageClass 로 변수 SC를 설정합니다. 

    $ export SC="<StorageClassName>"
    Copy to Clipboard Toggle word wrap

  3. 나중에 정리할 장치를 나열하고 기록해 둡니다. 디스크의 장치 ID를 나열하려면 여기에 언급된 절차에 따라 사용 가능한 스토리지 장치 찾기를 참조하십시오.

    출력 예: 

    /dev/disk/by-id/scsi-360050763808104bc28000000000000eb
/dev/disk/by-id/scsi-360050763808104bc28000000000000ef
/dev/disk/by-id/scsi-360050763808104bc28000000000000f3
    Copy to Clipboard Toggle word wrap

  4. LocalVolumeSet 을 삭제합니다. 

    $ oc delete localvolumesets.local.storage.openshift.io <name-of-volumeset> -n openshift-local-storage
    Copy to Clipboard Toggle word wrap

  5. 지정된 StorageClassName 의 로컬 스토리지 PV를 삭제합니다. 

    $ oc get pv | grep $SC | awk '{print $1}'| xargs oc delete pv
    Copy to Clipboard Toggle word wrap

  6. StorageClassName 을 삭제합니다. 

    $ oc delete sc $SC
    Copy to Clipboard Toggle word wrap

  7. LocalVolumeSet 에서 생성된 심볼릭 링크를 삭제합니다. 

    [[ ! -z $SC ]] && for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /mnt/local-storage/${SC}/; done
    Copy to Clipboard Toggle word wrap

  8. LocalVolumeDiscovery 를 삭제합니다. 

    $ oc delete localvolumediscovery.local.storage.openshift.io/auto-discover-devices -n openshift-local-storage
    Copy to Clipboard Toggle word wrap

  9. LocalVolume 리소스를 제거합니다(있는 경우).

    다음 단계를 사용하여 현재 또는 이전 OpenShift Data Foundation 버전에서 PV를 프로비저닝하는 데 사용된 LocalVolume 리소스를 제거합니다. 또한 클러스터의 다른 테넌트에서 이러한 리소스를 사용하지 않는지 확인합니다.

    각 로컬 볼륨에 대해 다음을 수행합니다.

    1. LocalVolume 과 OpenShift Data Foundation에서 사용 중인 해당 StorageClassName 을 식별합니다. 

      $ oc get localvolume.local.storage.openshift.io -n openshift-local-storage
      Copy to Clipboard Toggle word wrap

    2. 변수 LV를 LocalVolume 및 변수 SC의 이름으로 StorageClass의 이름으로 설정합니다.

      예를 들어 다음과 같습니다. 

      $ LV=local-block
$ SC=localblock
      Copy to Clipboard Toggle word wrap

    3. 나중에 정리할 장치를 나열하고 기록해 둡니다. 

      $ oc get localvolume -n openshift-local-storage $LV -o jsonpath='{ .spec.storageClassDevices[].devicePaths[] }{"\n"}'
      Copy to Clipboard Toggle word wrap

      출력 예: 

      /dev/sdb
/dev/sdc
/dev/sdd
/dev/sde
      Copy to Clipboard Toggle word wrap

    4. 로컬 볼륨 리소스를 삭제합니다. 

      $ oc delete localvolume -n openshift-local-storage --wait=true $LV
      Copy to Clipboard Toggle word wrap

    5. 나머지 PV 및 StorageClasses가 있는 경우 삭제합니다. 

      $ oc delete pv -l storage.openshift.com/local-volume-owner-name=${LV} --wait --timeout=5m
$ oc delete storageclass $SC --wait --timeout=5m
      Copy to Clipboard Toggle word wrap

    6. 해당 리소스의 스토리지 노드에서 아티팩트를 정리합니다. 

      $ [[ ! -z $SC ]] && for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /mnt/local-storage/${SC}/; done
      Copy to Clipboard Toggle word wrap

      출력 예: 

      Starting pod/node-xxx-debug ...
To use host binaries, run `chroot /host`
removed '/mnt/local-storage/localblock/nvme2n1'
removed directory '/mnt/local-storage/localblock'

Removing debug pod ...
Starting pod/node-yyy-debug ...
To use host binaries, run `chroot /host`
removed '/mnt/local-storage/localblock/nvme2n1'
removed directory '/mnt/local-storage/localblock'

Removing debug pod ...
Starting pod/node-zzz-debug ...
To use host binaries, run `chroot /host`
removed '/mnt/local-storage/localblock/nvme2n1'
removed directory '/mnt/local-storage/localblock'

Removing debug pod ...
      Copy to Clipboard Toggle word wrap

  10. 1단계와 8단계에 나열된 각 로컬 볼륨 세트 또는 로컬 볼륨에 대해 디스크를 삭제하여 재사용할 수 있습니다.

    1. 스토리지 노드를 나열합니다. 

      oc get nodes -l cluster.ocs.openshift.io/openshift-storage=
      Copy to Clipboard Toggle word wrap

      출력 예: 

      NAME      STATUS   ROLES    AGE     VERSION
node-xxx  Ready    worker   4h45m  v1.18.3+6c42de8
node-yyy  Ready    worker   4h46m  v1.18.3+6c42de8
node-zzz  Ready    worker   4h45m  v1.18.3+6c42de8
      Copy to Clipboard Toggle word wrap

    2. 노드 콘솔을 확보하고 프롬프트가 표시되면 chroot /host 명령을 실행합니다. 

      $ oc debug node/node-xxx
Starting pod/node-xxx-debug …
To use host binaries, run `chroot /host`
Pod IP: w.x.y.z
If you don't see a command prompt, try pressing enter.
sh-4.2# chroot /host
      Copy to Clipboard Toggle word wrap

    3. 디스크 경로를 따옴표 내에 DISKS 변수에 저장합니다. 디스크 경로 목록은 각각 로컬 볼륨 세트 및 로컬 볼륨의 경우 3단계 및 단계 8.c를 참조하십시오.

      출력 예: 

      sh-4.4# DISKS="/dev/disk/by-id/scsi-360050763808104bc28000000000000eb /dev/disk/by-id/scsi-360050763808104bc28000000000000ef /dev/disk/by-id/scsi-360050763808104bc28000000000000f3 "
or
sh-4.2# DISKS="/dev/sdb /dev/sdc /dev/sdd /dev/sde ".
      Copy to Clipboard Toggle word wrap

    4. 모든 디스크에서 sgdisk --zap-all 을 실행합니다. 

      sh-4.4# for disk in $DISKS; do sgdisk --zap-all $disk;done
      Copy to Clipboard Toggle word wrap

      출력 예: 

      Creating new GPT entries.
GPT data structures destroyed! You may now partition the disk using fdisk or
other utilities.
Creating new GPT entries.
GPT data structures destroyed! You may now partition the disk using fdisk or
other utilities.
Creating new GPT entries.
GPT data structures destroyed! You may now partition the disk using fdisk or
other utilities.
Creating new GPT entries.
GPT data structures destroyed! You may now partition the disk using fdisk or
other utilities.
      Copy to Clipboard Toggle word wrap

    5. 쉘을 종료하고 다른 노드에 대해 반복합니다. 

      sh-4.4# exit
exit
sh-4.2# exit
exit
Removing debug pod ...
      Copy to Clipboard Toggle word wrap

  11. openshift-local-storage 네임스페이스를 삭제하고 삭제가 완료될 때까지 기다립니다. openshift-local-storage 네임스페이스가 활성 프로젝트인 경우 다른 프로젝트로 전환해야 합니다.

    예를 들어 다음과 같습니다. 

    $ oc project default
$ oc delete project openshift-local-storage --wait=true --timeout=5m
    Copy to Clipboard Toggle word wrap

    다음 명령에서 NotFound 오류를 반환하면 프로젝트가 삭제됩니다. 

    $ oc get project openshift-local-storage
    Copy to Clipboard Toggle word wrap
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2026 Red Hat