2.4. 以内部模式卸载 OpenShift Container Storage

流程

1. 删除使用 OpenShift Container Storage 的卷快照。

   1. 列出来自所有命名空间的卷快照。

      $ oc get volumesnapshot --all-namespaces

      Copy to Clipboard Toggle word wrap

   2. 在上一命令的输出中，识别和删除使用 OpenShift Container Storage 的卷快照。

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

      Copy to Clipboard Toggle word wrap

2. 删除使用 OpenShift Container Storage 的 PVC 和 OBC。

   在默认的卸载模式 (graceful) 中，卸载程序会等待所有使用 OpenShift Container Storage 的 PVC 和 OBC 被删除。

   如果要在不事先删除 PVC 的情况下删除存储集群，您可以将卸载模式注解设置为 强制 并跳过这一步。这样做会导致系统处于孤立的 PVC 和 OBC。

   1. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 监控堆栈 PVC。

      如需更多信息，请参阅 第 2.4.1.1 节 “从 OpenShift Container Storage 中删除监控堆栈”。

   2. 使用 OpenShift Container Storage 删除 OpenShift Container Platform Registry PVC。

      如需更多信息，请参阅 第 2.4.1.2 节 “从 OpenShift Container Storage 中删除 OpenShift Container Platform registry”。

   3. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 日志 PVC。

      如需更多信息，请参阅 第 2.4.1.3 节 “从 OpenShift Container Storage 中删除集群日志记录 Operator”。

   4. 删除使用 OpenShift Container Storage 置备的其他 PVC 和 OBC。

      • 以下示例是示例脚本，用于识别使用 OpenShift Container Storage 置备的 PVC 和 OBC。该脚本忽略 Openshift Container Storage 内部使用的 PVC。

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

        Copy to Clipboard Toggle word wrap
        注意

        云平台省略 RGW_PROVISIONER。

      • 删除 OBC。

        $ oc delete obc <obc name> -n <project name>

        Copy to Clipboard Toggle word wrap

      • 删除 PVC。

        $ oc delete pvc <pvc name> -n <project-name>

        Copy to Clipboard Toggle word wrap
        注意

        确保您已删除了集群中创建的任何自定义后备存储、存储桶类等。

3. 删除 Storage Cluster 对象并等待相关资源被删除。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

   Copy to Clipboard Toggle word wrap

4. 检查 uninstall.ocs.openshift.io/cleanup-policy 是否已设置为 delete（默认），并确保其状态为 Completed。

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

   Copy to Clipboard Toggle word wrap

5. 确认目录 /var/lib/rook 现在为空。只有 uninstall.ocs.openshift.io/cleanup-policy 注解设置为 delete（默认）时，此目录才为空。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

   Copy to Clipboard Toggle word wrap

6. 如果在安装时启用了加密，在所有 OpenShift Container Storage 节点上的 OSD 设备中删除 dm-crypt 管理的 device-mapper 映射。

   1. 创建 debug pod 和 chroot 到存储节点上的主机。

      $ oc debug node/<node name>
      $ chroot /host

      Copy to Clipboard Toggle word wrap

   2. 获取设备名称并记录 OpenShift Container Storage 设备。

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

      Copy to Clipboard Toggle word wrap

   3. 删除映射的设备。

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      Copy to Clipboard Toggle word wrap
      注意

      如果上述命令因为权限不足而卡住，请运行以下命令：

      • 按 CTRL+Z 退出上述命令。

      • 查找阻塞的进程的 PID。

        $ ps -ef | grep crypt

        Copy to Clipboard Toggle word wrap

      • 使用 kill 命令终止进程。

        $ kill -9 <PID>

        Copy to Clipboard Toggle word wrap

      • 验证设备名称是否已移除。

        $ dmsetup ls

        Copy to Clipboard Toggle word wrap

7. 删除命名空间并等待删除完成。如果 openshift-storage 是活跃的项目，则需要切换到另一个项目。

   例如：

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   Copy to Clipboard Toggle word wrap

   如果以下命令返回 NotFound 错误，则项目被删除。

   $ oc get project openshift-storage

   Copy to Clipboard Toggle word wrap
   注意

   卸载 OpenShift Container Storage 时，如果没有完全删除 命名空间 并处于 Terminating 状态，请执行 故障排除和删除 Uninstall 过程中剩余的资源 的步骤，以识别阻塞命名空间的对象。

8. 取消标记存储节点。

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

   Copy to Clipboard Toggle word wrap

9. 如果节点有污点，则删除 OpenShift Container Storage 污点。

   $ oc adm taint nodes --all node.ocs.openshift.io/storage-

   Copy to Clipboard Toggle word wrap

10. 确认已删除使用 OpenShift Container Storage 置备的所有 PV。如果有任何 PV 处于 Released 状态，请将其删除。

    $ oc get pv
    $ oc delete pv <pv name>

    Copy to Clipboard Toggle word wrap

11. 删除 Multicloud 对象网关存储类。

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

    Copy to Clipboard Toggle word wrap

12. 删除 CustomResourceDefinitions。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

    Copy to Clipboard Toggle word wrap

13. 可选：要确保永久删除 vault 密钥，您需要手动删除与 vault 密钥关联的元数据。

    注意

    只有在 Vault Key/Value(KV)机密引擎 API 时才执行此步骤，使用密钥管理系统(KMS)版本 2 进行集群范围加密，因为 vault 密钥被标记为删除并在 OpenShift Container Storage 卸载过程中永久删除。如果需要，您可以在以后恢复它。

    1. 列出密码库中的密钥。

       $ vault kv list <backend_path>

       Copy to Clipboard Toggle word wrap

       <backend_path>

       是存储加密密钥的密码库中的路径。

       例如：

       $ vault kv list kv-v2

       Copy to Clipboard Toggle word wrap

       输出示例：

       Keys
       -----
       NOOBAA_ROOT_SECRET_PATH/
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-1-data-0sq227
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-2-data-0xzszb

       Copy to Clipboard Toggle word wrap

    2. 列出与 vault 密钥关联的元数据。

       $ vault kv get kv-v2/<key>

       Copy to Clipboard Toggle word wrap

       对于 Multicloud Object Gateway(MCG)密钥：

       $ vault kv get kv-v2/NOOBAA_ROOT_SECRET_PATH/<key>

       Copy to Clipboard Toggle word wrap

       <key>

       是加密密钥。

       例如：

       $ vault kv get kv-v2/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       Copy to Clipboard Toggle word wrap

       输出示例：

       ====== Metadata ======
       Key              Value
       ---              -----
       created_time     2021-06-23T10:06:30.650103555Z
       deletion_time    2021-06-23T11:46:35.045328495Z
       destroyed        false
       version          1

       Copy to Clipboard Toggle word wrap

    3. 删除元数据。

       $ vault kv metadata delete kv-v2/<key>

       Copy to Clipboard Toggle word wrap

       对于 MCG 密钥：

       $ vault kv metadata delete kv-v2/NOOBAA_ROOT_SECRET_PATH/<key>

       Copy to Clipboard Toggle word wrap

       <key>

       是加密密钥。

       例如：

       $ vault kv metadata delete kv-v2/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       Copy to Clipboard Toggle word wrap

       输出示例：

       Success! Data deleted (if it existed) at: kv-v2/metadata/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       Copy to Clipboard Toggle word wrap

    4. 重复这些步骤，以删除与所有 vault 密钥关联的元数据。

14. 在 OpenShift Container Platform Web 控制台中，确保完全卸载 OpenShift Container Storage，

    1. 点 Storage。
    2. 验证 Overview 不再显示在 Storage 下。