存储

1. 删除 PV。

   $ oc delete pv <pv-name>

   外部基础架构（如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）中的关联的存储资产在 PV 被删除后仍然存在。

2. 清理相关存储资产中的数据。
3. 删除关联的存储资产。另外，若要重复使用同一存储资产，请使用存储资产定义创建新 PV。

1. 列出集群中的持久性卷：

   $ oc get pv

   输出示例

   NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM             STORAGECLASS     REASON    AGE
    pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim1    manual                     10s
    pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim2    manual                     6s
    pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim3    manual                     3s

2. 选择一个持久性卷并更改其重新声明策略：

   $ oc patch pv <your-pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'

3. 验证您选择的持久性卷是否具有正确的策略：

   $ oc get pv

   输出示例

   NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM             STORAGECLASS     REASON    AGE
    pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim1    manual                     10s
    pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim2    manual                     6s
    pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Retain          Bound     default/claim3    manual                     3s

   在前面的输出中，绑定到声明 default/claim3 的卷现在具有 Retain 重新声明策略。当用户删除声明 default/claim3 时，这个卷不会被自动删除。

1. ReadWriteOnce（RWO）卷不能挂载到多个节点上。如果节点失败，系统不允许将附加的 RWO 卷挂载到新节点上，因为它已经分配给了故障节点。如果因此遇到多附件错误消息，请强制在关闭或崩溃的节点上删除 pod，以避免关键工作负载中的数据丢失，例如在附加动态持久性卷时。
2. 为依赖 AWS EBS 的 pod 使用重新创建的部署策略。
3. 如果底层 vSphere 环境支持 vSAN 文件服务，则 OpenShift Container Platform 安装的 vSphere Container Storage Interface (CSI) Driver Operator 支持 provisioning of ReadWriteMany (RWX )卷。如果您没有配置 vSAN 文件服务，且您请求 RWX，则卷将无法被创建，并记录错误。如需更多信息，请参阅"使用 Container Storage Interface" → "VMware vSphere CSI Driver Operator"。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在出现的页面中定义所需选项。

   1. 从下拉菜单中选择之前创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式。这决定了所创建存储声明的读写权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程

1. 创建存储类：

   $ cat << EOF | oc create -f -
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: <storage-class-name> 1
   parameters:
     fsType: ext4 2
     encrypted: "true"
     kmsKeyId: keyvalue 3
   provisioner: ebs.csi.aws.com
   reclaimPolicy: Delete
   volumeBindingMode: WaitForFirstConsumer
   EOF

   1

   指定存储类的名称。

   2

   在置备的卷中创建的文件系统。

   3

   指定加密 container-persistent 卷时要使用的密钥的完整 Amazon 资源名称 (ARN)。如果没有提供任何密钥，但 encrypted 字段被设置为 true，则使用默认的 KMS 密钥。请参阅 AWS 文档中的查找 AWS 的密钥 ID 和密钥 ARN。

2. 使用指定 KMS 密钥的存储类创建 PVC：

   $ cat << EOF | oc create -f -
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: mypvc
   spec:
     accessModes:
       - ReadWriteOnce
     volumeMode: Filesystem
     storageClassName: <storage-class-name>
     resources:
       requests:
         storage: 1Gi
   EOF

3. 创建工作负载容器以使用 PVC：

   $ cat << EOF | oc create -f -
   kind: Pod
   metadata:
     name: mypod
   spec:
     containers:
       - name: httpd
         image: quay.io/centos7/httpd-24-centos7
         ports:
           - containerPort: 80
         volumeMounts:
           - mountPath: /mnt/storage
             name: data
     volumes:
       - name: data
         persistentVolumeClaim:
           claimName: mypvc
   EOF

流程

1. 在 OpenShift Container Platform 控制台中点击 Storage→ Storage Classes。
2. 在存储类概述中，点击 Create Storage Class。

3. 在出现的页面中定义所需选项。

   1. 输入一个名称来指代存储类。
   2. 输入描述信息（可选）。
   3. 选择 reclaim 策略。

   4. 从下拉列表中选择 kubernetes.io/azure-disk 。

      1. 输入存储帐户类型。这与您的 Azure 存储帐户 SKU 层对应。有效选项为 Premium_LRS、Standard_LRS、StandardSSD_LRS 和 UltraSSD_LRS。

      2. 输入帐户类型。有效选项为 shared、dedicated 和 managed.

         重要

         红帽仅在存储类中支持使用 kind: Managed。

         使用 Shared 和 Dedicated 时，Azure 会创建非受管磁盘，而 OpenShift Container Platform 为机器 OS（root）磁盘创建一个受管磁盘。但是，因为 Azure Disk 不允许在节点上同时使用受管和非受管磁盘，所以使用 Shared 或 Dedicated 创建的非受管磁盘无法附加到 OpenShift Container Platform 节点。

   5. 根据需要为存储类输入附加参数。
4. 点 Create 创建存储类。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在出现的页面中定义所需选项。

   1. 从下拉菜单中选择之前创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式。这决定了所创建存储声明的读写权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程

1. 创建包含 Azure File 凭证的 Secret 对象：

   $ oc create secret generic <secret-name> --from-literal=azurestorageaccountname=<storage-account> \ 1
     --from-literal=azurestorageaccountkey=<storage-account-key> 2

   1

   Azure File 存储帐户名称。

   2

   Azure File 存储帐户密钥。

2. 创建引用您创建的 Secret 对象的 PersistentVolume 对象：

   apiVersion: "v1"
   kind: "PersistentVolume"
   metadata:
     name: "pv0001" 1
   spec:
     capacity:
       storage: "5Gi" 2
     accessModes:
       - "ReadWriteOnce"
     storageClassName: azure-file-sc
     azureFile:
       secretName: <secret-name> 3
       shareName: share-1 4
       readOnly: false

   1

   持久性卷的名称。

   2

   此持久性卷的大小。

   3

   包含 Azure File 共享凭证的 secret 名称。

   4

   Azure File 共享的名称。

3. 创建映射到您创建的持久性卷的 PersistentVolumeClaim 对象：

   apiVersion: "v1"
   kind: "PersistentVolumeClaim"
   metadata:
     name: "claim1" 1
   spec:
     accessModes:
       - "ReadWriteOnce"
     resources:
       requests:
         storage: "5Gi" 2
     storageClassName: azure-file-sc 3
     volumeName: "pv0001" 4

   1

   持久性卷声明的名称。

   2

   持久性卷声明的大小。

   3

   用于置备持久性卷的存储类的名称。指定 PersistentVolume 定义中使用的存储类。

   4

   引用 Azure File 共享的现有 PersistentVolume 对象的名称。

1. 确保可执行文件存在于集群中的所有节点上。
2. 将可执行文件放在卷插件路径: /etc/kubernetes/kubelet-plugins/volume/exec/<vendor>～<driver>/<driver>。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在出现的页面中定义所需选项。

   1. 从下拉菜单中选择之前创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式。这决定了所创建存储声明的读写权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程

1. 定义持久性卷（PV）的名称。创建包含 PersistentVolume 对象定义的 pv.yaml 文件：

     apiVersion: v1
     kind: PersistentVolume
     metadata:
       name: task-pv-volume 1
       labels:
         type: local
     spec:
       storageClassName: manual 2
       capacity:
         storage: 5Gi
       accessModes:
         - ReadWriteOnce 3
       persistentVolumeReclaimPolicy: Retain
       hostPath:
         path: "/mnt/data" 4

   1

   卷的名称。持久性卷声明或 pod 识别它的名称。

   2

   用于将持久性卷声明请求绑定到这个持久性卷。

   3

   这个卷可以被一个单一的节点以 read-write 的形式挂载。

   4

   配置文件指定卷在集群节点的 /mnt/data 中。不要挂载到容器 root、/ 或主机和容器中相同的任何路径。这可能会导致您的主机系统损坏。使用 /host 挂载主机是安全的。

2. 从该文件创建 PV：

   $ oc create -f pv.yaml

3. 定义持久性卷声明（PVC）。创建包含 PersistentVolumeClaim 对象定义的 pvc.yaml 文件：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: task-pvc-volume
   spec:
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 1Gi
     storageClassName: manual

4. 从文件创建 PVC：

   $ oc create -f pvc.yaml

流程

1. 创建 openshift-local-storage 项目：

   $ oc adm new-project openshift-local-storage

2. 可选：允许在基础架构节点上创建本地存储。

   您可能希望使用 Local Storage Operator 在基础架构节点上创建卷来支持一些组件，如日志记录和监控。

   您必须调整默认节点选择器，以便 Local Storage Operator 包含基础架构节点，而不只是 worker 节点。

   要阻止 Local Storage Operator 继承集群范围的默认选择器，请输入以下命令：

   $ oc annotate namespace openshift-local-storage openshift.io/node-selector=''

3. 可选：允许在单节点部署中的 CPU 管理池中运行本地存储。

   在单节点部署中使用 Local Storage Operator，并允许使用属于 managment 池的 CPU。在使用管理工作负载分区的单节点安装上执行这个步骤。

   要允许 Local Storage Operator 在管理 CPU 池上运行，请运行以下命令：

   $ oc annotate namespace openshift-local-storage workload.openshift.io/allowed='management'

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 导航至 Operators → OperatorHub。
3. 在过滤器框中键入 Local Storage 以查找 Local Storage Operator。
4. 点击 Install。
5. 在 Install Operator 页面中，选择 A specific namespace on the cluster。从下拉菜单中选择 openshift-local-storage。
6. 将 Update Channel 和 Approval Strategy 的值调整为所需的值。
7. 点击 Install。

使用 CLI

1. 通过 CLI 安装 Local Storage Operator。

   1. 运行以下命令以获取 OpenShift Container Platform 的主版本和次版本。下一步中需要 channel 值。

      $ OC_VERSION=$(oc version -o yaml | grep openshiftVersion | \
          grep -o '[0-9]*[.][0-9]*' | head -1)

   2. 创建对象 YAML 文件，以定义 Local Storage Operator 的 Operator 组和订阅，如 openshift-local-storage.yaml:

      openshift-local-storage.yaml 示例

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: local-operator-group
        namespace: openshift-local-storage
      spec:
        targetNamespaces:
          - openshift-local-storage
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: local-storage-operator
        namespace: openshift-local-storage
      spec:
        channel: "${OC_VERSION}"
        installPlanApproval: Automatic 1
        name: local-storage-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

      1

      安装计划的用户批准策略。

2. 输入以下命令来创建 Local Storage Operator 对象：

   $ oc apply -f openshift-local-storage.yaml

   在此阶段，Operator Lifecycle Manager (OLM) 已可以了解 Local Storage Operator。Operator 的 ClusterServiceVersion (CSV) 应出现在目标命名空间中，由 Operator 提供的 API 应可用于创建。

3. 通过检查是否创建了所有 pod 和 Local Storage Operator 来验证本地存储安装：

   1. 检查是否已创建所有必需的 pod:

      $ oc -n openshift-local-storage get pods

      输出示例

      NAME                                      READY   STATUS    RESTARTS   AGE
      local-storage-operator-746bf599c9-vlt5t   1/1     Running   0          19m

   2. 检查 ClusterServiceVersion (CSV) YAML 清单，查看 openshift-local-storage 项目中是否有 Local Storage Operator:

      $ oc get csvs -n openshift-local-storage

      输出示例

      NAME                                         DISPLAY         VERSION               REPLACES   PHASE
      local-storage-operator.4.2.26-202003230335   Local Storage   4.2.26-202003230335              Succeeded

流程

1. 创建本地卷资源。此资源必须定义本地卷的节点和路径。

   注意

   不要在同一设备中使用不同的存储类名称。这样做可创建多个持久性卷 (PV)。

   例如：Filesystem

   apiVersion: "local.storage.openshift.io/v1"
   kind: "LocalVolume"
   metadata:
     name: "local-disks"
     namespace: "openshift-local-storage" 1
   spec:
     nodeSelector: 2
       nodeSelectorTerms:
       - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - ip-10-0-140-183
             - ip-10-0-158-139
             - ip-10-0-164-33
     storageClassDevices:
       - storageClassName: "local-sc" 3
         volumeMode: Filesystem 4
         fsType: xfs 5
         devicePaths: 6
           - /path/to/device 7

   1

   安装了 Local Storage Operator 的命名空间。

   2

   可选：包含附加了本地存储卷的节点列表的节点选择器。本例使用从 oc get node 获取的节点主机名。如果没有定义值，则 Local Storage Operator 会尝试在所有可用节点上查找匹配的磁盘。

   3

   创建持久性卷对象时使用的存储类的名称。如果不存在，Local Storage Operator 会自动创建存储类。确保使用唯一标识此本地卷的存储类。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   5

   第一次挂载本地卷时所创建的文件系统。

   6

   包含要从中选择的本地存储设备列表的路径。

   7

   使用到 LocalVolume 资源 by-id 的实际本地磁盘文件路径（如 /dev/disk/by-id/wwn）替换这个值。当置备程序已被成功部署时，会为这些本地磁盘创建 PV。

   注意

   原始块卷（volumeMode: block）不能以文件系统格式化。只有在 pod 上运行的任何应用程序都可以使用原始块设备时，才应使用此模式。

   例如：Block

   apiVersion: "local.storage.openshift.io/v1"
   kind: "LocalVolume"
   metadata:
     name: "local-disks"
     namespace: "openshift-local-storage" 1
   spec:
     nodeSelector: 2
       nodeSelectorTerms:
       - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - ip-10-0-136-143
             - ip-10-0-140-255
             - ip-10-0-144-180
     storageClassDevices:
       - storageClassName: "localblock-sc" 3
         volumeMode: Block  4
         devicePaths: 5
           - /path/to/device 6

   1

   安装了 Local Storage Operator 的命名空间。

   2

   可选：包含附加了本地存储卷的节点列表的节点选择器。本例使用从 oc get node 获取的节点主机名。如果没有定义值，则 Local Storage Operator 会尝试在所有可用节点上查找匹配的磁盘。

   3

   创建持久性卷对象时使用的存储类的名称。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   5

   包含要从中选择的本地存储设备列表的路径。

   6

   使用到 LocalVolume 资源 by-id 的实际本地磁盘文件路径（如 dev/disk/by-id/wwn）替换这个值。当置备程序已被成功部署时，会为这些本地磁盘创建 PV。

2. 在 OpenShift Container Platform 集群中创建本地卷资源。指定您刚才创建的文件：

   $ oc create -f <local-volume>.yaml

3. 验证置备程序是否已创建并创建了相应的守护进程集：

   $ oc get all -n openshift-local-storage

   输出示例

   NAME                                          READY   STATUS    RESTARTS   AGE
   pod/diskmaker-manager-9wzms                   1/1     Running   0          5m43s
   pod/diskmaker-manager-jgvjp                   1/1     Running   0          5m43s
   pod/diskmaker-manager-tbdsj                   1/1     Running   0          5m43s
   pod/local-storage-operator-7db4bd9f79-t6k87   1/1     Running   0          14m
   
   NAME                                     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
   service/local-storage-operator-metrics   ClusterIP   172.30.135.36   <none>        8383/TCP,8686/TCP   14m
   
   NAME                               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/diskmaker-manager   3         3         3       3            3           <none>          5m43s
   
   NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/local-storage-operator   1/1     1            1           14m
   
   NAME                                                DESIRED   CURRENT   READY   AGE
   replicaset.apps/local-storage-operator-7db4bd9f79   1         1         1       14m

   注意所需和当前的守护进程设定进程数。所需的数量为 0 表示标签选择器无效。

4. 验证持久性卷是否已创建：

   $ oc get pv

   输出示例

   NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
   local-pv-1cec77cf   100Gi      RWO            Delete           Available           local-sc                88m
   local-pv-2ef7cd2a   100Gi      RWO            Delete           Available           local-sc                82m
   local-pv-3fa1c73    100Gi      RWO            Delete           Available           local-sc                48m

流程

1. 定义 PV。使用 PersistentVolume 对象定义创建一个文件，如 example-pv-filesystem.yaml 或 example-pv-block.yaml。此资源必须定义本地卷的节点和路径。

   注意

   不要在同一设备中使用不同的存储类名称。这将会创建多个 PV。

   example-pv-filesystem.yaml

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: example-pv-filesystem
   spec:
     capacity:
       storage: 100Gi
     volumeMode: Filesystem 1
     accessModes:
     - ReadWriteOnce
     persistentVolumeReclaimPolicy: Delete
     storageClassName: local-storage 2
     local:
       path: /dev/xvdf 3
     nodeAffinity:
       required:
         nodeSelectorTerms:
         - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - example-node

   1

   定义 PV 类型的卷模式，可以是 Filesystem 或 Block。

   2

   创建 PV 资源时使用的存储类的名称。使用唯一标识此 PV 的存储类。

   3

   包含要从中选择的本地存储设备列表的路径，或一个目录。您只能指定 Filesystem volumeMode 的目录。

   注意

   原始块卷（volumeMode: block）不能以文件系统格式化。仅在 pod 上运行的任何应用程序都可以使用原始块设备时使用此模式。

   example-pv-block.yaml

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: example-pv-block
   spec:
     capacity:
       storage: 100Gi
     volumeMode: Block 1
     accessModes:
     - ReadWriteOnce
     persistentVolumeReclaimPolicy: Delete
     storageClassName: local-storage 2
     local:
       path: /dev/xvdf 3
     nodeAffinity:
       required:
         nodeSelectorTerms:
         - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - example-node

   1

   定义 PV 类型的卷模式，可以是 Filesystem 或 Block。

   2

   创建 PV 资源时使用的存储类的名称。确保使用唯一标识此 PV 的存储类。

   3

   包含要从中选择的本地存储设备列表的路径。

2. 在 OpenShift Container Platform 集群中创建 PV 资源。指定您刚才创建的文件：

   $ oc create -f <example-pv>.yaml

3. 验证是否已创建本地 PV：

   $ oc get pv

   输出示例

   NAME                    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                STORAGECLASS    REASON   AGE
   example-pv-filesystem   100Gi      RWO            Delete           Available                        local-storage            3m47s
   example-pv1             1Gi        RWO            Delete           Bound       local-storage/pvc1   local-storage            12h
   example-pv2             1Gi        RWO            Delete           Bound       local-storage/pvc2   local-storage            12h
   example-pv3             1Gi        RWO            Delete           Bound       local-storage/pvc3   local-storage            12h

流程

1. 使用对应的存储类创建 PVC:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: local-pvc-name 1
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Filesystem 2
     resources:
       requests:
         storage: 100Gi 3
     storageClassName: local-sc 4

   1

   PVC 的名称。

   2

   PVC 的类型。默认为 Filesystem。

   3

   PVC 可用的存储量。

   4

   声明所需的存储类的名称。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建 PVC：

   $ oc create -f <local-pvc>.yaml

流程

1. 在资源规格中包含定义的声明。以下示例在 pod 中声明持久性卷声明：

   apiVersion: v1
   kind: Pod
   spec:
     ...
     containers:
       volumeMounts:
       - name: local-disks 1
         mountPath: /data 2
     volumes:
     - name: localpvc
       persistentVolumeClaim:
         claimName: local-pvc-name 3

   1

   要挂载的卷的名称。

   2

   卷在 pod 中的挂载路径。不要挂载到容器 root、/ 或主机和容器中相同的任何路径。如果容器有足够权限，可能会损坏您的主机系统（如主机的 /dev/pts 文件）。使用 /host 挂载主机是安全的。

   3

   要使用的现有持久性卷声明的名称。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建资源：

   $ oc create -f <local-pod>.yaml

流程

1. 通过 web 控制台启用本地设备的自动发现：

   1. 在 Administrator 视角中，导航到 Operators → Installed Operators，再点 Local Volume Discovery 选项卡。
   2. 点 Create Local Volume Discovery。

   3. 根据您要在所有节点上还是在特定的节点上发现可用磁盘，选择 All nodes 或 Select nodes。

      注意

      无论是使用 All nodes 或 Select nodes 进行过滤，只有 worker 节点可用。

   4. 点击 Create。

1. 显示节点上持续可用的设备列表：

   1. 登陆到 OpenShift Container Platform Web 控制台。
   2. 进入 Compute → Nodes。
   3. 点要打开的节点名称。此时会显示 "Node Details" 页面。

   4. 选择 Disks 标签显示所选设备的列表。

      在添加或删除本地磁盘时，设备列表会持续更新。您可以根据名称、状态、类型、型号、容量和模式过滤设备。

2. 从 web 控制台为发现的设备自动置备本地卷：

   1. 导航到 Operators → Installed Operators，再从 Operators 列表中选择 Local Storage。
   2. 选择 Local Volume Set → Create Local Volume Set。
   3. 输入卷集合名称和存储类名称。

   4. 选择 All nodes 或 Select nodes 以相应地应用过滤器。

      注意

      无论是使用 All nodes 或 Select nodes 进行过滤，只有 worker 节点可用。

   5. 选择您要应用到本地卷集的磁盘类型、模式、大小和限制，然后点 Create。

      几分钟后会显示一条信息，表示 "Operator reconciled successfullyd successfully."

3. 另外，也可通过 CLI 为发现的设备置备本地卷：

   1. 创建一个对象 YAML 文件来定义本地卷集，如 local-volume-set.yaml，如下例所示：

      apiVersion: local.storage.openshift.io/v1alpha1
      kind: LocalVolumeSet
      metadata:
        name: example-autodetect
      spec:
        nodeSelector:
          nodeSelectorTerms:
            - matchExpressions:
                - key: kubernetes.io/hostname
                  operator: In
                  values:
                    - worker-0
                    - worker-1
        storageClassName: example-storageclass 1
        volumeMode: Filesystem
        fsType: ext4
        maxDeviceCount: 10
        deviceInclusionSpec:
          deviceTypes: 2
            - disk
            - part
          deviceMechanicalProperties:
            - NonRotational
          minSize: 10G
          maxSize: 100G
          models:
            - SAMSUNG
            - Crucial_CT525MX3
          vendors:
            - ATA
            - ST2000LM

      1

      决定为从发现的设备置备的持久性卷创建的存储类。如果不存在，Local Storage Operator 会自动创建存储类。确保使用唯一标识此本地卷的存储类。

      2

      当使用本地卷设置功能时，Local Storage Operator 不支持使用逻辑卷管理（LVM）设备。

   2. 创建本地卷集对象：

      $ oc apply -f local-volume-set.yaml

   3. 根据存储类验证本地持久性卷是否被动态置备：

      $ oc get pv

      输出示例

      NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS           REASON   AGE
      local-pv-1cec77cf   100Gi      RWO            Delete           Available           example-storageclass            88m
      local-pv-2ef7cd2a   100Gi      RWO            Delete           Available           example-storageclass            82m
      local-pv-3fa1c73    100Gi      RWO            Delete           Available           example-storageclass            48m

1. 修改定义 Pod 的 YAML 文件并添加 LocalVolume 规格,如下例所示：

     apiVersion: "local.storage.openshift.io/v1"
     kind: "LocalVolume"
     metadata:
       name: "local-disks"
       namespace: "openshift-local-storage"
     spec:
       tolerations:
         - key: localstorage 1
           operator: Equal 2
           value: "localstorage" 3
       storageClassDevices:
           - storageClassName: "localblock-sc"
             volumeMode: Block 4
             devicePaths: 5
               - /dev/xvdg

   1

   指定添加到节点的键。

   2

   指定 Equal 运算符，以要求 key/value 参数匹配。如果运算符是 Exists，系统会检查键是否存在并忽略它的值。如果运算符是 Equal，则键和值必须匹配。

   3

   指定污点节点的 local 值。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   5

   包含要从中选择的本地存储设备列表的路径。

2. 可选： 要只在污点节点上创建本地持久性卷，修改 YAML 文件并添加 LocalVolume spec，如下例所示：

   spec:
     tolerations:
       - key: node-role.kubernetes.io/master
         operator: Exists

流程

1. 为 PV 创建对象定义：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001 1
   spec:
     capacity:
       storage: 5Gi 2
     accessModes:
     - ReadWriteOnce 3
     nfs: 4
       path: /tmp 5
       server: 172.17.0.2 6
     persistentVolumeReclaimPolicy: Retain 7

   1

   卷的名称。这是各个 oc <command> pod 命令中的 PV 标识。

   2

   为这个卷分配的存储量。

   3

   虽然这看上去象是设置对卷的访问控制，但它实际上被用作标签并用来将 PVC 与 PV 匹配。当前，还不能基于 accessModes 强制访问规则。

   4

   使用的卷类型，在这个示例里是 nfs 插件。

   5

   NFS 服务器导出的路径。

   6

   NFS 服务器的主机名或 IP 地址。

   7

   PV 的 reclaim 策略。它决定了在卷被释放后会发生什么。

   注意

   每个 NFS 卷都必须由集群中的所有可调度节点挂载。

2. 确定创建了 PV：

   $ oc get pv

   输出示例

   NAME     LABELS    CAPACITY     ACCESSMODES   STATUS      CLAIM  REASON    AGE
   pv0001   <none>    5Gi          RWO           Available                    31s

3. 创建绑定至新 PV 的持久性卷声明：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: nfs-claim1
   spec:
     accessModes:
       - ReadWriteOnce 1
     resources:
       requests:
         storage: 5Gi 2
     volumeName: pv0001
     storageClassName: ""

   1

   访问模式不强制实施安全性，而是作为标签来将 PV 与 PVC 匹配。

   2

   此声明会寻找提供 5Gi 或更高容量的 PV。

4. 确认创建了持久卷声明：

   $ oc get pvc

   输出示例

   NAME         STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   nfs-claim1   Bound    pv0001   5Gi        RWO                           2m

流程

1. 创建虚拟机磁盘。在静态置备 VMware vSphere 卷前，必须手动创建虚拟机磁盘 (VMDK)。可使用以下任一方法：

   • 使用 vmkfstools 创建。通过 Secure Shel (SSH) 访问 ESX，然后使用以下命令创建 VMDK 卷：

     $ vmkfstools -c <size> /vmfs/volumes/<datastore-name>/volumes/<disk-name>.vmdk

   • 使用 vmware-diskmanager 创建：

     $ shell vmware-vdiskmanager -c -t 0 -s <size> -a lsilogic <disk-name>.vmdk

2. 创建引用 VMDK 的持久性卷。创建包含 PersistentVolume 对象定义的 pv1.yaml 文件：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv1 1
   spec:
     capacity:
       storage: 1Gi 2
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain
     vsphereVolume: 3
       volumePath: "[datastore1] volumes/myDisk"  4
       fsType: ext4  5

   1

   卷的名称。持久性卷声明或 pod 识别它的名称。

   2

   为这个卷分配的存储量。

   3

   使用的卷类型，vsphereVolume 表示 vSphere 卷。此标签用于将 vSphere VMDK 卷挂载到 Pod 中。卸载卷时会保留卷内容。卷类型支持 VMFS 和 VSAN 数据存储。

   4

   要使用的现有 VMDK 卷。如果使用 vmkfstools，在卷定义中数据存储名称必须放在方括号 [] 内，如前面所示。

   5

   要挂载的文件系统类型。例如： ext4、xfs 或者其他文件系统。

   重要

   在格式化并置备卷后更改 fsType 参数的值可能会导致数据丢失和 pod 故障。

3. 从文件创建 PersistentVolume 对象：

   $ oc create -f pv1.yaml

4. 创建一个映射到您在上一步中创建的持久性卷声明。创建包含 PersistentVolumeClaim 对象定义的 pvc1.yaml 文件：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc1 1
   spec:
     accessModes:
       - ReadWriteOnce 2
     resources:
      requests:
        storage: "1Gi" 3
     volumeName: pv1 4

   1

   代表持久性卷声明的唯一名称。

   2

   持久性卷声明的访问模式。使用 ReadWriteOnce 时，单个节点可以通过读写权限挂载这个卷。

   3

   持久性卷声明的大小。

   4

   现有持久性卷的名称。

5. 从文件创建 PersistentVolumeClaim 对象：

   $ oc create -f pvc1.yaml

流程

1. 创建 Pod 对象定义，并将其保存到文件中。

2. 在该文件中嵌入 CSI 内联临时卷。

   my-csi-app.yaml

   kind: Pod
   apiVersion: v1
   metadata:
     name: my-csi-app
   spec:
     containers:
       - name: my-frontend
         image: busybox
         volumeMounts:
         - mountPath: "/data"
           name: my-csi-inline-vol
         command: [ "sleep", "1000000" ]
     volumes: 1
       - name: my-csi-inline-vol
         csi:
           driver: inline.storage.kubernetes.io
           volumeAttributes:
             foo: bar

   1

   Pod 使用的卷的名称。

3. 创建在上一步中保存的对象定义文件。

   $ oc create -f my-csi-app.yaml

流程

1. 通过使用带有 YAML 内容的 oc apply，为给定服务帐户 RBAC 权限授予其 pod 中的 SharedSecret CR 实例：

   注意

   目前，kubectl 和 oc 具有硬编码的特殊大小写逻辑，以便将 use 动词的使用限制为只限于 pod 安全性相关的角色。因此，您无法使用 oc create role …​ 创建使用 SharedSecret CR 实例所需的角色。

   $ oc apply -f - <<EOF
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: shared-resource-my-share
     namespace: my-namespace
   rules:
     - apiGroups:
         - sharedresource.openshift.io
       resources:
         - sharedsecrets
       resourceNames:
         - my-share
       verbs:
         - use
   EOF

2. 使用 oc 命令创建与角色关联的 RoleBinding ：

   $ oc create rolebinding shared-resource-my-share --role=shared-resource-my-share --serviceaccount=my-namespace:builder

3. 从 Pod 访问 SharedSecret CR 实例：

   $ oc apply -f - <<EOF
   kind: Pod
   apiVersion: v1
   metadata:
     name: my-app
     namespace: my-namespace
   spec:
     serviceAccountName: default
   
   # containers omitted …. Follow standard use of ‘volumeMounts’ for referencing your shared resource volume
   
       volumes:
       - name: my-csi-volume
         csi:
           readOnly: true
           driver: csi.sharedresource.openshift.io
           volumeAttributes:
             sharedSecret: my-share
   
   EOF

流程

1. 为您要在集群中的命名空间之间共享的配置映射创建 SharedConfigMap CR 实例：

   $ oc apply -f - <<EOF
   apiVersion: sharedresource.openshift.io/v1alpha1
   kind: SharedConfigMap
   metadata:
     name: my-share
   spec:
     configMapRef:
       name: <name of configmap>
       namespace: <namespace of configmap>
   EOF

流程

1. 通过使用带有 YAML 内容的 oc apply，为给定服务帐户 RBAC 权限授予其 pod 中的 SharedConfigMap CR 实例。

   注意

   目前，kubectl 和 oc 具有硬编码的特殊大小写逻辑，以便将 use 动词的使用限制为只限于 pod 安全性相关的角色。因此，您无法使用 oc create role …​ 创建使用 SharedConfigMap CR 实例所需的角色。

   $ oc apply -f - <<EOF
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: shared-resource-my-share
     namespace: my-namespace
   rules:
     - apiGroups:
         - sharedresource.openshift.io
       resources:
         - sharedconfigmaps
       resourceNames:
         - my-share
       verbs:
         - use
   EOF

2. 使用 oc 命令创建与角色关联的 RoleBinding ：

   oc create rolebinding shared-resource-my-share --role=shared-resource-my-share --serviceaccount=my-namespace:builder

3. 从 pod 访问 SharedConfigMap CR 实例：

   $ oc apply -f - <<EOF
   kind: Pod
   apiVersion: v1
   metadata:
     name: my-app
     namespace: my-namespace
   spec:
     serviceAccountName: default
   
   # containers omitted …. Follow standard use of ‘volumeMounts’ for referencing your shared resource volume
   
       volumes:
       - name: my-csi-volume
         csi:
           readOnly: true
           driver: csi.sharedresource.openshift.io
           volumeAttributes:
             sharedConfigMap: my-share
   
   EOF

1. 使用以下 YAML 描述的 VolumeSnapshotClass 对象创建一个文件：

   volumesnapshotclass.yaml

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshotClass
   metadata:
     name: csi-hostpath-snap
   driver: hostpath.csi.k8s.io 1
   deletionPolicy: Delete

   1

   用于创建此 VolumeSnapshotClass 对象快照的 CSI 驱动程序名称。该名称必须与存储类的 Provisioner 字段相同，它负责正在进行快照的 PVC。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f volumesnapshotclass.yaml

3. 创建 VolumeSnapshot 对象：

   volumesnapshot-dynamic.yaml

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshot
   metadata:
     name: mysnap
   spec:
     volumeSnapshotClassName: csi-hostpath-snap 1
     source:
       persistentVolumeClaimName: myclaim 2

   1

   卷快照对特定类的请求。如果 volumeSnapshotClassName 设置不存在，且有默认的卷快照类，则会创建一个带有默认卷快照类名称的快照。但如果该字段不存在且不存在默认卷快照类，则不会创建快照。

   2

   绑定到持久性卷的 PersistentVolumeClaim 对象的名称。这指定了您要对什么创建快照。动态置备快照需要这个信息。

4. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f volumesnapshot-dynamic.yaml

1. 除了以上定义卷快照类外，还需要提供 volumeSnapshotContentName 参数的值作为快照的源。

   volumesnapshot-manual.yaml

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshot
   metadata:
     name: snapshot-demo
   spec:
     source:
       volumeSnapshotContentName: mycontent 1

   1

   预置备快照需要 volumeSnapshotContentName 参数。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f volumesnapshot-manual.yaml

1. 运行以下命令显示所创建的卷快照详情：

   $ oc describe volumesnapshot mysnap

   以下示例显示有关 mysnap 卷快照的详细信息：

   volumesnapshot.yaml

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshot
   metadata:
     name: mysnap
   spec:
     source:
       persistentVolumeClaimName: myclaim
     volumeSnapshotClassName: csi-hostpath-snap
   status:
     boundVolumeSnapshotContentName: snapcontent-1af4989e-a365-4286-96f8-d5dcd65d78d6 1
     creationTime: "2020-01-29T12:24:30Z" 2
     readyToUse: true 3
     restoreSize: 500Mi

   1

   指向控制器创建的实际存储内容的指针。

   2

   创建快照的时间。快照包含在这个指定时间点上可用的卷内容。

   3

   如果该值设为 true，则快照可用来恢复为一个新 PVC。
   如果该值设为 false，则创建快照。但是，存储后端需要执行额外的任务来使快照可用，以便将其恢复为新卷。例如: Amazon Elastic Block Store 数据可能被移到不同的、更低成本的位置，这个过程可能需要几分钟时间。

2. 要验证卷快照是否已创建，请运行以下命令：

   $ oc get volumesnapshotcontent

   显示指向实际内容的指针。如果 boundVolumeSnapshotContentName 字段已被填充，则代表一个 VolumeSnapshotContent 对象已存在，快照被创建。

3. 要验证快照是否已就绪，请确认 VolumeSnapshot 带有 readyToUse: true。

流程

1. 指定 VolumeSnapshotClass 对象中所需的删除策略，如下例所示：

   volumesnapshotclass.yaml

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshotClass
   metadata:
     name: csi-hostpath-snap
   driver: hostpath.csi.k8s.io
   deletionPolicy: Delete 1

   1

   当删除卷快照时，如果设置了 Delete 值，则底层快照会与 VolumeSnapshotContent 对象一起删除。如果设置了 Retain 值，则基本快照和 VolumeSnapshotContent 对象仍保留。
   如果设置了 Retain 值，且在不删除对应的 VolumeSnapshotContent 对象的情况下删除了 VolumeSnapshot 对象，则内容会保留。快照本身也保留在存储后端中。

2. 输入以下命令删除卷快照：

   $ oc delete volumesnapshot <volumesnapshot_name>

   输出示例

   volumesnapshot.snapshot.storage.k8s.io "mysnapshot" deleted

3. 如果删除策略被设置为 Retain，请输入以下命令删除卷快照内容：

   $ oc delete volumesnapshotcontent <volumesnapshotcontent_name>

4. 可选：如果 VolumeSnapshot 对象没有成功删除，请输入以下命令删除左侧资源的所有终结程序，以便删除操作可以继续进行：

   重要

   如果您确信不存在来自持久性卷声明或卷快照内容到 VolumeSnapshot 对象的引用时，才删除终结器。即使使用了 --force 选项，在删除所有终结器前，删除操作也不会删除快照对象。

   $ oc patch -n $PROJECT volumesnapshot/$NAME --type=merge -p '{"metadata": {"finalizers":null}}'

   输出示例

   volumesnapshotclass.snapshot.storage.k8s.io "csi-ocs-rbd-snapclass" deleted

   删除终结器并删除卷快照。

流程

1. 在 PVC 上指定 VolumeSnapshot 数据源，如下所示：

   pvc-restore.yaml

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: myclaim-restore
   spec:
     storageClassName: csi-hostpath-sc
     dataSource:
       name: mysnap 1
       kind: VolumeSnapshot 2
       apiGroup: snapshot.storage.k8s.io 3
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 1Gi

   1

   VolumeSnapshot 对象的名称，代表作为源的快照。

   2

   必须设置为 VolumeSnapshot 的值。

   3

   必须设置为 snapshot.storage.k8s.io 的值 。

2. 运行以下命令来创建一个 PVC：

   $ oc create -f pvc-restore.yaml

3. 运行以下命令验证恢复的 PVC 是否已创建：

   $ oc get pvc

   此时会显示一个新的 PVC，如 myclaim-restore。

1. 使用以下 YAML 描述的 PersistentVolumeClaim 对象创建并保存一个文件：

   pvc-clone.yaml

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-1-clone
     namespace: mynamespace
   spec:
     storageClassName: csi-cloning 1
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 5Gi
     dataSource:
       kind: PersistentVolumeClaim
       name: pvc-1

   1

   置备存储后端的存储类的名称。可以使用默认存储类，storageClassName 在 spec 中可以忽略 。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f pvc-clone.yaml

   一个新的 PVC pvc-1-clone 被创建 。

3. 运行以下命令验证卷克隆是否已创建并就绪：

   $ oc get pvc pvc-1-clone

   pvc-1-clone 显示的状态为 Bound。

   现在，您已准备好使用新克隆的 PVC 来配置 pod。

4. 使用 YAML 描述的 Pod 对象创建并保存文件。例如：

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
       - name: myfrontend
         image: dockerfile/nginx
         volumeMounts:
         - mountPath: "/var/www/html"
           name: mypd
     volumes:
       - name: mypd
         persistentVolumeClaim:
           claimName: pvc-1-clone 1

   1

   在 CSI 卷克隆操作中创建的克隆 PVC。

   创建的 Pod 对象现在可以使用、克隆、快照或删除独立于它的原始 dataSource 的克隆 PVC。

1. 登录到 web 控制台。

2. 安装 AWS EFS CSI Operator：

   1. 点 Operators → OperatorHub。
   2. 通过在过滤框中键入 AWS EFS CSI 来找到 AWS EFS CSI Operator。

   3. 点 AWS EFS CSI Driver Operator 按钮。

      重要

      确保选择 AWS EFS CSI Driver Operator，而不是 AWS EFS Operator。AWS EFS Operator 是一个社区 Operator，不受红帽支持。

   4. 在 AWS EFS CSI Driver Operator 页面中，点 Install。

   5. 在 Install Operator 页面中，确保：

      • 选择 All namespaces on the cluster (default)。
      • 安装的命名空间 被设置为 openshift-cluster-csi-drivers。

   6. 点 Install。

      安装完成后，AWS EFS CSI Operator 会在 web 控制台的 Installed Operators 部分列出。

3. 如果您使用 AWS Security Token Service(STS)的 AWS EFS，则必须使用 STS 配置 AWS EFS CSI Driver。如需更多信息，请参阅"使用 STS 配置 AWS EFS CSI Driver"。

4. 安装 AWS EFS CSI 驱动程序：

   1. 点 Administration → CustomResourceDefinitions → ClusterCSIDriver。
   2. 在 Instances 选项卡上，单击 Create ClusterCSIDriver。

   3. 使用以下 YAML 文件：

      apiVersion: operator.openshift.io/v1
      kind: ClusterCSIDriver
      metadata:
          name: efs.csi.aws.com
      spec:
        managementState: Managed

   4. 点 Create。

   5. 等待以下 Conditions 变为 "true" 状态：

      • AWSEFSDriverCredentialsRequestControllerAvailable
      • AWSEFSDriverNodeServiceControllerAvailable
      • AWSEFSDriverControllerServiceControllerAvailable

1. 从 OpenShift Container Platform 发行镜像中提取 CCO 实用程序(ccoctl)二进制文件，该镜像用于使用 STS 安装集群。如需更多信息，请参阅"配置 Cloud Credential Operator 工具程序"。

2. 创建并保存 EFS CredentialsRequest YAML 文件，如以下示例所示，然后将其放在 credrequests 目录中：

   示例

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: openshift-aws-efs-csi-driver
     namespace: openshift-cloud-credential-operator
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AWSProviderSpec
       statementEntries:
       - action:
         - elasticfilesystem:*
         effect: Allow
         resource: '*'
     secretRef:
       name: aws-efs-cloud-credentials
       namespace: openshift-cluster-csi-drivers
     serviceAccountNames:
     - aws-efs-csi-driver-operator
     - aws-efs-csi-driver-controller-sa

3. 运行 ccoctl 工具在 AWS 中生成新的 IAM 角色，并在本地文件系统中创建一个 YAML 文件(<path_to_ccoctl_output_dir>/manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml)。

   $ ccoctl aws create-iam-roles --name=<name> --region=<aws_region> --credentials-requests-dir=<path_to_directory_with_list_of_credentials_requests>/credrequests --identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com

   • name=<name> 是用于标记为跟踪而创建的云资源的名称。
   • region=<aws_region > 是创建云资源的 AWS 区域。
   • dir=<path_to_directory_with_list_of_credentials_requests>/credrequests 是包含上一步中 EFS CredentialsRequest 文件的目录。

   • <aws_account_id> 是 AWS 帐户 ID。

     示例

     $ ccoctl aws create-iam-roles --name my-aws-efs --credentials-requests-dir credrequests --identity-provider-arn arn:aws:iam::123456789012:oidc-provider/my-aws-efs-oidc.s3.us-east-2.amazonaws.com

     输出示例

     2022/03/21 06:24:44 Role arn:aws:iam::123456789012:role/my-aws-efs -openshift-cluster-csi-drivers-aws-efs-cloud- created
     2022/03/21 06:24:44 Saved credentials configuration to: /manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml
     2022/03/21 06:24:45 Updated Role policy for Role my-aws-efs-openshift-cluster-csi-drivers-aws-efs-cloud-

4. 创建 AWS EFS 云凭证和 secret：

   $ oc create -f <path_to_ccoctl_output_dir>/manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml

   示例

   $ oc create -f /manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml

   输出示例

   secret/aws-efs-cloud-credentials created

1. 在 AWS 控制台中，打开 https://console.aws.amazon.com/efs。

2. 点击 Create 文件系统 ：

   • 输入文件系统的名称。
   • 对于 Virtual Private Cloud (VPC)，请选择 OpenShift Container Platform 的虚拟私有云 (VPC)。
   • 接受所有其他选择的默认设置。

3. 等待卷和挂载目标完成完全创建：

   1. 访问 https://console.aws.amazon.com/efs#/file-systems。
   2. 单击您的卷，在 Network 选项卡中，等待所有挂载目标变为可用状态（约 1-2 分钟）。
4. 在 Network 选项卡上，复制安全组 ID（下一步中您将需要此 ID）。
5. 进入 https://console.aws.amazon.com/ec2/v2/home#SecurityGroups，并查找 EFS 卷使用的安全组。

6. 在 Inbound rules 选项卡中，点 Edit inbound rules，然后使用以下设置添加新规则，以允许 OpenShift Container Platform 节点访问 EFS 卷：

   • 类型 ：NFS
   • 协议 ：TCP
   • 端口范围 ：2049

   • 源 ：您的节点的自定义/IP 地址范围（例如："10.0.0.0/16"）

     此步骤允许 OpenShift Container Platform 使用集群中的 NFS 端口。

7. 保存规则。

1. 登录到 web 控制台。
2. 停止所有使用 AWS EFS PV 的应用程序。

3. 删除所有 AWS EFS PV：

   1. 点 Storage → PersistentVolumeClaims。
   2. 选择 AWS EFS CSI Driver Operator 使用的每个 PVC，点击 PVC 最右侧的下拉菜单，然后点 Delete PersistentVolumeClaims。

4. 卸载 AWS EFS CSI 驱动程序：

   注意

   在卸载 Operator 前，必须先删除 CSI 驱动程序。

   1. 点 Administration → CustomResourceDefinitions → ClusterCSIDriver。
   2. 在 Instances 选项卡上，单击左侧的 efs.csi.aws.com，单击下拉菜单，然后单击 Delete ClusterCSIDriver。
   3. 出现提示时，单击 Delete。

5. 卸载 AWS EFS CSI Operator：

   1. 点 Operators → Installed Operators。
   2. 在 Installed Operators 页面中，在 Search by name 框中输入 AWS EFS CSI 来查找 Operator，然后点击它。
   3. 在 Installed Operators > Operator 详情 页面的右上角，点 Actions → Uninstall Operator。

   4. 当在 Uninstall Operator 窗口中提示时，点 Uninstall 按钮从命名空间中删除 Operator。Operator 在集群中部署的任何应用程序都需要手动清理。

      卸载后，AWS EFS CSI Driver Operator 不会在 web 控制台的 Installed Operators 部分列出。

1. 使用类似如下的 YAML 文件创建设计存储帐户类型的存储类：

   $ oc create -f - << EOF
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: <storage-class> 1
   provisioner: disk.csi.azure.com
   parameters:
     skuName: <storage-class-account-type> 2
   reclaimPolicy: Delete
   volumeBindingMode: WaitForFirstConsumer
   allowVolumeExpansion: true
   EOF

   1

   存储类名称。

   2

   存储帐户类型。这与您的 Azure 存储帐户 SKU 层对应：'Standard_LRS', Premium_LRS,StandardSSD_LRS,UltraSSD_LRS,Premium_ZRS,StandardSSD_ZRS。

2. 通过列出存储类来确保创建了存储类：

   $ oc get storageclass

   输出示例

   $ oc get storageclass
   NAME                    PROVISIONER          RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   azurefile-csi           file.csi.azure.com   Delete          Immediate              true                   68m
   managed-csi (default)   disk.csi.azure.com   Delete          WaitForFirstConsumer   true                   68m
   sc-prem-zrs             disk.csi.azure.com   Delete          WaitForFirstConsumer   true                   4m25s 1

   1

   带有存储帐户类型的新存储类。

流程

1. 通过 TechPreviewNoUpgrade 功能集启用功能门（请参阅 Nodes → Enabling features using feature gates）。

   重要

   在使用功能门（feature gate）启用技术预览功能后，无法关闭这些技术预览功能，并会防止集群升级。

2. 验证集群操作器存储：

   $ oc get co storage

   NAME    VERSION                                 AVAILABLE   PROGRESSING DEGRADED   SINCE
   storage 4.10.0-0.nightly-2021-11-15-034648      True        False       False      4m36s

   • AVAILABLE 应该为 "True"。
   • PROGRESSING 应该为 "False"。
   • DEGRADED 应该为 "False"。

3. 验证 openshift-cluster-csi-drivers 命名空间中的 pod 状态，以确保它们正在运行：

   $ oc get pod -n openshift-cluster-csi-drivers

   NAME                                                    READY   STATUS  RESTARTS    AGE
   azure-file-csi-driver-controller-5949bf45fd-pm4qb       11/11   Running 0           39m
   azure-file-csi-driver-node-2tcxr                        3/3     Running 0           53m
   azure-file-csi-driver-node-2xjzm                        3/3     Running 0           53m
   azure-file-csi-driver-node-6wrgk                        3/3     Running 0           53m
   azure-file-csi-driver-node-frvx2                        3/3     Running 0           53m
   azure-file-csi-driver-node-lf5kb                        3/3     Running 0           53m
   azure-file-csi-driver-node-mqdhh                        3/3     Running 0           53m
   azure-file-csi-driver-operator-7d966fc6c5-x74x5         1/1     Running 0           44m

4. 验证是否安装了存储类：

   $ oc get storageclass

   NAME                        PROVISIONER                     RECLAIMPOLICY   VOLUMEBINDINGMODE       ALLOWVOLUMEEXPANSION    AGE
   azurefile-csi               file.csi.azure.com              Delete          Immediate               true                    10m 1
   managed-csi                 disk.csi.azure.com              Delete          WaitForFirstConsumer    true                    35m
   managed-premium (default)   kubernetes.io/azure-disk        Delete          WaitForFirstConsumer    true                    35m

   1

   Azure File 存储类

1. 使用 Cloud KMS 密钥创建存储类。以下示例启用加密卷的动态置备：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: csi-gce-pd-cmek
   provisioner: pd.csi.storage.gke.io
   volumeBindingMode: "WaitForFirstConsumer"
   allowVolumeExpansion: true
   parameters:
     type: pd-standard
     disk-encryption-kms-key: projects/<key-project-id>/locations/<location>/keyRings/<key-ring>/cryptoKeys/<key> 1

   1

   此字段必须是用于加密新磁盘的密钥的资源标识符。值是区分大小写的。有关提供关键 ID 值的更多信息，请参阅检索资源 ID 和 获取 Cloud KMS 资源 ID。

   注意

   您不能将 disk-encryption-kms-key 参数添加到现有的存储类中。但是，您可以删除存储类并使用相同的名称和不同的参数集合重新创建该存储类。如果您这样做，现有类的置备程序必须是 pd.csi.storage.gke.io。

2. 使用 oc 命令在 OpenShift Container Platform 集群上部署存储类：

   $ oc describe storageclass csi-gce-pd-cmek

   输出示例

   Name:                  csi-gce-pd-cmek
   IsDefaultClass:        No
   Annotations:           None
   Provisioner:           pd.csi.storage.gke.io
   Parameters:            disk-encryption-kms-key=projects/key-project-id/locations/location/keyRings/ring-name/cryptoKeys/key-name,type=pd-standard
   AllowVolumeExpansion:  true
   MountOptions:          none
   ReclaimPolicy:         Delete
   VolumeBindingMode:     WaitForFirstConsumer
   Events:                none

3. 创建名为 pvc.yaml 的文件，该文件与您在上一步中创建的存储类对象的名称匹配：

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: podpvc
   spec:
     accessModes:
       - ReadWriteOnce
     storageClassName: csi-gce-pd-cmek
     resources:
       requests:
         storage: 6Gi

   注意

   如果将新存储类标记为默认值，可以省略 storageClassName 字段。

4. 在集群中应用 PVC:

   $ oc apply -f pvc.yaml

5. 获取 PVC 的状态，并验证它是否已创建并绑定到新置备的 PV:

   $ oc get pvc

   输出示例

   NAME      STATUS    VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS     AGE
   podpvc    Bound     pvc-e36abf50-84f3-11e8-8538-42010a800002   10Gi       RWO            csi-gce-pd-cmek  9s

   注意

   如果您的存储类将 volumeBindingMode 字段设置为 WaitForFirstConsumer，您必须创建一个 pod 来使用 PVC，然后才能验证它。

1. 列出存储类：

   $ oc get storageclass

   输出示例

   NAME                   PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   standard(default)      cinder.csi.openstack.org   Delete          WaitForFirstConsumer   true                   46h
   standard-csi           kubernetes.io/cinder       Delete          WaitForFirstConsumer   true                   46h

2. 对于默认存储类，将注解 storageclass.kubernetes.io/is-default-class 的值改为 false，如下例所示：

   $ oc patch storageclass standard -p '{"metadata": {"annotations": {"storageclass.kubernetes.io/is-default-class": "false"}}}'

3. 通过添加或修改注解 storageclass.kubernetes.io/is-default-class=true 来使另一个存储类作为默认设置。

   $ oc patch storageclass standard-csi -p '{"metadata": {"annotations": {"storageclass.kubernetes.io/is-default-class": "true"}}}'

4. 验证 PVC 现在默认引用 CSI 存储类：

   $ oc get storageclass

   输出示例

   NAME                   PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   standard               kubernetes.io/cinder       Delete          WaitForFirstConsumer   true                   46h
   standard-csi(default)  cinder.csi.openstack.org   Delete          WaitForFirstConsumer   true                   46h

5. 可选： 您可以定义一个新的 PVC 而无需指定存储类：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: cinder-claim
   spec:
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 1Gi

   没有指定特定存储类的 PVC 会使用默认存储类自动置备。

6. 可选： 配置了新文件后，在集群中创建该文件：

   $ oc create -f cinder-claim.yaml

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在接下来的页面中定义所需选项。

   1. 选择适当的存储类。
   2. 输入存储声明的唯一名称。

   3. 选择访问模式来指定您要创建的 PVC 的读写访问权限。

      重要

      如果您希望此 PVC 所使用的持久性卷（PV）可以被挂载到集群中的多个节点上的多个 pod 时，使用 RWX。

4. 定义存储声明的大小。
5. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

1. 使用以下 YAML 描述的 PersistentVolumeClaim 对象创建并保存一个文件：

   pvc-manila.yaml

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-manila
   spec:
     accessModes: 1
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: csi-manila-gold 2

   1

   如果您希望此 PVC 所使用的持久性卷（PV）可以被挂载到集群中的多个节点上的多个 pod 时，使用 RWX。

   2

   置备存储后端的存储类的名称。Manila StorageClasses 由 Operator 置备，并包含 csi-manila- 前缀。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f pvc-manila.yaml

   创建了一个新的 PVC。

3. 运行以下命令验证卷已创建并就绪：

   $ oc get pvc pvc-manila

   pvc-manila 显示它的状态为 Bound。

流程

1. 删除第三方 vSphere CSI 驱动程序（VMware vSphere Container Storage 插件）部署和 Daemonset 对象。
2. 删除之前使用第三方 vSphere CSI 驱动程序安装的 configmap 和 secret 对象。

3. 删除第三方 vSphere CSI 驱动程序 CSIDriver 对象：

   ~ $ oc delete CSIDriver csi.vsphere.vmware.com

   csidriver.storage.k8s.io "csi.vsphere.vmware.com" deleted