存储

流程

1. 运行以下命令，复制现有的 Azure MachineSet 自定义资源(CR)并编辑它：

   $ oc edit machineset <machine-set-name>

   其中 <machine-set-name> 是您要使用巨型磁盘置备机器的机器集。

2. 在指示的位置中添加以下行：

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   spec:
     template:
       spec:
         metadata:
           labels:
             disk: ultrassd 1
         providerSpec:
           value:
             ultraSSDCapability: Enabled 2

   1

   指定标签，用于选择此机器集创建的节点。此流程使用 disk.ulssd 用于这个值。

   2

   这些行支持使用 ultra 磁盘。

3. 运行以下命令，使用更新的配置创建机器集：

   $ oc create -f <machine-set-name>.yaml

4. 创建一个包含以下 YAML 定义的存储类：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: ultra-disk-sc 1
   parameters:
     cachingMode: None
     diskIopsReadWrite: "2000" 2
     diskMbpsReadWrite: "320" 3
     kind: managed
     skuname: UltraSSD_LRS
   provisioner: disk.csi.azure.com 4
   reclaimPolicy: Delete
   volumeBindingMode: WaitForFirstConsumer 5

   1

   指定存储类的名称。此流程使用 ultra-disk-sc 作为这个值。

   2

   指定存储类的 IOPS 数量。

   3

   指定存储类的吞吐量，单位为 MBps。

   4

   对于 Azure Kubernetes Service(AKS)版本 1.21 或更高版本，请使用 disk.csi.azure.com。对于 AKS 的早期版本，请使用 kubernetes.io/azure-disk。

   5

   可选：指定此参数以等待创建使用磁盘的 pod。

5. 创建一个持久性卷声明(PVC)来引用包含以下 YAML 定义的 ultra-disk-sc 存储类：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: ultra-disk 1
   spec:
     accessModes:
     - ReadWriteOnce
     storageClassName: ultra-disk-sc 2
     resources:
       requests:
         storage: 4Gi 3

   1

   指定 PVC 的名称。此流程使用 ultra-disk 作为这个值。

   2

   此 PVC 引用了 ultra-disk-sc 存储类。

   3

   指定存储类的大小。最小值为 4Gi。

6. 创建包含以下 YAML 定义的 pod：

   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx-ultra
   spec:
     nodeSelector:
       disk: ultrassd 1
     containers:
     - name: nginx-ultra
       image: alpine:latest
       command:
         - "sleep"
         - "infinity"
       volumeMounts:
       - mountPath: "/mnt/azure"
         name: volume
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: ultra-disk 2

   1

   指定启用巨型磁盘的机器集标签。此流程使用 disk.ulssd 用于这个值。

   2

   这个 pod 引用了 ultra-disk PVC。

验证

1. 运行以下命令验证机器是否已创建：

   $ oc get machines

   机器应处于 Running 状态。

2. 对于正在运行并附加节点的机器，请运行以下命令验证分区：

   $ oc debug node/<node-name> -- chroot /host lsblk

   在这个命令中，oc debug node/<node-name> 会在节点 <node-name> 上启动一个 debugging shell，并传递一个带有 -- 的命令。传递的命令 chroot /host 提供对底层主机操作系统二进制文件的访问，lsblk 显示连接至主机操作系统计算机的块设备。

流程

1. 将对象定义保存到文件中。

   cinder-persistentvolume.yaml

   apiVersion: "v1"
   kind: "PersistentVolume"
   metadata:
     name: "pv0001" 1
   spec:
     capacity:
       storage: "5Gi" 2
     accessModes:
       - "ReadWriteOnce"
     cinder: 3
       fsType: "ext3" 4
       volumeID: "f37a03aa-6212-4c62-a805-9ce139fab180" 5

   1

   持久性卷声明或 Pod 使用的卷名称。

   2

   为这个卷分配的存储量。

   3

   为 Red Hat OpenStack Platform（RHOSP）Cinder 卷指定 cinder。

   4

   当这个卷被第一次挂载时，文件系统会被创建。

   5

   要使用的 Cinder 卷。

   重要

   在卷被格式化并置备后，不要更改 fstype 参数的值。更改此值可能会导致数据丢失和 pod 失败。

2. 创建在上一步中保存的对象定义文件。

   $ oc create -f cinder-persistentvolume.yaml

流程

1. 创建一个服务帐户并将其添加到 SCC：

   $ oc create serviceaccount <service_account>

   $ oc adm policy add-scc-to-user <new_scc> -z <service_account> -n <project>

2. 在应用程序的部署配置中，提供服务帐户名称和 securityContext：

   apiVersion: v1
   kind: ReplicationController
   metadata:
     name: frontend-1
   spec:
     replicas: 1  1
     selector:    2
       name: frontend
     template:    3
       metadata:
         labels:  4
           name: frontend 5
       spec:
         containers:
         - image: openshift/hello-openshift
           name: helloworld
           ports:
           - containerPort: 8080
             protocol: TCP
         restartPolicy: Always
         serviceAccountName: <service_account> 6
         securityContext:
           fsGroup: 7777 7

   1

   要运行的 pod 的副本数。

   2

   要运行的 pod 的标签选择器。

   3

   控制器创建的 pod 模板。

   4

   pod 上的标签。它们必须包含标签选择器中的标签。

   5

   扩展任何参数后的最大名称长度为 63 个字符。

   6

   指定您创建的服务帐户。

   7

   为 pod 指定 fsGroup。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在接下来的页面中定义所需选项。

   1. 选择 thin 存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式来决定所创建存储声明的读写访问权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程 (CLI)

1. 您可以通过创建一个包含以下内容的 pvc.yaml 文件来定义 VMware vSphere PersistentVolumeClaim：

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc 1
   spec:
     accessModes:
     - ReadWriteOnce 2
     resources:
       requests:
         storage: 1Gi 3

   1

   代表持久性卷声明的唯一名称。

   2

   持久性卷声明的访问模式。使用 ReadWriteOnce 时，单个节点可以通过读写权限挂载该卷。

   3

   持久性卷声明的大小。

2. 输入以下命令从文件创建 PersistentVolumeClaim 对象：

   $ oc create -f pvc.yaml

流程

1. 创建 openshift-local-storage 项目：

   $ oc adm new-project openshift-local-storage

2. 可选：允许在基础架构节点上创建本地存储。

   您可能希望使用 Local Storage Operator 在基础架构节点上创建卷来支持一些组件，如日志记录和监控。

   您必须调整默认节点选择器，以便 Local Storage Operator 包含基础架构节点，而不只是 worker 节点。

   要阻止 Local Storage Operator 继承集群范围的默认选择器，请输入以下命令：

   $ oc annotate namespace openshift-local-storage openshift.io/node-selector=''

3. 可选：允许在单节点部署中的 CPU 管理池中运行本地存储。

   在单节点部署中使用 Local Storage Operator，并允许使用属于 management 池的 CPU。在使用管理工作负载分区的单节点安装上执行这个步骤。

   要允许 Local Storage Operator 在管理 CPU 池上运行，请运行以下命令：

   $ oc annotate namespace openshift-local-storage workload.openshift.io/allowed='management'

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 导航至 Operators → OperatorHub。
3. 在过滤器框中键入 Local Storage 以查找 Local Storage Operator。
4. 点击 Install。
5. 在 Install Operator 页面中，选择 A specific namespace on the cluster。从下拉菜单中选择 openshift-local-storage。
6. 将 Update Channel 和 Approval Strategy 的值调整为所需的值。
7. 点击 Install。

使用 CLI

1. 通过 CLI 安装 Local Storage Operator。

   1. 创建对象 YAML 文件，以定义 Local Storage Operator 的 Operator 组和订阅，如 openshift-local-storage.yaml:

      openshift-local-storage.yaml 示例

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: local-operator-group
        namespace: openshift-local-storage
      spec:
        targetNamespaces:
          - openshift-local-storage
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: local-storage-operator
        namespace: openshift-local-storage
      spec:
        channel: stable
        installPlanApproval: Automatic 1
        name: local-storage-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

      1

      安装计划的用户批准策略。

2. 输入以下命令来创建 Local Storage Operator 对象：

   $ oc apply -f openshift-local-storage.yaml

   在此阶段，Operator Lifecycle Manager (OLM) 已可以了解 Local Storage Operator。Operator 的 ClusterServiceVersion (CSV) 应出现在目标命名空间中，由 Operator 提供的 API 应可用于创建。

3. 通过检查是否创建了所有 pod 和 Local Storage Operator 来验证本地存储安装：

   1. 检查是否已创建所有必需的 pod:

      $ oc -n openshift-local-storage get pods

      输出示例

      NAME                                      READY   STATUS    RESTARTS   AGE
      local-storage-operator-746bf599c9-vlt5t   1/1     Running   0          19m

   2. 检查 ClusterServiceVersion (CSV) YAML 清单，查看 openshift-local-storage 项目中是否有 Local Storage Operator:

      $ oc get csvs -n openshift-local-storage

      输出示例

      NAME                                         DISPLAY         VERSION               REPLACES   PHASE
      local-storage-operator.4.2.26-202003230335   Local Storage   4.2.26-202003230335              Succeeded

流程

1. 创建本地卷资源。此资源必须定义本地卷的节点和路径。

   注意

   不要在同一设备中使用不同的存储类名称。这样做可创建多个持久性卷 (PV)。

   例如：Filesystem

   apiVersion: "local.storage.openshift.io/v1"
   kind: "LocalVolume"
   metadata:
     name: "local-disks"
     namespace: "openshift-local-storage" 1
   spec:
     nodeSelector: 2
       nodeSelectorTerms:
       - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - ip-10-0-140-183
             - ip-10-0-158-139
             - ip-10-0-164-33
     storageClassDevices:
       - storageClassName: "local-sc" 3
         volumeMode: Filesystem 4
         fsType: xfs 5
         devicePaths: 6
           - /path/to/device 7

   1

   安装了 Local Storage Operator 的命名空间。

   2

   可选：包含附加了本地存储卷的节点列表的节点选择器。本例使用从 oc get node 获取的节点主机名。如果没有定义值，则 Local Storage Operator 会尝试在所有可用节点上查找匹配的磁盘。

   3

   创建持久性卷对象时使用的存储类的名称。如果不存在，Local Storage Operator 会自动创建存储类。确保使用唯一标识此本地卷的存储类。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   注意

   原始块卷 (volumeMode: Block) 不会被格式化为文件系统。仅在 pod 上运行的任何应用程序都可以使用原始块设备时使用此模式。

   5

   第一次挂载本地卷时所创建的文件系统。

   6

   包含要从中选择的本地存储设备列表的路径。

   7

   使用到 LocalVolume 资源 by-id 的实际本地磁盘文件路径（如 /dev/disk/by-id/wwn）替换这个值。当置备程序已被成功部署时，会为这些本地磁盘创建 PV。

   注意

   如果使用 RHEL KVM 运行 OpenShift Container Platform，则必须为虚拟机磁盘分配序列号。否则，重启后无法识别虚拟机磁盘。您可以使用 virsh edit <VM> 命令添加 <serial>mydisk</serial> 定义。

   例如：Block

   apiVersion: "local.storage.openshift.io/v1"
   kind: "LocalVolume"
   metadata:
     name: "local-disks"
     namespace: "openshift-local-storage" 1
   spec:
     nodeSelector: 2
       nodeSelectorTerms:
       - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - ip-10-0-136-143
             - ip-10-0-140-255
             - ip-10-0-144-180
     storageClassDevices:
       - storageClassName: "local-sc" 3
         volumeMode: Block 4
         devicePaths: 5
           - /path/to/device 6

   1

   安装了 Local Storage Operator 的命名空间。

   2

   可选：包含附加了本地存储卷的节点列表的节点选择器。本例使用从 oc get node 获取的节点主机名。如果没有定义值，则 Local Storage Operator 会尝试在所有可用节点上查找匹配的磁盘。

   3

   创建持久性卷对象时使用的存储类的名称。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   5

   包含要从中选择的本地存储设备列表的路径。

   6

   使用到 LocalVolume 资源 by-id 的实际本地磁盘文件路径（如 dev/disk/by-id/wwn）替换这个值。当置备程序已被成功部署时，会为这些本地磁盘创建 PV。

   注意

   如果使用 RHEL KVM 运行 OpenShift Container Platform，则必须为虚拟机磁盘分配序列号。否则，重启后无法识别虚拟机磁盘。您可以使用 virsh edit <VM> 命令添加 <serial>mydisk</serial> 定义。

2. 在 OpenShift Container Platform 集群中创建本地卷资源。指定您刚才创建的文件：

   $ oc create -f <local-volume>.yaml

3. 验证置备程序是否已创建并创建了相应的守护进程集：

   $ oc get all -n openshift-local-storage

   输出示例

   NAME                                          READY   STATUS    RESTARTS   AGE
   pod/diskmaker-manager-9wzms                   1/1     Running   0          5m43s
   pod/diskmaker-manager-jgvjp                   1/1     Running   0          5m43s
   pod/diskmaker-manager-tbdsj                   1/1     Running   0          5m43s
   pod/local-storage-operator-7db4bd9f79-t6k87   1/1     Running   0          14m
   
   NAME                                     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
   service/local-storage-operator-metrics   ClusterIP   172.30.135.36   <none>        8383/TCP,8686/TCP   14m
   
   NAME                               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/diskmaker-manager   3         3         3       3            3           <none>          5m43s
   
   NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/local-storage-operator   1/1     1            1           14m
   
   NAME                                                DESIRED   CURRENT   READY   AGE
   replicaset.apps/local-storage-operator-7db4bd9f79   1         1         1       14m

   注意所需和当前的守护进程设定进程数。所需的数量为 0 表示标签选择器无效。

4. 验证持久性卷是否已创建：

   $ oc get pv

   输出示例

   NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
   local-pv-1cec77cf   100Gi      RWO            Delete           Available           local-sc                88m
   local-pv-2ef7cd2a   100Gi      RWO            Delete           Available           local-sc                82m
   local-pv-3fa1c73    100Gi      RWO            Delete           Available           local-sc                48m

流程

1. 定义 PV。使用 PersistentVolume 对象定义创建一个文件，如 example-pv-filesystem.yaml 或 example-pv-block.yaml。此资源必须定义本地卷的节点和路径。

   注意

   不要在同一设备中使用不同的存储类名称。这将会创建多个 PV。

   example-pv-filesystem.yaml

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: example-pv-filesystem
   spec:
     capacity:
       storage: 100Gi
     volumeMode: Filesystem 1
     accessModes:
     - ReadWriteOnce
     persistentVolumeReclaimPolicy: Delete
     storageClassName: local-sc 2
     local:
       path: /dev/xvdf 3
     nodeAffinity:
       required:
         nodeSelectorTerms:
         - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - example-node

   1

   定义 PV 类型的卷模式，可以是 Filesystem 或 Block。

   2

   创建 PV 资源时使用的存储类的名称。使用唯一标识此 PV 的存储类。

   3

   包含要从中选择的本地存储设备列表的路径，或一个目录。您只能指定 Filesystem volumeMode 的目录。

   注意

   原始块卷（volumeMode: block）不能以文件系统格式化。仅在 pod 上运行的任何应用程序都可以使用原始块设备时使用此模式。

   example-pv-block.yaml

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: example-pv-block
   spec:
     capacity:
       storage: 100Gi
     volumeMode: Block 1
     accessModes:
     - ReadWriteOnce
     persistentVolumeReclaimPolicy: Delete
     storageClassName: local-sc 2
     local:
       path: /dev/xvdf 3
     nodeAffinity:
       required:
         nodeSelectorTerms:
         - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - example-node

   1

   定义 PV 类型的卷模式，可以是 Filesystem 或 Block。

   2

   创建 PV 资源时使用的存储类的名称。确保使用唯一标识此 PV 的存储类。

   3

   包含要从中选择的本地存储设备列表的路径。

2. 在 OpenShift Container Platform 集群中创建 PV 资源。指定您刚才创建的文件：

   $ oc create -f <example-pv>.yaml

3. 验证是否已创建本地 PV：

   $ oc get pv

   输出示例

   NAME                    CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM                STORAGECLASS    REASON   AGE
   example-pv-filesystem   100Gi      RWO            Delete           Available                        local-sc            3m47s
   example-pv1             1Gi        RWO            Delete           Bound       local-storage/pvc1   local-sc            12h
   example-pv2             1Gi        RWO            Delete           Bound       local-storage/pvc2   local-sc            12h
   example-pv3             1Gi        RWO            Delete           Bound       local-storage/pvc3   local-sc            12h

流程

1. 使用对应的存储类创建 PVC:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: local-pvc-name 1
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Filesystem 2
     resources:
       requests:
         storage: 100Gi 3
     storageClassName: local-sc 4

   1

   PVC 的名称。

   2

   PVC 的类型。默认为 Filesystem。

   3

   PVC 可用的存储量。

   4

   声明所需的存储类的名称。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建 PVC：

   $ oc create -f <local-pvc>.yaml

流程

1. 在资源规格中包含定义的声明。以下示例在 pod 中声明持久性卷声明：

   apiVersion: v1
   kind: Pod
   spec:
   # ...
     containers:
       volumeMounts:
       - name: local-disks 1
         mountPath: /data 2
     volumes:
     - name: local-disks
       persistentVolumeClaim:
         claimName: local-pvc-name 3
   # ...

   1

   要挂载的卷的名称。

   2

   卷在 pod 中的挂载路径。不要挂载到容器 root、/ 或主机和容器中相同的任何路径。如果容器有足够权限，可能会损坏您的主机系统（如主机的 /dev/pts 文件）。使用 /host 挂载主机是安全的。

   3

   要使用的现有持久性卷声明的名称。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建资源：

   $ oc create -f <local-pod>.yaml

流程

1. 通过 web 控制台启用本地设备的自动发现：

   1. 点 Operators → Installed Operators。
   2. 在 openshift-local-storage 命名空间中，点 Local Storage。
   3. 点 Local Volume Discovery 选项卡。
   4. 点 Create Local Volume Discovery，然后选择 Form view 或 YAML view。
   5. 配置 LocalVolumeDiscovery 对象参数。

   6. 点 Create。

      Local Storage Operator 创建名为 auto-discover-devices 的本地卷发现实例。

2. 显示节点上持续可用的设备列表：

   1. 登陆到 OpenShift Container Platform Web 控制台。
   2. 进入 Compute → Nodes。
   3. 点要打开的节点名称。此时会显示 "Node Details" 页面。

   4. 选择 Disks 标签显示所选设备的列表。

      在添加或删除本地磁盘时，设备列表会持续更新。您可以根据名称、状态、类型、型号、容量和模式过滤设备。

3. 从 web 控制台为发现的设备自动置备本地卷：

   1. 导航到 Operators → Installed Operators，再从 Operators 列表中选择 Local Storage。
   2. 选择 Local Volume Set → Create Local Volume Set。
   3. 输入卷集合名称和存储类名称。

   4. 选择 All nodes 或 Select nodes 以相应地应用过滤器。

      注意

      无论是使用 All nodes 或 Select nodes 进行过滤，只有 worker 节点可用。

   5. 选择您要应用到本地卷集的磁盘类型、模式、大小和限制，然后点 Create。

      几分钟后会显示一条信息，表示 "Operator reconciled successfullyd successfully."

4. 另外，也可通过 CLI 为发现的设备置备本地卷：

   1. 创建一个对象 YAML 文件来定义本地卷集，如 local-volume-set.yaml，如下例所示：

      apiVersion: local.storage.openshift.io/v1alpha1
      kind: LocalVolumeSet
      metadata:
        name: example-autodetect
      spec:
        nodeSelector:
          nodeSelectorTerms:
            - matchExpressions:
                - key: kubernetes.io/hostname
                  operator: In
                  values:
                    - worker-0
                    - worker-1
        storageClassName: local-sc 1
        volumeMode: Filesystem
        fsType: ext4
        maxDeviceCount: 10
        deviceInclusionSpec:
          deviceTypes: 2
            - disk
            - part
          deviceMechanicalProperties:
            - NonRotational
          minSize: 10G
          maxSize: 100G
          models:
            - SAMSUNG
            - Crucial_CT525MX3
          vendors:
            - ATA
            - ST2000LM

      1

      决定为从发现的设备置备的持久性卷创建的存储类。如果不存在，Local Storage Operator 会自动创建存储类。确保使用唯一标识此本地卷的存储类。

      2

      当使用本地卷设置功能时，Local Storage Operator 不支持使用逻辑卷管理（LVM）设备。

   2. 创建本地卷集对象：

      $ oc apply -f local-volume-set.yaml

   3. 根据存储类验证本地持久性卷是否被动态置备：

      $ oc get pv

      输出示例

      NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
      local-pv-1cec77cf   100Gi      RWO            Delete           Available           local-sc                88m
      local-pv-2ef7cd2a   100Gi      RWO            Delete           Available           local-sc                82m
      local-pv-3fa1c73    100Gi      RWO            Delete           Available           local-sc                48m

1. 修改定义 Pod 的 YAML 文件并添加 LocalVolume 规格,如下例所示：

     apiVersion: "local.storage.openshift.io/v1"
     kind: "LocalVolume"
     metadata:
       name: "local-disks"
       namespace: "openshift-local-storage"
     spec:
       tolerations:
         - key: localstorage 1
           operator: Equal 2
           value: "localstorage" 3
       storageClassDevices:
           - storageClassName: "local-sc"
             volumeMode: Block 4
             devicePaths: 5
               - /dev/xvdg

   1

   指定添加到节点的键。

   2

   指定 Equal 运算符，以要求 key/value 参数匹配。如果运算符是 Exists，系统会检查键是否存在并忽略它的值。如果运算符是 Equal，则键和值必须匹配。

   3

   指定污点节点的 local 值。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   5

   包含要从中选择的本地存储设备列表的路径。

2. 可选： 要只在污点节点上创建本地持久性卷，修改 YAML 文件并添加 LocalVolume spec，如下例所示：

   spec:
     tolerations:
       - key: node-role.kubernetes.io/master
         operator: Exists

流程

1. 定义持久性卷（PV）的名称。创建包含 PersistentVolume 对象定义的 pv.yaml 文件：

     apiVersion: v1
     kind: PersistentVolume
     metadata:
       name: task-pv-volume 1
       labels:
         type: local
     spec:
       storageClassName: manual 2
       capacity:
         storage: 5Gi
       accessModes:
         - ReadWriteOnce 3
       persistentVolumeReclaimPolicy: Retain
       hostPath:
         path: "/mnt/data" 4

   1

   卷的名称。持久性卷声明或 pod 识别它的名称。

   2

   用于将持久性卷声明请求绑定到这个持久性卷。

   3

   这个卷可以被一个单一的节点以 read-write 的形式挂载。

   4

   配置文件指定卷在集群节点的 /mnt/data 中。不要挂载到容器 root、/ 或主机和容器中相同的任何路径。这可能会导致您的主机系统损坏。使用 /host 挂载主机是安全的。

2. 从该文件创建 PV：

   $ oc create -f pv.yaml

3. 定义持久性卷声明（PVC）。创建包含 PersistentVolumeClaim 对象定义的 pvc.yaml 文件：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: task-pvc-volume
   spec:
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 1Gi
     storageClassName: manual

4. 从文件创建 PVC：

   $ oc create -f pvc.yaml

1. 理论大小。
2. 测试大小。

流程

1. 在 OpenShift Container Platform Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

2. 点 LVM Storage，然后点 LVMCluster 下的Create LVMCluster。
3. 在 Create LVMCluster 页面中，选择 Form view 或 YAML view。
4. 为集群输入一个名称。
5. 点 Create。

6. 可选： 要添加节点过滤器，请点 YAML 视图 并在 nodeSelector 部分指定过滤器：

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
   spec:
     storage:
       deviceClasses:
         - name: vg1
           thinPoolConfig:
             name: thin-pool-1
             sizePercent: 90
             overprovisionRatio: 10
           nodeSelector:
             nodeSelectorTerms:
               - matchExpressions:
                 - key: app
                   operator: In
                   values:
                   - test1

7. 可选： 要编辑磁盘的本地设备路径，请点 YAML 视图 并在 deviceSelector 部分中指定设备路径：

   spec:
     storage:
       deviceClasses:
         - name: vg1
           deviceSelector:
             paths:
             - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
             - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
           thinPoolConfig:
             name: thin-pool-1
             sizePercent: 90
             overprovisionRatio: 10

验证步骤

1. 从 OpenShift Container Platform Web 控制台左侧窗格中，点 Storage → Storage Classes。
2. 验证 lvms-<device-class-name> 存储类是否已创建 LVMCluster。默认情况下，vg1 是 device-class-name。

流程

1. 识别部署 LVM 存储时创建的 StorageClass。

   StorageClass 名称格式为 lvms-<device-class-name>。device-class-name 是您在 Policy YAML 的 LVMCluster 中提供的设备名称。例如，如果 deviceClass 名为 vg1，则 storageClass 名称为 lvms-vg1。

   存储类的 volumeBindingMode 设置为 WaitForFirstConsumer。

2. 要创建需要存储的 PVC，请使用名称（如 pvc.yaml ）将以下 YAML 保存到文件中。

   创建 PVC 的 YAML 示例

   # block pvc
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: lvm-block-1
     namespace: default
   spec:
     accessModes:
       - ReadWriteOnce
     volumeMode: Block
     resources:
       requests:
         storage: 10Gi
     storageClassName: lvms-vg1
   ---
   # file pvc
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: lvm-file-1
     namespace: default
   spec:
     accessModes:
       - ReadWriteOnce
     volumeMode: Filesystem
     resources:
       requests:
         storage: 10Gi
     storageClassName: lvms-vg1

3. 运行以下命令来创建 PVC：

   # oc create -f pvc.yaml -ns <application_namespace>

   在部署使用它的 pod 之前，创建的 PVC 处于待处理状态。

流程

1. 备份您要在持久性卷声明 (PVC) 中保留的任何数据。
2. 删除 OpenShift Data Foundation Logical Volume Manager Operator 及其 pod 置备的所有 PVC。
3. 在 OpenShift Container Platform 4.12 上重新安装 LVM Storage。
4. 重新创建工作负载。
5. 将升级到 4.12 后将备份数据复制到创建的 PVC。

流程

1. 运行以下命令来检索 PVC 列表：

   $ oc get pvc

   输出示例

   NAME        STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   lvms-test   Pending                                      lvms-vg1       11s

2. 运行以下命令，检查与 PVC 关联的事件处于 Pending 状态：

   $ oc describe pvc <pvc_name> 1

   1

   将 <pvc_name> 替换为 PVC 的名称。例如：lvms-vg1。

   输出示例

   Type     Reason              Age               From                         Message
   ----     ------              ----              ----                         -------
   Warning  ProvisioningFailed  4s (x2 over 17s)  persistentvolume-controller  storageclass.storage.k8s.io "lvms-vg1" not found

流程

1. 运行以下命令，验证 LVMCluster 资源是否存在：

   $ oc get lvmcluster -n openshift-storage

   输出示例

   NAME            AGE
   my-lvmcluster   65m

2. 如果集群没有 LVMCluster 资源，请运行以下命令创建一个：

   $ oc create -n openshift-storage -f <custom_resource> 1

   1

   将 <custom_resource> 替换为根据您的要求量身定制的自定义资源 URL 或文件。

   自定义资源示例

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
   spec:
     storage:
       deviceClasses:
       - name: vg1
         default: true
         thinPoolConfig:
           name: thin-pool-1
           sizePercent: 90
           overprovisionRatio: 10

3. 运行以下命令，检查 LVMS 中的所有 pod 是否处于 openshift-storage 命名空间中的 Running 状态：

   $ oc get pods -n openshift-storage

   输出示例

   NAME                                  READY   STATUS    RESTARTS      AGE
   lvms-operator-7b9fb858cb-6nsml        3/3     Running   0             70m
   topolvm-controller-5dd9cf78b5-7wwr2   5/5     Running   0             66m
   topolvm-node-dr26h                    4/4     Running   0             66m
   vg-manager-r6zdv                      1/1     Running   0             66m

   预期的输出是 lvms-operator 和 vg-manager 的一个运行实例。每个节点预期有一个 topolvm-controller 和 topolvm-node 实例。

   如果 topolvm-node 一直处于 Init 状态，则无法找到 LVMS 要使用的可用磁盘。要检索故障排除所需的信息，请运行以下命令来查看 vg-manager pod 的日志：

   $ oc logs -l app.kubernetes.io/component=vg-manager -n openshift-storage

流程

1. 运行以下命令，检查与 PVC 关联的事件：

   $ oc describe pvc <pvc_name> 1

   1

   将 <pvc_name> 替换为 PVC 的名称。以下是磁盘或卷失败错误消息的一些示例及其原因：

   • Failed to check volume existence: 代表在验证卷是否已存在时出现问题。卷验证失败可能是由网络连接问题或其他故障造成的。
   • Failed to bind volume: 如果可用持久性卷 (PV) 与 PVC 的要求不匹配，则无法绑定卷。
   • FailedMount or FailedUnMount: 这个错误表示试图将卷挂载到节点或从节点卸载卷时出现问题。如果磁盘失败，pod 尝试使用 PVC 时可能会出现这个错误。
   • Volume is already exclusively attached to one node and can’t be attached to another: 这个错误可能会出现不支持 ReadWriteMany 访问模式的存储解决方案。

2. 建立到发生问题的主机的直接连接。
3. 解决磁盘问题。

先决条件

1. 已删除使用逻辑卷管理器存储 (LVMS) 驱动程序创建的所有持久性卷声明 (PVC)。
2. 使用这些 PVC 的 pod 已停止。

流程

1. 运行以下命令切换到 openshift-storage 命名空间：

   $ oc project openshift-storage

2. 运行以下命令，确保没有剩余的 Logical Volume 自定义资源 (CR)：

   $ oc get logicalvolume

   输出示例

   No resources found

   1. 如果还有任何 LogicalVolume CR，请运行以下命令删除其终结器：

      $ oc patch logicalvolume <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1

      1

      将 <name> 替换为 CR 的名称。

   2. 删除其终结器后，运行以下命令来删除 CR：

      $ oc delete logicalvolume <name> 1

      1

      将 <name> 替换为 CR 的名称。

3. 运行以下命令，确保没有 LVMVolumeGroup CR：

   $ oc get lvmvolumegroup

   输出示例

   No resources found

   1. 如果才存在任何 LVMVolumeGroup CR ，请运行以下命令删除其终结器：

      $ oc patch lvmvolumegroup <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1

      1

      将 <name> 替换为 CR 的名称。

   2. 删除其终结器后，运行以下命令来删除 CR：

      $ oc delete lvmvolumegroup <name> 1

      1

      将 <name> 替换为 CR 的名称。

4. 运行以下命令来删除所有 LVMVolumeGroupNodeStatus CR：

   $ oc delete lvmvolumegroupnodestatus --all

5. 运行以下命令来删除 LVMCluster CR：

   $ oc delete lvmcluster --all

1. 登录到 web 控制台。

2. 安装 AWS EFS CSI Operator：

   1. 点 Operators → OperatorHub。
   2. 通过在过滤框中键入 AWS EFS CSI 来找到 AWS EFS CSI Operator。

   3. 点 AWS EFS CSI Driver Operator 按钮。

      重要

      确保选择 AWS EFS CSI Driver Operator，而不是 AWS EFS Operator。AWS EFS Operator 是一个社区 Operator，不受红帽支持。

   4. 在 AWS EFS CSI Driver Operator 页面中，点 Install。

   5. 在 Install Operator 页面中，确保：

      • 选择 All namespaces on the cluster (default)。
      • 安装的命名空间 被设置为 openshift-cluster-csi-drivers。

   6. 点 Install。

      安装完成后，AWS EFS CSI Operator 会在 web 控制台的 Installed Operators 部分列出。

1. 从 OpenShift Container Platform 发行镜像中提取 CCO 实用程序(ccoctl)二进制文件，该镜像用于使用 STS 安装集群。如需更多信息，请参阅"配置 Cloud Credential Operator 工具程序"。

2. 创建并保存 EFS CredentialsRequest YAML 文件，如以下示例所示，然后将其放在 credrequests 目录中：

   示例

   apiVersion: cloudcredential.openshift.io/v1
   kind: CredentialsRequest
   metadata:
     name: openshift-aws-efs-csi-driver
     namespace: openshift-cloud-credential-operator
   spec:
     providerSpec:
       apiVersion: cloudcredential.openshift.io/v1
       kind: AWSProviderSpec
       statementEntries:
       - action:
         - elasticfilesystem:*
         effect: Allow
         resource: '*'
     secretRef:
       name: aws-efs-cloud-credentials
       namespace: openshift-cluster-csi-drivers
     serviceAccountNames:
     - aws-efs-csi-driver-operator
     - aws-efs-csi-driver-controller-sa

3. 运行 ccoctl 工具在 AWS 中生成新的 IAM 角色，并在本地文件系统中创建一个 YAML 文件(<path_to_ccoctl_output_dir>/manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml)。

   $ ccoctl aws create-iam-roles --name=<name> --region=<aws_region> --credentials-requests-dir=<path_to_directory_with_list_of_credentials_requests>/credrequests --identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com

   • name=<name> 是用于标记为跟踪而创建的云资源的名称。
   • region=<aws_region > 是创建云资源的 AWS 区域。
   • dir=<path_to_directory_with_list_of_credentials_requests>/credrequests 是包含上一步中 EFS CredentialsRequest 文件的目录。

   • <aws_account_id> 是 AWS 帐户 ID。

     示例

     $ ccoctl aws create-iam-roles --name my-aws-efs --credentials-requests-dir credrequests --identity-provider-arn arn:aws:iam::123456789012:oidc-provider/my-aws-efs-oidc.s3.us-east-2.amazonaws.com

     输出示例

     2022/03/21 06:24:44 Role arn:aws:iam::123456789012:role/my-aws-efs -openshift-cluster-csi-drivers-aws-efs-cloud- created
     2022/03/21 06:24:44 Saved credentials configuration to: /manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml
     2022/03/21 06:24:45 Updated Role policy for Role my-aws-efs-openshift-cluster-csi-drivers-aws-efs-cloud-

4. 创建 AWS EFS 云凭证和 secret：

   $ oc create -f <path_to_ccoctl_output_dir>/manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml

   示例

   $ oc create -f /manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml

   输出示例

   secret/aws-efs-cloud-credentials created

流程

1. 点 Administration → CustomResourceDefinitions → ClusterCSIDriver。
2. 在 Instances 选项卡上，单击 Create ClusterCSIDriver。

3. 使用以下 YAML 文件：

   apiVersion: operator.openshift.io/v1
   kind: ClusterCSIDriver
   metadata:
       name: efs.csi.aws.com
   spec:
     managementState: Managed

4. 点 Create。

5. 等待以下 Conditions 更改为 "True" 状态：

   • AWSEFSDriverNodeServiceControllerAvailable
   • AWSEFSDriverControllerServiceControllerAvailable