4.12. 使用本地存储的持久性存储

1. 任何解决方案(LVM 存储、LSO 和 HPP)都不支持对象存储。因此，如果要使用对象存储，则需要 S3 对象存储解决方案，如 Red Hat OpenShift Data Foundation 中的 MultiClusterGateway。所有解决方案都可以充当 S3 对象存储解决方案的底层存储供应商。

1. 隔离边界指的是使用本地存储资源的不同工作负载或应用程序之间的隔离程度。

1. 所有解决方案 (LVM 存储、LSO 和 HPP) 都有 ReadWriteOnce (RWO) 访问模式。RWO 访问模式允许从同一节点上的多个 pod 访问。

流程

1. 编辑之前创建的本地卷以删除所有不需要的磁盘。

   1. 编辑集群资源：

      $ oc edit localvolume <name> -n openshift-local-storage

   2. 找到 devicePaths 下的行，删除所有代表不需要的磁盘的行。

2. 删除所有创建的持久性卷。

   $ oc delete pv <pv-name>

3. 删除目录并包含节点上的符号链接。

   警告

   以下步骤涉及以 root 用户身份访问节点。如果在本流程中步骤范围以外修改节点状态，则可能会导致集群不稳定。

   $ oc debug node/<node-name> -- chroot /host rm -rf /mnt/local-storage/<sc-name> 1

   1

   用于创建本地卷的存储类的名称。

流程

1. 删除项目中安装的任何本地卷资源，如 localvolume、localvolumeset 和 localvolumediscovery:

   $ oc delete localvolume --all --all-namespaces
   $ oc delete localvolumeset --all --all-namespaces
   $ oc delete localvolumediscovery --all --all-namespaces

2. 从 Web 控制台卸载 Local Storage Operator。

   1. 登陆到 OpenShift Container Platform Web 控制台。
   2. 导航到 Operators Installed Operators。
   3. 在过滤器框中键入 Local Storage 以查找 Local Storage Operator。
   4. 点击 Local Storage Operator 末尾的 Options 菜单 。
   5. 点击 Uninstall Operator。
   6. 在出现的窗口中点击 Remove。

3. 由 Local Storage Operator 创建的 PV 将保留在集群中，直到被删除为止。这些卷不再使用后，运行以下命令删除它们：

   $ oc delete pv <pv-name>

4. 删除 openshift-local-storage 项目：

   $ oc delete project openshift-local-storage

流程

1. 使用用于创建命名空间的配置创建 YAML 文件：

   创建命名空间的 YAML 配置示例

   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       openshift.io/cluster-monitoring: "true"
       pod-security.kubernetes.io/enforce: privileged
       pod-security.kubernetes.io/audit: privileged
       pod-security.kubernetes.io/warn: privileged
     name: openshift-storage

2. 运行以下命令创建命名空间：

   $ oc create -f <file_name>

3. 创建 OperatorGroup CR YAML 文件：

   OperatorGroup CR 示例

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: openshift-storage-operatorgroup
     namespace: openshift-storage
   spec:
     targetNamespaces:
     - openshift-storage

4. 运行以下命令来创建 OperatorGroup CR:

   $ oc create -f <file_name>

5. 创建 Subscription CR YAML 文件：

   Subscription CR 示例

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: lvms
     namespace: openshift-storage
   spec:
     installPlanApproval: Automatic
     name: lvms-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace

6. 运行以下命令来创建 Subscription CR：

   $ oc create -f <file_name>

验证

1. 要验证 LVM 存储是否已安装，请运行以下命令：

   $ oc get csv -n openshift-storage -o custom-columns=Name:.metadata.name,Phase:.status.phase

   输出示例

   Name                         Phase
   4.13.0-202301261535          Succeeded

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 点 Operators OperatorHub。
3. 点 OperatorHub 页面中的 LVM Storage。

4. 在 Operator 安装页面中设置以下选项 ：

   1. 更新频道为 stable-4.16。
   2. Installation Mode 为 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果 openshift-storage 命名空间不存在，它会在 Operator 安装过程中创建。

   4. 将 Update approval 设置为 Automatic 或 Manual。

      注意

      如果选择 Automatic 更新，Operator Lifecycle Manager (OLM) 将自动更新 LVM Storage 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准更新请求，以便将 LVM 存储更新至更新的版本。

5. 可选：选择 Enable Operator recommended cluster monitoring on this Namespace 复选框。
6. 点 Install。

流程

1. 按照"创建镜像设置配置"中的步骤操作。要为 LVM Storage 创建 ImageSetConfiguration 自定义资源 (CR)，您可以使用以下示例 ImageSetConfiguration CR 配置：

   LVM 存储的 ImageSetConfiguration CR 示例

   kind: ImageSetConfiguration
   apiVersion: mirror.openshift.io/v1alpha2
   archiveSize: 4 1
   storageConfig: 2
     registry:
       imageURL: example.com/mirror/oc-mirror-metadata 3
       skipTLS: false
   mirror:
     platform:
       channels:
       - name: stable-4.16 4
         type: ocp
       graph: true 5
     operators:
     - catalog: registry.redhat.io/redhat/redhat-operator-index:v4.16 6
       packages:
       - name: lvms-operator 7
         channels:
         - name: stable 8
     additionalImages:
     - name: registry.redhat.io/ubi9/ubi:latest 9
     helm: {}

   1

   设置镜像集合中每个文件的最大大小（以 GiB 为单位）。

   2

   指定要保存镜像集的位置。此位置可以是 registry 或本地目录。除非使用技术预览 OCI 功能，否则您必须配置 storageConfig 字段。

   3

   在使用 registry 时指定镜像流的存储 URL。如需更多信息，请参阅为什么使用镜像流。

   4

   指定您要从中检索 OpenShift Container Platform 镜像的频道。

   5

   将此字段设置为 true 来生成 OpenShift Update Service (OSUS) 图形镜像。如需更多信息，请参阅关于 OpenShift Update Service。

   6

   指定您要从中检索 OpenShift Container Platform 镜像的 Operator 目录。

   7

   指定要包含在镜像集中的 Operator 软件包。如果此字段为空，则检索目录中的所有软件包。

   8

   指定要包含在镜像集中的 Operator 软件包的频道。即使不使用该频道中的捆绑包，还必须包含 Operator 软件包的默认频道。您可以运行以下命令来找到默认频道：$ oc mirror list operators --catalog=<catalog_name> --package=<package_name>.

   9

   指定要在镜像集中包含的任何其他镜像。

2. 按照"镜像 registry"部分中的步骤操作。
3. 按照"配置镜像 registry 存储库镜像"部分中的步骤操作。

流程

1. 使用 OpenShift Container Platform 凭证登录到 RHACM CLI。

2. 创建命名空间。

   $ oc create ns <namespace>

3. 创建 Policy CR YAML 文件：

   用于安装和配置 LVM 存储的 Policy CR 示例

   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-install-lvms
   spec:
     clusterConditions:
     - status: "True"
       type: ManagedClusterConditionAvailable
     clusterSelector: 1
       matchExpressions:
       - key: mykey
         operator: In
         values:
         - myvalue
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-install-lvms
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-install-lvms
   subjects:
   - apiGroup: policy.open-cluster-management.io
     kind: Policy
     name: install-lvms
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     annotations:
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
       policy.open-cluster-management.io/standards: NIST SP 800-53
     name: install-lvms
   spec:
     disabled: false
     remediationAction: enforce
     policy-templates:
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: install-lvms
         spec:
           object-templates:
           - complianceType: musthave
             objectDefinition: 2
               apiVersion: v1
               kind: Namespace
               metadata:
                 labels:
                   openshift.io/cluster-monitoring: "true"
                   pod-security.kubernetes.io/enforce: privileged
                   pod-security.kubernetes.io/audit: privileged
                   pod-security.kubernetes.io/warn: privileged
                 name: openshift-storage
           - complianceType: musthave
             objectDefinition: 3
               apiVersion: operators.coreos.com/v1
               kind: OperatorGroup
               metadata:
                 name: openshift-storage-operatorgroup
                 namespace: openshift-storage
               spec:
                 targetNamespaces:
                 - openshift-storage
           - complianceType: musthave
             objectDefinition: 4
               apiVersion: operators.coreos.com/v1alpha1
               kind: Subscription
               metadata:
                 name: lvms
                 namespace: openshift-storage
               spec:
                 installPlanApproval: Automatic
                 name: lvms-operator
                 source: redhat-operators
                 sourceNamespace: openshift-marketplace
           remediationAction: enforce
           severity: low

   1

   设置 PlacementRule.spec.clusterSelector 中的 key 字段和 values 字段，以匹配您要在其上安装 LVM 存储的集群中配置的标签。

   2

   命名空间配置。

   3

   OperatorGroup CR 配置。

   4

   Subscription CR 配置。

4. 运行以下命令来创建 Policy CR：

   $ oc create -f <file_name> -n <namespace>

   创建 Policy CR 后，会在与 PlacementRule CR 中配置的选择条件匹配的集群中创建以下自定义资源：

   • Namespace
   • OperatorGroup
   • 订阅

流程

1. 打开 LVMCluster CR YAML 文件。

2. 配置 LVMCluster CR 参数，如下例所示：

   LVMCluster CR YAML 文件示例

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
     namespace: openshift-storage
   spec:
   # ...
     storage:
       deviceClasses:
       - name: vg1  1
         fstype: ext4 2
         default: true
         deviceSelector: 3
   # ...
           forceWipeDevicesAndDestroyAllData: false 4
         thinPoolConfig: 5
   # ...
         nodeSelector: 6
   # ...

   1

   将此字段设置为之前 LVM 存储安装的 VG 的名称。

   2

   将此字段设置为 ext4 或 xfs。默认情况下，此字段设置为 xfs。

   3

   您可以通过在 deviceSelector 字段中指定新设备路径，将新设备添加到要重复使用的 VG。如果您不想在 VG 中添加新设备，请确保当前 LVM 存储安装中的 deviceSelector 配置与之前的 LVM 存储安装相同。

   4

   如果此字段设为 true，则 LVM 存储会擦除添加到 VG 的设备中的所有数据。

   5

   要保留您要重复使用的 VG 的 thinPoolConfig 配置，请确保当前 LVM 存储安装中的 thinPoolConfig 配置与之前的 LVM 存储安装相同。否则，您可以根据需要配置 thinPoolConfig 字段。

   6

   配置要求以选择要在其上创建 LVM 卷组的节点。如果此字段为空，则会考虑所有没有调度污点的节点。

3. 保存 LVMCluster CR YAML 文件。

流程

1. 创建 LVMCluster 自定义资源(CR) YAML 文件：

   LVMCluster CR YAML 文件示例

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
     namespace: openshift-storage
   spec:
   # ...
     storage:
       deviceClasses: 1
   # ...
         nodeSelector: 2
   # ...
         deviceSelector: 3
   # ...
         thinPoolConfig: 4
   # ...

   1

   包含将本地存储设备分配给 LVM 卷组的配置。

   2

   包含要在其上创建 LVM 卷组的节点的配置。如果此字段为空，则会考虑所有没有调度污点的节点。

   3

   包含指定您要添加到 LVM 卷组的设备的路径，并强制擦除添加到 LVM 卷组中的设备。

   4

   包含在 LVM 卷组中创建精简池的配置。如果您排除此字段，逻辑卷将被置备。

2. 运行以下命令来创建 LVMCluster CR：

   $ oc create -f <file_name>

   输出示例

   lvmcluster/lvmcluster created

验证

1. 检查 LVMCluster CR 是否处于 Ready 状态：

   $ oc get lvmclusters.lvm.topolvm.io -o jsonpath='{.items[*].status}' -n <namespace>

   输出示例

   {"deviceClassStatuses": 1
   [
     {
       "name": "vg1",
       "nodeStatus": [ 2
           {
               "devices": [ 3
                   "/dev/nvme0n1",
                   "/dev/nvme1n1",
                   "/dev/nvme2n1"
               ],
               "node": "kube-node", 4
               "status": "Ready" 5
           }
       ]
     }
   ]
   "state":"Ready"} 6

   1

   设备类的状态。

   2

   每个节点上的 LVM 卷组状态。

   3

   用于创建 LVM 卷组的设备列表。

   4

   创建设备类的节点。

   5

   节点上的 LVM 卷组状态。

   6

   LVMCluster CR 的状态。

   注意

   如果 LVMCluster CR 处于 Failed 状态，您可以在 status 字段中查看失败的原因。

   带有 failue 原因的 status 字段示例：

   status:
     deviceClassStatuses:
       - name: vg1
         nodeStatus:
           - node: my-node-1.example.com
             reason: no available devices found for volume group
             status: Failed
     state: Failed

2. 可选： 要查看 LVM Storage 为每个设备类创建的存储类，请运行以下命令：

   $ oc get storageclass

   输出示例

   NAME          PROVISIONER          RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   lvms-vg1      topolvm.io           Delete          WaitForFirstConsumer   true                   31m

3. 可选： 要查看 LVM Storage 为每个设备类创建的卷快照类，请运行以下命令：

   $ oc get volumesnapshotclass

   输出示例

   NAME          DRIVER               DELETIONPOLICY   AGE
   lvms-vg1      topolvm.io           Delete           24h

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 点 Operators Installed Operators。
3. 在 openshift-storage 命名空间中，点 LVM Storage。
4. 点 Create LVMCluster 并选择 Form view 或 YAML view。
5. 配置所需的 LVMCluster CR 参数。
6. 点 Create。

7. 可选： 如果要编辑 LVMCLuster CR，请执行以下操作：

   1. 点 LVMCluster 选项卡。
   2. 在 Actions 菜单中，选择 Edit LVMCluster。
   3. 点 YAML 并编辑所需的 LVMCLuster CR 参数。
   4. 点击 Save。

验证

1. 在 LVMCLuster 页面中，检查 LVMCluster CR 是否处于 Ready 状态。
2. 可选： 要查看 LVM Storage 为每个设备类创建的可用存储类，请点 Storage StorageClasses。
3. 可选： 要查看 LVM Storage 为每个设备类创建的可用卷快照类，请点 Storage VolumeSnapshotClasses。

流程

1. 使用 OpenShift Container Platform 凭证登录到 RHACM CLI。

2. 使用配置创建 ConfigurationPolicy CR YAML 文件以创建 LVMCluster CR：

   创建 LVMCluster CR 的 ConfigurationPolicy CR YAML 文件示例

   apiVersion: policy.open-cluster-management.io/v1
   kind: ConfigurationPolicy
   metadata:
     name: lvms
     namespace: openshift-storage
   spec:
     object-templates:
     - complianceType: musthave
       objectDefinition:
         apiVersion: lvm.topolvm.io/v1alpha1
         kind: LVMCluster
         metadata:
           name: my-lvmcluster
           namespace: openshift-storage
         spec:
           storage:
             deviceClasses: 1
   # ...
               deviceSelector: 2
   # ...
               thinPoolConfig: 3
   # ...
               nodeSelector: 4
   # ...
     remediationAction: enforce
     severity: low

   1

   包含将本地存储设备分配给 LVM 卷组的配置。

   2

   包含指定您要添加到 LVM 卷组的设备的路径，并强制擦除添加到 LVM 卷组中的设备。

   3

   包含在 LVM 卷组中创建精简池的配置。如果您排除此字段，逻辑卷将被置备。

   4

   包含要在其上创建 LVM 卷组的节点的配置。如果此字段为空，则考虑没有调度污点的所有节点都。

3. 运行以下命令来创建 ConfigurationPolicy CR：

   $ oc create -f <file_name> -n <cluster_namespace> 1

   1

   安装 LVM 存储的 OpenShift Container Platform 集群的命名空间。

流程

1. 登录 OpenShift CLI (oc)。

2. 运行以下命令来删除 LVMCluster CR：

   $ oc delete lvmcluster <lvmclustername> -n openshift-storage

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 点 Operators Installed Operators 查看所有已安装的 Operator。
3. 点 openshift-storage 命名空间中的 LVM Storage。
4. 点 LVMCluster 选项卡。
5. 在 Actions 中，选择 Delete LVMCluster。
6. 点击 Delete。

流程

1. 使用 OpenShift Container Platform 凭证登录到 RHACM CLI。

2. 删除为 LVMCluster CR 创建的 ConfigurationPolicy CR YAML 文件：

   $ oc delete -f <file_name> -n <cluster_namespace> 1

   1

   安装 LVM 存储的 OpenShift Container Platform 集群的命名空间。

3. 创建 Policy CR YAML 文件以删除 LVMCluster CR：

   删除 LVMCluster CR 的 Policy CR 示例

   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     name: policy-lvmcluster-delete
     annotations:
       policy.open-cluster-management.io/standards: NIST SP 800-53
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
   spec:
     remediationAction: enforce
     disabled: false
     policy-templates:
       - objectDefinition:
           apiVersion: policy.open-cluster-management.io/v1
           kind: ConfigurationPolicy
           metadata:
             name: policy-lvmcluster-removal
           spec:
             remediationAction: enforce 1
             severity: low
             object-templates:
               - complianceType: mustnothave
                 objectDefinition:
                   kind: LVMCluster
                   apiVersion: lvm.topolvm.io/v1alpha1
                   metadata:
                     name: my-lvmcluster
                     namespace: openshift-storage 2
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-policy-lvmcluster-delete
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-policy-lvmcluster-delete
   subjects:
     - apiGroup: policy.open-cluster-management.io
       kind: Policy
       name: policy-lvmcluster-delete
   ---
   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-policy-lvmcluster-delete
   spec:
     clusterConditions:
       - status: "True"
         type: ManagedClusterConditionAvailable
     clusterSelector: 3
       matchExpressions:
         - key: mykey
           operator: In
           values:
             - myvalue

   1

   policy-template 中的 spec.remediationAction 被以前的 spec.remediationAction 值覆盖。

   2

   此 namespace 字段必须具有 openshift-storage 值。

   3

   配置选择集群的要求。在与选择条件匹配的集群上卸载 LVM 存储。

4. 运行以下命令来创建 Policy CR：

   $ oc create -f <file_name> -n <namespace>

5. 创建 Policy CR YAML 文件来检查 LVMCluster CR 已被删除：

   检查 LVMCluster CR 已被删除的 Policy CR 示例

   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     name: policy-lvmcluster-inform
     annotations:
       policy.open-cluster-management.io/standards: NIST SP 800-53
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
   spec:
     remediationAction: inform
     disabled: false
     policy-templates:
       - objectDefinition:
           apiVersion: policy.open-cluster-management.io/v1
           kind: ConfigurationPolicy
           metadata:
             name: policy-lvmcluster-removal-inform
           spec:
             remediationAction: inform 1
             severity: low
             object-templates:
               - complianceType: mustnothave
                 objectDefinition:
                   kind: LVMCluster
                   apiVersion: lvm.topolvm.io/v1alpha1
                   metadata:
                     name: my-lvmcluster
                     namespace: openshift-storage 2
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-policy-lvmcluster-check
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-policy-lvmcluster-check
   subjects:
     - apiGroup: policy.open-cluster-management.io
       kind: Policy
       name: policy-lvmcluster-inform
   ---
   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-policy-lvmcluster-check
   spec:
     clusterConditions:
       - status: "True"
         type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
         - key: mykey
           operator: In
           values:
             - myvalue

   1

   policy-template spec.remediationAction 可以通过为 spec.remediationAction 加前缀参数进行覆盖。

   2

   namespace 字段必须具有 openshift-storage 值。

6. 运行以下命令来创建 Policy CR：

   $ oc create -f <file_name> -n <namespace>

流程

1. 运行以下命令来编辑 LVMCluster CR：

   $ oc edit <lvmcluster_file_name> -n <namespace>

2. 在 deviceSelector 字段中添加新设备的路径。

   LVMCluster CR 示例

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
   spec:
     storage:
       deviceClasses:
   # ...
         deviceSelector: 1
           paths: 2
           - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
           - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
           optionalPaths: 3
           - /dev/disk/by-path/pci-0000:89:00.0-nvme-1
           - /dev/disk/by-path/pci-0000:90:00.0-nvme-1
   # ...

   1

   包含指定您要添加到 LVM 卷组的设备的路径。您可以在 paths 字段，optionalPaths 字段会这两个字段中指定设备路径。如果您没有在 paths 和 optionalPaths 中指定设备路径，则逻辑卷管理器 (LVM) 存储会将支持的未使用的设备添加到 LVM 卷组。只有在满足以下条件时，LVM 存储才会将设备添加到 LVM 卷组中：

   • 设备路径存在。
   • LVM 存储支持该设备。有关不支持的设备的详情，请参考"LVM Storage 不支持的设备"。

   2

   指定设备路径。如果此字段中指定的设备路径不存在，或者 LVM Storage 不支持该设备，则 LVMCluster CR 会进入 Failed 状态。

   3

   指定可选设备路径。如果此字段中指定的设备路径不存在，或者 LVM Storage 不支持该设备，LVM Storage 会忽略该设备而不造成错误。

   重要

   将设备添加到 LVM 卷组后，无法删除它。

3. 保存 LVMCluster CR。

流程

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 点 Operators Installed Operators。
3. 点 openshift-storage 命名空间中的 LVM Storage。
4. 点 LVMCluster 选项卡查看在集群中创建的 LVMCluster CR。
5. 在 Actions 菜单中，选择 Edit LVMCluster。
6. 点 YAML 标签。

7. 编辑 LVMCluster CR，在 deviceSelector 字段中添加新设备路径：

   LVMCluster CR 示例

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
   spec:
     storage:
       deviceClasses:
   # ...
         deviceSelector: 1
           paths: 2
           - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
           - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
           optionalPaths: 3
           - /dev/disk/by-path/pci-0000:89:00.0-nvme-1
           - /dev/disk/by-path/pci-0000:90:00.0-nvme-1
   # ...

   1

   包含指定您要添加到 LVM 卷组的设备的路径。您可以在 paths 字段，optionalPaths 字段会这两个字段中指定设备路径。如果您没有在 paths 和 optionalPaths 中指定设备路径，则逻辑卷管理器 (LVM) 存储会将支持的未使用的设备添加到 LVM 卷组。只有在满足以下条件时，LVM 存储才会将设备添加到 LVM 卷组中：

   • 设备路径存在。
   • LVM 存储支持该设备。有关不支持的设备的详情，请参考"LVM Storage 不支持的设备"。

   2

   指定设备路径。如果此字段中指定的设备路径不存在，或者 LVM Storage 不支持该设备，则 LVMCluster CR 会进入 Failed 状态。

   3

   指定可选设备路径。如果此字段中指定的设备路径不存在，或者 LVM Storage 不支持该设备，LVM Storage 会忽略该设备而不造成错误。

   重要

   将设备添加到 LVM 卷组后，无法删除它。

8. 点击 Save。

流程

1. 使用 OpenShift Container Platform 凭证登录到 RHACM CLI。

2. 运行以下命令，编辑使用 RHACM 创建的 LVMCluster CR：

   $ oc edit -f <file_name> -ns <namespace> 1

   1

   将 <file_name> 替换为 LVMCluster CR 的名称。

3. 在 LVMCluster CR 中，在 deviceSelector 字段中向新设备添加路径。

   LVMCluster CR 示例

   apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: lvms
         spec:
           object-templates:
              - complianceType: musthave
                objectDefinition:
                  apiVersion: lvm.topolvm.io/v1alpha1
                  kind: LVMCluster
                  metadata:
                    name: my-lvmcluster
                    namespace: openshift-storage
                  spec:
                    storage:
                      deviceClasses:
   # ...
                        deviceSelector: 1
                          paths: 2
                          - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
                          optionalPaths: 3
                          - /dev/disk/by-path/pci-0000:89:00.0-nvme-1
   # ...

   1

   包含指定您要添加到 LVM 卷组的设备的路径。您可以在 paths 字段，optionalPaths 字段会这两个字段中指定设备路径。如果您没有在 paths 和 optionalPaths 中指定设备路径，则逻辑卷管理器 (LVM) 存储会将支持的未使用的设备添加到 LVM 卷组。只有在满足以下条件时，LVM 存储才会将设备添加到 LVM 卷组中：

   • 设备路径存在。
   • LVM 存储支持该设备。有关不支持的设备的详情，请参考"LVM Storage 不支持的设备"。

   2

   指定设备路径。如果此字段中指定的设备路径不存在，或者 LVM Storage 不支持该设备，则 LVMCluster CR 会进入 Failed 状态。

   3

   指定可选设备路径。如果此字段中指定的设备路径不存在，或者 LVM Storage 不支持该设备，LVM Storage 会忽略该设备而不造成错误。

   重要

   将设备添加到 LVM 卷组后，无法删除它。

4. 保存 LVMCluster CR。

流程

1. 登录 OpenShift CLI (oc)。

2. 创建 VolumeSnapshot 对象：

   VolumeSnapshot 对象示例

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshot
   metadata:
     name: lvm-block-1-snap 1
   spec:
     source:
       persistentVolumeClaimName: lvm-block-1 2
     volumeSnapshotClassName: lvms-vg1 3

   1

   为卷快照指定一个名称。

   2

   指定源 PVC 的名称。LVM Storage 会创建这个 PVC 的快照。

   3

   将此字段设置为卷快照类的名称。

   注意

   要获取可用卷快照类列表，请运行以下命令：

   $ oc get volumesnapshotclass

3. 运行以下命令，在创建源 PVC 的命名空间中创建卷快照：

   $ oc create -f <file_name> -n <namespace>

   LVM 存储会创建一个 PVC 的只读副本作为卷快照。

流程

1. 登录 OpenShift CLI (oc)。

2. 使用配置创建 PersistentVolumeClaim 对象来恢复卷快照：

   恢复卷快照的 PersistentVolumeClaim 对象示例

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: lvm-block-1-restore
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Block
     Resources:
       Requests:
         storage: 2Gi 1
     storageClassName: lvms-vg1 2
     dataSource:
       name: lvm-block-1-snap 3
       kind: VolumeSnapshot
       apiGroup: snapshot.storage.k8s.io

   1

   指定恢复的 PVC 的存储大小。请求的 PVC 的存储大小必须大于或等于您要恢复的卷快照的大小。如果需要较大的 PVC，也可以在恢复卷快照后重新定义 PVC 的大小。

   2

   将此字段设置为您要恢复的卷快照的源 PVC 中的 storageClassName 字段的值。

   3

   将此字段设置为您要恢复的卷快照的名称。

3. 运行以下命令，在您创建卷快照的命名空间中创建 PVC：

   $ oc create -f <file_name> -n <namespace>

流程

1. 登录 OpenShift CLI (oc)。

2. 运行以下命令来删除卷快照：

   $ oc delete volumesnapshot <volume_snapshot_name> -n <namespace>

流程

1. 登录 OpenShift CLI (oc)。

2. 创建 PersistentVolumeClaim 对象：

   用于创建卷克隆的 PersistentVolumeClaim 对象示例

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: lvm-pvc-clone
   spec:
     accessModes:
     - ReadWriteOnce
     storageClassName: lvms-vg1 1
     volumeMode: Filesystem 2
     dataSource:
       kind: PersistentVolumeClaim
       name: lvm-pvc 3
     resources:
       requests:
         storage: 1Gi 4

   1

   将此字段设置为源 PVC 中的 storageClassName 字段的值。

   2

   将此字段设置为源 PVC 中的 volumeMode 字段。

   3

   指定源 PVC 的名称。

   4

   指定克隆的 PVC 的存储大小。克隆的 PVC 的存储大小必须大于或等于源 PVC 的存储大小。

3. 运行以下命令，在创建源 PVC 的命名空间中创建 PVC：

   $ oc create -f <file_name> -n <namespace>

流程

1. 登录 OpenShift CLI (oc)。

2. 运行以下命令来删除克隆的 PVC：

   # oc delete pvc <clone_pvc_name> -n <namespace>

流程

1. 运行以下命令来检索 PVC 列表：

   $ oc get pvc

   输出示例

   NAME        STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   lvms-test   Pending                                      lvms-vg1       11s

2. 运行以下命令，检查与 PVC 关联的事件处于 Pending 状态：

   $ oc describe pvc <pvc_name> 1

   1

   将 <pvc_name> 替换为 PVC 的名称。例如：lvms-vg1。

   输出示例

   Type     Reason              Age               From                         Message
   ----     ------              ----              ----                         -------
   Warning  ProvisioningFailed  4s (x2 over 17s)  persistentvolume-controller  storageclass.storage.k8s.io "lvms-vg1" not found

流程

1. 运行以下命令验证 LVMCluster CR 是否存在：

   $ oc get lvmcluster -n openshift-storage

   输出示例

   NAME            AGE
   my-lvmcluster   65m

2. 如果 LVMCluster CR 不存在，请创建一个 LVMCluster CR。如需更多信息，请参阅"创建 LVMCluster 自定义资源"。

3. 在 openshift-storage 命名空间中，运行以下命令来检查所有 LVM 存储 pod 是否都处于 Running 状态：

   $ oc get pods -n openshift-storage

   输出示例

   NAME                                  READY   STATUS    RESTARTS      AGE
   lvms-operator-7b9fb858cb-6nsml        3/3     Running   0             70m
   topolvm-controller-5dd9cf78b5-7wwr2   5/5     Running   0             66m
   topolvm-node-dr26h                    4/4     Running   0             66m
   vg-manager-r6zdv                      1/1     Running   0             66m

   此命令的输出必须包含以下 pod 的运行实例：

   • lvms-operator

   • vg-manager

     如果在加载配置文件时 vg-manager pod 处于卡住状态，这是因为它无法找到可用磁盘以供 LVM 存储使用。要检索必要的信息来排除此问题，请运行以下命令来查看 vg-manager pod 的日志：

     $ oc logs -l app.kubernetes.io/component=vg-manager -n openshift-storage

流程

1. 运行以下命令，检查与 PVC 关联的事件：

   $ oc describe pvc <pvc_name> 1

   1

   将 <pvc_name> 替换为 PVC 的名称。

2. 建立到发生问题的主机的直接连接。
3. 解决磁盘问题。

流程

1. 运行以下命令切换到 openshift-storage 命名空间：

   $ oc project openshift-storage

2. 运行以下命令，检查 LogicalVolume 自定义资源 (CR) 是否存在：

   $ oc get logicalvolume

   1. 如果存在 LogicalVolume CR，请运行以下命令删除它们：

      $ oc delete logicalvolume <name> 1

      1

      将 <name> 替换为 LogicalVolume CR 的名称。

   2. 删除 LogicalVolume CR 后，运行以下命令来删除其终结器：

      $ oc patch logicalvolume <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1

      1

      将 <name> 替换为 LogicalVolume CR 的名称。

3. 运行以下命令，检查 LVMVolumeGroup CR 是否存在：

   $ oc get lvmvolumegroup

   1. 如果存在 LVMVolumeGroup CR，请运行以下命令删除它们：

      $ oc delete lvmvolumegroup <name> 1

      1

      将 <name> 替换为 LVMVolumeGroup CR 的名称。

   2. 删除 LVMVolumeGroup CR 后，运行以下命令来删除其终结器：

      $ oc patch lvmvolumegroup <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1

      1

      将 <name> 替换为 LVMVolumeGroup CR 的名称。

4. 运行以下命令来删除任何 LVMVolumeGroupNodeStatus CR：

   $ oc delete lvmvolumegroupnodestatus --all

5. 运行以下命令来删除 LVMCluster CR：

   $ oc delete lvmcluster --all

   1. 删除 LVMCluster CR 后，运行以下命令来删除其终结器：

      $ oc patch lvmcluster <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1

      1

      将 <name> 替换为 LVMCluster CR 的名称。