4.12.3. 使用逻辑卷管理器存储的持久性存储

1. 理论大小。
2. 测试大小。

流程

1. 为 LVM Storage Operator 创建命名空间。

   1. 将以下 YAML 保存到 lvms-namespace.yaml 文件中：

      apiVersion: v1
      kind: Namespace
      metadata:
        labels:
          openshift.io/cluster-monitoring: "true"
          pod-security.kubernetes.io/enforce: privileged
          pod-security.kubernetes.io/audit: privileged
          pod-security.kubernetes.io/warn: privileged
        name: openshift-storage

   2. 创建 Namespace CR：

      $ oc create -f lvms-namespace.yaml

2. 为 LVM Storage Operator 创建 Operator 组。

   1. 将以下 YAML 保存到 lvms-operatorgroup.yaml 文件中：

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: openshift-storage-operatorgroup
        namespace: openshift-storage
      spec:
        targetNamespaces:
        - openshift-storage

   2. 创建 OperatorGroup CR：

      $ oc create -f lvms-operatorgroup.yaml

3. 订阅 LVM Storage Operator。

   1. 将以下 YAML 保存到 lvms-sub.yaml 文件中：

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: lvms
        namespace: openshift-storage
      spec:
        installPlanApproval: Automatic
        name: lvms-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   2. 创建 Subscription CR：

      $ oc create -f lvms-sub.yaml

4. 创建 LVMCluster 资源：

   1. 将以下 YAML 保存到 lvmcluster.yaml 文件中：

      apiVersion: lvm.topolvm.io/v1alpha1
      kind: LVMCluster
      metadata:
       name: my-lvmcluster
       namespace: openshift-storage
      spec:
       storage:
         deviceClasses:
         - name: vg1
           deviceSelector:
             paths:
             - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
             - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
             optionalPaths:
             - /dev/disk/by-path/pci-0000:89:00.0-nvme-1
             - /dev/disk/by-path/pci-0000:90:00.0-nvme-1
           thinPoolConfig:
             name: thin-pool-1
             sizePercent: 90
             overprovisionRatio: 10
           nodeSelector:
             nodeSelectorTerms:
             - matchExpressions:
               - key: app
                 operator: In
                 values:
                 - test1

   2. 创建 LVMCluster CR：

      $ oc create -f lvmcluster.yaml

5. 要验证是否已安装 Operator，请输入以下命令：

   $ oc get csv -n openshift-storage -o custom-columns=Name:.metadata.name,Phase:.status.phase

   输出示例

   Name                         Phase
   4.13.0-202301261535          Succeeded

流程

1. 登录 OpenShift Container Platform Web 控制台。
2. 点 Operators OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 LVM Storage 来查找 LVM Storage。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 更新频道为 stable-4.14。
   2. Installation Mode 为 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果 openshift-storage 命名空间不存在，它会在 Operator 安装过程中创建。

   4. 批准策略为 Automatic 或 Manual。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

6. 点 Install。

流程

1. 在 Operators Installed Operators 页面中，滚动到 LVM Storage 或在 Filter by name 中输入 LVM Storage 来查找并点击它。
2. 点 LVMCluster 选项卡。
3. 在 LVMCluster 页面的右侧，从 Actions 下拉菜单中选择 Delete LVMCluster。
4. 点 Details 选项卡。
5. 在 Operator Details 页面的右侧，从 Actions 下拉菜单中选择 Uninstall Operator。
6. 选择 Remove。LVM 存储会停止运行，并完全删除。

流程

1. 按照创建镜像设置配置流程中的步骤操作。要为 LVM Storage 创建 ImageSetConfiguration 资源，您可以使用以下示例 YAML 文件：

   LVM Storage 的 ImageSetConfiguration 文件示例

   kind: ImageSetConfiguration
   apiVersion: mirror.openshift.io/v1alpha2
   archiveSize: 4 

   1

   
   storageConfig: 

   2

   
     registry:
       imageURL: example.com/mirror/oc-mirror-metadata 

   3

   
       skipTLS: false
   mirror:
     platform:
       channels:
       - name: stable-4.14 

   4

   
         type: ocp
       graph: true 

   5

   
     operators:
     - catalog: registry.redhat.io/redhat/redhat-operator-index:v4.14 

   6

   
       packages:
       - name: lvms-operator 

   7

   
         channels:
         - name: stable 

   8

   
     additionalImages:
     - name: registry.redhat.io/ubi9/ubi:latest 

   9

   
     helm: {}

   1

   添加 archiveSize 以设置镜像集合中的每个文件的最大大小（以 GiB 为单位）。

   2

   设置后端位置，以将镜像设置元数据保存到。此位置可以是 registry 或本地目录。必须指定 storageConfig 值，除非您使用技术预览 OCI 功能。

   3

   设置存储后端的 registry URL。

   4

   将频道设置为从中检索 OpenShift Container Platform 镜像。

   5

   添加 graph: true 以生成 OpenShift Update Service (OSUS) 图形镜像，以便在使用 web 控制台时改进集群更新体验。如需更多信息，请参阅关于 OpenShift Update Service。

   6

   将 Operator 目录设置为从中检索 OpenShift Container Platform 镜像。

   7

   仅指定要包含在镜像集中的某些 Operator 软件包。删除此字段以检索目录中的所有软件包。

   8

   仅指定要包含在镜像集中的 Operator 软件包的某些频道。即使您没有使用该频道中的捆绑包，还必须始终包含 Operator 软件包的默认频道。您可以运行以下命令来找到默认频道：oc mirror list operators --catalog=<catalog_name> --package=<package_name>。

   9

   指定要在镜像集中包含的任何其他镜像。

2. 按照 Mirroring 一个镜像级到一个 mirror registry 部分的内容进行操作。
3. 按照配置镜像 registry 存储库 mirroring 部分中的步骤进行操作。

流程

1. 使用 OpenShift Container Platform 凭证登录到 RHACM CLI。

2. 创建要在其中创建策略的命名空间。

   # oc create ns lvms-policy-ns

3. 要创建策略，请使用名称（如 policy-lvms-operator.yaml ）将以下 YAML 保存到文件中：

   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-install-lvms
   spec:
     clusterConditions:
     - status: "True"
       type: ManagedClusterConditionAvailable
     clusterSelector: 

   1

   
       matchExpressions:
       - key: mykey
         operator: In
         values:
         - myvalue
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-install-lvms
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-install-lvms
   subjects:
   - apiGroup: policy.open-cluster-management.io
     kind: Policy
     name: install-lvms
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     annotations:
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
       policy.open-cluster-management.io/standards: NIST SP 800-53
     name: install-lvms
   spec:
     disabled: false
     remediationAction: enforce
     policy-templates:
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: install-lvms
         spec:
           object-templates:
           - complianceType: musthave
             objectDefinition:
               apiVersion: v1
               kind: Namespace
               metadata:
                 labels:
                   openshift.io/cluster-monitoring: "true"
                   pod-security.kubernetes.io/enforce: privileged
                   pod-security.kubernetes.io/audit: privileged
                   pod-security.kubernetes.io/warn: privileged
                 name: openshift-storage
           - complianceType: musthave
             objectDefinition:
               apiVersion: operators.coreos.com/v1
               kind: OperatorGroup
               metadata:
                 name: openshift-storage-operatorgroup
                 namespace: openshift-storage
               spec:
                 targetNamespaces:
                 - openshift-storage
           - complianceType: musthave
             objectDefinition:
               apiVersion: operators.coreos.com/v1alpha1
               kind: Subscription
               metadata:
                 name: lvms
                 namespace: openshift-storage
               spec:
                 installPlanApproval: Automatic
                 name: lvms-operator
                 source: redhat-operators
                 sourceNamespace: openshift-marketplace
           remediationAction: enforce
           severity: low
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: lvms
         spec:
           object-templates:
              - complianceType: musthave
                objectDefinition:
                  apiVersion: lvm.topolvm.io/v1alpha1
                  kind: LVMCluster
                  metadata:
                    name: my-lvmcluster
                    namespace: openshift-storage
                  spec:
                    storage:
                      deviceClasses:
                      - name: vg1
                        default: true
                        deviceSelector: 

   2

   
                          paths:
                          - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
                          - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
                          optionalPaths:
                          - /dev/disk/by-path/pci-0000:89:00.0-nvme-1
                          - /dev/disk/by-path/pci-0000:90:00.0-nvme-1
                        thinPoolConfig:
                          name: thin-pool-1
                          sizePercent: 90
                          overprovisionRatio: 10
                        nodeSelector: 

   3

   
                          nodeSelectorTerms:
                          - matchExpressions:
                              - key: app
                                operator: In
                                values:
                                - test1
           remediationAction: enforce
           severity: low

   1

   替换 PlacementRule.spec.clusterSelector 中的键和值，以匹配要在其上安装 LVM Storage 的单节点 OpenShift 集群上设置的标签。

   2

   可选。要控制或限制卷组只适用于您的首选设备，可以在 LVMCluster YAML 的 deviceSelector 部分中手动指定设备的本地路径。paths 部分指的是 LVMCluster 添加的设备，这意味着这些路径必须存在。optionalPaths 部分指的是 LVMCluster 可能会添加的设备。在指定 deviceSelector 部分时，必须至少指定 paths 或 optionalPaths 中的一个。如果您指定了 paths，则不需要指定 optionalPaths。如果指定了 optionalPaths，则不需要指定 paths，但节点上必须至少有一个可选路径。如果没有指定任何路径，它将添加节点上所有未使用的设备。

   3

   要添加节点过滤器（这是附加 worker 节点的子集），请在 nodeSelector 部分指定所需的过滤器。当新节点显示时，LVM Storage 会检测并使用额外的 worker 节点。

   重要

   这个 nodeSelector 节点过滤器匹配与 pod 标签匹配不同。

4. 运行以下命令在命名空间中创建策略：

   # oc create -f policy-lvms-operator.yaml -n lvms-policy-ns 

   1

   1

   policy-lvms-operator.yaml 是保存策略的文件的名称。

   这会在 lvms-policy-ns 命名空间中创建 Policy、PlacementRule 和 PlacementBinding 对象。该策略会在与放置规则匹配的集群中创建一个 Namespace、OperatorGroup、Subscription 和 LVMCluster 资源。这会在与选择条件匹配的单节点 OpenShift 集群上部署 Operator，并将其配置为设置所需资源以置备存储。Operator 使用 LVMCluster CR 中指定的所有磁盘。如果没有指定磁盘，Operator 将使用单节点 OpenShift 节点上的所有未使用的磁盘。

   重要

   将设备添加到 LVMCluster 后，无法删除它。

1. 删除所有由 LVM Storage 置备的持久性卷声明 (PVC) 和卷快照。
2. 删除 LVMCluster 资源来清理在磁盘中创建的逻辑卷管理器资源。
3. 创建额外策略来卸载 Operator。

流程

1. 在 OpenShift CLI (oc) 中，使用以下命令删除您为在 hub 集群中部署和配置 LVM Storage 创建的 RHACM 策略：

   # oc delete -f policy-lvms-operator.yaml -n lvms-policy-ns 

   1

   1

   policy-lvms-operator.yaml 是保存策略的文件的名称。

2. 要创建用于删除 LVMCluster 资源的策略，请将以下 YAML 保存到带有名称（如 lvms-remove-policy.yaml ）的文件。这可让 Operator 清理在集群中创建的所有逻辑卷管理器资源。

   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     name: policy-lvmcluster-delete
     annotations:
       policy.open-cluster-management.io/standards: NIST SP 800-53
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
   spec:
     remediationAction: enforce
     disabled: false
     policy-templates:
       - objectDefinition:
           apiVersion: policy.open-cluster-management.io/v1
           kind: ConfigurationPolicy
           metadata:
             name: policy-lvmcluster-removal
           spec:
             remediationAction: enforce 

   1

   
             severity: low
             object-templates:
               - complianceType: mustnothave
                 objectDefinition:
                   kind: LVMCluster
                   apiVersion: lvm.topolvm.io/v1alpha1
                   metadata:
                     name: my-lvmcluster
                     namespace: openshift-storage 

   2

   
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-policy-lvmcluster-delete
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-policy-lvmcluster-delete
   subjects:
     - apiGroup: policy.open-cluster-management.io
       kind: Policy
       name: policy-lvmcluster-delete
   ---
   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-policy-lvmcluster-delete
   spec:
     clusterConditions:
       - status: "True"
         type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
         - key: mykey
           operator: In
           values:
             - myvalue

   1

   policy-template spec.remediationAction 可以通过为 spec.remediationAction 加前缀参数进行覆盖。

   2

   此 namespace 字段必须具有 openshift-storage 值。

3. 设置 PlacementRule.spec.clusterSelector 字段的值，以选择要从中卸载 LVM Storage 的集群。

4. 运行以下命令来创建策略：

   # oc create -f lvms-remove-policy.yaml -n lvms-policy-ns

5. 要创建策略来检查 LVMCluster CR 是否已移除，请使用名称（如 check-lvms-remove-policy.yaml ）将以下 YAML 保存到文件中：

   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     name: policy-lvmcluster-inform
     annotations:
       policy.open-cluster-management.io/standards: NIST SP 800-53
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
   spec:
     remediationAction: inform
     disabled: false
     policy-templates:
       - objectDefinition:
           apiVersion: policy.open-cluster-management.io/v1
           kind: ConfigurationPolicy
           metadata:
             name: policy-lvmcluster-removal-inform
           spec:
             remediationAction: inform 

   1

   
             severity: low
             object-templates:
               - complianceType: mustnothave
                 objectDefinition:
                   kind: LVMCluster
                   apiVersion: lvm.topolvm.io/v1alpha1
                   metadata:
                     name: my-lvmcluster
                     namespace: openshift-storage 

   2

   
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-policy-lvmcluster-check
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-policy-lvmcluster-check
   subjects:
     - apiGroup: policy.open-cluster-management.io
       kind: Policy
       name: policy-lvmcluster-inform
   ---
   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-policy-lvmcluster-check
   spec:
     clusterConditions:
       - status: "True"
         type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
         - key: mykey
           operator: In
           values:
             - myvalue

   1

   policy-template spec.remediationAction 可以通过为 spec.remediationAction 加前缀参数进行覆盖。

   2

   namespace 字段必须具有 openshift-storage 值。

6. 运行以下命令来创建策略：

   # oc create -f check-lvms-remove-policy.yaml -n lvms-policy-ns

7. 运行以下命令检查策略状态：

   # oc get policy -n lvms-policy-ns

   输出示例

   NAME                       REMEDIATION ACTION   COMPLIANCE STATE   AGE
   policy-lvmcluster-delete   enforce              Compliant          15m
   policy-lvmcluster-inform   inform               Compliant          15m

8. 在两个策略都合规后，将以下 YAML 保存到带有名称（如 lvms-uninstall-policy.yaml ）的文件中，以创建用于卸载 LVM 存储的策略。

   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-uninstall-lvms
   spec:
     clusterConditions:
     - status: "True"
       type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
       - key: mykey
         operator: In
         values:
         - myvalue
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-uninstall-lvms
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-uninstall-lvms
   subjects:
   - apiGroup: policy.open-cluster-management.io
     kind: Policy
     name: uninstall-lvms
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     annotations:
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
       policy.open-cluster-management.io/standards: NIST SP 800-53
     name: uninstall-lvms
   spec:
     disabled: false
     policy-templates:
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: uninstall-lvms
         spec:
           object-templates:
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: v1
               kind: Namespace
               metadata:
                 name: openshift-storage
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: operators.coreos.com/v1
               kind: OperatorGroup
               metadata:
                 name: openshift-storage-operatorgroup
                 namespace: openshift-storage
               spec:
                 targetNamespaces:
                 - openshift-storage
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: operators.coreos.com/v1alpha1
               kind: Subscription
               metadata:
                 name: lvms-operator
                 namespace: openshift-storage
           remediationAction: enforce
           severity: low
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: policy-remove-lvms-crds
         spec:
           object-templates:
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: logicalvolumes.topolvm.io
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: lvmclusters.lvm.topolvm.io
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: lvmvolumegroupnodestatuses.lvm.topolvm.io
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: lvmvolumegroups.lvm.topolvm.io
           remediationAction: enforce
           severity: high

9. 运行以下命令来创建策略：

   # oc create -f lvms-uninstall-policy.yaml -ns lvms-policy-ns