4.12.3. 논리 볼륨 관리자 스토리지를 사용하는 영구 스토리지

1. 중간 크기.
2. 테스트된 크기.

절차

1. LVM Storage Operator의 네임스페이스를 생성합니다.

   1. lvms-namespace.yaml 파일에 다음 YAML을 저장합니다.

      apiVersion: v1
      kind: Namespace
      metadata:
        labels:
          openshift.io/cluster-monitoring: "true"
          pod-security.kubernetes.io/enforce: privileged
          pod-security.kubernetes.io/audit: privileged
          pod-security.kubernetes.io/warn: privileged
        name: openshift-storage

   2. 네임스페이스 CR을 생성합니다.

      $ oc create -f lvms-namespace.yaml

2. LVM Storage Operator를 위한 Operator group을 생성합니다.

   1. lvms-operatorgroup.yaml 파일에 다음 YAML을 저장합니다.

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: openshift-storage-operatorgroup
        namespace: openshift-storage
      spec:
        targetNamespaces:
        - openshift-storage

   2. OperatorGroup CR을 생성합니다.

      $ oc create -f lvms-operatorgroup.yaml

3. LVM Storage Operator를 구독하십시오.

   1. lvms-sub.yaml 파일에 다음 YAML을 저장합니다.

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: lvms
        namespace: openshift-storage
      spec:
        installPlanApproval: Automatic
        name: lvms-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   2. 서브스크립션 CR을 생성합니다.

      $ oc create -f lvms-sub.yaml

4. LVMCluster 리소스를 생성합니다.

   1. lvmcluster.yaml 파일에 다음 YAML을 저장합니다.

      apiVersion: lvm.topolvm.io/v1alpha1
      kind: LVMCluster
      metadata:
       name: my-lvmcluster
       namespace: openshift-storage
      spec:
       storage:
         deviceClasses:
         - name: vg1
           deviceSelector:
             paths:
             - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
             - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
           thinPoolConfig:
             name: thin-pool-1
             sizePercent: 90
             overprovisionRatio: 10
           nodeSelector:
             nodeSelectorTerms:
             - matchExpressions:
               - key: app
                 operator: In
                 values:
                 - test1

   2. LVMCluster CR을 생성합니다.

      $ oc create -f lvmcluster.yaml

5. Operator가 설치되었는지 확인하려면 다음 명령을 입력합니다.

   $ oc get csv -n openshift-storage -o custom-columns=Name:.metadata.name,Phase:.status.phase

   출력 예

   Name                         Phase
   4.13.0-202301261535          Succeeded

절차

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Operators OperatorHub를 클릭합니다.
3. 스크롤하거나 키워드로 필터링 상자에 LVM 스토리지 를 입력하여 LVM 스토리지를 찾습니다.
4. 설치를 클릭합니다.

5. Operator 설치 페이지에서 다음 옵션을 설정합니다.

   1. Channel을 stable-4.13 으로 업데이트합니다.
   2. 클러스터의 특정 네임스페이스로 설치 모드 입니다.
   3. Operator 권장 네임스페이스 openshift-storage로 네임스페이스 가 설치되어 있습니다. openshift-storage 네임스페이스가 없으면 Operator 설치 중에 생성됩니다.

   4. 자동 또는 수동으로의 승인 전략 .

      자동 업데이트를 선택하면 OLM(Operator Lifecycle Manager)은 개입 없이 Operator의 실행 중인 인스턴스를 자동으로 업그레이드합니다.

      수동 업데이트를 선택하면 OLM에서 업데이트 요청을 생성합니다. 클러스터 관리자는 Operator를 최신 버전으로 업데이트하기 위해 해당 업데이트 요청을 수동으로 승인해야 합니다.

6. 설치를 클릭합니다.

절차

1. Operator 설치된 Operator 페이지에서 LVM Storage 로 스크롤하거나 이름별 필터링 에 LVM Storage 를 입력하여 찾습니다.
2. LVMCluster 탭을 클릭합니다.
3. LVMCluster 페이지 오른쪽에 있는 작업 드롭다운 메뉴에서 LVMCluster 삭제 를 선택합니다.
4. 세부 정보 탭을 클릭합니다.
5. Operator 상세 정보 페이지 오른쪽에 있는 작업 드롭다운 메뉴에서 Operator 제거를 선택합니다.
6. 제거를 선택합니다. LVM 스토리지는 실행을 중지하고 완전히 제거됩니다.

절차

1. 이미지 세트 구성 절차 생성의 단계를 따르십시오. LVM Storage에 대한 ImageSetConfiguration 리소스를 생성하려면 다음 예제 YAML 파일을 사용할 수 있습니다.

   LVM 스토리지의 ImageSetConfiguration 파일 예

   kind: ImageSetConfiguration
   apiVersion: mirror.openshift.io/v1alpha2
   archiveSize: 4 

   1

   
   storageConfig: 

   2

   
     registry:
       imageURL: example.com/mirror/oc-mirror-metadata 

   3

   
       skipTLS: false
   mirror:
     platform:
       channels:
       - name: stable-4.13 

   4

   
         type: ocp
       graph: true 

   5

   
     operators:
     - catalog: registry.redhat.io/redhat/redhat-operator-index:v4.13 

   6

   
       packages:
       - name: lvms-operator 

   7

   
         channels:
         - name: stable 

   8

   
     additionalImages:
     - name: registry.redhat.io/ubi9/ubi:latest 

   9

   
     helm: {}

   1

   archiveSize 를 추가하여 이미지 세트 내에서 각 파일의 최대 크기를 GiB 단위로 설정합니다.

   2

   이미지 세트 메타데이터를 저장할 백엔드 위치를 설정합니다. 이 위치는 레지스트리 또는 로컬 디렉터리일 수 있습니다. 기술 프리뷰 OCI 기능을 사용하지 않는 한 storageConfig 값을 지정해야 합니다.

   3

   스토리지 백엔드의 레지스트리 URL을 설정합니다.

   4

   채널을 설정하여 OpenShift Container Platform 이미지를 검색합니다.

   5

   웹 콘솔을 사용할 때 클러스터 업데이트 환경을 개선할 수 있도록 OSUS(OpenShift Update Service) 그래프 이미지를 생성하려면 graph: true 를 추가합니다. 자세한 내용은 OpenShift 업데이트 서비스 정보를 참조하십시오.

   6

   Operator 카탈로그를 설정하여 OpenShift Container Platform 이미지를 검색합니다.

   7

   이미지 세트에 포함할 특정 Operator 패키지만 지정합니다. 이 필드를 제거하여 카탈로그의 모든 패키지를 검색합니다.

   8

   이미지 세트에 포함할 Operator 패키지의 특정 채널만 지정합니다. 해당 채널에서 번들을 사용하지 않는 경우에도 Operator 패키지의 기본 채널을 포함해야 합니다. oc mirror list operators --catalog=<catalog_name> --package=<package_name > 명령을 실행하여 기본 채널을 찾을 수 있습니다.

   9

   이미지 세트에 포함할 추가 이미지를 지정합니다.

2. 이미지 세트 미러링 섹션의 미러 레지스트리 절차를 따르십시오.
3. 이미지 레지스트리 저장소 미러링 구성 섹션의 절차를 따르십시오.

절차

1. OpenShift Container Platform 인증 정보를 사용하여 RHACM CLI에 로그인합니다.

2. 정책을 생성할 네임스페이스를 생성합니다.

   # oc create ns lvms-policy-ns

3. 정책을 생성하려면 다음 YAML을 policy-lvms-operator.yaml 과 같은 이름으로 파일에 저장합니다.

   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-install-lvms
   spec:
     clusterConditions:
     - status: "True"
       type: ManagedClusterConditionAvailable
     clusterSelector: 

   1

   
       matchExpressions:
       - key: mykey
         operator: In
         values:
         - myvalue
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-install-lvms
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-install-lvms
   subjects:
   - apiGroup: policy.open-cluster-management.io
     kind: Policy
     name: install-lvms
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     annotations:
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
       policy.open-cluster-management.io/standards: NIST SP 800-53
     name: install-lvms
   spec:
     disabled: false
     remediationAction: enforce
     policy-templates:
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: install-lvms
         spec:
           object-templates:
           - complianceType: musthave
             objectDefinition:
               apiVersion: v1
               kind: Namespace
               metadata:
                 labels:
                   openshift.io/cluster-monitoring: "true"
                   pod-security.kubernetes.io/enforce: privileged
                   pod-security.kubernetes.io/audit: privileged
                   pod-security.kubernetes.io/warn: privileged
                 name: openshift-storage
           - complianceType: musthave
             objectDefinition:
               apiVersion: operators.coreos.com/v1
               kind: OperatorGroup
               metadata:
                 name: openshift-storage-operatorgroup
                 namespace: openshift-storage
               spec:
                 targetNamespaces:
                 - openshift-storage
           - complianceType: musthave
             objectDefinition:
               apiVersion: operators.coreos.com/v1alpha1
               kind: Subscription
               metadata:
                 name: lvms
                 namespace: openshift-storage
               spec:
                 installPlanApproval: Automatic
                 name: lvms-operator
                 source: redhat-operators
                 sourceNamespace: openshift-marketplace
           remediationAction: enforce
           severity: low
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: lvms
         spec:
           object-templates:
              - complianceType: musthave
                objectDefinition:
                  apiVersion: lvm.topolvm.io/v1alpha1
                  kind: LVMCluster
                  metadata:
                    name: my-lvmcluster
                    namespace: openshift-storage
                  spec:
                    storage:
                      deviceClasses:
                      - name: vg1
                        default: true
                        deviceSelector: 

   2

   
                          paths:
                          - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
                          - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
                        thinPoolConfig:
                          name: thin-pool-1
                          sizePercent: 90
                          overprovisionRatio: 10
                        nodeSelector: 

   3

   
                          nodeSelectorTerms:
                          - matchExpressions:
                              - key: app
                                operator: In
                                values:
                                - test1
           remediationAction: enforce
           severity: low

   1

   LVM Storage를 설치하려는 단일 노드 OpenShift 클러스터에 설정된 라벨과 일치하도록 PlacementRule.spec.clusterSelector 의 키와 값을 바꿉니다.

   2

   볼륨 그룹을 기본 디스크로 제어하거나 제한하려면 LVMCluster YAML의 deviceSelector 섹션에 디스크의 로컬 경로를 수동으로 지정할 수 있습니다.

   3

   추가 작업자 노드의 하위 집합인 노드 필터를 추가하려면 nodeSelector 섹션에서 필요한 필터를 지정합니다. LVM Storage는 새 노드가 표시될 때 추가 작업자 노드를 감지하고 사용합니다.

   중요

   이 nodeSelector 노드 필터 일치는 Pod 레이블 일치와 동일하지 않습니다.

4. 다음 명령을 실행하여 네임스페이스에 정책을 생성합니다.

   # oc create -f policy-lvms-operator.yaml -n lvms-policy-ns 

   1

   1

   policy-lvms-operator.yaml 은 정책이 저장되는 파일의 이름입니다.

   이렇게 하면 lvms-policy-ns 네임스페이스에 Policy, PlacementRule, PlacementBinding 오브젝트가 생성됩니다. 이 정책은 배치 규칙과 일치하는 클러스터에 Namespace,OperatorGroup,Subscription, LVMCluster 리소스를 생성합니다. 그러면 선택 기준과 일치하는 단일 노드 OpenShift 클러스터에 Operator가 배포되고 스토리지를 프로비저닝하는 데 필요한 리소스를 설정하도록 구성합니다. Operator는 LVMCluster CR에 지정된 모든 디스크를 사용합니다. 디스크가 지정되지 않은 경우 Operator는 단일 노드 OpenShift 노드에서 사용되지 않는 디스크를 모두 사용합니다.

   중요

   장치를 LVMCluster 에 추가한 후에는 제거할 수 없습니다.

1. LVM Storage에서 프로비저닝한 모든 PVC(영구 볼륨 클레임) 및 볼륨 스냅샷을 제거합니다.
2. LVMCluster 리소스를 제거하여 디스크에서 생성된 Logical Volume Manager 리소스를 정리합니다.
3. 추가 정책을 생성하여 Operator를 제거합니다.

절차

1. OpenShift CLI(oc)에서 다음 명령을 사용하여 hub 클러스터에 LVM Storage를 배포하고 구성하기 위해 생성한 RHACM 정책을 삭제합니다.

   # oc delete -f policy-lvms-operator.yaml -n lvms-policy-ns 

   1

   1

   policy-lvms-operator.yaml 은 정책이 저장된 파일의 이름입니다.

2. LVMCluster 리소스를 제거하는 정책을 생성하려면 다음 YAML을 이름이 lvms-remove-policy.yaml 과 같은 파일에 저장합니다. 이를 통해 Operator는 클러스터에서 생성한 모든 Logical Volume Manager 리소스를 정리할 수 있습니다.

   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     name: policy-lvmcluster-delete
     annotations:
       policy.open-cluster-management.io/standards: NIST SP 800-53
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
   spec:
     remediationAction: enforce
     disabled: false
     policy-templates:
       - objectDefinition:
           apiVersion: policy.open-cluster-management.io/v1
           kind: ConfigurationPolicy
           metadata:
             name: policy-lvmcluster-removal
           spec:
             remediationAction: enforce 

   1

   
             severity: low
             object-templates:
               - complianceType: mustnothave
                 objectDefinition:
                   kind: LVMCluster
                   apiVersion: lvm.topolvm.io/v1alpha1
                   metadata:
                     name: my-lvmcluster
                     namespace: openshift-storage 

   2

   
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-policy-lvmcluster-delete
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-policy-lvmcluster-delete
   subjects:
     - apiGroup: policy.open-cluster-management.io
       kind: Policy
       name: policy-lvmcluster-delete
   ---
   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-policy-lvmcluster-delete
   spec:
     clusterConditions:
       - status: "True"
         type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
         - key: mykey
           operator: In
           values:
             - myvalue

   1

   policy-template spec.remediationAction 은 spec.remediationAction 에 대한 이전 매개변수 값으로 재정의됩니다.

   2

   이 namespace 필드에는 openshift-storage 값이 있어야 합니다.

3. PlacementRule.spec.clusterSelector 필드의 값을 설정하여 LVM Storage를 제거할 클러스터를 선택합니다.

4. 다음 명령을 실행하여 정책을 생성합니다.

   # oc create -f lvms-remove-policy.yaml -n lvms-policy-ns

5. LVMCluster CR이 제거되었는지 확인하는 정책을 생성하려면 check-lvms-remove-policy.yaml 과 같은 이름이 있는 파일에 다음 YAML을 저장합니다.

   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     name: policy-lvmcluster-inform
     annotations:
       policy.open-cluster-management.io/standards: NIST SP 800-53
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
   spec:
     remediationAction: inform
     disabled: false
     policy-templates:
       - objectDefinition:
           apiVersion: policy.open-cluster-management.io/v1
           kind: ConfigurationPolicy
           metadata:
             name: policy-lvmcluster-removal-inform
           spec:
             remediationAction: inform 

   1

   
             severity: low
             object-templates:
               - complianceType: mustnothave
                 objectDefinition:
                   kind: LVMCluster
                   apiVersion: lvm.topolvm.io/v1alpha1
                   metadata:
                     name: my-lvmcluster
                     namespace: openshift-storage 

   2

   
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-policy-lvmcluster-check
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-policy-lvmcluster-check
   subjects:
     - apiGroup: policy.open-cluster-management.io
       kind: Policy
       name: policy-lvmcluster-inform
   ---
   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-policy-lvmcluster-check
   spec:
     clusterConditions:
       - status: "True"
         type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
         - key: mykey
           operator: In
           values:
             - myvalue

   1

   policy-template spec.remediationAction 은 spec.remediationAction 에 대한 이전 매개변수 값으로 재정의됩니다.

   2

   namespace 필드에는 openshift-storage 값이 있어야 합니다.

6. 다음 명령을 실행하여 정책을 생성합니다.

   # oc create -f check-lvms-remove-policy.yaml -n lvms-policy-ns

7. 다음 명령을 실행하여 정책 상태를 확인합니다.

   # oc get policy -n lvms-policy-ns

   출력 예

   NAME                       REMEDIATION ACTION   COMPLIANCE STATE   AGE
   policy-lvmcluster-delete   enforce              Compliant          15m
   policy-lvmcluster-inform   inform               Compliant          15m

8. 정책이 모두 호환되면 다음 YAML을 lvms-uninstall-policy.yaml 과 같은 이름의 파일에 저장하여 LVM 스토리지를 제거하는 정책을 생성합니다.

   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-uninstall-lvms
   spec:
     clusterConditions:
     - status: "True"
       type: ManagedClusterConditionAvailable
     clusterSelector:
       matchExpressions:
       - key: mykey
         operator: In
         values:
         - myvalue
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-uninstall-lvms
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-uninstall-lvms
   subjects:
   - apiGroup: policy.open-cluster-management.io
     kind: Policy
     name: uninstall-lvms
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     annotations:
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
       policy.open-cluster-management.io/standards: NIST SP 800-53
     name: uninstall-lvms
   spec:
     disabled: false
     policy-templates:
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: uninstall-lvms
         spec:
           object-templates:
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: v1
               kind: Namespace
               metadata:
                 name: openshift-storage
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: operators.coreos.com/v1
               kind: OperatorGroup
               metadata:
                 name: openshift-storage-operatorgroup
                 namespace: openshift-storage
               spec:
                 targetNamespaces:
                 - openshift-storage
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: operators.coreos.com/v1alpha1
               kind: Subscription
               metadata:
                 name: lvms-operator
                 namespace: openshift-storage
           remediationAction: enforce
           severity: low
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: policy-remove-lvms-crds
         spec:
           object-templates:
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: logicalvolumes.topolvm.io
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: lvmclusters.lvm.topolvm.io
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: lvmvolumegroupnodestatuses.lvm.topolvm.io
           - complianceType: mustnothave
             objectDefinition:
               apiVersion: apiextensions.k8s.io/v1
               kind: CustomResourceDefinition
               metadata:
                 name: lvmvolumegroups.lvm.topolvm.io
           remediationAction: enforce
           severity: high

9. 다음 명령을 실행하여 정책을 생성합니다.

   # oc create -f lvms-uninstall-policy.yaml -ns lvms-policy-ns