5.4. 논리 볼륨 관리자 스토리지를 사용하는 영구 스토리지

절차

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Operators OperatorHub를 클릭합니다.
3. 스크롤하거나 키워드로 필터링 상자에 LVM 스토리지 를 입력하여 LVM 스토리지를 찾습니다.
4. 설치를 클릭합니다.

5. Operator 설치 페이지에서 다음 옵션을 설정합니다.

   1. stable-4.12 로 채널을 업데이트합니다.
   2. 클러스터의 특정 네임스페이스로 설치 모드 입니다.
   3. Operator 권장 네임스페이스 openshift-storage로 네임스페이스 가 설치되어 있습니다. openshift-storage 네임스페이스가 없으면 Operator 설치 중에 생성됩니다.

   4. 자동 또는 수동으로의 승인 전략 .

      자동 업데이트를 선택하면 OLM(Operator Lifecycle Manager)은 개입 없이 Operator의 실행 중인 인스턴스를 자동으로 업그레이드합니다.

      수동 업데이트를 선택하면 OLM에서 업데이트 요청을 생성합니다. 클러스터 관리자는 Operator를 최신 버전으로 업데이트하기 위해 해당 업데이트 요청을 수동으로 승인해야 합니다.

6. 설치를 클릭합니다.

절차

1. OpenShift Container Platform 인증 정보를 사용하여 RHACM CLI에 로그인합니다.

2. 정책을 생성할 네임스페이스를 생성합니다.

   # oc create ns lvms-policy-ns

   Copy to Clipboard Toggle word wrap

3. 정책을 생성하려면 다음 YAML을 policy-lvms-operator.yaml 과 같은 이름으로 파일에 저장합니다.

   apiVersion: apps.open-cluster-management.io/v1
   kind: PlacementRule
   metadata:
     name: placement-install-lvms
   spec:
     clusterConditions:
     - status: "True"
       type: ManagedClusterConditionAvailable
     clusterSelector: 

   1

   
       matchExpressions:
       - key: mykey
         operator: In
         values:
         - myvalue
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: PlacementBinding
   metadata:
     name: binding-install-lvms
   placementRef:
     apiGroup: apps.open-cluster-management.io
     kind: PlacementRule
     name: placement-install-lvms
   subjects:
   - apiGroup: policy.open-cluster-management.io
     kind: Policy
     name: install-lvms
   ---
   apiVersion: policy.open-cluster-management.io/v1
   kind: Policy
   metadata:
     annotations:
       policy.open-cluster-management.io/categories: CM Configuration Management
       policy.open-cluster-management.io/controls: CM-2 Baseline Configuration
       policy.open-cluster-management.io/standards: NIST SP 800-53
     name: install-lvms
   spec:
     disabled: false
     remediationAction: enforce
     policy-templates:
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: install-lvms
         spec:
           object-templates:
           - complianceType: musthave
             objectDefinition:
               apiVersion: v1
               kind: Namespace
               metadata:
                 labels:
                   openshift.io/cluster-monitoring: "true"
                   pod-security.kubernetes.io/enforce: privileged
                   pod-security.kubernetes.io/audit: privileged
                   pod-security.kubernetes.io/warn: privileged
                 name: openshift-storage
           - complianceType: musthave
             objectDefinition:
               apiVersion: operators.coreos.com/v1
               kind: OperatorGroup
               metadata:
                 name: openshift-storage-operatorgroup
                 namespace: openshift-storage
               spec:
                 targetNamespaces:
                 - openshift-storage
           - complianceType: musthave
             objectDefinition:
               apiVersion: operators.coreos.com/v1alpha1
               kind: Subscription
               metadata:
                 name: lvms
                 namespace: openshift-storage
               spec:
                 installPlanApproval: Automatic
                 name: lvms-operator
                 source: redhat-operators
                 sourceNamespace: openshift-marketplace
           remediationAction: enforce
           severity: low
     - objectDefinition:
         apiVersion: policy.open-cluster-management.io/v1
         kind: ConfigurationPolicy
         metadata:
           name: lvms
         spec:
           object-templates:
              - complianceType: musthave
                objectDefinition:
                  apiVersion: lvm.topolvm.io/v1alpha1
                  kind: LVMCluster
                  metadata:
                    name: my-lvmcluster
                    namespace: openshift-storage
                  spec:
                    storage:
                      deviceClasses:
                      - name: vg1
                        deviceSelector: 

   2

   
                          paths:
                          - /dev/disk/by-path/pci-0000:87:00.0-nvme-1
                          - /dev/disk/by-path/pci-0000:88:00.0-nvme-1
                        thinPoolConfig:
                          name: thin-pool-1
                          sizePercent: 90
                          overprovisionRatio: 10
                        nodeSelector: 

   3

   
                          nodeSelectorTerms:
                          - matchExpressions:
                              - key: app
                                operator: In
                                values:
                                - test1
           remediationAction: enforce
           severity: low

   Copy to Clipboard Toggle word wrap

   1

   LVM Storage를 설치하려는 단일 노드 OpenShift 클러스터에 설정된 라벨과 일치하도록 PlacementRule.spec.clusterSelector 의 키와 값을 바꿉니다.

   2

   볼륨 그룹을 기본 디스크로 제어하거나 제한하려면 LVMCluster YAML의 deviceSelector 섹션에 디스크의 로컬 경로를 수동으로 지정할 수 있습니다.

   3

   추가 작업자 노드의 하위 집합인 노드 필터를 추가하려면 nodeSelector 섹션에서 필요한 필터를 지정합니다. LVM Storage는 새 노드가 표시될 때 추가 작업자 노드를 감지하고 사용합니다.

   중요

   이 nodeSelector 노드 필터 일치는 Pod 레이블 일치와 동일하지 않습니다.

4. 다음 명령을 실행하여 네임스페이스에 정책을 생성합니다.

   # oc create -f policy-lvms-operator.yaml -n lvms-policy-ns 

   1

   Copy to Clipboard Toggle word wrap

   1

   policy-lvms-operator.yaml 은 정책이 저장되는 파일의 이름입니다.

   이렇게 하면 lvms-policy-ns 네임스페이스에 Policy, PlacementRule, PlacementBinding 오브젝트가 생성됩니다. 이 정책은 배치 규칙과 일치하는 클러스터에 Namespace,OperatorGroup,Subscription, LVMCluster 리소스를 생성합니다. 그러면 선택 기준과 일치하는 단일 노드 OpenShift 클러스터에 Operator가 배포되고 스토리지를 프로비저닝하는 데 필요한 리소스를 설정하도록 구성합니다. Operator는 LVMCluster CR에 지정된 모든 디스크를 사용합니다. 디스크가 지정되지 않은 경우 Operator는 단일 노드 OpenShift 노드에서 사용되지 않는 디스크를 모두 사용합니다.

   중요

   장치를 LVMCluster 에 추가한 후에는 제거할 수 없습니다.

1. 중간 크기.
2. 테스트된 크기.

프로세스

1. oc 명령을 실행해야 하는 단일 노드 OpenShift에 로그인합니다.

2. 다음 YAML을 이름이 lvms-vol-snapshot.yaml 인 파일에 저장합니다.

   볼륨 스냅샷을 생성하는 YAML의 예

   apiVersion: snapshot.storage.k8s.io/v1
   kind: VolumeSnapshot
   metadata:
       name: lvm-block-1-snap
   spec:
       volumeSnapshotClassName: lvms-vg1
       source:
           persistentVolumeClaimName: lvm-block-1

   Copy to Clipboard Toggle word wrap

3. PVC와 동일한 네임스페이스에서 다음 명령을 실행하여 스냅샷을 생성합니다.

   # oc create -f lvms-vol-snapshot.yaml

   Copy to Clipboard Toggle word wrap

절차

1. 소스 PVC 및 볼륨 스냅샷 이름의 스토리지 클래스 이름을 확인합니다.

2. 다음 YAML을 lvms-vol-restore.yaml 과 같은 이름의 파일에 저장하여 스냅샷을 복원합니다.

   PVC를 복원하는 YAML의 예.

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: lvm-block-1-restore
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Block
     Resources:
       Requests:
         storage: 2Gi
     storageClassName: lvms-vg1
     dataSource:
       name: lvm-block-1-snap
       kind: VolumeSnapshot
       apiGroup: snapshot.storage.k8s.io

   Copy to Clipboard Toggle word wrap

3. 스냅샷과 동일한 네임스페이스에서 다음 명령을 실행하여 정책을 생성합니다.

   # oc create -f lvms-vol-restore.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 볼륨 스냅샷 리소스를 삭제합니다.

   # oc delete volumesnapshot <volume_snapshot_name> -n <namespace>

   Copy to Clipboard Toggle word wrap
   참고

   PVC(영구 볼륨 클레임)를 삭제하면 PVC의 스냅샷이 삭제되지 않습니다.

2. 복원된 볼륨 스냅샷을 삭제하려면 다음 명령을 실행하여 볼륨 스냅샷을 복원하도록 생성된 PVC를 삭제합니다.

   # oc delete pvc <pvc_name> -n <namespace>

   Copy to Clipboard Toggle word wrap

프로세스

1. 소스 PVC의 스토리지 클래스를 식별합니다.

2. 볼륨 복제를 생성하려면 다음 YAML을 lvms-vol-clone.yaml 과 같은 이름의 파일에 저장합니다.

   볼륨을 복제하는 YAML의 예

   apiVersion: v1
   kind: PersistentVolumeClaim
   Metadata:
     name: lvm-block-1-clone
   Spec:
     storageClassName: lvms-vg1
     dataSource:
       name: lvm-block-1
       kind: PersistentVolumeClaim
     accessModes:
      - ReadWriteOnce
     volumeMode: Block
     Resources:
       Requests:
         storage: 2Gi

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 소스 PVC와 동일한 네임스페이스에 정책을 생성합니다.

   # oc create -f lvms-vol-clone.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 PVC 목록을 검색합니다.

   $ oc get pvc

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME        STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   lvms-test   Pending                                      lvms-vg1       11s

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 PVC와 관련된 이벤트를 Pending 상태로 유지합니다.

   $ oc describe pvc <pvc_name> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <pvc_name>을 PVC 이름으로 바꿉니다. 예를 들면 lvms-vg1 입니다.

   출력 예

   Type     Reason              Age               From                         Message
   ----     ------              ----              ----                         -------
   Warning  ProvisioningFailed  4s (x2 over 17s)  persistentvolume-controller  storageclass.storage.k8s.io "lvms-vg1" not found

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 LVMCluster 리소스가 있는지 확인합니다.

   $ oc get lvmcluster -n openshift-storage

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME            AGE
   my-lvmcluster   65m

   Copy to Clipboard Toggle word wrap

2. 클러스터에 LVMCluster 리소스가 없는 경우 다음 명령을 실행하여 해당 리소스를 생성합니다.

   $ oc create -n openshift-storage -f <custom_resource> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <custom_resource>를 요구 사항에 맞는 사용자 정의 리소스 URL 또는 파일로 바꿉니다.

   사용자 정의 리소스의 예

   apiVersion: lvm.topolvm.io/v1alpha1
   kind: LVMCluster
   metadata:
     name: my-lvmcluster
   spec:
     storage:
       deviceClasses:
       - name: vg1
         default: true
         thinPoolConfig:
           name: thin-pool-1
           sizePercent: 90
           overprovisionRatio: 10

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 LVMS의 모든 포드가 openshift-storage 네임스페이스에서 Running 상태인지 확인합니다.

   $ oc get pods -n openshift-storage

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                  READY   STATUS    RESTARTS      AGE
   lvms-operator-7b9fb858cb-6nsml        3/3     Running   0             70m
   topolvm-controller-5dd9cf78b5-7wwr2   5/5     Running   0             66m
   topolvm-node-dr26h                    4/4     Running   0             66m
   vg-manager-r6zdv                      1/1     Running   0             66m

   Copy to Clipboard Toggle word wrap

   예상되는 출력은 lvms-operator 및 vg-manager의 인스턴스 중 하나입니다. 각 노드에 대해 topolvm-controller 및 topolvm-node 의 인스턴스 1개가 예상됩니다.

   topolvm-node 가 Init 상태에 있는 경우 LVMS에서 사용할 사용 가능한 디스크를 찾지 못했습니다. 문제 해결에 필요한 정보를 검색하려면 다음 명령을 실행하여 vg-manager Pod의 로그를 검토합니다.

   $ oc logs -l app.kubernetes.io/component=vg-manager -n openshift-storage

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 PVC와 관련된 이벤트를 검사합니다.

   $ oc describe pvc <pvc_name> 

   1

   Copy to Clipboard Toggle word wrap

   1

   <pvc_name>을 PVC 이름으로 바꿉니다. 다음은 디스크 또는 볼륨 오류 오류 메시지와 그 원인의 몇 가지 예입니다.

   • 볼륨 존재를 확인하지 못했습니다. 볼륨이 이미 있는지 확인하는 데 문제가 있음을 나타냅니다. 볼륨 확인 오류는 네트워크 연결 문제 또는 기타 오류로 인해 발생할 수 있습니다.
   • 볼륨 바인딩 실패: 사용 가능한 PV(영구 볼륨)가 PVC의 요구 사항과 일치하지 않는 경우 볼륨을 바인딩하지 못하는 경우가 발생할 수 있습니다.
   • FailedMount 또는 FailedUnMount: 이 오류는 볼륨을 노드에 마운트하거나 노드에서 볼륨을 마운트 해제 할 때 문제가 있음을 나타냅니다. 디스크가 실패한 경우 Pod에서 PVC 사용을 시도할 때 이 오류가 표시될 수 있습니다.
   • 볼륨은 이미 하나의 노드에 독점적으로 연결되어 있으며 다른 노드에만 연결되어 있지 않습니다. 이 오류는 ReadWriteMany 액세스 모드를 지원하지 않는 스토리지 솔루션과 함께 표시될 수 있습니다.

2. 문제가 발생하는 호스트에 대한 직접 연결을 설정합니다.
3. 디스크 문제를 해결합니다.

사전 요구 사항

1. LVM(Logical Volume Manager) 드라이버를 사용하여 생성된 모든 PVC(영구 볼륨 클레임)가 제거되었습니다.
2. 해당 PVC를 사용하는 Pod가 중지되었습니다.

프로세스

1. 다음 명령을 실행하여 openshift-storage 네임스페이스로 전환합니다.

   $ oc project openshift-storage

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 Logical Volume CR(사용자 정의 리소스)이 남아 있지 않은지 확인합니다.

   $ oc get logicalvolume

   Copy to Clipboard Toggle word wrap

   출력 예

   No resources found

   Copy to Clipboard Toggle word wrap

   1. LogicalVolume CR이 남아 있는 경우 다음 명령을 실행하여 종료자를 제거합니다.

      $ oc patch logicalvolume <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 

      1

      Copy to Clipboard Toggle word wrap

      1

      <name>을 CR 이름으로 바꿉니다.

   2. 종료자를 제거한 후 다음 명령을 실행하여 CR을 삭제합니다.

      $ oc delete logicalvolume <name> 

      1

      Copy to Clipboard Toggle word wrap

      1

      <name>을 CR 이름으로 바꿉니다.

3. 다음 명령을 실행하여 LVMVolumeGroup CR이 남아 있지 않은지 확인합니다.

   $ oc get lvmvolumegroup

   Copy to Clipboard Toggle word wrap

   출력 예

   No resources found

   Copy to Clipboard Toggle word wrap

   1. LVMVolumeGroup CR이 남아 있는 경우 다음 명령을 실행하여 종료자를 제거합니다.

      $ oc patch lvmvolumegroup <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 

      1

      Copy to Clipboard Toggle word wrap

      1

      <name>을 CR 이름으로 바꿉니다.

   2. 종료자를 제거한 후 다음 명령을 실행하여 CR을 삭제합니다.

      $ oc delete lvmvolumegroup <name> 

      1

      Copy to Clipboard Toggle word wrap

      1

      <name>을 CR 이름으로 바꿉니다.

4. 다음 명령을 실행하여 LVMVolumeGroupNodeStatus CR을 제거합니다.

   $ oc delete lvmvolumegroupnodestatus --all

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 실행하여 LVMCluster CR을 제거합니다.

   $ oc delete lvmcluster --all

   Copy to Clipboard Toggle word wrap