4.12. 로컬 스토리지를 사용하는 영구 스토리지
4.12.1. 로컬 스토리지 개요
다음 솔루션을 사용하여 로컬 스토리지를 프로비저닝할 수 있습니다.
- HostPath Provisioner (HPP)
- LSO(Local Storage Operator)
- LVM(Logical Volume Manager) 스토리지
이러한 솔루션은 노드 로컬 스토리지 프로비저닝만 지원합니다. 워크로드는 스토리지를 제공하는 노드에 바인딩됩니다. 노드를 사용할 수 없게 되면 워크로드도 사용할 수 없게 됩니다. 노드 장애에도 불구하고 워크로드 가용성을 유지하려면 활성 또는 수동 복제 메커니즘을 통해 스토리지 데이터 복제를 확인해야 합니다.
4.12.1.1. HostPath Provisioner 기능 개요
HPP(HostPath Provisioner)를 사용하여 다음 작업을 수행할 수 있습니다.
- 로컬 스토리지를 프로비저닝하기 위해 호스트 파일 시스템 경로를 스토리지 클래스에 매핑합니다.
- 스토리지 사용을 위해 노드에서 파일 시스템 경로를 구성하는 스토리지 클래스를 정적으로 생성합니다.
- 스토리지 클래스를 기반으로 영구 볼륨(PV)을 정적으로 프로비저닝합니다.
- 기본 스토리지 토폴로지를 인식하는 동안 워크로드 및 PVC(영구 볼륨)를 생성합니다.
HPP는 업스트림 Kubernetes에서 사용할 수 있습니다. 그러나 업스트림 Kubernetes에서 HPP를 사용하지 않는 것이 좋습니다.
4.12.1.2. Local Storage Operator 기능 개요
LSO(Local Storage Operator)를 사용하여 다음 작업을 수행할 수 있습니다.
- 장치 구성을 수정하지 않고 스토리지 장치(디스크 또는 파티션)를 스토리지 클래스에 할당합니다.
-
LocalVolume
CR(사용자 정의 리소스)을 구성하여 PV 및 스토리지 클래스를 정적으로 프로비저닝합니다. - 기본 스토리지 토폴로지를 인식하는 동안 워크로드 및 PVC를 생성합니다.
LSO는 Red Hat에서 개발하고 제공합니다.
4.12.1.3. LVM 스토리지 기능 개요
LVM(Logical Volume Manager) 스토리지를 사용하여 다음 작업을 수행할 수 있습니다.
- 스토리지 장치(디스크 또는 파티션)를 lvm2 볼륨 그룹으로 구성하고 볼륨 그룹을 스토리지 클래스로 노출합니다.
- 노드 토폴로지를 고려하지 않고 PVC를 사용하여 워크로드를 생성하고 스토리지를 요청합니다.
LVM 스토리지는 TopoLVM CSI 드라이버를 사용하여 토폴로지의 노드에 스토리지 공간을 동적으로 할당하고 PV를 프로비저닝합니다.
LVM 스토리지는 Red Hat에서 개발하고 유지 관리합니다. LVM Storage와 함께 제공되는 CSI 드라이버는 업스트림 프로젝트 "topolvm"입니다.
4.12.1.4. LVM 스토리지, LSO 및 HPP 비교
다음 섹션에서는 로컬 스토리지를 프로비저닝하는 LVM Storage, LSO(Local Storage Operator) 및 HPP(HostPath Provisioner)에서 제공하는 기능을 비교합니다.
4.12.1.4.1. 스토리지 유형 및 파일 시스템에 대한 지원 비교
다음 표에서는 LVM 스토리지, LSO(Local Storage Operator) 및 HPP(HostPath Provisioner)에서 제공하는 스토리지 유형 및 파일 시스템에 대한 지원을 비교하여 로컬 스토리지를 프로비저닝합니다.
기능 | LVM 스토리지 | LSO | HPP |
---|---|---|---|
블록 스토리지 지원 | 예 | 예 | 아니요 |
파일 스토리지 지원 | 예 | 예 | 예 |
오브젝트 스토리지 지원 [1] | 아니요 | 아니요 | 아니요 |
사용 가능한 파일 시스템 |
|
| 노드에서 사용 가능한 마운트된 시스템이 지원됩니다. |
-
어떤 솔루션(LVM Storage, LSO 및 HPP)은 개체 스토리지를 지원하지 않습니다. 따라서 오브젝트 스토리지를 사용하려면 Red Hat OpenShift Data Foundation의
MultiClusterGateway
와 같은 S3 오브젝트 스토리지 솔루션이 필요합니다. 모든 솔루션은 S3 오브젝트 스토리지 솔루션의 기본 스토리지 공급자 역할을 할 수 있습니다.
4.12.1.4.2. 핵심 기능에 대한 지원 비교
다음 표는 LVM 스토리지, LSO(Local Storage Operator) 및 HPP(HostPath Provisioner)가 로컬 스토리지 프로비저닝을 위한 핵심 기능을 지원하는 방법을 비교합니다.
기능 | LVM 스토리지 | LSO | HPP |
---|---|---|---|
자동 파일 시스템 포맷 지원 | 예 | 예 | 해당 없음 |
동적 프로비저닝 지원 | 예 | 아니요 | 아니요 |
RAID(Redundant Array of Independent Disks) 어레이 사용 지원 | 예 4.15 이상에서 지원됩니다. | 예 | 예 |
투명한 디스크 암호화 지원 | 예 4.16 이상에서 지원됩니다. | 예 | 예 |
볼륨 기반 디스크 암호화 지원 | 아니요 | 아니요 | 아니요 |
연결이 끊긴 설치 지원 | 예 | 예 | 예 |
PVC 확장 지원 | 예 | 아니요 | 아니요 |
볼륨 스냅샷 및 볼륨 복제 지원 | 예 | 아니요 | 아니요 |
씬 프로비저닝 지원 | 예 장치는 기본적으로 씬 프로비저닝됩니다. | 예 씬 프로비저닝된 볼륨을 가리키도록 장치를 구성할 수 있습니다. | 예 씬 프로비저닝된 볼륨을 가리키도록 경로를 구성할 수 있습니다. |
자동 디스크 검색 및 설정 지원 | 예
자동 디스크 검색은 설치 및 런타임 중에 사용할 수 있습니다. | 기술 프리뷰 자동 디스크 검색은 설치 중에 사용할 수 있습니다. | 아니요 |
4.12.1.4.3. 성능 및 격리 기능 비교
다음 표에서는 로컬 스토리지 프로비저닝의 LVM Storage, LSO(Local Storage Operator) 및 HPP(HostPath Provisioner)의 성능 및 격리 기능을 비교합니다.
기능 | LVM 스토리지 | LSO | HPP |
---|---|---|---|
성능 | 동일한 스토리지 클래스를 사용하는 모든 워크로드에 대해 I/O 속도가 공유됩니다. 블록 스토리지를 사용하면 직접 I/O 작업을 수행할 수 있습니다. 씬 프로비저닝은 성능에 영향을 미칠 수 있습니다. | I/O는 LSO 구성에 따라 다릅니다. 블록 스토리지를 사용하면 직접 I/O 작업을 수행할 수 있습니다. | 동일한 스토리지 클래스를 사용하는 모든 워크로드에 대해 I/O 속도가 공유됩니다. 기본 파일 시스템에 의해 부과되는 제한 사항은 I/O 속도에 영향을 미칠 수 있습니다. |
격리 경계 [1] | LVM 논리 볼륨(LV) HPP에 비해 높은 수준의 격리를 제공합니다. | LVM 논리 볼륨(LV) HPP에 비해 높은 수준의 격리를 제공합니다. | 파일 시스템 경로 LSO 및 LVM 스토리지에 비해 낮은 수준의 격리를 제공합니다. |
- 격리 경계는 로컬 스토리지 리소스를 사용하는 다양한 워크로드 또는 애플리케이션 간의 분리 수준을 나타냅니다.
4.12.1.4.4. 추가 기능에 대한 지원 비교
다음 표에서는 로컬 스토리지를 프로비저닝하기 위해 LVM Storage, LSO(Local Storage Operator) 및 HPP(HostPath Provisioner)에서 제공하는 추가 기능을 비교합니다.
기능 | LVM 스토리지 | LSO | HPP |
---|---|---|---|
일반 임시 볼륨 지원 | 예 | 아니요 | 아니요 |
CSI 인라인 임시 볼륨 지원 | 아니요 | 아니요 | 아니요 |
스토리지 토폴로지 지원 | 예 CSI 노드 토폴로지 지원 | 예 LSO는 노드 허용 오차를 통해 스토리지 토폴로지에 대한 부분적인 지원을 제공합니다. | 아니요 |
RWX( | 아니요 | 아니요 | 아니요 |
-
모든 솔루션(LVM Storage, LSO 및 HPP)에는 RWO(
ReadWriteOnce
) 액세스 모드가 있습니다. RWO 액세스 모드를 사용하면 동일한 노드의 여러 Pod에서 액세스할 수 있습니다.
4.12.2. 로컬 블록을 사용하는 영구 스토리지
OpenShift Container Platform은 로컬 볼륨을 사용하여 영구 스토리지를 통해 프로비저닝될 수 있습니다. 로컬 영구 볼륨을 사용하면 표준 영구 볼륨 클레임 인터페이스를 사용하여 디스크 또는 파티션과 같은 로컬 스토리지 장치에 액세스할 수 있습니다.
시스템에서 볼륨 노드 제약 조건을 인식하고 있기 때문에 로컬 볼륨은 노드에 수동으로 Pod를 예약하지 않고 사용할 수 있습니다. 그러나 로컬 볼륨은 여전히 기본 노드의 가용성에 따라 달라지며 일부 애플리케이션에는 적합하지 않습니다.
로컬 볼륨은 정적으로 생성된 영구 볼륨으로 사용할 수 있습니다.
4.12.2.1. Local Storage Operator 설치
Local Storage Operator는 기본적으로 OpenShift Container Platform에 설치되지 않습니다. 다음 절차에 따라 이 Operator를 설치하고 구성하여 클러스터에서 로컬 볼륨을 활성화합니다.
사전 요구 사항
- OpenShift Container Platform 웹 콘솔 또는 CLI(명령줄 인터페이스)에 액세스할 수 있습니다.
절차
openshift-local-storage
프로젝트를 생성합니다.$ oc adm new-project openshift-local-storage
선택 사항: 인프라 노드에서 로컬 스토리지 생성을 허용합니다.
Local Storage Operator를 사용하여 로깅 및 모니터링과 같은 구성 요소를 지원하는 인프라 노드에 볼륨을 생성할 수 있습니다.
Local Storage Operator에 작업자 노드가 아닌 인프라 노드가 포함되도록 기본 노드 선택기를 조정해야 합니다.
Local Storage Operator가 클러스터 전체 기본 선택기를 상속하지 못하도록 하려면 다음 명령을 입력합니다.
$ oc annotate namespace openshift-local-storage openshift.io/node-selector=''
선택 사항: 단일 노드 배포의 CPU 관리 풀에서 로컬 스토리지를 실행할 수 있습니다.
단일 노드 배포에서 Local Storage Operator를 사용하고
management
풀에 속하는 CPU를 사용할 수 있습니다. 관리 워크로드 파티셔닝을 사용하는 단일 노드 설치에서 이 단계를 수행합니다.Local Storage Operator가 관리 CPU 풀에서 실행되도록 하려면 다음 명령을 실행합니다.
$ oc annotate namespace openshift-local-storage workload.openshift.io/allowed='management'
UI에서
웹 콘솔에서 Local Storage Operator를 설치하려면 다음 단계를 따르십시오.
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
OperatorHub로 이동합니다. - Local Storage를 필터 상자에 입력하여 Local Storage Operator를 찾습니다.
- 설치를 클릭합니다.
- Operator 설치 페이지에서 클러스터의 특정 네임스페이스를 선택합니다. 드롭다운 메뉴에서 openshift-local-storage를 선택합니다.
- 업데이트 채널 및 승인 전략 값을 원하는 값으로 조정합니다.
- 설치를 클릭합니다.
완료되면 Local Storage Operator가 웹 콘솔의 설치된 Operator 섹션에 나열됩니다.
CLI에서
CLI에서 Local Storage Operator를 설치합니다.
openshift-local-storage.yaml
과 같은 Local Storage Operator의 Operator 그룹 및 서브스크립션을 정의하는 오브젝트 YAML 파일을 생성합니다.예: openshift-local-storage.yaml
apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: local-operator-group namespace: openshift-local-storage spec: targetNamespaces: - openshift-local-storage --- apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: local-storage-operator namespace: openshift-local-storage spec: channel: stable installPlanApproval: Automatic 1 name: local-storage-operator source: redhat-operators sourceNamespace: openshift-marketplace
- 1
- 설치 계획에 대한 사용자 승인 정책입니다.
다음 명령을 입력하여 Local Storage Operator 오브젝트를 생성합니다.
$ oc apply -f openshift-local-storage.yaml
이 시점에서 OLM(Operator Lifecycle Manager)은 Local Storage Operator를 인식합니다. Operator의 ClusterServiceVersion (CSV)이 대상 네임스페이스에 표시되고 Operator가 제공한 API를 작성할 수 있어야 합니다.
모든 Pod 및 Local Storage Operator가 생성되었는지 확인하여 로컬 스토리지 설치를 확인합니다.
필요한 모든 Pod가 생성되었는지 확인합니다.
$ oc -n openshift-local-storage get pods
출력 예
NAME READY STATUS RESTARTS AGE local-storage-operator-746bf599c9-vlt5t 1/1 Running 0 19m
CSV(ClusterServiceVersion) YAML 매니페스트를 확인하여
openshift-local-storage
프로젝트에서 Local Storage Operator를 사용할 수 있는지 확인합니다.$ oc get csvs -n openshift-local-storage
출력 예
NAME DISPLAY VERSION REPLACES PHASE local-storage-operator.4.2.26-202003230335 Local Storage 4.2.26-202003230335 Succeeded
모든 확인이 통과되면 Local Storage Operator가 성공적으로 설치됩니다.
4.12.2.2. Local Storage Operator를 사용하여 로컬 볼륨을 프로비저닝
동적 프로비저닝을 통해 로컬 볼륨을 생성할 수 없습니다. 대신 Local Storage Operator에서 영구 볼륨을 생성할 수 있습니다. 로컬 볼륨 프로비저너는 정의된 리소스에 지정된 경로에서 모든 파일 시스템 또는 블록 볼륨 장치를 찾습니다.
사전 요구 사항
- Local Storage Operator가 설치되어 있습니다.
다음 조건을 충족하는 로컬 디스크가 있습니다.
- 노드에 연결되어 있습니다.
- 마운트되지 않았습니다.
- 파티션이 포함되어 있지 않습니다.
프로세스
로컬 볼륨 리소스를 생성합니다. 이 리소스는 로컬 볼륨에 대한 노드 및 경로를 정의해야 합니다.
참고동일한 장치에 다른 스토리지 클래스 이름을 사용하지 마십시오. 이렇게 하면 여러 영구 볼륨(PV)이 생성됩니다.
예: Filesystem
apiVersion: "local.storage.openshift.io/v1" kind: "LocalVolume" metadata: name: "local-disks" namespace: "openshift-local-storage" 1 spec: nodeSelector: 2 nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - ip-10-0-140-183 - ip-10-0-158-139 - ip-10-0-164-33 storageClassDevices: - storageClassName: "local-sc" 3 forceWipeDevicesAndDestroyAllData: false 4 volumeMode: Filesystem 5 fsType: xfs 6 devicePaths: 7 - /path/to/device 8
- 1
- Local Storage Operator가 설치된 네임스페이스입니다.
- 2
- 선택 사항: 로컬 스토리지 볼륨이 연결된 노드 목록이 포함된 노드 선택기입니다. 이 예에서는
oc get node
에서 가져온 노드 호스트 이름을 사용합니다. 값을 정의하지 않으면 Local Storage Operator에서 사용 가능한 모든 노드에서 일치하는 디스크를 찾습니다. - 3
- 영구 볼륨 오브젝트를 생성할 때 사용할 스토리지 클래스의 이름입니다. Local Storage Operator가 존재하지 않는 경우 스토리지 클래스를 자동으로 생성합니다. 이 로컬 볼륨 세트를 고유하게 식별하는 스토리지 클래스를 사용해야 합니다.
- 4
- 이 설정은
wipefs
를 호출할지 여부를 정의합니다. 즉, 파티션 테이블 서명(마이크 문자열)을 제거하여 LSO(Local Storage Operator) 프로비저닝에 디스크를 사용할 준비가 되었습니다. 서명 이외의 다른 데이터는 삭제되지 않습니다. 기본값은 "false"입니다(wipefs
가 호출되지 않음).forceWipeDevicesAndDestroyAllData
를 "true"로 설정하면 이전 데이터를 다시 사용해야 하는 디스크에 남아 있을 수 있는 시나리오에서 유용할 수 있습니다. 이러한 시나리오에서는 이 필드를 true로 설정하면 관리자가 디스크를 수동으로 지울 필요가 없습니다. 이러한 경우는 단일 노드 OpenShift(SNO) 클러스터 환경이 포함될 수 있습니다. 노드를 여러 번 재배포할 수 있거나 OpenShift Data Foundation(ODF)을 사용할 때 이전 데이터가 개체 스토리지 장치(OSD)로 사용되는 디스크에 남아 있을 수 있습니다. - 5
- 로컬 볼륨의 유형을 정의하는
Filesystem
또는Block
중 하나에 해당 볼륨 모드입니다.참고원시 블록 볼륨(
volumeMode: Block
)은 파일 시스템으로 포맷되지 않습니다. Pod에서 실행되는 모든 애플리케이션이 원시 블록 장치를 사용할 수 있는 경우에만 이 모드를 사용합니다. - 6
- 로컬 볼륨이 처음 마운트될 때 생성되는 파일 시스템입니다.
- 7
- 선택할 로컬 스토리지 장치 목록이 포함된 경로입니다.
- 8
- 이 값을
LocalVolume
리소스의 실제 로컬 디스크 파일 경로(예:/dev/disk/
)로 바꿉니다. 프로비저너가 배포되면 이러한 로컬 디스크에 PV가 생성됩니다.by-id
/wwn참고RHEL KVM을 사용하여 OpenShift Container Platform을 실행하는 경우 VM 디스크에 일련 번호를 할당해야 합니다. 그렇지 않으면 재부팅 후 VM 디스크를 식별할 수 없습니다.
virsh edit <VM
> 명령을 사용하여 <serial>mydisk</serial
> 정의를 추가할 수 있습니다.
예: 블록
apiVersion: "local.storage.openshift.io/v1" kind: "LocalVolume" metadata: name: "local-disks" namespace: "openshift-local-storage" 1 spec: nodeSelector: 2 nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - ip-10-0-136-143 - ip-10-0-140-255 - ip-10-0-144-180 storageClassDevices: - storageClassName: "local-sc" 3 forceWipeDevicesAndDestroyAllData: false 4 volumeMode: Block 5 devicePaths: 6 - /path/to/device 7
- 1
- Local Storage Operator가 설치된 네임스페이스입니다.
- 2
- 선택 사항: 로컬 스토리지 볼륨이 연결된 노드 목록이 포함된 노드 선택기입니다. 이 예에서는
oc get node
에서 가져온 노드 호스트 이름을 사용합니다. 값을 정의하지 않으면 Local Storage Operator에서 사용 가능한 모든 노드에서 일치하는 디스크를 찾습니다. - 3
- 영구 볼륨 오브젝트를 생성할 때 사용할 스토리지 클래스의 이름입니다.
- 4
- 이 설정은
wipefs
를 호출할지 여부를 정의합니다. 즉, 파티션 테이블 서명(마이크 문자열)을 제거하여 LSO(Local Storage Operator) 프로비저닝에 디스크를 사용할 준비가 되었습니다. 서명 이외의 다른 데이터는 삭제되지 않습니다. 기본값은 "false"입니다(wipefs
가 호출되지 않음).forceWipeDevicesAndDestroyAllData
를 "true"로 설정하면 이전 데이터를 다시 사용해야 하는 디스크에 남아 있을 수 있는 시나리오에서 유용할 수 있습니다. 이러한 시나리오에서는 이 필드를 true로 설정하면 관리자가 디스크를 수동으로 지울 필요가 없습니다. 이러한 경우는 단일 노드 OpenShift(SNO) 클러스터 환경이 포함될 수 있습니다. 노드를 여러 번 재배포할 수 있거나 OpenShift Data Foundation(ODF)을 사용할 때 이전 데이터가 개체 스토리지 장치(OSD)로 사용되는 디스크에 남아 있을 수 있습니다. - 5
- 로컬 볼륨의 유형을 정의하는
Filesystem
또는Block
중 하나에 해당 볼륨 모드입니다. - 6
- 선택할 로컬 스토리지 장치 목록이 포함된 경로입니다.
- 7
- 이 값을
LocalVolume
리소스의 실제 로컬 디스크 파일 경로(예:dev/disk/
)로 바꿉니다. 프로비저너가 배포되면 이러한 로컬 디스크에 PV가 생성됩니다.by-id
/wwn
참고RHEL KVM을 사용하여 OpenShift Container Platform을 실행하는 경우 VM 디스크에 일련 번호를 할당해야 합니다. 그렇지 않으면 재부팅 후 VM 디스크를 식별할 수 없습니다.
virsh edit <VM
> 명령을 사용하여 <serial>mydisk</serial
> 정의를 추가할 수 있습니다.OpenShift Container Platform 클러스터에 로컬 볼륨 리소스를 생성합니다. 방금 생성한 파일을 지정합니다.
$ oc create -f <local-volume>.yaml
프로비저너가 생성되었고 해당 데몬 세트가 생성되었는지 확인합니다.
$ oc get all -n openshift-local-storage
출력 예
NAME READY STATUS RESTARTS AGE pod/diskmaker-manager-9wzms 1/1 Running 0 5m43s pod/diskmaker-manager-jgvjp 1/1 Running 0 5m43s pod/diskmaker-manager-tbdsj 1/1 Running 0 5m43s pod/local-storage-operator-7db4bd9f79-t6k87 1/1 Running 0 14m NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/local-storage-operator-metrics ClusterIP 172.30.135.36 <none> 8383/TCP,8686/TCP 14m NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE daemonset.apps/diskmaker-manager 3 3 3 3 3 <none> 5m43s NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/local-storage-operator 1/1 1 1 14m NAME DESIRED CURRENT READY AGE replicaset.apps/local-storage-operator-7db4bd9f79 1 1 1 14m
필요한 데몬 세트 프로세스 및 현재 개수를 기록해 둡니다.
0
의 개수는 레이블 선택기가 유효하지 않음을 나타냅니다.영구 볼륨이 생성되었는지 확인합니다.
$ oc get pv
출력 예
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE local-pv-1cec77cf 100Gi RWO Delete Available local-sc 88m local-pv-2ef7cd2a 100Gi RWO Delete Available local-sc 82m local-pv-3fa1c73 100Gi RWO Delete Available local-sc 48m
LocalVolume
오브젝트 편집은 안전하지 않은 작업이므로 이를 수행하면 기존 영구 볼륨의 fsType
또는 volumeMode
가 변경되지 않습니다.
4.12.2.3. Local Storage Operator없이 로컬 볼륨 프로비저닝
동적 프로비저닝을 통해 로컬 볼륨을 생성할 수 없습니다. 대신 개체 정의에서 영구 볼륨(PV)을 정의하여 영구 볼륨을 생성할 수 있습니다. 로컬 볼륨 프로비저너는 정의된 리소스에 지정된 경로에서 모든 파일 시스템 또는 블록 볼륨 장치를 찾습니다.
PVC가 삭제될 때 PV를 수동으로 프로비저닝하면 PV를 재사용할 때 데이터 누출의 위험이 발생할 수 있습니다. Local Storage Operator는 로컬 PV를 프로비저닝할 때 장치의 라이프 사이클을 자동화하는 것이 좋습니다.
사전 요구 사항
- 로컬 디스크가 OpenShift Container Platform 노드에 연결되어 있습니다.
프로세스
PV를 정의합니다.
PersistentVolume
오브젝트 정의로example-pv-filesystem.yaml
또는example-pv-block.yaml
과 같은 파일을 생성합니다. 이 리소스는 로컬 볼륨에 대한 노드 및 경로를 정의해야 합니다.참고동일한 장치에 다른 스토리지 클래스 이름을 사용하지 마십시오. 이렇게 하면 여러 PV가 생성됩니다.
example-pv-filesystem.yaml
apiVersion: v1 kind: PersistentVolume metadata: name: example-pv-filesystem spec: capacity: storage: 100Gi volumeMode: Filesystem 1 accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Delete storageClassName: local-sc 2 local: path: /dev/xvdf 3 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - example-node
참고원시 블록 볼륨(
volumeMode: block
)은 파일 시스템과 함께 포맷되지 않습니다. Pod에서 실행되는 모든 애플리케이션이 원시 블록 장치를 사용할 수 있는 경우에만 이 모드를 사용합니다.example-pv-block.yaml
apiVersion: v1 kind: PersistentVolume metadata: name: example-pv-block spec: capacity: storage: 100Gi volumeMode: Block 1 accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Delete storageClassName: local-sc 2 local: path: /dev/xvdf 3 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - example-node
OpenShift Container Platform 클러스터에 PV 리소스를 생성합니다. 방금 생성한 파일을 지정합니다.
$ oc create -f <example-pv>.yaml
로컬 PV가 생성되었는지 확인합니다.
$ oc get pv
출력 예
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE example-pv-filesystem 100Gi RWO Delete Available local-sc 3m47s example-pv1 1Gi RWO Delete Bound local-storage/pvc1 local-sc 12h example-pv2 1Gi RWO Delete Bound local-storage/pvc2 local-sc 12h example-pv3 1Gi RWO Delete Bound local-storage/pvc3 local-sc 12h
4.12.2.4. 로컬 볼륨 영구 볼륨 클레임 생성
로컬 볼륨은 Pod가 액세스할 수 있는 영구 볼륨 클레임(PVC)으로서 정적으로 생성되어야 합니다.
사전 요구 사항
- 영구 볼륨은 로컬 볼륨 프로비저너를 사용하여 생성됩니다.
절차
해당 스토리지 클래스를 사용하여 PVC를 생성합니다.
kind: PersistentVolumeClaim apiVersion: v1 metadata: name: local-pvc-name 1 spec: accessModes: - ReadWriteOnce volumeMode: Filesystem 2 resources: requests: storage: 100Gi 3 storageClassName: local-sc 4
방금 작성한 파일을 지정하여 OpenShift Container Platform 클러스터에서 PVC를 생성합니다.
$ oc create -f <local-pvc>.yaml
4.12.2.5. 로컬 클레임 연결
로컬 볼륨이 영구 볼륨 클레임에 매핑된 후 리소스 내부에서 지정할 수 있습니다.
사전 요구 사항
- 동일한 네임스페이스에 영구 볼륨 클레임이 있어야 합니다.
절차
리소스 사양에 정의된 클레임을 포함합니다. 다음 예시는 Pod 내에서 영구 볼륨 클레임을 선언합니다.
apiVersion: v1 kind: Pod spec: # ... containers: volumeMounts: - name: local-disks 1 mountPath: /data 2 volumes: - name: local-disks persistentVolumeClaim: claimName: local-pvc-name 3 # ...
방금 생성한 파일을 지정하여 OpenShift Container Platform 클러스터에 리소스를 생성합니다.
$ oc create -f <local-pod>.yaml
4.12.2.6. 로컬 스토리지 장치에 대한 검색 및 프로비저닝 자동화
로컬 스토리지 Operator는 로컬 스토리지 검색 및 프로비저닝을 자동화합니다. 이 기능을 사용하면 배포 중에 연결된 장치가 있는 베어 메탈, VMware 또는 AWS 스토어 인스턴스와 같이 동적 프로비저닝을 사용할 수 없는 경우 설치를 단순화할 수 있습니다.
자동 검색 및 프로비저닝은 기술 프리뷰 기능 전용입니다. Technology Preview 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
자동 검색 및 프로비저닝은 온프레미스 또는 플랫폼 관련 배포와 함께 Red Hat OpenShift Data Foundation을 배포하는 데 사용되는 경우 완전히 지원됩니다.
다음 절차에 따라 로컬 장치를 자동으로 검색하고 선택한 장치에 대한 로컬 볼륨을 자동으로 프로비저닝하십시오.
LocalVolumeSet
오브젝트를 주의해서 사용합니다. 로컬 디스크에서 PV(영구 볼륨)를 자동으로 프로비저닝하면 로컬 PV에서 일치하는 모든 장치를 요청할 수 있습니다. LocalVolumeSet
오브젝트를 사용하는 경우 Local Storage Operator가 노드에서 로컬 장치를 관리하는 유일한 엔티티인지 확인합니다. 노드를 두 번 이상 대상으로 하는 LocalVolumeSet
의 여러 인스턴스를 생성할 수 없습니다.
사전 요구 사항
- 클러스터 관리자 권한이 있어야 합니다.
- Local Storage Operator가 설치되어 있습니다.
- OpenShift Container Platform 노드에 로컬 디스크가 연결되어 있습니다.
-
OpenShift Container Platform 웹 콘솔과
oc
명령줄 인터페이스(CLI)에 액세스할 수 있습니다.
절차
웹 콘솔에서 로컬 장치를 자동으로 검색할 수 있도록 하려면 다음을 수행합니다.
-
Operators
설치된 Operators를 클릭합니다. -
openshift-local-storage
네임스페이스에서 로컬 스토리지를 클릭합니다. - 로컬 볼륨 검색 탭을 클릭합니다.
- 로컬 볼륨 검색 생성 을 클릭한 다음 양식 보기 또는 YAML 보기를 선택합니다.
-
LocalVolumeDiscovery
오브젝트 매개변수를 구성합니다. Create를 클릭합니다.
Local Storage Operator는
auto-discover-devices
라는 로컬 볼륨 검색 인스턴스를 생성합니다.
-
Operators
노드에 사용 가능한 장치 목록을 표시하려면 다음을 수행합니다.
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
컴퓨팅
노드로 이동합니다. - 열기를 원하는 노드 이름을 클릭합니다. "노드 세부 정보" 페이지가 표시됩니다.
선택한 장치 목록을 표시하려면 디스크 탭을 선택합니다.
로컬 디스크가 추가되거나 제거되면 장치 목록이 지속적으로 업데이트됩니다. 장치를 이름, 상태, 유형, 모델, 용량 및 모드로 필터링할 수 있습니다.
웹 콘솔에서 발견된 장치에 대한 로컬 볼륨을 자동으로 프로비저닝하려면 다음을 수행합니다.
-
Operator
설치된 Operator로 이동하고 Operator 목록에서 로컬 스토리지를 선택합니다. -
로컬 볼륨 세트
로컬 볼륨 세트 만들기를 선택합니다. - 볼륨 세트 이름과 스토리지 클래스 이름을 입력합니다.
그에 따라 필터를 적용하려면 모든 노드 또는 노드 선택을 선택합니다.
참고모든 노드 또는 노드 선택을 사용하여 필터링하는지의 여부와 관계없이 작업자 노드만 사용할 수 있습니다.
로컬 볼륨 세트에 적용할 디스크 유형, 모드, 크기 및 제한을 선택하고 만들기를 클릭합니다.
몇 분 후에 “Operator 조정됨”을 나타내는 메시지가 표시됩니다.
-
Operator
대신 CLI에서 검색된 장치에 대한 로컬 볼륨을 프로비저닝하려면 다음을 수행합니다.
다음 예와 같이
local-volume-set.yaml
과 같은 로컬 볼륨 세트를 정의하는 오브젝트 YAML 파일을 생성합니다.apiVersion: local.storage.openshift.io/v1alpha1 kind: LocalVolumeSet metadata: name: example-autodetect spec: nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - worker-0 - worker-1 storageClassName: local-sc 1 volumeMode: Filesystem fsType: ext4 maxDeviceCount: 10 deviceInclusionSpec: deviceTypes: 2 - disk - part deviceMechanicalProperties: - NonRotational minSize: 10G maxSize: 100G models: - SAMSUNG - Crucial_CT525MX3 vendors: - ATA - ST2000LM
로컬 볼륨 세트 오브젝트를 생성합니다.
$ oc apply -f local-volume-set.yaml
로컬 영구 볼륨이 스토리지 클래스를 기반으로 동적으로 프로비저닝되었는지 확인합니다.
$ oc get pv
출력 예
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE local-pv-1cec77cf 100Gi RWO Delete Available local-sc 88m local-pv-2ef7cd2a 100Gi RWO Delete Available local-sc 82m local-pv-3fa1c73 100Gi RWO Delete Available local-sc 48m
결과는 노드에서 제거된 후 삭제됩니다. 심볼릭 링크는 수동으로 제거해야 합니다.
4.12.2.7. Local Storage Operator Pod에서 허용 오차 사용
테인트를 노드에 적용하여 일반 워크로드를 실행하지 못하도록 할 수 있습니다. Local Storage Operator가 테인트된 노드를 사용하도록 허용하려면 Pod
또는 DaemonSet
정의에 허용 오차를 추가해야 합니다. 그러면 생성된 리소스가 이러한 테인트된 노드에서 실행될 수 있습니다.
LocalVolume
리소스를 통해 Local Storage Operator Pod에 허용 오차를 적용하고 노드 사양을 통해 노드에 테인트를 적용합니다. 노드의 테인트는 해당 테인트를 허용하지 않는 모든 Pod를 거절하도록 노드에 지시합니다. 다른 Pod에 없는 특정 테인트를 사용하면 Local Storage Operator Pod가 해당 노드에서도 실행될 수 있습니다.
테인트 및 허용 오차는 key, value 및 effect로 구성되어 있습니다. 인수로는 key=value:effect
로 표시됩니다. Operator는 이러한 매개 변수 중 하나를 비워두는 것을 허용합니다.
사전 요구 사항
- Local Storage Operator가 설치되어 있습니다.
- 로컬 디스크는 테인트와 함께 OpenShift Container Platform 노드에 연결되어 있습니다.
- 테인트된 노드는 로컬 스토리지를 프로비저닝해야 합니다.
절차
테인트된 노드에서 스케줄링을 위해 로컬 볼륨을 구성하려면 다음을 수행하십시오.
다음 예와 같이
Pod
를 정의하는 YAML 파일을 수정하고LocalVolume
사양을 추가합니다.apiVersion: "local.storage.openshift.io/v1" kind: "LocalVolume" metadata: name: "local-disks" namespace: "openshift-local-storage" spec: tolerations: - key: localstorage 1 operator: Equal 2 value: "localstorage" 3 storageClassDevices: - storageClassName: "local-sc" volumeMode: Block 4 devicePaths: 5 - /dev/xvdg
선택 사항: 테인트된 노드에만 로컬 영구 볼륨을 생성하려면 다음 예와 같이 YAML 파일을 수정하고
LocalVolume
사양을 추가합니다.spec: tolerations: - key: node-role.kubernetes.io/master operator: Exists
정의된 허용 오차가 결과 데몬 세트로 전달되어, 지정된 테인트를 포함하는 노드에 대해 디스크 제조 업체 및 프로비저너 Pod를 생성할 수 있습니다.
4.12.2.8. Local Storage Operator 지표
OpenShift Container Platform은 Local Storage Operator에 대한 다음 지표를 제공합니다.
-
lso_discovery_disk_count
: 각 노드에서 발견된 총 장치 수 -
lso_lvset_provisioned_PV_count
:LocalVolumeSet
개체에서 생성한 총 PV 수 -
lso_lvset_unmatched_disk_count
: 기준 불일치로 인해 Local Storage Operator가 프로비저닝을 위해 선택하지 않은 총 디스크 수 -
lso_lvset_orphaned_symlink_count
:LocalVolumeSet
개체 기준과 더 이상 일치하지 않는 PV가 있는 장치 수 -
lso_lv_orphaned_symlink_count
:LocalVolume
오브젝트 기준과 더 이상 일치하지 않는 PV가 있는 장치 수 -
lso_lv_provisioned_PV_count
:LocalVolume
의 프로비저닝된 총 PV 수
이러한 메트릭을 사용하려면 다음을 수행해야합니다.
- Local Storage Operator를 설치할 때 모니터링 지원을 활성화합니다.
-
OpenShift Container Platform 4.9 이상으로 업그레이드하는 경우 네임스페이스에
operator-metering=true
레이블을 추가하여 메트릭을 수동으로 지원합니다.
메트릭에 대한 자세한 내용은 메트릭 관리를 참조하십시오.
4.12.2.9. Local Storage Operator 리소스 삭제
4.12.2.9.1. 로컬 볼륨 또는 로컬 볼륨 세트 제거
때때로 로컬 볼륨 및 로컬 볼륨 세트를 삭제해야 합니다. 리소스에서 항목을 제거하고 영구 볼륨을 삭제하는 것은 일반적으로 충분합니다. 동일한 장치 경로를 재사용하거나 다른 스토리지 클래스로 관리하려면 추가 단계가 필요합니다.
다음 절차에서는 로컬 볼륨을 제거하는 예시를 간단히 설명합니다. 동일한 절차를 사용하여 로컬 볼륨 세트 사용자 정의 리소스의 심볼릭 링크를 제거할 수도 있습니다.
사전 요구 사항
영구 볼륨이
해제된
또는사용 가능
상태여야 합니다.주의아직 사용 중인 영구 볼륨을 삭제하면 데이터 손실 또는 손상이 발생할 수 있습니다.
절차
이전에 생성된 로컬 볼륨을 편집하여 원하는 디스크를 제거합니다.
클러스터 리소스를 편집합니다.
$ oc edit localvolume <name> -n openshift-local-storage
-
devicePaths
아래의 행으로 이동하여 원하는 디스크를 나타내는 모든 항목을 삭제합니다.
생성된 영구 볼륨을 삭제합니다.
$ oc delete pv <pv-name>
디렉터리를 삭제하고 노드에 심볼릭 링크를 포함했습니다.
주의다음 단계는 루트 사용자로 노드에 액세스하는 것입니다. 이 절차의 단계 이후에 노드 상태를 수정하면 클러스터가 불안정해질 수 있습니다.
$ oc debug node/<node-name> -- chroot /host rm -rf /mnt/local-storage/<sc-name> 1
- 1
- 로컬 볼륨을 생성하기 위해 사용되는 스토리지 클래스의 이름입니다.
4.12.2.9.2. Local Storage Operator 설치 제거
Local Storage Operator의 설치를 제거하려면 openshift-local-storage
프로젝트에서 Operator 및 모든 생성된 리소스를 제거해야 합니다.
로컬 스토리지 PV를 아직 사용 중 일 때 Local Storage Operator의 설치를 제거하는 것은 권장되지 않습니다. Operator 제거 후 PV는 유지되지만, PV 및 로컬 스토리지 리소스를 제거하지 않고 Operator를 제거한 후 다시 설치하면 알 수 없는 동작이 발생할 수 있습니다.
사전 요구 사항
- OpenShift Container Platform 웹 콘솔에 액세스합니다.
프로세스
localvolume
,localvolumeset
,localvolumediscovery
과 같이 프로젝트에 설치된 로컬 볼륨 리소스를 삭제합니다.$ oc delete localvolume --all --all-namespaces $ oc delete localvolumeset --all --all-namespaces $ oc delete localvolumediscovery --all --all-namespaces
웹 콘솔에서 Local Storage Operator의 설치를 제거합니다.
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
설치된 Operator로 이동합니다. - Local Storage를 필터 상자에 입력하여 Local Storage Operator를 찾습니다.
- Local Storage Operator 끝에 있는 옵션 메뉴 를 클릭합니다.
- Operator 제거를 클릭합니다.
- 표시되는 창에서 제거를 클릭합니다.
Local Storage Operator에서 생성한 PV는 삭제될 때까지 클러스터에 남아 있습니다. 이러한 볼륨이 더 이상 사용되지 않으면 다음 명령을 실행하여 해당 볼륨을 삭제합니다.
$ oc delete pv <pv-name>
openshift-local-storage
프로젝트를 삭제합니다.$ oc delete project openshift-local-storage
4.12.3. hostPath를 사용하는 영구 스토리지
OpenShift Container Platform 클러스터의 hostPath 볼륨은 호스트 노드 파일 시스템의 파일 또는 디렉터리를 Pod에 마운트합니다. 대부분의 Pod에는 hostPath 볼륨이 필요하지 않지만 테스트에 필요한 빠른 옵션을 제공합니다.
클러스터 관리자는 권한으로 실행되도록 Pod를 구성해야 합니다. 이를 통해 동일한 노드의 Pod에 액세스 권한이 부여됩니다.
4.12.3.1. 개요
OpenShift Container Platform은 단일 노드 클러스터에서 개발 및 테스트를 위해 hostPath 마운트를 지원합니다.
프로덕션 클러스터에서는 hostPath를 사용할 수 없습니다. 대신, 클러스터 관리자는 GCE 영구 디스크 볼륨, NFS 공유 또는 Amazon EBS 볼륨과 같은 네트워크 리소스를 프로비저닝합니다. 네트워크 리소스는 스토리지 클래스 사용을 지원하여 동적 프로비저닝을 설정합니다.
hostPath 볼륨은 정적으로 프로비저닝해야 합니다.
컨테이너 루트, /
또는 호스트와 컨테이너에서 동일한 경로에 마운트하지 마십시오. 컨테이너에 충분한 권한이 있는 경우 호스트 시스템이 손상될 수 있습니다. /host
를 사용하여 호스트를 마운트하는 것이 안전합니다. 다음 예는 /host
의 컨테이너에 마운트되는 호스트의 /
디렉터리를 보여줍니다.
apiVersion: v1 kind: Pod metadata: name: test-host-mount spec: containers: - image: registry.access.redhat.com/ubi9/ubi name: test-container command: ['sh', '-c', 'sleep 3600'] volumeMounts: - mountPath: /host name: host-slash volumes: - name: host-slash hostPath: path: / type: ''
4.12.3.2. 정적으로 hostPath 볼륨을 프로비저닝
hostPath 볼륨을 사용하는 Pod는 수동(정적) 프로비저닝을 통해 참조해야 합니다.
절차
PV(영구 볼륨)를 정의합니다.
PersistentVolume
오브젝트 정의를 사용하여pv.yaml
파일을 생성합니다.apiVersion: v1 kind: PersistentVolume metadata: name: task-pv-volume 1 labels: type: local spec: storageClassName: manual 2 capacity: storage: 5Gi accessModes: - ReadWriteOnce 3 persistentVolumeReclaimPolicy: Retain hostPath: path: "/mnt/data" 4
파일에서 PV를 생성합니다.
$ oc create -f pv.yaml
PVC(영구 볼륨 클레임)를 정의합니다.
PersistentVolumeClaim
오브젝트 정의를 사용하여pvc.yaml
파일을 생성합니다.apiVersion: v1 kind: PersistentVolumeClaim metadata: name: task-pvc-volume spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi storageClassName: manual
파일에서 PVC를 생성합니다.
$ oc create -f pvc.yaml
4.12.3.3. 권한이 있는 Pod에서 hostPath 공유 마운트
영구 볼륨 클레임을 생성한 후 애플리케이션에 의해 내부에서 사용될 수 있습니다. 다음 예시는 Pod 내부에서 이 공유를 마운트하는 방법을 보여줍니다.
사전 요구 사항
- 기본 hostPath 공유에 매핑된 영구 볼륨 클레임이 있습니다.
절차
기존 영구 볼륨 클레임을 마운트하는 권한이 있는 Pod를 생성합니다.
apiVersion: v1 kind: Pod metadata: name: pod-name 1 spec: containers: ... securityContext: privileged: true 2 volumeMounts: - mountPath: /data 3 name: hostpath-privileged ... securityContext: {} volumes: - name: hostpath-privileged persistentVolumeClaim: claimName: task-pvc-volume 4
4.12.4. 논리 볼륨 관리자 스토리지를 사용하는 영구 스토리지
논리 볼륨 관리자 스토리지는 TopoLVM CSI 드라이버를 사용하여 OpenShift Container Platform 클러스터에서 로컬 스토리지를 동적으로 프로비저닝합니다.
LVM 스토리지는 논리 볼륨 관리자를 사용하여 씬 프로비저닝된 볼륨을 생성하고 제한된 리소스 클러스터에서 블록 스토리지의 동적 프로비저닝을 제공합니다.
LVM 스토리지를 사용하여 볼륨 그룹, PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 생성할 수 있습니다.
4.12.4.1. 논리 볼륨 관리자 스토리지 설치
OpenShift Container Platform 클러스터에 LVM(Logical Volume Manager) 스토리지를 설치하고 워크로드를 위한 스토리지를 동적으로 프로비저닝하도록 구성할 수 있습니다.
OpenShift Container Platform CLI(oc
), OpenShift Container Platform 웹 콘솔 또는 RHACM(Red Hat Advanced Cluster Management)을 사용하여 LVM 스토리지를 설치할 수 있습니다.
다중 노드 클러스터에서 LVM 스토리지를 사용하는 경우 LVM 스토리지는 로컬 스토리지 프로비저닝만 지원합니다. LVM 스토리지는 노드 간에 스토리지 데이터 복제 메커니즘을 지원하지 않습니다. 단일 장애 지점을 방지하려면 활성 또는 수동 복제 메커니즘을 통해 스토리지 데이터 복제를 보장해야 합니다.
4.12.4.1.1. LVM 스토리지를 설치하기 위한 사전 요구 사항
LVM 스토리지를 설치하기 위한 전제 조건은 다음과 같습니다.
- 최소 10밀리CPU 및 100MiB의 RAM이 있는지 확인합니다.
- 모든 관리 클러스터에 스토리지를 프로비저닝하는 데 사용되는 전용 디스크가 있는지 확인합니다. LVM 스토리지는 비어 있고 파일 시스템 서명이 포함되지 않은 디스크만 사용합니다. 디스크가 비어 있고 파일 시스템 서명을 포함하지 않도록 하려면 디스크를 사용하기 전에 초기화하십시오.
이전 LVM 스토리지 설치에서 구성한 스토리지 장치를 재사용할 수 있는 개인 CI 환경에 LVM 스토리지를 설치하기 전에 사용하지 않는 디스크를 지웁니다. LVM 스토리지를 설치하기 전에 디스크를 지우지 않으면 수동 조작 없이 디스크를 재사용할 수 없습니다.
참고사용 중인 디스크를 초기화할 수 없습니다.
- RHACM(Red Hat Advanced Cluster Management)을 사용하여 LVM 스토리지를 설치하려면 OpenShift Container Platform 클러스터에 RHACM을 설치해야 합니다. "RHACM을 사용하여 LVM 스토리지 설치" 섹션을 참조하십시오.
4.12.4.1.2. CLI를 사용하여 LVM 스토리지 설치
클러스터 관리자는 OpenShift CLI를 사용하여 LVM 스토리지를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
및 Operator 설치 권한이 있는 사용자로 OpenShift Container Platform에 로그인했습니다.
프로세스
네임스페이스를 생성하기 위한 구성으로 YAML 파일을 생성합니다.
네임스페이스를 생성하기 위한 YAML 구성의 예
apiVersion: v1 kind: Namespace metadata: labels: openshift.io/cluster-monitoring: "true" pod-security.kubernetes.io/enforce: privileged pod-security.kubernetes.io/audit: privileged pod-security.kubernetes.io/warn: privileged name: openshift-storage
다음 명령을 실행하여 네임스페이스를 생성합니다.
$ oc create -f <file_name>
OperatorGroup
CR YAML 파일을 생성합니다.OperatorGroup
CR의 예apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: openshift-storage-operatorgroup namespace: openshift-storage spec: targetNamespaces: - openshift-storage
다음 명령을 실행하여
OperatorGroup
CR을 생성합니다.$ oc create -f <file_name>
서브스크립션
CR YAML 파일을 생성합니다.서브스크립션
CR의 예apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: lvms namespace: openshift-storage spec: installPlanApproval: Automatic name: lvms-operator source: redhat-operators sourceNamespace: openshift-marketplace
다음 명령을 실행하여
서브스크립션
CR을 생성합니다.$ oc create -f <file_name>
검증
LVM 스토리지가 설치되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get csv -n openshift-storage -o custom-columns=Name:.metadata.name,Phase:.status.phase
출력 예
Name Phase 4.13.0-202301261535 Succeeded
4.12.4.1.3. 웹 콘솔을 사용하여 LVM 스토리지 설치
OpenShift Container Platform 웹 콘솔을 사용하여 LVM 스토리지를 설치할 수 있습니다.
사전 요구 사항
- 클러스터에 액세스할 수 있습니다.
-
cluster-admin
및 Operator 설치 권한을 사용하여 OpenShift Container Platform에 액세스할 수 있습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
OperatorHub를 클릭합니다. - OperatorHub 페이지에서 LVM Storage 를 클릭합니다.
Operator 설치 페이지에서 다음 옵션을 설정합니다.
- Channel을 stable-4.15 로 업데이트합니다.
- 설치 모드는 클러스터의 특정 네임스페이스 입니다.
-
설치된 네임스페이스 를 Operator 권장 네임스페이스 openshift-storage.
openshift-storage
네임스페이스가 없는 경우 Operator 설치 중에 생성됩니다. 승인을 자동 또는 수동으로 업데이트합니다 .
참고자동 업데이트를 선택하면 OLM(Operator Lifecycle Manager)이 개입 없이 실행 중인 LVM 스토리지 인스턴스를 자동으로 업데이트합니다.
수동 업데이트를 선택하면 OLM에서 업데이트 요청을 생성합니다. 클러스터 관리자는 LVM 스토리지를 최신 버전으로 업데이트하기 위해 업데이트 요청을 수동으로 승인해야 합니다.
- 선택 사항: 이 네임스페이스에서 Operator 권장 클러스터 모니터링 활성화 확인란을 선택합니다.
- 설치를 클릭합니다.
검증 단계
- LVM 스토리지에 성공적인 설치를 나타내는 녹색 눈금이 표시되는지 확인합니다.
4.12.4.1.4. 연결이 끊긴 환경에 LVM 스토리지 설치
연결이 끊긴 환경의 OpenShift Container Platform에 LVM 스토리지를 설치할 수 있습니다. 이 절차에서 참조하는 모든 섹션은 "추가 리소스" 섹션에 연결되어 있습니다.
사전 요구 사항
- "연결 해제된 설치 미러링 정보" 섹션을 읽습니다.
- OpenShift Container Platform 이미지 리포지토리에 액세스할 수 있습니다.
- 미러 레지스트리를 생성하셨습니다.
프로세스
"이미지 세트 구성 생성" 절차의 단계를 따르십시오. LVM 스토리지에 대한
ImageSetConfiguration
CR(사용자 정의 리소스)을 생성하려면 다음 예제ImageSetConfiguration
CR 구성을 사용하면 됩니다.LVM 스토리지의
ImageSetConfiguration
CR의 예kind: ImageSetConfiguration apiVersion: mirror.openshift.io/v1alpha2 archiveSize: 4 1 storageConfig: 2 registry: imageURL: example.com/mirror/oc-mirror-metadata 3 skipTLS: false mirror: platform: channels: - name: stable-4.15 4 type: ocp graph: true 5 operators: - catalog: registry.redhat.io/redhat/redhat-operator-index:v4.15 6 packages: - name: lvms-operator 7 channels: - name: stable 8 additionalImages: - name: registry.redhat.io/ubi9/ubi:latest 9 helm: {}
- 1
- 이미지 세트 내에서 각 파일의 최대 크기(GiB)를 설정합니다.
- 2
- 이미지 세트를 저장할 위치를 지정합니다. 이 위치는 레지스트리 또는 로컬 디렉터리일 수 있습니다. 기술 프리뷰 OCI 기능을 사용하지 않는 한
storageConfig
필드를 구성해야 합니다. - 3
- 레지스트리를 사용할 때 이미지 스트림의 스토리지 URL을 지정합니다. 자세한 내용은 이미지 스트림을 사용하는 이유를 참조하십시오.
- 4
- OpenShift Container Platform 이미지를 검색할 채널을 지정합니다.
- 5
- OSUS(OpenShift Update Service) 그래프 이미지를 생성하려면 이 필드를
true
로 설정합니다. 자세한 내용은 OpenShift 업데이트 서비스 정보를 참조하십시오. - 6
- OpenShift Container Platform 이미지를 검색할 Operator 카탈로그를 지정합니다.
- 7
- 이미지 세트에 포함할 Operator 패키지를 지정합니다. 이 필드가 비어 있으면 카탈로그의 모든 패키지가 검색됩니다.
- 8
- 이미지 세트에 포함할 Operator 패키지의 채널을 지정합니다. 해당 채널에서 번들을 사용하지 않는 경우에도 Operator 패키지의 기본 채널을 포함해야 합니다. 다음 명령을 실행하여 기본 채널을 찾을 수 있습니다.
$ oc mirror list operators --catalog=<catalog_name> --package=<package_name
> . - 9
- 이미지 세트에 포함할 추가 이미지를 지정합니다.
- " 미러 레지스트리로 설정된 이미지 미러링" 섹션의 절차를 따르십시오.
- "이미지 레지스트리 저장소 미러링 구성" 섹션의 절차를 따르십시오.
4.12.4.1.5. RHACM을 사용하여 LVM 스토리지 설치
RHACM(Red Hat Advanced Cluster Management)을 사용하여 클러스터에 LVM 스토리지를 설치하려면 Policy
사용자 정의 리소스(CR)를 생성해야 합니다. LVM 스토리지를 설치할 클러스터를 선택하도록 기준을 구성할 수도 있습니다.
LVM 스토리지를 설치하기 위해 생성된 Policy
CR은 Policy
CR을 생성한 후 가져오거나 생성한 클러스터에도 적용됩니다.
사전 요구 사항
-
cluster-admin
및 Operator 설치 권한이 있는 계정을 사용하여 RHACM 클러스터에 액세스할 수 있습니다. - 각 클러스터에서 LVM 스토리지를 사용할 수 있는 전용 디스크가 있습니다.
- 클러스터는 RHACM에서 관리해야 합니다.
프로세스
- OpenShift Container Platform 인증 정보를 사용하여 RHACM CLI에 로그인합니다.
네임스페이스를 생성합니다.
$ oc create ns <namespace>
Policy
CR YAML 파일을 생성합니다.LVM 스토리지를 설치하고 구성하는
Policy
CR의 예apiVersion: apps.open-cluster-management.io/v1 kind: PlacementRule metadata: name: placement-install-lvms spec: clusterConditions: - status: "True" type: ManagedClusterConditionAvailable clusterSelector: 1 matchExpressions: - key: mykey operator: In values: - myvalue --- apiVersion: policy.open-cluster-management.io/v1 kind: PlacementBinding metadata: name: binding-install-lvms placementRef: apiGroup: apps.open-cluster-management.io kind: PlacementRule name: placement-install-lvms subjects: - apiGroup: policy.open-cluster-management.io kind: Policy name: install-lvms --- apiVersion: policy.open-cluster-management.io/v1 kind: Policy metadata: annotations: policy.open-cluster-management.io/categories: CM Configuration Management policy.open-cluster-management.io/controls: CM-2 Baseline Configuration policy.open-cluster-management.io/standards: NIST SP 800-53 name: install-lvms spec: disabled: false remediationAction: enforce policy-templates: - objectDefinition: apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: install-lvms spec: object-templates: - complianceType: musthave objectDefinition: 2 apiVersion: v1 kind: Namespace metadata: labels: openshift.io/cluster-monitoring: "true" pod-security.kubernetes.io/enforce: privileged pod-security.kubernetes.io/audit: privileged pod-security.kubernetes.io/warn: privileged name: openshift-storage - complianceType: musthave objectDefinition: 3 apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: openshift-storage-operatorgroup namespace: openshift-storage spec: targetNamespaces: - openshift-storage - complianceType: musthave objectDefinition: 4 apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: lvms namespace: openshift-storage spec: installPlanApproval: Automatic name: lvms-operator source: redhat-operators sourceNamespace: openshift-marketplace remediationAction: enforce severity: low
다음 명령을 실행하여
Policy
CR을 생성합니다.$ oc create -f <file_name> -n <namespace>
Policy
CR을 생성할 때PlacementRule
CR에 구성된 선택 기준과 일치하는 클러스터에서 다음 사용자 정의 리소스가 생성됩니다.-
네임스페이스
-
OperatorGroup
-
서브스크립션
-
4.12.4.2. LVMCluster 사용자 정의 리소스 정보
다음 작업을 수행하도록 LVMCluster
CR을 구성할 수 있습니다.
- PVC(영구 볼륨 클레임)를 프로비저닝하는 데 사용할 수 있는 LVM 볼륨 그룹을 생성합니다.
- LVM 볼륨 그룹에 추가할 장치 목록을 구성합니다.
- LVM 볼륨 그룹을 생성할 노드와 볼륨 그룹에 대한 thin 풀 구성을 선택하도록 요구 사항을 구성합니다.
- 선택한 장치를 강제로 지웁니다.
LVM 스토리지를 설치한 후 LVMCluster
CR(사용자 정의 리소스)을 생성해야 합니다.
LVMCluster
CR YAML 파일의 예
apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster namespace: openshift-storage spec: tolerations: - effect: NoSchedule key: xyz operator: Equal value: "true" storage: deviceClasses: - name: vg1 fstype: ext4 1 default: true nodeSelector: 2 nodeSelectorTerms: - matchExpressions: - key: mykey operator: In values: - ssd deviceSelector: 3 paths: - /dev/disk/by-path/pci-0000:87:00.0-nvme-1 - /dev/disk/by-path/pci-0000:88:00.0-nvme-1 optionalPaths: - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 - /dev/disk/by-path/pci-0000:90:00.0-nvme-1 forceWipeDevicesAndDestroyAllData: true thinPoolConfig: name: thin-pool-1 sizePercent: 90 4 overprovisionRatio: 10 chunkSize: 128Ki 5 chunkSizeCalculationPolicy: Static 6
LVMCluster CR의 필드에 대한 설명
LVMCluster
CR 필드는 다음 표에 설명되어 있습니다.
필드 | 유형 | 설명 |
---|---|---|
|
| 로컬 스토리지 장치를 LVM 볼륨 그룹에 할당하는 구성이 포함되어 있습니다. LVM Storage는 사용자가 생성하는 각 장치 클래스에 대한 스토리지 클래스 및 볼륨 스냅샷 클래스를 생성합니다.
|
|
| LVM 볼륨 그룹(VG)의 이름을 지정합니다. 이전 설치에서 생성한 볼륨 그룹을 재사용하도록 이 필드를 구성할 수도 있습니다. 자세한 내용은 "이전 LVM 스토리지 설치에서 볼륨 그룹 재사용"을 참조하십시오. |
|
|
이 필드를 |
|
|
장치 클래스가 기본값임을 나타내려면 이 필드를 |
|
| LVM 볼륨 그룹을 만들 노드를 선택하는 구성이 포함되어 있습니다. 이 필드가 비어 있으면 스케줄 테인트가 없는 모든 노드가 고려됩니다. control-plane 노드에서 LVM Storage는 클러스터에서 새 노드가 활성화될 때 추가 작업자 노드를 감지하고 사용합니다. |
|
| 노드를 선택하는 데 사용되는 요구 사항을 구성합니다. |
|
| 다음 작업을 수행할 구성이 포함되어 있습니다.
자세한 내용은 "볼륨 그룹에 장치 추가 정보"를 참조하십시오. |
|
| 장치 경로를 지정합니다.
이 필드에 지정된 장치 경로가 없거나 LVM Storage에서 장치가 지원되지 않는 경우 |
|
| 선택적 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM 스토리지에서 장치가 지원되지 않는 경우 LVM 스토리지는 오류가 발생하지 않고 장치를 무시합니다. |
|
| LVM 스토리지는 비어 있고 파일 시스템 서명이 포함되지 않은 디스크만 사용합니다. 디스크가 비어 있고 파일 시스템 서명을 포함하지 않도록 하려면 디스크를 사용하기 전에 초기화하십시오.
선택한 장치를 강제로 지우려면 이 필드를 주의
이 필드가 장치를 제거하면 다음 조건이 충족되는 경우 데이터 무결성의 불일치가 발생할 수 있습니다.
이러한 조건 중 하나라도 true인 경우 디스크를 강제로 지우지 마십시오. 대신 디스크를 수동으로 초기화해야 합니다. |
|
| LVM 볼륨 그룹에 씬 풀을 만드는 구성이 포함되어 있습니다. |
|
| thin 풀의 이름을 지정합니다. |
|
| thin 풀을 생성하기 위한 LVM 볼륨 그룹의 공간 백분율을 지정합니다. 기본적으로 이 필드는 90으로 설정됩니다. 설정할 수 있는 최소값은 10이며 최대값은 90입니다. |
|
| 씬 풀에서 사용 가능한 스토리지를 기반으로 추가 스토리지를 프로비저닝할 수 있는 인수를 지정합니다. 예를 들어 이 필드가 10으로 설정된 경우 thin 풀에서 사용 가능한 스토리지 양을 최대 10배까지 프로비저닝할 수 있습니다. 오버 프로비저닝을 비활성화하려면 이 필드를 1로 설정합니다. |
|
|
thin 풀에 대해 정적으로 계산된 청크 크기를 지정합니다. 이 필드는
이 필드를 구성하지 않고 자세한 내용은 "Carge size 개요"를 참조하십시오. |
|
|
기본 볼륨 그룹의 청크 크기를 계산하는 정책을 지정합니다. 이 필드를
이 필드가
이 필드가 자세한 내용은 "LVM Storage에서 사용되는 장치의 크기를 설정하기 위한 제한"을 참조하십시오. |
추가 리소스
4.12.4.2.1. LVM 스토리지에 사용되는 장치의 크기를 구성하는 제한 사항
LVM 스토리지를 사용하여 스토리지를 프로비저닝하는 데 사용할 수 있는 장치의 크기를 구성하는 제한 사항은 다음과 같습니다.
- 프로비저닝할 수 있는 총 스토리지 크기는 기본 LVM(Logical Volume Manager) 씬 풀의 크기와 초과 프로비저닝 요인으로 제한됩니다.
논리 볼륨의 크기는 물리 확장 영역(PE) 및 논리 확장 영역(LE)의 크기에 따라 다릅니다.
- 물리 및 논리 장치 생성 중에 PE 및 LE의 크기를 정의할 수 있습니다.
- 기본 PE 및 LE 크기는 4MB입니다.
- PE의 크기가 증가하면 LVM의 최대 크기는 커널 제한과 디스크 공간에 따라 결정됩니다.
다음 표에서는 정적 및 호스트 구성에 대한 청크 크기 및 볼륨 크기 제한을 설명합니다.
매개변수 | 값 |
---|---|
청크 크기 | 128KiB |
최대 볼륨 크기 | 32TiB |
매개변수 | 최소 값 | 최대값 |
---|---|---|
청크 크기 | 64KiB | 1GiB |
볼륨 크기 | 기본 RHCOS(Red Hat Enterprise Linux CoreOS) 시스템의 최소 크기입니다. | 기본 RHCOS 시스템의 최대 크기입니다. |
매개변수 | 값 |
---|---|
청크 크기 |
이 값은 |
최대 볼륨 크기 | 기본 RHCOS 시스템의 최대 볼륨 크기와 동일합니다. |
최소 볼륨 크기 | 기본 RHCOS 시스템의 최소 볼륨 크기와 동일합니다. |
4.12.4.2.2. 볼륨 그룹에 장치 추가 정보
LVMCluster
CR의 deviceSelector
필드에는 LVM(Logical Volume Manager) 볼륨 그룹에 추가할 장치의 경로를 지정하는 구성이 포함되어 있습니다.
deviceSelector.paths
필드, deviceSelector.optionalPaths
필드 또는 둘 다에서 장치 경로를 지정할 수 있습니다. deviceSelector.paths
필드와 deviceSelector.optionalPaths
필드 모두에서 장치 경로를 지정하지 않으면 LVM 스토리지에서 지원되는 사용되지 않는 장치를 볼륨 그룹(VG)에 추가합니다.
deviceSelector
필드의 RAID(Redundant Array of Independent Disks) 배열의 경로를 추가하여 RAID 배열을 LVM 스토리지와 통합할 수 있습니다. mdadm
유틸리티를 사용하여 RAID 배열을 생성할 수 있습니다. LVM 스토리지는 소프트웨어 RAID 생성을 지원하지 않습니다.
OpenShift Container Platform 설치 중에만 RAID 배열을 생성할 수 있습니다. RAID 배열 생성에 대한 자세한 내용은 다음 섹션을 참조하십시오.
- "추가 리소스"에서 " RAID 사용 데이터 볼륨 구성".
- 설치된 시스템에서 소프트웨어 RAID 생성
- RAID에서 실패한 디스크 교체
- RAID 디스크 복구
LVMCluster
CR에 deviceSelector
필드를 추가하지 않으면 LVM 스토리지에서 장치를 사용할 수 있을 때 새 장치를 자동으로 추가합니다.
LVM 스토리지는 다음 조건이 충족되는 경우에만 LVM 볼륨 그룹에 장치를 추가합니다.
- 장치 경로가 있습니다.
- 장치는 LVM 스토리지에서 지원합니다.
RAID 배열의 경로를 추가하여 RAID 배열을 LVM 스토리지와 통합할 수도 있습니다. 자세한 내용은 "추가 리소스" 섹션의 " LVM 스토리지를 사용하여 RAID 어레이 통합"을 참조하십시오.
장치를 LVM 볼륨 그룹에 추가한 후에는 제거할 수 없습니다.
4.12.4.2.3. LVM 스토리지에서 지원되지 않는 장치
LVMCluster
CR(사용자 정의 리소스)의 deviceSelector
필드에 장치 경로를 추가하는 경우 LVM Storage에서 장치를 지원하는지 확인합니다. 지원되지 않는 장치에 경로를 추가하는 경우 LVM Storage는 논리 볼륨 관리의 복잡성을 방지하기 위해 장치를 제외합니다.
deviceSelector
필드에 장치 경로를 지정하지 않으면 LVM 스토리지에서 지원하는 사용되지 않는 장치만 추가합니다.
장치에 대한 정보를 얻으려면 다음 명령을 실행합니다.
$ lsblk --paths --json -o \ NAME,ROTA,TYPE,SIZE,MODEL,VENDOR,RO,STATE,KNAME,SERIAL,PARTLABEL,FSTYPE
LVM 스토리지는 다음 장치를 지원하지 않습니다.
- 읽기 전용 장치
-
ro
매개변수가true
로 설정된 장치 - 일시 중지된 장치
-
state
매개 변수가suspended
로 설정된 장치 . - Romb 장치
-
type
매개변수가rom
으로 설정된 장치 . - LVM 파티션 장치
-
type
매개 변수가lvm
으로 설정된 장치 . - 잘못된 파티션 레이블이 있는 장치
-
partlabel
매개변수가bios
로 설정된 장치 ,부팅
또는reserved
. - 잘못된 파일 시스템이 있는 장치
fstype
매개 변수가null
또는LVM2_member
이외의 값으로 설정된 장치입니다.중요LVM 스토리지는 장치에 하위 장치가 없는 경우에만
fstype
매개 변수가LVM2_member
로 설정된 장치를 지원합니다.- 다른 볼륨 그룹에 속하는 장치
장치의 볼륨 그룹에 대한 정보를 가져오려면 다음 명령을 실행합니다.
$ pvs <device-name> 1
- 1
- <
;device-name>
;을 장치 이름으로 바꿉니다.
- 바인딩 마운트가 있는 장치
장치의 마운트 지점을 가져오려면 다음 명령을 실행합니다.
$ cat /proc/1/mountinfo | grep <device-name> 1
- 1
- <
;device-name>
;을 장치 이름으로 바꿉니다.
- 하위 장치가 포함된 장치
예기치 않은 동작을 방지하기 위해 LVM 스토리지에서 장치를 사용하기 전에 장치를 초기화하는 것이 좋습니다.
4.12.4.3. LVMCluster 사용자 정의 리소스를 생성하는 방법
OpenShift CLI(oc
) 또는 OpenShift Container Platform 웹 콘솔을 사용하여 LVMCluster
CR(사용자 정의 리소스)을 생성할 수 있습니다. RHACM(Red Hat Advanced Cluster Management)을 사용하여 LVM Storage를 설치한 경우 RHACM을 사용하여 LVMCluster
CR을 생성할 수도 있습니다.
LVMCluster
CR을 생성할 때 LVM 스토리지에서 다음 시스템 관리 CR을 생성합니다.
각 장치 클래스에 대한
storageClass
및volumeSnapshotClass
입니다.참고LVM 스토리지는
lvms-<device_class_name> 형식으로 스토리지 클래스 및 볼륨 스냅샷 클래스의 이름을
구성합니다. 여기서 <device_class_name
>은LVMCluster
CR의deviceClasses.name
필드의 값입니다. 예를 들어deviceClasses.name
필드가 Cryostat1로 설정된 경우 스토리지 클래스의 이름과 볼륨 스냅샷 클래스가lvms-vg1
입니다.-
LVMVolumeGroup
: 이 CR은 LVM 볼륨 그룹에서 지원하는 특정 유형의 PV(영구 볼륨)입니다. 여러 노드에서 개별 볼륨 그룹을 추적합니다. -
LVMVolumeGroupNodeStatus
: 이 CR은 노드에서 볼륨 그룹의 상태를 추적합니다.
4.12.4.3.1. 이전 LVM 스토리지 설치에서 볼륨 그룹 재사용
새 VG를 만드는 대신 이전 LVM 스토리지 설치의 기존 볼륨 그룹(VG)을 재사용할 수 있습니다.
VG만 재사용할 수 있지만 VG와 연결된 논리 볼륨은 재사용할 수 없습니다.
LVMCluster
CR(사용자 정의 리소스)을 생성하는 경우에만 이 절차를 수행할 수 있습니다.
사전 요구 사항
- 재사용할 VG가 손상되지 않아야 합니다.
-
재사용할 VG에
lvms
태그가 있어야 합니다. LVM 개체에 태그를 추가하는 방법에 대한 자세한 내용은 태그가 있는 LVM 개체 그룹화를 참조하십시오.
프로세스
-
LVMCluster
CR YAML 파일을 엽니다. 다음 예에 설명된 대로
LVMCluster
CR 매개변수를 구성합니다.LVMCluster
CR YAML 파일의 예apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster namespace: openshift-storage spec: # ... storage: deviceClasses: - name: vg1 1 fstype: ext4 2 default: true deviceSelector: 3 # ... forceWipeDevicesAndDestroyAllData: false 4 thinPoolConfig: 5 # ... nodeSelector: 6 # ...
- 1
- 이 필드를 이전 LVM 스토리지 설치의 VG 이름으로 설정합니다.
- 2
- 이 필드를
ext4
또는xfs
로 설정합니다. 기본적으로 이 필드는xfs
로 설정됩니다. - 3
deviceSelector
필드에 새 장치 경로를 지정하여 재사용할 VG에 새 장치를 추가할 수 있습니다. 새 장치를 VG에 추가하지 않으려면 현재 LVM 스토리지 설치의deviceSelector
구성이 이전 LVM Storage 설치와 동일한지 확인합니다.- 4
- 이 필드가
true
로 설정되면 LVM 스토리지가 VG에 추가되는 장치의 모든 데이터를 지웁니다. - 5
- 재사용할 VG의
thinPoolConfig
구성을 유지하려면 현재 LVM 스토리지 설치의thinPoolConfig
구성이 이전 LVM 스토리지 설치와 동일한지 확인하십시오. 또는 필요에 따라thinPoolConfig
필드를 구성할 수 있습니다. - 6
- LVM 볼륨 그룹을 생성할 노드를 선택하도록 요구 사항을 구성합니다. 이 필드가 비어 있으면 스케줄 테인트가 없는 모든 노드가 고려됩니다.
-
LVMCluster
CR YAML 파일을 저장합니다.
4.12.4.3.2. CLI를 사용하여 LVMCluster CR 생성
OpenShift CLI(oc
)를 사용하여 작업자 노드에 LVMCluster
CR(사용자 정의 리소스)을 생성할 수 있습니다.
OpenShift Container Platform 클러스터에서 LVMCluster
CR(사용자 정의 리소스)의 단일 인스턴스만 생성할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 로그인했습니다. - LVM 스토리지를 설치했습니다.
- 클러스터에 작업자 노드가 설치되어 있습니다.
- "LVMCluster 사용자 정의 리소스 정보" 섹션을 읽습니다.
프로세스
LVMCluster
CR(사용자 정의 리소스) YAML 파일을 생성합니다.LVMCluster
CR YAML 파일의 예apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster namespace: openshift-storage spec: # ... storage: deviceClasses: 1 # ... nodeSelector: 2 # ... deviceSelector: 3 # ... thinPoolConfig: 4 # ...
다음 명령을 실행하여
LVMCluster
CR을 생성합니다.$ oc create -f <file_name>
출력 예
lvmcluster/lvmcluster created
검증
LVMCluster
CR이Ready
상태인지 확인합니다.$ oc get lvmclusters.lvm.topolvm.io -o jsonpath='{.items[*].status}' -n <namespace>
출력 예
{"deviceClassStatuses": 1 [ { "name": "vg1", "nodeStatus": [ 2 { "devices": [ 3 "/dev/nvme0n1", "/dev/nvme1n1", "/dev/nvme2n1" ], "node": "kube-node", 4 "status": "Ready" 5 } ] } ] "state":"Ready"} 6
참고LVMCluster
CR이Failed
상태인 경우status
필드에서 실패 이유를 볼 수 있습니다.실패 이유가 있는
status
필드의 예:status: deviceClassStatuses: - name: vg1 nodeStatus: - node: my-node-1.example.com reason: no available devices found for volume group status: Failed state: Failed
선택 사항: 각 장치 클래스에 대해 LVM 스토리지에서 생성한 스토리지 클래스를 보려면 다음 명령을 실행합니다.
$ oc get storageclass
출력 예
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE lvms-vg1 topolvm.io Delete WaitForFirstConsumer true 31m
선택 사항: 각 장치 클래스에 대해 LVM 스토리지에서 생성한 볼륨 스냅샷 클래스를 보려면 다음 명령을 실행합니다.
$ oc get volumesnapshotclass
출력 예
NAME DRIVER DELETIONPOLICY AGE lvms-vg1 topolvm.io Delete 24h
추가 리소스
4.12.4.3.3. 웹 콘솔을 사용하여 LVMCluster CR 생성
OpenShift Container Platform 웹 콘솔을 사용하여 작업자 노드에 LVMCluster
CR을 생성할 수 있습니다.
OpenShift Container Platform 클러스터에서 LVMCluster
CR(사용자 정의 리소스)의 단일 인스턴스만 생성할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 OpenShift Container Platform 클러스터에 액세스할 수 있습니다. - LVM 스토리지를 설치했습니다.
- 클러스터에 작업자 노드가 설치되어 있습니다.
- "LVMCluster 사용자 정의 리소스 정보" 섹션을 읽습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
설치된 Operators를 클릭합니다. -
openshift-storage
네임스페이스에서 LVM Storage 를 클릭합니다. - LVMCluster 생성 을 클릭하고 양식 보기 또는 YAML 보기를 선택합니다.
-
필요한
LVMCluster
CR 매개변수를 구성합니다. - Create를 클릭합니다.
선택 사항:
LVMCLuster
CR을 편집하려면 다음 작업을 수행합니다.- LVMCluster 탭을 클릭합니다.
- Actions 메뉴에서 Edit LVMCluster 를 선택합니다.
-
YAML 을 클릭하고 필요한
LVMCLuster
CR 매개변수를 편집합니다. - 저장을 클릭합니다.
검증
-
LVMCLuster 페이지에서
LVMCluster
CR이Ready
상태인지 확인합니다. -
선택 사항: 각 장치 클래스에 대해 LVM Storage에서 생성한 사용 가능한 스토리지 클래스를 보려면 스토리지
StorageClasses 를 클릭합니다. -
선택 사항: 각 장치 클래스에 대해 LVM Storage에서 생성한 사용 가능한 볼륨 스냅샷 클래스를 보려면 스토리지
VolumeSnapshotClasses 를 클릭합니다.
추가 리소스
4.12.4.3.4. RHACM을 사용하여 LVMCluster CR 생성
RHACM을 사용하여 LVM 스토리지를 설치한 후 LVMCluster
CR(사용자 정의 리소스)을 생성해야 합니다.
사전 요구 사항
- RHACM을 사용하여 LVM 스토리지를 설치했습니다.
-
cluster-admin
권한이 있는 계정을 사용하여 RHACM 클러스터에 액세스할 수 있습니다. - "LVMCluster 사용자 정의 리소스 정보" 섹션을 읽습니다.
프로세스
- OpenShift Container Platform 인증 정보를 사용하여 RHACM CLI에 로그인합니다.
LVMCluster
CR을 생성하려면 구성으로ConfigurationPolicy
CR YAML 파일을 생성합니다.LVMCluster
CR을 생성하는ConfigurationPolicy
CR YAML 파일의 예apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: lvms namespace: openshift-storage spec: object-templates: - complianceType: musthave objectDefinition: apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster namespace: openshift-storage spec: storage: deviceClasses: 1 # ... deviceSelector: 2 # ... thinPoolConfig: 3 # ... nodeSelector: 4 # ... remediationAction: enforce severity: low
다음 명령을 실행하여
ConfigurationPolicy
CR을 생성합니다.$ oc create -f <file_name> -n <cluster_namespace> 1
- 1
- LVM 스토리지가 설치된 OpenShift Container Platform 클러스터의 네임스페이스입니다.
4.12.4.4. LVMCluster 사용자 정의 리소스를 삭제하는 방법
OpenShift CLI(oc
) 또는 OpenShift Container Platform 웹 콘솔을 사용하여 LVMCluster
CR(사용자 정의 리소스)을 삭제할 수 있습니다. RHACM(Red Hat Advanced Cluster Management)을 사용하여 LVM Storage를 설치한 경우 RHACM을 사용하여 LVMCluster
CR을 삭제할 수도 있습니다.
LVMCluster
CR을 삭제하면 LVM 스토리지에서 다음 CR을 삭제합니다.
-
storageClass
-
volumeSnapshotClass
-
LVMVolumeGroup
-
LVMVolumeGroupNodeStatus
4.12.4.4.1. CLI를 사용하여 LVMCluster CR 삭제
OpenShift CLI(oc
)를 사용하여 LVMCluster
CR(사용자 정의 리소스)을 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다. - LVM 스토리지에서 프로비저닝한 PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 삭제했습니다. 이러한 리소스를 사용하는 애플리케이션도 삭제했습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여
LVMCluster
CR을 삭제합니다.$ oc delete lvmcluster <lvmclustername> -n openshift-storage
검증
LVMCluster
CR이 삭제되었는지 확인하려면 다음 명령을 실행합니다.$ oc get lvmcluster -n <namespace>
출력 예
No resources found in openshift-storage namespace.
4.12.4.4.2. 웹 콘솔을 사용하여 LVMCluster CR 삭제
OpenShift Container Platform 웹 콘솔을 사용하여 LVMCluster
CR(사용자 정의 리소스)을 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다. - LVM 스토리지에서 프로비저닝한 PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 삭제했습니다. 이러한 리소스를 사용하는 애플리케이션도 삭제했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
설치된 Operator 를 클릭하여 설치된 모든 Operator를 확인합니다. -
openshift-storage
네임스페이스에서 LVM Storage 를 클릭합니다. - LVMCluster 탭을 클릭합니다.
- 작업 에서 LVMCluster 삭제 를 선택합니다.
- 삭제를 클릭합니다.
검증
-
LVMCLuster
페이지에서LVMCluster
CR이 삭제되었는지 확인합니다.
4.12.4.4.3. RHACM을 사용하여 LVMCluster CR 삭제
RHACM(Red Hat Advanced Cluster Management)을 사용하여 LVM Storage를 설치한 경우 RHACM을 사용하여 LVMCluster
CR을 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 RHACM 클러스터에 액세스할 수 있습니다. - LVM 스토리지에서 프로비저닝한 PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 삭제했습니다. 이러한 리소스를 사용하는 애플리케이션도 삭제했습니다.
프로세스
- OpenShift Container Platform 인증 정보를 사용하여 RHACM CLI에 로그인합니다.
LVMCluster
CR용으로 생성된ConfigurationPolicy
CR YAML 파일을 삭제합니다.$ oc delete -f <file_name> -n <cluster_namespace> 1
- 1
- LVM 스토리지가 설치된 OpenShift Container Platform 클러스터의 네임스페이스입니다.
Policy
CR YAML 파일을 생성하여LVMCluster
CR을 삭제합니다.LVMCluster
CR을 삭제하는정책
CR의 예apiVersion: policy.open-cluster-management.io/v1 kind: Policy metadata: name: policy-lvmcluster-delete annotations: policy.open-cluster-management.io/standards: NIST SP 800-53 policy.open-cluster-management.io/categories: CM Configuration Management policy.open-cluster-management.io/controls: CM-2 Baseline Configuration spec: remediationAction: enforce disabled: false policy-templates: - objectDefinition: apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: policy-lvmcluster-removal spec: remediationAction: enforce 1 severity: low object-templates: - complianceType: mustnothave objectDefinition: kind: LVMCluster apiVersion: lvm.topolvm.io/v1alpha1 metadata: name: my-lvmcluster namespace: openshift-storage 2 --- apiVersion: policy.open-cluster-management.io/v1 kind: PlacementBinding metadata: name: binding-policy-lvmcluster-delete placementRef: apiGroup: apps.open-cluster-management.io kind: PlacementRule name: placement-policy-lvmcluster-delete subjects: - apiGroup: policy.open-cluster-management.io kind: Policy name: policy-lvmcluster-delete --- apiVersion: apps.open-cluster-management.io/v1 kind: PlacementRule metadata: name: placement-policy-lvmcluster-delete spec: clusterConditions: - status: "True" type: ManagedClusterConditionAvailable clusterSelector: 3 matchExpressions: - key: mykey operator: In values: - myvalue
다음 명령을 실행하여
Policy
CR을 생성합니다.$ oc create -f <file_name> -n <namespace>
Policy
CR YAML 파일을 생성하여LVMCluster
CR이 삭제되었는지 확인합니다.LVMCluster
CR이 삭제되었는지 확인하는정책
CR의 예apiVersion: policy.open-cluster-management.io/v1 kind: Policy metadata: name: policy-lvmcluster-inform annotations: policy.open-cluster-management.io/standards: NIST SP 800-53 policy.open-cluster-management.io/categories: CM Configuration Management policy.open-cluster-management.io/controls: CM-2 Baseline Configuration spec: remediationAction: inform disabled: false policy-templates: - objectDefinition: apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: policy-lvmcluster-removal-inform spec: remediationAction: inform 1 severity: low object-templates: - complianceType: mustnothave objectDefinition: kind: LVMCluster apiVersion: lvm.topolvm.io/v1alpha1 metadata: name: my-lvmcluster namespace: openshift-storage 2 --- apiVersion: policy.open-cluster-management.io/v1 kind: PlacementBinding metadata: name: binding-policy-lvmcluster-check placementRef: apiGroup: apps.open-cluster-management.io kind: PlacementRule name: placement-policy-lvmcluster-check subjects: - apiGroup: policy.open-cluster-management.io kind: Policy name: policy-lvmcluster-inform --- apiVersion: apps.open-cluster-management.io/v1 kind: PlacementRule metadata: name: placement-policy-lvmcluster-check spec: clusterConditions: - status: "True" type: ManagedClusterConditionAvailable clusterSelector: matchExpressions: - key: mykey operator: In values: - myvalue
다음 명령을 실행하여
Policy
CR을 생성합니다.$ oc create -f <file_name> -n <namespace>
검증
다음 명령을 실행하여
Policy
CR의 상태를 확인합니다.$ oc get policy -n <namespace>
출력 예
NAME REMEDIATION ACTION COMPLIANCE STATE AGE policy-lvmcluster-delete enforce Compliant 15m policy-lvmcluster-inform inform Compliant 15m
중요Policy
CR은Compliant
상태에 있어야 합니다.
4.12.4.5. 스토리지 프로비저닝
LVMCluster
CR(사용자 정의 리소스)을 사용하여 LVM 볼륨 그룹을 생성한 후 PVC(영구 볼륨 클레임)를 생성하여 스토리지를 프로비저닝할 수 있습니다.
다음은 각 파일 시스템 유형에 요청할 수 있는 최소 스토리지 크기입니다.
-
블록
: 8MiB -
XFS
: 300MiB -
ext4
: 32MiB
PVC를 생성하려면 PersistentVolumeClaim
오브젝트를 생성해야 합니다.
사전 요구 사항
-
LVMCluster
CR을 생성했습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. PersistentVolumeClaim
오브젝트를 생성합니다.PersistentVolumeClaim
오브젝트의 예apiVersion: v1 kind: PersistentVolumeClaim metadata: name: lvm-block-1 1 namespace: default spec: accessModes: - ReadWriteOnce volumeMode: Block 2 resources: requests: storage: 10Gi 3 limits: storage: 20Gi 4 storageClassName: lvms-vg1 5
- 1
- PVC의 이름을 지정합니다.
- 2
- 블록 PVC를 생성하려면 이 필드를
Block
으로 설정합니다. 파일 PVC를 생성하려면 이 필드를Filesystem
으로 설정합니다. - 3
- 스토리지 크기를 지정합니다. 값이 최소 스토리지 크기보다 작으면 요청된 스토리지 크기가 최소 스토리지 크기로 반올림됩니다. 프로비저닝할 수 있는 총 스토리지 크기는 LVM(Logical Volume Manager) 씬 풀의 크기와 초과 프로비저닝 요인으로 제한됩니다.
- 4
- 선택 사항: 스토리지 제한을 지정합니다. 이 필드를 최소 스토리지 크기보다 크거나 같은 값으로 설정합니다. 그러지 않으면 오류와 함께 PVC 생성이 실패합니다.
- 5
storageClassName
필드의 값은lvms-<device_class_name
> 형식이어야 합니다. 여기서 <device_class_name
>은LVMCluster
CR의deviceClasses.name
필드의 값입니다. 예를 들어deviceClasses.name
필드가 Cryostat1로 설정된 경우storageClassName
필드를lvms-
로 설정해야 합니다.vg1
참고스토리지 클래스의
volumeBindingMode
필드는WaitForFirstConsumer
로 설정됩니다.다음 명령을 실행하여 PVC를 생성합니다.
# oc create -f <file_name> -n <application_namespace>
참고생성된 PVC는 해당 PVC를 사용하는 Pod를 배포할 때까지
Pending
상태로 유지됩니다.
검증
PVC가 생성되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get pvc -n <namespace>
출력 예
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE lvm-block-1 Bound pvc-e90169a8-fd71-4eea-93b8-817155f60e47 1Gi RWO lvms-vg1 5s
4.12.4.6. 클러스터 스토리지를 확장하는 방법
OpenShift Container Platform은 베어 메탈 사용자 프로비저닝 인프라에서 클러스터에 대한 추가 작업자 노드를 지원합니다. 사용 가능한 스토리지가 있는 새 작업자 노드를 추가하거나 기존 작업자 노드에 새 장치를 추가하여 클러스터의 스토리지를 확장할 수 있습니다.
LVM(Logical Volume Manager) 스토리지는 노드가 활성화되면 추가 작업자 노드를 감지하고 사용합니다.
클러스터의 기존 작업자 노드에 새 장치를 추가하려면 LVMCluster
CR(사용자 정의 리소스)의 deviceSelector
필드에 있는 새 장치에 경로를 추가해야 합니다.
LVMCluster
CR을 생성하는 경우에만 LVMCluster
CR에 deviceSelector
필드를 추가할 수 있습니다. LVMCluster
CR을 생성하는 동안 deviceSelector
필드를 추가하지 않은 경우 LVMCluster
CR을 삭제하고 deviceSelector
필드가 포함된 새 LVMCluster
CR을 생성해야 합니다.
LVMCluster
CR에 deviceSelector
필드를 추가하지 않으면 LVM 스토리지에서 장치를 사용할 수 있을 때 새 장치를 자동으로 추가합니다.
LVM 스토리지는 지원되는 장치만 추가합니다. 지원되지 않는 장치에 대한 자세한 내용은 "LVM Storage에서 지원되지 않는 장치"를 참조하십시오.
4.12.4.6.1. CLI를 사용하여 클러스터 스토리지 확장
OpenShift CLI(oc
)를 사용하여 클러스터에서 작업자 노드의 스토리지 용량을 확장할 수 있습니다.
사전 요구 사항
- 각 클러스터에 LVM(Logical Volume Manager) 스토리지에서 사용할 추가 사용되지 않는 장치가 있습니다.
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
LVMCluster
CR(사용자 정의 리소스)을 생성했습니다.
프로세스
다음 명령을 실행하여
LVMCluster
CR을 편집합니다.$ oc edit <lvmcluster_file_name> -n <namespace>
deviceSelector
필드에 새 장치의 경로를 추가합니다.LVMCluster
CR의 예apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster spec: storage: deviceClasses: # ... deviceSelector: 1 paths: 2 - /dev/disk/by-path/pci-0000:87:00.0-nvme-1 - /dev/disk/by-path/pci-0000:88:00.0-nvme-1 optionalPaths: 3 - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 - /dev/disk/by-path/pci-0000:90:00.0-nvme-1 # ...
- 1
- LVM 볼륨 그룹에 추가할 장치의 경로를 지정하는 구성이 포함되어 있습니다.
paths
필드,optionalPaths
필드 또는 둘 다에서 장치 경로를 지정할 수 있습니다. 경로와optionalPaths
모두에 장치경로를
지정하지 않으면 LVM(Logical Volume Manager) 스토리지에서 지원되는 사용되지 않는 장치가 LVM 볼륨 그룹에 추가됩니다. LVM 스토리지는 다음 조건이 충족되는 경우에만 LVM 볼륨 그룹에 장치를 추가합니다.- 장치 경로가 있습니다.
- 장치는 LVM 스토리지에서 지원합니다. 지원되지 않는 장치에 대한 자세한 내용은 "LVM Storage에서 지원되지 않는 장치"를 참조하십시오.
- 2
- 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM Storage에서 장치가 지원되지 않는 경우
LVMCluster
CR은Failed
상태로 이동합니다. - 3
- 선택적 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM 스토리지에서 장치가 지원되지 않는 경우 LVM 스토리지는 오류가 발생하지 않고 장치를 무시합니다.중요
장치를 LVM 볼륨 그룹에 추가한 후에는 제거할 수 없습니다.
-
LVMCluster
CR을 저장합니다.
4.12.4.6.2. 웹 콘솔을 사용하여 클러스터 스토리지 확장
OpenShift Container Platform 웹 콘솔을 사용하여 클러스터에서 작업자 노드의 스토리지 용량을 확장할 수 있습니다.
사전 요구 사항
- 각 클러스터에 LVM(Logical Volume Manager) 스토리지에서 사용할 추가 사용되지 않는 장치가 있습니다.
-
LVMCluster
CR(사용자 정의 리소스)을 생성했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
설치된 Operators를 클릭합니다. -
openshift-storage
네임스페이스에서 LVM Storage 를 클릭합니다. -
LVMCluster 탭을 클릭하여 클러스터에서 생성된
LVMCluster
CR을 확인합니다. - Actions 메뉴에서 Edit LVMCluster 를 선택합니다.
- YAML 탭을 클릭합니다.
LVMCluster
CR을 편집하여deviceSelector
필드에 새 장치 경로를 추가합니다.LVMCluster
CR의 예apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster spec: storage: deviceClasses: # ... deviceSelector: 1 paths: 2 - /dev/disk/by-path/pci-0000:87:00.0-nvme-1 - /dev/disk/by-path/pci-0000:88:00.0-nvme-1 optionalPaths: 3 - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 - /dev/disk/by-path/pci-0000:90:00.0-nvme-1 # ...
- 1
- LVM 볼륨 그룹에 추가할 장치의 경로를 지정하는 구성이 포함되어 있습니다.
paths
필드,optionalPaths
필드 또는 둘 다에서 장치 경로를 지정할 수 있습니다. 경로와optionalPaths
모두에 장치경로를
지정하지 않으면 LVM(Logical Volume Manager) 스토리지에서 지원되는 사용되지 않는 장치가 LVM 볼륨 그룹에 추가됩니다. LVM 스토리지는 다음 조건이 충족되는 경우에만 LVM 볼륨 그룹에 장치를 추가합니다.- 장치 경로가 있습니다.
- 장치는 LVM 스토리지에서 지원합니다. 지원되지 않는 장치에 대한 자세한 내용은 "LVM Storage에서 지원되지 않는 장치"를 참조하십시오.
- 2
- 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM Storage에서 장치가 지원되지 않는 경우
LVMCluster
CR은Failed
상태로 이동합니다. - 3
- 선택적 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM 스토리지에서 장치가 지원되지 않는 경우 LVM 스토리지는 오류가 발생하지 않고 장치를 무시합니다.중요
장치를 LVM 볼륨 그룹에 추가한 후에는 제거할 수 없습니다.
- 저장을 클릭합니다.
4.12.4.6.3. RHACM을 사용하여 클러스터 스토리지 확장
RHACM을 사용하여 클러스터에서 작업자 노드의 스토리지 용량을 확장할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 계정을 사용하여 RHACM 클러스터에 액세스할 수 있습니다. -
RHACM을 사용하여
LVMCluster
CR(사용자 정의 리소스)을 생성했습니다. - 각 클러스터에 LVM(Logical Volume Manager) 스토리지에서 사용할 추가 사용되지 않는 장치가 있습니다.
프로세스
- OpenShift Container Platform 인증 정보를 사용하여 RHACM CLI에 로그인합니다.
다음 명령을 실행하여 RHACM을 사용하여 생성한
LVMCluster
CR을 편집합니다.$ oc edit -f <file_name> -ns <namespace> 1
- 1
- &
lt;file_name&
gt;을LVMCluster
CR의 이름으로 바꿉니다.
LVMCluster
CR에서deviceSelector
필드의 새 장치에 경로를 추가합니다.LVMCluster
CR의 예:apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: lvms spec: object-templates: - complianceType: musthave objectDefinition: apiVersion: lvm.topolvm.io/v1alpha1 kind: LVMCluster metadata: name: my-lvmcluster namespace: openshift-storage spec: storage: deviceClasses: # ... deviceSelector: 1 paths: 2 - /dev/disk/by-path/pci-0000:87:00.0-nvme-1 optionalPaths: 3 - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 # ...
- 1
- LVM 볼륨 그룹에 추가할 장치의 경로를 지정하는 구성이 포함되어 있습니다.
paths
필드,optionalPaths
필드 또는 둘 다에서 장치 경로를 지정할 수 있습니다. 경로와optionalPaths
모두에 장치경로를
지정하지 않으면 LVM(Logical Volume Manager) 스토리지에서 지원되는 사용되지 않는 장치가 LVM 볼륨 그룹에 추가됩니다. LVM 스토리지는 다음 조건이 충족되는 경우에만 LVM 볼륨 그룹에 장치를 추가합니다.- 장치 경로가 있습니다.
- 장치는 LVM 스토리지에서 지원합니다. 지원되지 않는 장치에 대한 자세한 내용은 "LVM Storage에서 지원되지 않는 장치"를 참조하십시오.
- 2
- 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM Storage에서 장치가 지원되지 않는 경우
LVMCluster
CR은Failed
상태로 이동합니다. - 3
- 선택적 장치 경로를 지정합니다. 이 필드에 지정된 장치 경로가 없거나 LVM 스토리지에서 장치가 지원되지 않는 경우 LVM 스토리지는 오류가 발생하지 않고 장치를 무시합니다.중요
장치를 LVM 볼륨 그룹에 추가한 후에는 제거할 수 없습니다.
-
LVMCluster
CR을 저장합니다.
4.12.4.7. 영구 볼륨 클레임 확장
클러스터 스토리지를 확장한 후 기존 PVC(영구 볼륨 클레임)를 확장할 수 있습니다.
PVC를 확장하려면 PVC의 storage
필드를 업데이트해야 합니다.
사전 요구 사항
- 동적 프로비저닝이 사용됩니다.
-
PVC와 연결된
StorageClass
오브젝트에는allowVolumeExpansion
필드가true
로 설정되어 있습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여
spec.resources.requests.storage
필드의 값을 현재 값보다 큰 값으로 업데이트합니다.$ oc patch <pvc_name> -n <application_namespace> -p \ 1 '{ "spec": { "resources": { "requests": { "storage": "<desired_size>" }}}} --type=merge' 2
검증
크기 조정이 완료되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get pvc <pvc_name> -n <application_namespace> -o=jsonpath={.status.capacity.storage}
LVM 스토리지는 확장 중에 PVC에
Resizing
조건을 추가합니다. PVC 확장 후Resizing
조건을 삭제합니다.
추가 리소스
4.12.4.8. 영구 볼륨 클레임 삭제
OpenShift CLI(oc
)를 사용하여 PVC(영구 볼륨 클레임)를 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여 PVC를 삭제합니다.
$ oc delete pvc <pvc_name> -n <namespace>
검증
PVC가 삭제되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get pvc -n <namespace>
삭제된 PVC는 이 명령의 출력에 표시되지 않아야 합니다.
4.12.4.9. 볼륨 스냅샷 정보
LVM 스토리지에서 프로비저닝하는 PVC(영구 볼륨 클레임)의 스냅샷을 생성할 수 있습니다.
볼륨 스냅샷을 사용하여 다음 작업을 수행할 수 있습니다.
애플리케이션 데이터를 백업합니다.
중요볼륨 스냅샷은 원래 데이터와 동일한 장치에 있습니다. 볼륨 스냅샷을 백업으로 사용하려면 스냅샷을 안전한 위치로 이동해야 합니다. OADP(OpenShift API for Data Protection) 백업 및 복원 솔루션을 사용할 수 있습니다. OADP에 대한 자세한 내용은 "OADP 기능"을 참조하십시오.
- 볼륨 스냅샷을 만든 상태로 되돌립니다.
볼륨 복제의 볼륨 스냅샷을 생성할 수도 있습니다.
4.12.4.9.1. 다중 노드 토폴로지에서 볼륨 스냅샷을 생성하기 위한 제한 사항
LVM 스토리지에는 다중 노드 토폴로지에서 볼륨 스냅샷을 생성하기 위한 다음과 같은 제한 사항이 있습니다.
- 볼륨 스냅샷 생성은 LVM 씬 풀 기능을 기반으로 합니다.
- 볼륨 스냅샷을 생성한 후 노드에 원래 데이터 소스를 추가로 업데이트하기 위한 추가 스토리지 공간이 있어야 합니다.
- 원래 데이터 소스를 배포한 노드에서만 볼륨 스냅샷을 생성할 수 있습니다.
- 스냅샷 데이터를 사용하는 PVC를 사용하는 Pod는 원래 데이터 소스를 배포한 노드에서만 예약할 수 있습니다.
추가 리소스
4.12.4.9.2. 볼륨 스냅샷 생성
씬 풀의 사용 가능한 용량 및 초과 프로비저닝 제한을 기반으로 볼륨 스냅샷을 생성할 수 있습니다. 볼륨 스냅샷을 생성하려면 VolumeSnapshotClass
오브젝트를 생성해야 합니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다. -
PVC(영구 볼륨 클레임)가
Bound
상태인지 확인합니다. 이는 일관된 스냅샷에 필요합니다. - PVC에 대한 모든 I/O를 중지했습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. VolumeSnapshot
오브젝트를 생성합니다.VolumeSnapshot
오브젝트의 예apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: lvm-block-1-snap 1 spec: source: persistentVolumeClaimName: lvm-block-1 2 volumeSnapshotClassName: lvms-vg1 3
참고사용 가능한 볼륨 스냅샷 클래스 목록을 가져오려면 다음 명령을 실행합니다.
$ oc get volumesnapshotclass
다음 명령을 실행하여 소스 PVC를 생성한 네임스페이스에 볼륨 스냅샷을 생성합니다.
$ oc create -f <file_name> -n <namespace>
LVM 스토리지는 볼륨 스냅샷으로 PVC의 읽기 전용 사본을 생성합니다.
검증
볼륨 스냅샷이 생성되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get volumesnapshot -n <namespace>
출력 예
NAME READYTOUSE SOURCEPVC SOURCESNAPSHOTCONTENT RESTORESIZE SNAPSHOTCLASS SNAPSHOTCONTENT CREATIONTIME AGE lvm-block-1-snap true lvms-test-1 1Gi lvms-vg1 snapcontent-af409f97-55fc-40cf-975f-71e44fa2ca91 19s 19s
생성한 볼륨 스냅샷의
READYTOUSE
필드 값은true
여야 합니다.
4.12.4.9.3. 볼륨 스냅샷 복원
볼륨 스냅샷을 복원하려면 dataSource.name
필드가 볼륨 스냅샷 이름으로 설정된 PVC(영구 볼륨 클레임)를 생성해야 합니다.
복원된 PVC는 볼륨 스냅샷 및 소스 PVC와 독립적입니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다. - 볼륨 스냅샷을 생성했습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 볼륨 스냅샷을 복원하려면 구성으로
PersistentVolumeClaim
오브젝트를 생성합니다.볼륨 스냅샷을 복원하는
PersistentVolumeClaim
오브젝트의 예kind: PersistentVolumeClaim apiVersion: v1 metadata: name: lvm-block-1-restore spec: accessModes: - ReadWriteOnce volumeMode: Block Resources: Requests: storage: 2Gi 1 storageClassName: lvms-vg1 2 dataSource: name: lvm-block-1-snap 3 kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io
다음 명령을 실행하여 볼륨 스냅샷을 생성한 네임스페이스에 PVC를 생성합니다.
$ oc create -f <file_name> -n <namespace>
검증
볼륨 스냅샷이 복원되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get pvc -n <namespace>
출력 예
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE lvm-block-1-restore Bound pvc-e90169a8-fd71-4eea-93b8-817155f60e47 1Gi RWO lvms-vg1 5s
4.12.4.9.4. 볼륨 스냅샷 삭제
PVC(영구 볼륨 클레임)의 볼륨 스냅샷을 삭제할 수 있습니다.
PVC(영구 볼륨 클레임)를 삭제하면 LVM 스토리지가 PVC의 스냅샷이 아닌 PVC만 삭제합니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다. - 삭제할 볼륨 snpashot이 사용되지 않는지 확인했습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여 볼륨 스냅샷을 삭제합니다.
$ oc delete volumesnapshot <volume_snapshot_name> -n <namespace>
검증
볼륨 스냅샷이 삭제되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get volumesnapshot -n <namespace>
삭제된 볼륨 스냅샷은 이 명령의 출력에 표시되지 않아야 합니다.
4.12.4.10. 볼륨 복제 정보
볼륨 복제는 기존 PVC(영구 볼륨 클레임)와 중복됩니다. 볼륨 복제를 생성하여 특정 시점의 데이터를 복사할 수 있습니다.
4.12.4.10.1. 다중 노드 토폴로지에서 볼륨 복제 생성에 대한 제한 사항
LVM 스토리지에는 다중 노드 토폴로지에서 볼륨 복제를 생성하기 위한 다음과 같은 제한 사항이 있습니다.
- 볼륨 복제 생성은 LVM 씬 풀 기능을 기반으로 합니다.
- 원래 데이터 소스를 추가로 업데이트하려면 볼륨 복제를 생성한 후 노드에 추가 스토리지가 있어야 합니다.
- 원래 데이터 소스를 배포한 노드에서만 볼륨 복제를 생성할 수 있습니다.
- 복제 데이터를 사용하는 PVC를 사용하는 Pod는 원래 데이터 소스를 배포한 노드에서만 예약할 수 있습니다.
4.12.4.10.2. 볼륨 복제 생성
PVC(영구 볼륨 클레임) 복제본을 생성하려면 소스 PVC를 생성한 네임스페이스에 PersistentVolumeClaim
오브젝트를 생성해야 합니다.
복제된 PVC에는 쓰기 액세스 권한이 있습니다.
사전 요구 사항
-
소스 PVC가
Bound
상태인지 확인합니다. 이는 일관된 복제에 필요합니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. PersistentVolumeClaim
오브젝트를 생성합니다.볼륨 복제본을 생성하는
PersistentVolumeClaim
오브젝트의 예kind: PersistentVolumeClaim apiVersion: v1 metadata: name: lvm-pvc-clone spec: accessModes: - ReadWriteOnce storageClassName: lvms-vg1 1 volumeMode: Filesystem 2 dataSource: kind: PersistentVolumeClaim name: lvm-pvc 3 resources: requests: storage: 1Gi 4
다음 명령을 실행하여 소스 PVC를 생성한 네임스페이스에 PVC를 생성합니다.
$ oc create -f <file_name> -n <namespace>
검증
볼륨 복제가 생성되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get pvc -n <namespace>
출력 예
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE lvm-block-1-clone Bound pvc-e90169a8-fd71-4eea-93b8-817155f60e47 1Gi RWO lvms-vg1 5s
4.12.4.10.3. 볼륨 복제 삭제
볼륨 복제를 삭제할 수 있습니다.
PVC(영구 볼륨 클레임)를 삭제하면 LVM 스토리지가 소스 PVC(영구 볼륨 클레임)만 삭제하지만 PVC의 복제본은 삭제하지 않습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여 복제된 PVC를 삭제합니다.
# oc delete pvc <clone_pvc_name> -n <namespace>
검증
볼륨 복제가 삭제되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get pvc -n <namespace>
삭제된 볼륨 복제는 이 명령의 출력에 표시되지 않아야 합니다.
4.12.4.11. LVM 스토리지 업데이트
OpenShift Container Platform 버전과의 호환성을 보장하기 위해 LVM 스토리지를 업데이트할 수 있습니다.
사전 요구 사항
- OpenShift Container Platform 클러스터를 업데이트했습니다.
- 이전 버전의 LVM Storage를 설치했습니다.
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 계정을 사용하여 클러스터에 액세스할 수 있습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 실행하여 LVM 스토리지를 설치하는 동안 생성한
Subscription
CR(사용자 정의 리소스)을 업데이트합니다.$ oc patch subscription lvms-operator -n openshift-storage --type merge --patch '{"spec":{"channel":"<update_channel>"}}' 1
- 1
- &
lt;update_channel
>을 설치하려는 LVM 스토리지 버전으로 바꿉니다. 예를 들면stable-4.15
입니다.
업데이트 이벤트를 보고 다음 명령을 실행하여 설치가 완료되었는지 확인합니다.
$ oc get events -n openshift-storage
출력 예
... 8m13s Normal RequirementsUnknown clusterserviceversion/lvms-operator.v4.15 requirements not yet checked 8m11s Normal RequirementsNotMet clusterserviceversion/lvms-operator.v4.15 one or more requirements couldn't be found 7m50s Normal AllRequirementsMet clusterserviceversion/lvms-operator.v4.15 all requirements found, attempting install 7m50s Normal InstallSucceeded clusterserviceversion/lvms-operator.v4.15 waiting for install components to report healthy 7m49s Normal InstallWaiting clusterserviceversion/lvms-operator.v4.15 installing: waiting for deployment lvms-operator to become ready: deployment "lvms-operator" waiting for 1 outdated replica(s) to be terminated 7m39s Normal InstallSucceeded clusterserviceversion/lvms-operator.v4.15 install strategy completed with no errors ...
검증
다음 명령을 실행하여 LVM 스토리지 버전을 확인합니다.
$ oc get subscription lvms-operator -n openshift-storage -o jsonpath='{.status.installedCSV}'
출력 예
lvms-operator.v4.15
4.12.4.12. LVM 스토리지 모니터링
클러스터 모니터링을 활성화하려면 LVM 스토리지를 설치한 네임스페이스에 다음 레이블을 추가해야 합니다.
openshift.io/cluster-monitoring=true
RHACM에서 클러스터 모니터링 활성화에 대한 자세한 내용은 Observability 및 사용자 정의 지표 추가 를 참조하십시오.
4.12.4.12.1. 지표
메트릭을 확인하여 LVM 스토리지를 모니터링할 수 있습니다.
다음 표에서는 topolvm
메트릭을 설명합니다.
경고 | 설명 |
---|---|
| LVM thinpool에 사용된 데이터 공간의 백분율을 나타냅니다. |
| LVM thinpool에 사용된 메타데이터 공간의 백분율을 나타냅니다. |
| LVM 씬 풀의 크기를 바이트 단위로 나타냅니다. |
| LVM 볼륨 그룹의 사용 가능한 공간을 바이트 단위로 나타냅니다. |
| LVM 볼륨 그룹의 크기를 바이트 단위로 나타냅니다. |
| LVM 씬 풀의 사용 가능한 초과 프로비저닝 크기를 바이트 단위로 나타냅니다. |
지표는 10분마다 업데이트되거나 씬 풀에서 새 논리 볼륨 생성과 같은 변경이 있을 때 업데이트됩니다.
4.12.4.12.2. 경고
thin 풀 및 볼륨 그룹이 최대 스토리지 용량에 도달하면 추가 작업이 실패합니다. 이는 데이터 손실을 초래할 수 있습니다.
LVM 스토리지는 thin 풀 및 볼륨 그룹 사용이 특정 값을 초과하면 다음 경고를 보냅니다.
경고 | 설명 |
---|---|
| 이 경고는 볼륨 그룹과 씬 풀 사용량이 노드에서 75%를 초과하면 트리거됩니다. 데이터 삭제 또는 볼륨 그룹 확장이 필요합니다. |
| 이 경고는 볼륨 그룹과 씬 풀 사용량이 노드에서 85%를 초과하면 트리거됩니다. 이 경우 볼륨 그룹이 매우 가득 차 있습니다. 데이터 삭제 또는 볼륨 그룹 확장이 필요합니다. |
| 이 경고는 볼륨 그룹의 thin pool data uusage가 노드에서 75%를 초과하면 트리거됩니다. 데이터 삭제 또는 씬 풀 확장이 필요합니다. |
| 이 경고는 볼륨 그룹의 씬 풀 데이터 사용량이 노드에서 85%를 초과하면 트리거됩니다. 데이터 삭제 또는 씬 풀 확장이 필요합니다. |
| 이 경고는 볼륨 그룹의 씬 풀 메타데이터 사용량이 노드에서 75%를 초과하면 트리거됩니다. 데이터 삭제 또는 씬 풀 확장이 필요합니다. |
| 이 경고는 볼륨 그룹의 씬 풀 메타데이터 사용량이 노드에서 85%를 초과하면 트리거됩니다. 데이터 삭제 또는 씬 풀 확장이 필요합니다. |
4.12.4.13. CLI를 사용하여 LVM 스토리지 설치 제거
OpenShift CLI(oc
)를 사용하여 LVM 스토리지를 설치 제거할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로oc
에 로그인했습니다. - LVM 스토리지에서 프로비저닝한 PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 삭제했습니다. 이러한 리소스를 사용하는 애플리케이션도 삭제했습니다.
-
LVMCluster
CR(사용자 정의 리소스)을 삭제했습니다.
프로세스
다음 명령을 실행하여 LVM Storage Operator의
currentCSV
값을 가져옵니다.$ oc get subscription.operators.coreos.com lvms-operator -n <namespace> -o yaml | grep currentCSV
출력 예
currentCSV: lvms-operator.v4.15.3
다음 명령을 실행하여 서브스크립션을 삭제합니다.
$ oc delete subscription.operators.coreos.com lvms-operator -n <namespace>
출력 예
subscription.operators.coreos.com "lvms-operator" deleted
다음 명령을 실행하여 대상 네임스페이스에서 LVM Storage Operator의 CSV를 삭제합니다.
$ oc delete clusterserviceversion <currentCSV> -n <namespace> 1
- 1
- &
lt;currentCSV&
gt;를 LVM Storage Operator의currentCSV
값으로 바꿉니다.
출력 예
clusterserviceversion.operators.coreos.com "lvms-operator.v4.15.3" deleted
검증
LVM Storage Operator가 제거되었는지 확인하려면 다음 명령을 실행합니다.
$ oc get csv -n <namespace>
LVM Storage Operator가 성공적으로 설치 제거되면 이 명령의 출력에 표시되지 않습니다.
4.12.4.14. 웹 콘솔을 사용하여 LVM 스토리지 설치 제거
OpenShift Container Platform 웹 콘솔을 사용하여 LVM 스토리지를 설치 제거할 수 있습니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 OpenShift Container Platform에 액세스할 수 있습니다. - LVM 스토리지에서 프로비저닝한 PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 삭제했습니다. 이러한 리소스를 사용하는 애플리케이션도 삭제했습니다.
-
LVMCluster
CR(사용자 정의 리소스)을 삭제했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에 로그인합니다.
-
Operators
설치된 Operators를 클릭합니다. -
openshift-storage
네임스페이스에서 LVM Storage 를 클릭합니다. - 세부 정보 탭을 클릭합니다.
- 작업 메뉴에서 Operator 설치 제거를 선택합니다.
- 선택 사항: 메시지가 표시되면 이 operator의 모든 피연산자 인스턴스 삭제 확인란을 선택하여 LVM Storage의 피연산자 인스턴스를 삭제합니다.
- 제거를 클릭합니다.
4.12.4.15. RHACM을 사용하여 설치된 LVM 스토리지 설치 제거
RHACM을 사용하여 설치한 LVM 스토리지를 설치 제거하려면 LVM 스토리지를 설치 및 구성하기 위해 생성한 RHACM 정책
CR(사용자 정의 리소스)을 삭제해야 합니다.
사전 요구 사항
-
cluster-admin
권한이 있는 사용자로 RHACM 클러스터에 액세스할 수 있습니다. - LVM 스토리지에서 프로비저닝한 PVC(영구 볼륨 클레임), 볼륨 스냅샷 및 볼륨 복제를 삭제했습니다. 이러한 리소스를 사용하는 애플리케이션도 삭제했습니다.
-
RHACM을 사용하여 생성한
LVMCluster
CR을 삭제했습니다.
프로세스
-
OpenShift CLI(
oc
)에 로그인합니다. 다음 명령을 사용하여 LVM 스토리지를 설치 및 구성하기 위해 생성한 RHACM
정책
CR을 삭제합니다.$ oc delete -f <policy> -n <namespace> 1
- 1
- &
lt;policy&
gt;를Policy
CR YAML 파일의 이름으로 바꿉니다.
LVM 스토리지를 설치 제거하려면 구성으로
Policy
CR YAML 파일을 생성합니다.LVM 스토리지를 제거하는
Policy
CR의 예apiVersion: apps.open-cluster-management.io/v1 kind: PlacementRule metadata: name: placement-uninstall-lvms spec: clusterConditions: - status: "True" type: ManagedClusterConditionAvailable clusterSelector: matchExpressions: - key: mykey operator: In values: - myvalue --- apiVersion: policy.open-cluster-management.io/v1 kind: PlacementBinding metadata: name: binding-uninstall-lvms placementRef: apiGroup: apps.open-cluster-management.io kind: PlacementRule name: placement-uninstall-lvms subjects: - apiGroup: policy.open-cluster-management.io kind: Policy name: uninstall-lvms --- apiVersion: policy.open-cluster-management.io/v1 kind: Policy metadata: annotations: policy.open-cluster-management.io/categories: CM Configuration Management policy.open-cluster-management.io/controls: CM-2 Baseline Configuration policy.open-cluster-management.io/standards: NIST SP 800-53 name: uninstall-lvms spec: disabled: false policy-templates: - objectDefinition: apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: uninstall-lvms spec: object-templates: - complianceType: mustnothave objectDefinition: apiVersion: v1 kind: Namespace metadata: name: openshift-storage - complianceType: mustnothave objectDefinition: apiVersion: operators.coreos.com/v1 kind: OperatorGroup metadata: name: openshift-storage-operatorgroup namespace: openshift-storage spec: targetNamespaces: - openshift-storage - complianceType: mustnothave objectDefinition: apiVersion: operators.coreos.com/v1alpha1 kind: Subscription metadata: name: lvms-operator namespace: openshift-storage remediationAction: enforce severity: low - objectDefinition: apiVersion: policy.open-cluster-management.io/v1 kind: ConfigurationPolicy metadata: name: policy-remove-lvms-crds spec: object-templates: - complianceType: mustnothave objectDefinition: apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: name: logicalvolumes.topolvm.io - complianceType: mustnothave objectDefinition: apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: name: lvmclusters.lvm.topolvm.io - complianceType: mustnothave objectDefinition: apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: name: lvmvolumegroupnodestatuses.lvm.topolvm.io - complianceType: mustnothave objectDefinition: apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: name: lvmvolumegroups.lvm.topolvm.io remediationAction: enforce severity: high
다음 명령을 실행하여
Policy
CR을 생성합니다.$ oc create -f <policy> -ns <namespace>
4.12.4.16. must-gather를 사용하여 로그 파일 및 진단 정보 다운로드
LVM 스토리지에서 문제를 자동으로 해결할 수 없는 경우 must-gather 툴을 사용하여 로그 파일 및 진단 정보를 수집하여 귀하 또는 Red Hat 지원팀이 문제를 검토하고 솔루션을 결정할 수 있도록 합니다.
프로세스
LVM 스토리지 클러스터에 연결된 클라이언트에서
must-gather
명령을 실행합니다.$ oc adm must-gather --image=registry.redhat.io/lvms4/lvms-must-gather-rhel9:v4.15 --dest-dir=<directory_name>
추가 리소스
4.12.4.17. 영구 스토리지 문제 해결
LVM(Logical Volume Manager) 스토리지를 사용하여 영구 스토리지를 구성하는 동안 문제 해결이 필요한 몇 가지 문제가 발생할 수 있습니다.
4.12.4.17.1. Pending 상태에 있는 PVC 조사
PVC(영구 볼륨 클레임)는 다음과 같은 이유로 Pending
상태로 고정될 수 있습니다.
- 컴퓨팅 리소스가 충분하지 않습니다.
- 네트워크 문제.
- 일치하지 않는 스토리지 클래스 또는 노드 선택기입니다.
- 사용 가능한 PV(영구 볼륨)가 없습니다.
-
PV가 있는 노드는
Not Ready
상태입니다.
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 사용자로 OpenShift CLI(oc
)에 로그인했습니다.
프로세스
다음 명령을 실행하여 PVC 목록을 검색합니다.
$ oc get pvc
출력 예
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE lvms-test Pending lvms-vg1 11s
다음 명령을 실행하여 PVC와 관련된 이벤트를
Pending
상태로 유지합니다.$ oc describe pvc <pvc_name> 1
- 1
<pvc_name>
을 PVC 이름으로 바꿉니다. 예를 들면lvms-vg1
입니다.
출력 예
Type Reason Age From Message ---- ------ ---- ---- ------- Warning ProvisioningFailed 4s (x2 over 17s) persistentvolume-controller storageclass.storage.k8s.io "lvms-vg1" not found
4.12.4.17.2. 누락된 스토리지 클래스에서 복구
스토리지 클래스를 찾을 수 없는
경우 LVMCluster
CR(사용자 정의 리소스)을 확인하고 모든 LVM(Logical Volume Manager) 스토리지 Pod가 Running
상태인지 확인합니다.
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 사용자로 OpenShift CLI(oc
)에 로그인했습니다.
프로세스
다음 명령을 실행하여
LVMCluster
CR이 있는지 확인합니다.$ oc get lvmcluster -n openshift-storage
출력 예
NAME AGE my-lvmcluster 65m
-
LVMCluster
CR이 없으면LVMCluster
CR을 생성합니다. 자세한 내용은 "Ways to create an LVMCluster custom resource"를 참조하십시오. openshift-storage
네임스페이스에서 다음 명령을 실행하여 모든 LVM 스토리지 Pod가Running
상태에 있는지 확인합니다.$ oc get pods -n openshift-storage
출력 예
NAME READY STATUS RESTARTS AGE lvms-operator-7b9fb858cb-6nsml 3/3 Running 0 70m topolvm-controller-5dd9cf78b5-7wwr2 5/5 Running 0 66m topolvm-node-dr26h 4/4 Running 0 66m vg-manager-r6zdv 1/1 Running 0 66m
이 명령의 출력에는 다음 Pod의 실행 중인 인스턴스가 포함되어야 합니다.
-
lvms-operator
-
VG-manager
-
topolvm-controller
topolvm-node
topolvm-node
Pod가Init
상태에 있는 경우 LVM Storage에서 사용할 사용 가능한 디스크를 찾지 못했기 때문입니다. 이 문제를 해결하기 위해 필요한 정보를 검색하려면 다음 명령을 실행하여 Cryostat-manager
Pod의 로그를 검토합니다.$ oc logs -l app.kubernetes.io/component=vg-manager -n openshift-storage
-
4.12.4.17.3. 노드 장애로 복구
PVC(영구 볼륨 클레임)는 클러스터의 노드 오류로 인해 Pending
상태가 될 수 있습니다.
실패한 노드를 식별하기 위해 topolvm-node
Pod의 재시작 횟수를 검사할 수 있습니다. 재시작 횟수가 증가하면 기본 노드의 잠재적인 문제가 발생하므로 추가 조사 및 문제 해결이 필요할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 사용자로 OpenShift CLI(oc
)에 로그인했습니다.
프로세스
다음 명령을 실행하여
topolvm-node
Pod 인스턴스의 재시작 횟수를 검사합니다.$ oc get pods -n openshift-storage
출력 예
NAME READY STATUS RESTARTS AGE lvms-operator-7b9fb858cb-6nsml 3/3 Running 0 70m topolvm-controller-5dd9cf78b5-7wwr2 5/5 Running 0 66m topolvm-node-dr26h 4/4 Running 0 66m topolvm-node-54as8 4/4 Running 0 66m topolvm-node-78fft 4/4 Running 17 (8s ago) 66m vg-manager-r6zdv 1/1 Running 0 66m vg-manager-990ut 1/1 Running 0 66m vg-manager-an118 1/1 Running 0 66m
다음 단계
-
노드 문제를 해결한 후에도 PVC가
Pending
상태에 있는 경우 강제 정리를 수행해야 합니다. 자세한 내용은 "Performing a forced clean-up"을 참조하십시오.
추가 리소스
4.12.4.17.4. 디스크 장애에서 복구
PVC(영구 볼륨 클레임)와 연결된 이벤트를 검사하는 동안 실패 메시지가 표시되면 기본 볼륨 또는 디스크에 문제가 있을 수 있습니다.
디스크 및 볼륨 프로비저닝 문제로 인해 스토리지 클래스 < storage_class_name>을 사용하여 볼륨을 프로비저닝하지 못했습니다
. 일반 오류 메시지에는 특정 볼륨 실패 오류 메시지가 표시됩니다.
다음 표에서는 볼륨 실패 오류 메시지를 설명합니다.
오류 메시지 | 설명 |
---|---|
| 볼륨이 이미 있는지 확인하는 데 문제가 있음을 나타냅니다. 볼륨 확인 오류는 네트워크 연결 문제 또는 기타 오류로 인해 발생할 수 있습니다. |
| 사용 가능한 PV(영구 볼륨)가 PVC의 요구 사항과 일치하지 않으면 볼륨을 바인딩하지 못할 수 있습니다. |
| 이 오류는 볼륨을 노드에 마운트하려고 할 때 문제가 있음을 나타냅니다. 디스크가 실패한 경우 Pod에서 PVC 사용을 시도할 때 이 오류가 표시될 수 있습니다. |
| 이 오류는 노드에서 볼륨을 마운트 해제하려고 할 때 문제가 있음을 나타냅니다. 디스크가 실패한 경우 Pod에서 PVC 사용을 시도할 때 이 오류가 표시될 수 있습니다. |
|
이 오류는 |
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 사용자로 OpenShift CLI(oc
)에 로그인했습니다.
프로세스
다음 명령을 실행하여 PVC와 관련된 이벤트를 검사합니다.
$ oc describe pvc <pvc_name> 1
- 1
<pvc_name>
을 PVC 이름으로 바꿉니다.
- 문제가 발생하는 호스트에 대한 직접 연결을 설정합니다.
- 디스크 문제를 해결합니다.
다음 단계
- 디스크 문제를 해결한 후에도 볼륨 오류 메시지가 유지되거나 재귀되는 경우 강제 정리를 수행해야 합니다. 자세한 내용은 "Performing a forced clean-up"을 참조하십시오.
추가 리소스
4.12.4.17.5. 강제 정리 수행
문제 해결 절차를 완료한 후에도 디스크 또는 노드 관련 문제가 지속되는 경우 강제 정리를 수행해야 합니다. 강제 정리는 영구 문제를 해결하고 LVM(Logical Volume Manager) 스토리지의 적절한 기능을 확인하는 데 사용됩니다.
사전 요구 사항
-
OpenShift CLI(
oc
)가 설치되어 있습니다. -
cluster-admin
권한이 있는 사용자로 OpenShift CLI(oc
)에 로그인했습니다. - LVM 스토리지를 사용하여 생성된 모든 PVC(영구 볼륨 클레임)를 삭제했습니다.
- LVM 스토리지를 사용하여 생성된 PVC를 사용하는 Pod를 중지했습니다.
프로세스
다음 명령을 실행하여
openshift-storage
네임스페이스로 전환합니다.$ oc project openshift-storage
다음 명령을 실행하여
LogicalVolume
CR(사용자 정의 리소스)이 있는지 확인합니다.$ oc get logicalvolume
LogicalVolume
CR이 있는 경우 다음 명령을 실행하여 해당 CR을 삭제합니다.$ oc delete logicalvolume <name> 1
- 1
- &
lt;name&
gt;을LogicalVolume
CR의 이름으로 바꿉니다.
LogicalVolume
CR을 삭제한 후 다음 명령을 실행하여 종료자를 제거합니다.$ oc patch logicalvolume <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1
- 1
- &
lt;name&
gt;을LogicalVolume
CR의 이름으로 바꿉니다.
다음 명령을 실행하여
LVMVolumeGroup
CR이 있는지 확인합니다.$ oc get lvmvolumegroup
LVMVolumeGroup
CR이 있는 경우 다음 명령을 실행하여 해당 CR을 삭제합니다.$ oc delete lvmvolumegroup <name> 1
- 1
- &
lt;name&
gt;을LVMVolumeGroup
CR의 이름으로 바꿉니다.
LVMVolumeGroup
CR을 삭제한 후 다음 명령을 실행하여 종료자를 제거합니다.$ oc patch lvmvolumegroup <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1
- 1
- &
lt;name&
gt;을LVMVolumeGroup
CR의 이름으로 바꿉니다.
다음 명령을 실행하여
LVMVolumeGroupNodeStatus
CR을 삭제합니다.$ oc delete lvmvolumegroupnodestatus --all
다음 명령을 실행하여
LVMCluster
CR을 삭제합니다.$ oc delete lvmcluster --all
LVMCluster
CR을 삭제한 후 다음 명령을 실행하여 종료자를 제거합니다.$ oc patch lvmcluster <name> -p '{"metadata":{"finalizers":[]}}' --type=merge 1
- 1
- &
lt;name&
gt;을LVMCluster
CR의 이름으로 바꿉니다.