5.9. AWS Elastic File Service CSI Driver Operator
5.9.1. 개요
OpenShift Container Platform은 AWS EFS(Elastic File Service)용 CSI(Container Storage Interface) 드라이버를 사용하여 PV(영구 볼륨)를 프로비저닝할 수 있습니다.
CSI Operator 및 드라이버를 사용할 때는 영구 스토리지 및 CSI 볼륨 구성에 대해 숙지하는 것이 좋습니다.
AWS EFS CSI Driver Operator를 설치한 후 OpenShift Container Platform은 openshift-cluster-csi-drivers
네임스페이스에 기본적으로 AWS EFS CSI Operator 및 AWS EFS CSI 드라이버를 설치합니다. 이렇게 하면 AWS EFS CSI Driver Operator에서 AWS EFS 자산에 마운트되는 CSI 프로비저닝 PV를 생성할 수 있습니다.
-
AWS EFS CSI Driver Operator 는 설치 후 PVC(영구 볼륨 클레임)를 생성하는 데 사용할 스토리지 클래스를 기본적으로 생성하지 않습니다. 그러나 AWS EFS
StorageClass
를 수동으로 생성할 수 있습니다. AWS EFS CSI Driver Operator는 필요에 따라 스토리지 볼륨을 생성할 수 있도록 하여 동적 볼륨 프로비저닝을 지원합니다. 이로 인해 클러스터 관리자가 스토리지를 사전 프로비저닝할 필요가 없습니다. - AWS EFS CSI 드라이버를 사용하면 AWS EFS PV를 생성하고 마운트할 수 있습니다.
AWS EFS는 영역 볼륨이 아닌 지역 볼륨만 지원합니다.
5.9.2. CSI 정보
스토리지 벤더는 일반적으로 Kubernetes의 일부로 스토리지 드라이버를 제공합니다. CSI(Container Storage Interface) 구현을 통해 타사 공급자는 코어 Kubernetes 코드를 변경하지 않고도 표준 인터페이스를 사용하여 스토리지 플러그인을 제공할 수 있습니다.
CSI Operator는 in-tree 볼륨 플러그인에서 사용할 수 없는 볼륨 스냅샷과 같은 OpenShift Container Platform 사용자 스토리지 옵션을 제공합니다.
5.9.3. AWS EFS CSI Driver Operator 설치
AWS EFS CSI Driver Operator는 기본적으로 OpenShift Container Platform에 설치되지 않습니다. 다음 절차에 따라 클러스터에서 AWS EFS CSI Driver Operator를 설치하고 구성합니다.
사전 요구 사항
- OpenShift Container Platform 웹 콘솔에 액세스합니다.
절차
웹 콘솔에서 AWS EFS CSI Driver Operator를 설치하려면 다음을 수행합니다.
- 웹 콘솔에 로그인합니다.
AWS EFS CSI Operator를 설치합니다.
-
Operators
OperatorHub를 클릭합니다. - 필터 상자에 AWS EFS CSI를 입력하여 AWS EFS CSI Operator를 찾습니다.
AWS EFS CSI Driver Operator 버튼을 클릭합니다.
중요AWS EFS Operator가 아닌 AWS EFS CSI Driver Operator를 선택해야 합니다. AWS EFS Operator는 커뮤니티 Operator이며 Red Hat에서 지원하지 않습니다.
- AWS EFS CSI Driver Operator 페이지에서 설치를 클릭합니다.
Operator 설치 페이지에서 다음을 확인합니다.
- 클러스터의 모든 네임스페이스(기본값)가 선택됩니다.
- 설치된 네임스페이스는 openshift-cluster-csi-drivers로 설정됩니다.
설치를 클릭합니다.
설치가 완료되면 AWS EFS CSI Operator가 웹 콘솔의 설치된 Operators 섹션에 나열됩니다.
-
Operators
- AWS STS(Security Token Service)가 있는 AWS EFS를 사용하는 경우 STS를 사용하여 AWS EFS CSI 드라이버를 구성해야 합니다. 자세한 내용은 "AWS EFS CSI 드라이버 구성"을 참조하십시오.
AWS EFS CSI 드라이버를 설치합니다.
-
관리
CustomResourceDefinitions ClusterCSIDriver를 클릭합니다. - Instances 탭에서 Create ClusterCSIDriver를 클릭합니다.
다음 YAML 파일을 사용합니다.
apiVersion: operator.openshift.io/v1 kind: ClusterCSIDriver metadata: name: efs.csi.aws.com spec: managementState: Managed
- 생성을 클릭합니다.
다음 조건이 "true" 상태로 변경될 때까지 기다립니다.
- AWSEFSDriverCredentialsRequestControllerAvailable
- AWSEFSDriverNodeServiceControllerAvailable
- AWSEFSDriverControllerServiceControllerAvailable
-
관리
5.9.4. 보안 토큰 서비스를 사용하여 AWS EFS CSI Driver Operator 구성
다음 절차에서는 AWS STS(Security Token Service)에서 OpenShift Container Platform을 사용하여 AWS EFS CSI Driver Operator를 구성하는 방법을 설명합니다.
AWS EFS CSI Operator를 설치한 후 AWS EFS CSI 드라이버를 설치하기 전에 AWS EFS CSI 드라이버 설치 프로세스의 일부로 이 절차를 수행합니다. 드라이버를 설치하고 볼륨을 생성한 후 이 절차를 수행하면 볼륨이 Pod에 마운트되지 않습니다.
사전 요구 사항
- AWS 계정 인증 정보
절차
STS를 사용하여 AWS EFS CSI Driver Operator를 구성하려면 다음을 수행합니다.
-
STS를 사용하여 클러스터를 설치하는 데 사용한 OpenShift Container Platform 릴리스 이미지에서 CCO 유틸리티(
ccoctl
) 바이너리를 추출합니다. 자세한 내용은 "Cloud Credential Operator 유틸리티 구성"을 참조하십시오. 다음 예에 표시된 것처럼 EFS
CredentialsRequest
YAML 파일을 생성하고 저장한 다음credrequests
디렉터리에 배치합니다.예제
apiVersion: cloudcredential.openshift.io/v1 kind: CredentialsRequest metadata: name: openshift-aws-efs-csi-driver namespace: openshift-cloud-credential-operator spec: providerSpec: apiVersion: cloudcredential.openshift.io/v1 kind: AWSProviderSpec statementEntries: - action: - elasticfilesystem:* effect: Allow resource: '*' secretRef: name: aws-efs-cloud-credentials namespace: openshift-cluster-csi-drivers serviceAccountNames: - aws-efs-csi-driver-operator - aws-efs-csi-driver-controller-sa
ccoctl
툴을 실행하여 AWS에서 새 IAM 역할을 생성하고 로컬 파일 시스템(<path_to_ccoctl_output_dir>/manifests/openshift-cluster-csi-drivers-aws-credentials-credentials.yaml )에서 YAML 파일을 생성합니다.
$ ccoctl aws create-iam-roles --name=<name> --region=<aws_region> --credentials-requests-dir=<path_to_directory_with_list_of_credentials_requests>/credrequests --identity-provider-arn=arn:aws:iam::<aws_account_id>:oidc-provider/<name>-oidc.s3.<aws_region>.amazonaws.com
-
name=<name
>은 추적을 위해 생성된 클라우드 리소스에 태그하는 데 사용되는 이름입니다. -
region=<aws_region&
gt;은 클라우드 리소스가 생성되는 AWS 리전입니다. -
dir=<path_to_directory_with_list_of_credentials_requests>/credrequests
는 이전 단계에서 EFS CredentialsRequest 파일을 포함하는 디렉터리입니다. <aws_account_id&
gt;는 AWS 계정 ID입니다.예제
$ ccoctl aws create-iam-roles --name my-aws-efs --credentials-requests-dir credrequests --identity-provider-arn arn:aws:iam::123456789012:oidc-provider/my-aws-efs-oidc.s3.us-east-2.amazonaws.com
출력 예
2022/03/21 06:24:44 Role arn:aws:iam::123456789012:role/my-aws-efs -openshift-cluster-csi-drivers-aws-efs-cloud- created 2022/03/21 06:24:44 Saved credentials configuration to: /manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml 2022/03/21 06:24:45 Updated Role policy for Role my-aws-efs-openshift-cluster-csi-drivers-aws-efs-cloud-
-
AWS EFS 클라우드 인증 정보 및 시크릿을 생성합니다.
$ oc create -f <path_to_ccoctl_output_dir>/manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml
예제
$ oc create -f /manifests/openshift-cluster-csi-drivers-aws-efs-cloud-credentials-credentials.yaml
출력 예
secret/aws-efs-cloud-credentials created
5.9.5. AWS EFS 스토리지 클래스 생성
스토리지 클래스는 스토리지 수준 및 사용량을 구분하고 조정하는 데 사용됩니다. 스토리지 클래스를 정의하면 사용자는 동적으로 프로비저닝된 영구 볼륨을 얻을 수 있습니다.
AWS EFS CSI Driver Operator가 설치되면 기본적으로 스토리지 클래스를 생성하지 않습니다. 그러나 AWS EFS 스토리지 클래스를 수동으로 생성할 수 있습니다.
5.9.5.1. 콘솔을 사용하여 AWS EFS 스토리지 클래스 생성
절차
-
OpenShift Container Platform 콘솔에서 스토리지
StorageClasses 를 클릭합니다. - StorageClasses 페이지에서 Create StorageClass 를 클릭합니다.
StorageClass 페이지에서 다음 단계를 수행합니다.
- 스토리지 클래스를 참조할 이름을 입력합니다.
- 선택 사항: 설명을 입력합니다.
- 회수 정책을 선택합니다.
-
Provisioner 드롭다운 목록에서
efs.csi.aws.com
을 선택합니다. - 선택 사항: 선택한 프로비저너의 구성 매개 변수를 설정합니다.
- 생성을 클릭합니다.
5.9.5.2. CLI를 사용하여 AWS EFS 스토리지 클래스 생성
절차
StorageClass
오브젝트를 만듭니다.kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: efs-sc provisioner: efs.csi.aws.com parameters: provisioningMode: efs-ap 1 fileSystemId: fs-a5324911 2 directoryPerms: "700" 3 gidRangeStart: "1000" 4 gidRangeEnd: "2000" 5 basePath: "/dynamic_provisioning" 6
- 1
- 동적 프로비저닝을 사용하려면
provisioningMode
가efs-ap
이어야 합니다. - 2
FileSystemId
는 수동으로 생성된 EFS 볼륨의 ID여야 합니다.- 3
directoryPerms
는 볼륨의 루트 디렉터리에 대한 기본 권한입니다. 이 예에서 볼륨은 소유자만 액세스할 수 있습니다.- 4 5
gidRangeStart
및gidRangeEnd
는 AWS 액세스 지점의 GID를 설정하는 데 사용되는 POSIX 그룹 ID(GID) 범위를 설정합니다. 지정하지 않으면 기본 범위는 50000-7000000입니다. 각 프로비저닝 볼륨이므로 AWS 액세스 지점에는 이 범위의 고유한 GID가 할당됩니다.- 6
basePath
는 동적으로 프로비저닝된 볼륨을 생성하는 데 사용되는 EFS 볼륨의 디렉터리입니다. 이 경우 PV는 EFS 볼륨에서 "/dynamic_provisioning/<random uuid>"로 프로비저닝됩니다. 하위 디렉터리만 PV를 사용하는 pod에 마운트됩니다.
참고클러스터 관리자는 각각 다른 EFS 볼륨을 사용하는 여러
StorageClass
개체를 만들 수 있습니다.
5.9.6. AWS에서 EFS 볼륨에 대한 액세스 생성 및 구성
다음 절차에서는 OpenShift Container Platform에서 사용할 수 있도록 AWS에서 EFS 볼륨을 생성하고 구성하는 방법을 설명합니다.
사전 요구 사항
- AWS 계정 인증 정보
절차
AWS에서 EFS 볼륨에 대한 액세스를 생성하고 구성하려면 다음을 수행합니다.
- AWS 콘솔에서 https://console.aws.amazon.com/efs을 엽니다.
파일 시스템 생성을 클릭합니다.
- 파일 시스템의 이름을 입력합니다.
- VPC(Virtual Private Cloud) 의 경우 OpenShift Container Platform의 VPC(가상 프라이빗 클라우드)를 선택합니다.
- 다른 모든 선택 사항에 대해 기본 설정을 수락합니다.
볼륨 및 마운트 대상이 완전히 생성될 때까지 기다립니다.
- https://console.aws.amazon.com/efs#/file-systems로 이동합니다.
- 볼륨을 클릭하고 네트워크 탭에서 모든 마운트 대상이 사용 가능하게 될 때까지 기다립니다(-1-2분).
- 네트워크 탭에서 Security Group ID(다음 단계에서 필요함)를 복사합니다.
- https://console.aws.amazon.com/ec2/v2/home#SecurityGroups로 이동하여 EFS 볼륨에서 사용하는 보안 그룹을 찾습니다.
인바운드 규칙 탭에서 인바운드 규칙 편집을 클릭한 다음 다음 설정으로 새 규칙을 추가하여 OpenShift Container Platform 노드에서 EFS 볼륨에 액세스할 수 있도록 합니다.
- 유형: NFS
- 프로토콜: TCP
- 포트 범위: 2049
출처: 노드의 사용자 정의/IP 주소 범위 (예: "10.0.0.0/16")
이 단계에서는 OpenShift Container Platform에서 클러스터의 NFS 포트를 사용할 수 있습니다.
- 규칙을 저장합니다.
5.9.7. AWS EFS의 동적 프로비저닝
AWS EFS CSI 드라이버는 다른 CSI 드라이버와 다른 형식의 동적 프로비저닝을 지원합니다. 새 PV를 기존 EFS 볼륨의 하위 디렉터리로 프로비저닝합니다. PV는 서로 독립적입니다. 그러나 모두 동일한 EFS 볼륨을 공유합니다. 볼륨이 삭제되면 프로비저닝된 모든 PV도 삭제됩니다. EFS CSI 드라이버는 이러한 각 하위 디렉터리에 대한 AWS 액세스 지점을 생성합니다. AWS AccessECDHE 제한으로 인해 단일 StorageClass
/EFS 볼륨에서만 1000 PV를 동적으로 프로비저닝할 수 있습니다.
PVC.spec.resources
는 EFS에 의해 적용되지 않습니다.
아래 예제에서는 5GiB의 공간을 요청합니다. 그러나 생성된 PV는 제한적이며 페타바이트와 같이 원하는 양의 데이터를 저장할 수 있습니다. 손상된 애플리케이션이나 불량 애플리케이션도 볼륨에 너무 많은 데이터를 저장할 경우 상당한 비용이 발생할 수 있습니다.
AWS에서 EFS 볼륨 크기를 모니터링하는 것이 좋습니다.
사전 요구 사항
- AWS EFS 볼륨이 생성되어 있습니다.
- AWS EFS 스토리지 클래스를 생성했습니다.
절차
동적 프로비저닝을 활성화하려면 다음을 수행합니다.
위에서 만든
StorageClass
를 참조하여 PVC(또는 StatefulSet 또는 Template)를 만듭니다.apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test spec: storageClassName: efs-sc accessModes: - ReadWriteMany resources: requests: storage: 5Gi
동적 프로비저닝 설정에 문제가 있는 경우 AWS EFS 문제 해결을 참조하십시오.
5.9.8. AWS EFS를 사용하여 정적 PV 생성
동적 프로비저닝 없이 AWS EFS 볼륨을 단일 PV로 사용할 수 있습니다. 전체 볼륨이 pod에 마운트됩니다.
사전 요구 사항
- AWS EFS 볼륨이 생성되어 있습니다.
절차
다음 YAML 파일을 사용하여 PV를 생성합니다.
apiVersion: v1 kind: PersistentVolume metadata: name: efs-pv spec: capacity: 1 storage: 5Gi volumeMode: Filesystem accessModes: - ReadWriteMany - ReadWriteOnce persistentVolumeReclaimPolicy: Retain csi: driver: efs.csi.aws.com volumeHandle: fs-ae66151a 2 volumeAttributes: encryptInTransit: "false" 3
- 1
spec.capacity
에는 의미가 없으며 CSI 드라이버에서 무시합니다. PVC에 바인딩할 때만 사용됩니다. 애플리케이션은 볼륨에 원하는 양의 데이터를 저장할 수 있습니다.- 2
volumeHandle
은 AWS에서 생성한 EFS 볼륨과 동일해야 합니다. 자체 액세스 지점을 제공하는 경우volumeHandle
은<EFS volume ID>::<access point ID>
여야 합니다. 예:fs-6e633ada::fsap-081a1d293f0004630
.- 3
- 필요한 경우 전송 시 암호화를 비활성화할 수 있습니다. 암호화는 기본적으로 활성화되어 있습니다.
정적 PV를 설정하는 데 문제가 있는 경우 AWS EFS 문제 해결을 참조하십시오.
5.9.9. AWS EFS 보안
다음 정보는 AWS EFS 보안에 중요합니다.
예를 들어 앞에서 설명한 대로 동적 프로비저닝을 사용하여 액세스 지점을 사용하는 경우 Amazon은 파일의 GID를 액세스 지점의 GID로 자동으로 대체합니다. 또한 EFS는 파일 시스템 권한을 평가할 때 액세스 지점의 사용자 ID, 그룹 ID 및 보조 그룹 ID를 고려합니다. EFS는 NFS 클라이언트의 ID를 무시합니다. 액세스 지점에 대한 자세한 내용은 https://docs.aws.amazon.com/efs/latest/ug/efs-access-points.html 을 참조하십시오.
결과적으로 EFS 볼륨은 FSGroup을 자동으로 무시합니다. OpenShift Container Platform은 볼륨의 파일 GID를 FSGroup으로 대체할 수 없습니다. 마운트된 EFS 액세스 지점에 액세스할 수 있는 모든 Pod는 해당 노드의 모든 파일에 액세스할 수 있습니다.
이와 무관하게 전송 중 암호화는 기본적으로 활성화되어 있습니다. 자세한 내용은 https://docs.aws.amazon.com/efs/latest/ug/encryption-in-transit.html을 참조하십시오.
5.9.10. AWS EFS 문제 해결
다음 정보는 AWS EFS 문제를 해결하는 방법에 대한 지침을 제공합니다.
-
AWS EFS Operator 및 CSI 드라이버는
openshift-cluster-csi-drivers
에서 실행됩니다. AWS EFS Operator 및 CSI 드라이버의 로그 수집을 시작하려면 다음 명령을 실행합니다.
$ oc adm must-gather [must-gather ] OUT Using must-gather plugin-in image: quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:125f183d13601537ff15b3239df95d47f0a604da2847b561151fedd699f5e3a5 [must-gather ] OUT namespace/openshift-must-gather-xm4wq created [must-gather ] OUT clusterrolebinding.rbac.authorization.k8s.io/must-gather-2bd8x created [must-gather ] OUT pod for plug-in image quay.io/openshift-release-dev/ocp-v4.0-art-dev@sha256:125f183d13601537ff15b3239df95d47f0a604da2847b561151fedd699f5e3a5 created
AWS EFS Operator 오류를 표시하려면
ClusterCSIDriver
상태를 확인합니다.$ oc get clustercsidriver efs.csi.aws.com -o yaml
볼륨을 Pod에 마운트할 수 없는 경우(다음 명령의 출력에 표시된 대로):
$ oc describe pod ... Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 2m13s default-scheduler Successfully assigned default/efs-app to ip-10-0-135-94.ec2.internal Warning FailedMount 13s kubelet MountVolume.SetUp failed for volume "pvc-d7c097e6-67ec-4fae-b968-7e7056796449" : rpc error: code = DeadlineExceeded desc = context deadline exceeded 1 Warning FailedMount 10s kubelet Unable to attach or mount volumes: unmounted volumes=[persistent-storage], unattached volumes=[persistent-storage kube-api-access-9j477]: timed out waiting for the condition
- 1
- 볼륨이 마운트되지 않았음을 나타내는 경고 메시지입니다.
이 오류는 AWS가 OpenShift Container Platform 노드와 AWS EFS 간에 패킷을 삭제하기 때문에 발생하는 경우가 많습니다.
다음 사항이 올바른지 확인합니다.
- AWS 방화벽 및 보안 그룹
- 네트워킹: 포트 번호 및 IP 주소
5.9.11. AWS EFS CSI Driver Operator 설치 제거
모든 EFS PV는 AWS EFS CSI Driver Operator를 설치 제거한 후 액세스할 수 없습니다.
사전 요구 사항
- OpenShift Container Platform 웹 콘솔에 액세스합니다.
절차
웹 콘솔에서 AWS EFS CSI Driver Operator를 설치 제거하려면 다음을 수행합니다.
- 웹 콘솔에 로그인합니다.
- AWS EFS PV를 사용하는 모든 애플리케이션을 중지합니다.
모든 AWS EFS PV를 삭제합니다.
-
스토리지
영구 볼륨 클레임을 클릭합니다. - AWS EFS CSI Driver Operator에서 사용 중인 각 PVC를 선택하고 PVC 오른쪽에 있는 드롭다운 메뉴를 클릭한 다음 영구 볼륨 클레임 삭제를 클릭합니다.
-
스토리지
AWS EFS CSI 드라이버를 설치 제거합니다.
참고Operator를 설치 제거하려면 CSI 드라이버를 먼저 제거해야 합니다.
-
관리
CustomResourceDefinitions ClusterCSIDriver를 클릭합니다. - 인스턴스 탭에서 efs.csi.aws.com의 맨 왼쪽에 있는 드롭다운 메뉴를 클릭한 다음 ClusterCSIDriver 삭제를 클릭합니다.
- 메시지가 표시되면 삭제를 클릭합니다.
-
관리
AWS EFS CSI Operator를 설치 제거합니다.
-
Operators
설치된 Operators를 클릭합니다. - 설치된 Operators 페이지에서 스크롤하거나 AWS EFS CSI를 이름으로 검색 상자에 입력하여 Operator를 찾은 다음 클릭합니다.
-
설치된 Operator > Operator 세부 정보 페이지 오른쪽 상단에서 작업
Operator 설치 제거를 클릭합니다. Operator 설치 제거 창이 표시되면 제거 버튼을 클릭하여 네임스페이스에서 Operator를 제거합니다. 클러스터에 Operator가 배포한 애플리케이션을 수동으로 정리해야 합니다.
설치 제거 후 AWS EFS CSI Driver Operator는 더 이상 웹 콘솔의 설치된 Operator 섹션에 나열되지 않습니다.
-
Operators
클러스터(openshift-install destroy cluster
)를 제거하려면 먼저 AWS에서 EFS 볼륨을 삭제해야 합니다. 클러스터의 VPC를 사용하는 EFS 볼륨이 있는 경우 OpenShift Container Platform 클러스터를 삭제할 수 없습니다. Amazon에서는 이러한 VPC를 삭제할 수 없습니다.