스토리지

1. 다음 명령을 실행하여 PV를 삭제합니다.

   $ oc delete pv <pv_name>

   Copy to Clipboard Toggle word wrap

   AWS EBS 또는 GCE PD 볼륨과 같은 외부 인프라의 관련 스토리지 자산은 PV가 삭제된 후에도 계속 존재합니다.

2. 연결된 스토리지 자산에서 데이터를 정리합니다.
3. 연결된 스토리지 자산을 삭제합니다. 대안으로, 동일한 스토리지 자산을 재사용하려면, 스토리지 자산 정의를 사용하여 새 PV를 생성합니다.

절차

1. 클러스터의 영구 볼륨을 나열합니다.

   $ oc get pv

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM             STORAGECLASS     REASON    AGE
    pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim1    manual                     10s
    pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim2    manual                     6s
    pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim3    manual                     3s

   Copy to Clipboard Toggle word wrap

2. 영구 볼륨 중 하나를 선택하고 다음과 같이 회수 정책을 변경합니다.

   $ oc patch pv <your-pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'

   Copy to Clipboard Toggle word wrap

3. 선택한 영구 볼륨에 올바른 정책이 있는지 확인합니다.

   $ oc get pv

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM             STORAGECLASS     REASON    AGE
    pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim1    manual                     10s
    pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim2    manual                     6s
    pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Retain          Bound     default/claim3    manual                     3s

   Copy to Clipboard Toggle word wrap

   이전 출력에서 default/claim3 클레임에 바인딩된 볼륨이 이제 Retain 회수 정책을 갖습니다. 사용자가 default/claim3 클레임을 삭제할 때 볼륨이 자동으로 삭제되지 않습니다.

1. ReadWriteOnce(RWO) 볼륨은 여러 노드에 마운트할 수 없습니다. 시스템이 이미 실패한 노드에 할당되어 있기 때문에, 노드가 실패하면 시스템은 연결된 RWO 볼륨을 새 노드에 마운트하는 것을 허용하지 않습니다. 이로 인해 다중 연결 오류 메시지가 표시되면 동적 영구 볼륨이 연결된 경우와 같이 중요한 워크로드에서의 데이터가 손실되는 것을 방지하기 위해 종료되거나 충돌이 발생한 노드에서 Pod를 삭제해야 합니다.
2. AWS EBS 기반 Pod에 재생성 배포 전략을 사용합니다.
3. 원시 블록 볼륨만 파이버 채널 및 iSCSI에 대한 RWX( ReadWriteMany ) 액세스 모드를 지원합니다. 자세한 내용은 "볼륨 지원 차단"을 참조하십시오.

4. GCP hyperdisk-balanced 디스크의 경우:

   • 지원되는 액세스 모드는 다음과 같습니다.

     • ReadWriteOnce
     • ReadWriteMany
   • ReadWriteMany 액세스 모드가 활성화된 디스크에 대해 복제 및 스냅샷이 비활성화됩니다.
   • ReadWriteMany 의 단일 hyperdisk-balanced 디스크 볼륨을 최대 8개의 인스턴스에 연결할 수 있습니다.
   • 모든 인스턴스에서 디스크를 분리한 경우에만 ReadWriteMany 의 디스크 크기를 조정할 수 있습니다.
   • 추가 제한 사항.

1. 원하는 네임스페이스를 선택합니다.

   1. Administration > Namespaces 를 클릭합니다.
   2. 네임스페이스 페이지에서 원하는 네임스페이스를 클릭합니다. 네임스페이스 세부 정보 페이지가 표시됩니다.

2. 네임스페이스에 fsGroupChangePolicy 레이블을 추가합니다.

   1. 라벨 옆에 있는 네임스페이스 세부 정보 페이지에서 편집을 클릭합니다.

   2. 레이블 편집 대화 상자에서 storage.openshift.io/fsgroup-change-policy 레이블을 추가하고 다음과 같이 설정합니다.

      • OnRootMismatch: 루트 디렉터리의 권한 및 소유권이 볼륨의 예상 권한과 일치하지 않는 경우에만 권한 및 소유권을 변경하여 Pod 시간 초과 문제를 방지합니다.
      • Always: (기본값) 볼륨이 마운트될 때 볼륨의 권한 및 소유권을 항상 변경하는 것을 지정합니다.
   3. 저장을 클릭합니다.

1. 워크로드 > 배포를 클릭합니다.
2. 배포 페이지에서 원하는 배포를 클릭합니다.
3. Deployment details 페이지에서 YAML 탭을 클릭합니다.

4. 다음 예제 파일을 사용하여 spec.template.spec.securityContext 에서 배포의 YAML 파일을 편집합니다.

   배포 YAML 파일 설정 fsGroupChangePolicy의 예

   ...
   spec:
   replicas: 3
   selector:
   matchLabels:
   app: my-app
   template:
   metadata:
   creationTimestamp: null
   labels:
   app: my-app
   spec:
   containers:
   - name: container
   image: 'image-registry.openshift-image-registry.svc:5000/openshift/httpd:latest'
   ports:
   - containerPort: 8080
   protocol: TCP
   resources: {}
   terminationMessagePath: /dev/termination-log
   terminationMessagePolicy: File
   imagePullPolicy: Always
   restartPolicy: Always
   terminationGracePeriodSeconds: 30
   dnsPolicy: ClusterFirst
   securityContext:
     fsGroupChangePolicy: OnRootMismatch 

   1

   
   ...

   Copy to Clipboard Toggle word wrap

   1

   OnRootMismatch 는 재귀 권한 변경을 건너뛰어 Pod 시간 초과 문제를 방지합니다. 기본값은 Always 이며, 볼륨이 마운트될 때 볼륨의 권한 및 소유권을 항상 변경합니다.

5. 저장을 클릭합니다.

절차

1. OpenShift Dedicated 웹 콘솔에서 스토리지 → 영구 볼륨 클레임을 클릭합니다.
2. 영구 볼륨 클레임 생성 개요에서 영구 볼륨 클레임 생성을 클릭합니다.

3. 표시되는 페이지에 원하는 옵션을 정의합니다.

   1. 드롭다운 메뉴에서 이전에 생성한 스토리지 클래스를 선택합니다.
   2. 스토리지 클레임의 고유한 이름을 입력합니다.
   3. 액세스 모드를 선택합니다. 이 선택에서는 스토리지 클레임에 대한 읽기 및 쓰기 액세스 권한을 결정합니다.
   4. 스토리지 클레임의 크기를 정의합니다.
4. 만들기를 클릭하여 영구 볼륨 클레임을 생성하고 영구 볼륨을 생성합니다.

절차

1. 스토리지 클래스를 생성합니다.

   $ cat << EOF | oc create -f -
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: <storage-class-name> 

   1

   
   parameters:
     fsType: ext4 

   2

   
     encrypted: "true"
     kmsKeyId: keyvalue 

   3

   
   provisioner: ebs.csi.aws.com
   reclaimPolicy: Delete
   volumeBindingMode: WaitForFirstConsumer
   EOF

   Copy to Clipboard Toggle word wrap

   1

   스토리지 클래스의 이름을 지정합니다.

   2

   프로비저닝된 볼륨에서 생성된 파일 시스템입니다.

   3

   container-persistent 볼륨을 암호화할 때 사용할 키의 전체 Amazon Resource Name(ARN)을 지정합니다. 키를 제공하지 않지만 encrypted 필드가 true 로 설정된 경우 기본 KMS 키가 사용됩니다. AWS 문서의 AWS의 키 ID 및 키 ARN 찾기를 참조하십시오.

2. KMS 키를 지정하는 스토리지 클래스로 PVC(영구 볼륨 클레임)를 생성합니다.

   $ cat << EOF | oc create -f -
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: mypvc
   spec:
     accessModes:
       - ReadWriteOnce
     volumeMode: Filesystem
     storageClassName: <storage-class-name>
     resources:
       requests:
         storage: 1Gi
   EOF

   Copy to Clipboard Toggle word wrap

3. PVC를 사용할 워크로드 컨테이너를 생성합니다.

   $ cat << EOF | oc create -f -
   kind: Pod
   metadata:
     name: mypod
   spec:
     containers:
       - name: httpd
         image: quay.io/centos7/httpd-24-centos7
         ports:
           - containerPort: 80
         volumeMounts:
           - mountPath: /mnt/storage
             name: data
     volumes:
       - name: data
         persistentVolumeClaim:
           claimName: mypvc
   EOF

   Copy to Clipboard Toggle word wrap

절차

1. OpenShift Dedicated 웹 콘솔에서 스토리지 → 영구 볼륨 클레임을 클릭합니다.
2. 영구 볼륨 클레임 생성 개요에서 영구 볼륨 클레임 생성을 클릭합니다.

3. 표시되는 페이지에 원하는 옵션을 정의합니다.

   1. 드롭다운 메뉴에서 이전에 생성한 스토리지 클래스를 선택합니다.
   2. 스토리지 클레임의 고유한 이름을 입력합니다.
   3. 액세스 모드를 선택합니다. 이 선택에서는 스토리지 클레임에 대한 읽기 및 쓰기 액세스 권한을 결정합니다.
   4. 스토리지 클레임의 크기를 정의합니다.
4. 만들기를 클릭하여 영구 볼륨 클레임을 생성하고 영구 볼륨을 생성합니다.

1. 웹 콘솔에 로그인합니다.
2. Administration > CustomResourceDefinitions 를 클릭합니다.
3. CustomResourceDefinitions 페이지에서 clustercsidrivers를 입력하여 ClusterCSIDriver 오브젝트를 찾습니다.
4. ClusterCSIDriver 를 클릭한 다음 Instances 탭을 클릭합니다.
5. 원하는 인스턴스의 이름을 클릭한 다음 YAML 탭을 클릭합니다.

6. Managed,Unmanaged 또는 Removed 의 값을 사용하여 spec.storageClassState 필드를 추가합니다.

   예제

   ...
   spec:
     driverConfig:
       driverType: ''
     logLevel: Normal
     managementState: Managed
     observedConfig: null
     operatorLogLevel: Normal
     storageClassState: Unmanaged 

   1

   
   ...

   Copy to Clipboard Toggle word wrap

   1

   spec.storageClassState 필드가 "Unmanaged"로 설정

7. 저장을 클릭합니다.

1. 스토리지 클래스를 나열합니다.

   $ oc get storageclass

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                 TYPE
   gp3 (default)        ebs.csi.aws.com 

   1

   
   standard             ebs.csi.aws.com

   Copy to Clipboard Toggle word wrap

   1

   (default) 는 기본 스토리지 클래스를 나타냅니다.

2. 원하는 스토리지 클래스를 기본값으로 설정합니다.

   원하는 스토리지 클래스의 경우 다음 명령을 실행하여 storageclass.kubernetes.io/is-default-class 주석을 true 로 설정합니다.

   $ oc patch storageclass standard -p '{"metadata": {"annotations": {"storageclass.kubernetes.io/is-default-class": "true"}}}'

   Copy to Clipboard Toggle word wrap
   참고

   짧은 시간 동안 여러 기본 스토리지 클래스를 사용할 수 있습니다. 그러나 결국 하나의 기본 스토리지 클래스만 존재하는지 확인해야 합니다.

   여러 기본 스토리지 클래스가 있는 경우 기본 스토리지 클래스 pvc.spec.storageClassName=nil)를 요청하는 모든 영구 볼륨 클레임(PVC)은 해당 스토리지 클래스의 기본 상태와 관계없이 가장 최근에 생성된 기본 스토리지 클래스를 가져옵니다. 경고 대시보드에서 여러 기본 스토리지 클래스인 MultipleDefaultStorageClasses 가 있다는 경고를 받습니다.

3. 이전 기본 스토리지 클래스에서 기본 스토리지 클래스 설정을 제거합니다.

   이전 기본 스토리지 클래스의 경우 다음 명령을 실행하여 storageclass.kubernetes.io/is-default-class 주석의 값을 false 로 변경합니다.

   $ oc patch storageclass gp3 -p '{"metadata": {"annotations": {"storageclass.kubernetes.io/is-default-class": "false"}}}'

   Copy to Clipboard Toggle word wrap

4. 변경 사항을 확인합니다.

   $ oc get storageclass

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                 TYPE
   gp3                  ebs.csi.aws.com
   standard (default)   ebs.csi.aws.com

   Copy to Clipboard Toggle word wrap

1. AWS STS(Secure Token Service)와 함께 AWS EFS를 사용하는 경우 STS에 대한 역할 ARM(Amazon Resource Name)을 가져옵니다. 이는 AWS EFS CSI Driver Operator를 설치하는 데 필요합니다.
2. AWS EFS CSI Driver Operator를 설치합니다.
3. AWS EFS CSI 드라이버를 설치합니다.

1. 환경을 설정합니다.

   1. 다음 명령을 실행하여 환경 변수를 구성합니다.

      export CLUSTER_NAME="<CLUSTER_NAME>" 

      1

      
      export AWS_REGION="<AWS_REGION>" 

      2

      
      export AWS_ACCOUNT_A_ID="<ACCOUNT_A_ID>" 

      3

      
      export AWS_ACCOUNT_B_ID="<ACCOUNT_B_ID>" 

      4

      
      export AWS_ACCOUNT_A_VPC_CIDR="<VPC_A_CIDR>" 

      5

      
      export AWS_ACCOUNT_B_VPC_CIDR="<VPC_B_CIDR>" 

      6

      
      export AWS_ACCOUNT_A_VPC_ID="<VPC_A_ID>" 

      7

      
      export AWS_ACCOUNT_B_VPC_ID="<VPC_B_ID>" 

      8

      
      export SCRATCH_DIR="<WORKING_DIRECTORY>" 

      9

      
      export CSI_DRIVER_NAMESPACE="openshift-cluster-csi-drivers" 

      10

      
      export AWS_PAGER="" 

      11

      Copy to Clipboard Toggle word wrap

      1

      선택한 클러스터 이름입니다.

      2

      AWS 리전을 선택합니다.

      3

      AWS 계정 A ID.

      4

      AWS 계정 B ID.

      5

      계정 A의 VPC의 CIDR 범위.

      6

      계정 B의 VPC의 CIDR 범위.

      7

      계정 A(클러스터)의 VPC ID

      8

      계정 B의 VPC ID (EFS 크로스 계정)

      9

      임시 파일을 저장하는 데 사용할 쓰기 가능한 쓰기 가능한 디렉터리입니다.

      10

      드라이버가 기본이 아닌 네임스페이스에 설치된 경우 이 값을 변경합니다.

      11

      AWS CLI를 사용하면 모든 것이 stdout에 직접 출력됩니다.

   2. 다음 명령을 실행하여 작업 디렉터리를 생성합니다.

      mkdir -p $SCRATCH_DIR

      Copy to Clipboard Toggle word wrap

   3. OpenShift Dedicated CLI에서 다음 명령을 실행하여 클러스터 연결을 확인합니다.

      $ oc whoami

      Copy to Clipboard Toggle word wrap

   4. OpenShift Dedicated 클러스터 유형을 확인하고 노드 선택기를 설정합니다.

      EFS 교차 계정 기능을 사용하려면 EFS CSI 컨트롤러 Pod를 실행하는 노드에 AWS IAM 정책을 할당해야 합니다. 그러나 모든 OpenShift Dedicated 유형에 대해 이 문제가 일치하지는 않습니다.

      • 클러스터가 HyperShift(Hosted Control Plane)로 배포된 경우 다음 명령을 실행하여 NODE_SELECTOR 환경 변수를 설정하여 작업자 노드 레이블을 유지합니다.

        export NODE_SELECTOR=node-role.kubernetes.io/worker

        Copy to Clipboard Toggle word wrap

      • 다른 모든 OpenShift Dedicated 유형의 경우 다음 명령을 실행하여 마스터 노드 레이블을 유지하도록 NODE_SELECTOR 환경 변수를 설정합니다.

        export NODE_SELECTOR=node-role.kubernetes.io/master

        Copy to Clipboard Toggle word wrap

   5. 다음 명령을 실행하여 AWS CLI 프로필을 계정 전환의 환경 변수로 구성합니다.

      export AWS_ACCOUNT_A="<ACCOUNT_A_NAME>"
      export AWS_ACCOUNT_B="<ACCOUNT_B_NAME>"

      Copy to Clipboard Toggle word wrap

   6. 다음 명령을 실행하여 AWS CLI가 두 계정의 기본값으로 JSON 출력 형식으로 구성되어 있는지 확인합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_A}
      aws configure get output
      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_B}
      aws configure get output

      Copy to Clipboard Toggle word wrap

      이전 명령이 반환되는 경우:

      • no value: 기본 출력 형식은 이미 JSON으로 설정되어 있으며 변경 사항이 필요하지 않습니다.
      • 모든 값: JSON 형식을 사용하도록 AWS CLI를 재구성하십시오. 출력 형식 변경에 대한 자세한 내용은 AWS 문서 의 AWS CLI의 출력 형식 설정을 참조하십시오.

   7. 다음 명령을 실행하여 AWS_DEFAULT_PROFILE 과의 충돌을 방지하기 위해 쉘에서 AWS_PROFILE 을 설정 해제합니다.

      unset AWS_PROFILE

      Copy to Clipboard Toggle word wrap

2. AWS 계정 B IAM 역할 및 정책을 구성합니다.

   1. 다음 명령을 실행하여 계정 B 프로필로 전환합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_B}

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 EFS CSI Driver Operator의 IAM 역할 이름을 정의합니다.

      export ACCOUNT_B_ROLE_NAME=${CLUSTER_NAME}-cross-account-aws-efs-csi-operator

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 IAM 신뢰 정책 파일을 생성합니다.

      cat <<EOF > $SCRATCH_DIR/AssumeRolePolicyInAccountB.json
      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Principal": {
                      "AWS": "arn:aws:iam::${AWS_ACCOUNT_A_ID}:root"
                  },
                  "Action": "sts:AssumeRole",
                  "Condition": {}
              }
          ]
      }
      EOF

      Copy to Clipboard Toggle word wrap

   4. 다음 명령을 실행하여 EFS CSI Driver Operator에 대한 IAM 역할을 생성합니다.

      ACCOUNT_B_ROLE_ARN=$(aws iam create-role \
        --role-name "${ACCOUNT_B_ROLE_NAME}" \
        --assume-role-policy-document file://$SCRATCH_DIR/AssumeRolePolicyInAccountB.json \
        --query "Role.Arn" --output text) \
      && echo $ACCOUNT_B_ROLE_ARN

      Copy to Clipboard Toggle word wrap

   5. 다음 명령을 실행하여 IAM 정책 파일을 생성합니다.

      cat << EOF > $SCRATCH_DIR/EfsPolicyInAccountB.json
      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Sid": "VisualEditor0",
                  "Effect": "Allow",
                  "Action": [
                      "ec2:DescribeNetworkInterfaces",
                      "ec2:DescribeSubnets"
                  ],
                  "Resource": "*"
              },
              {
                  "Sid": "VisualEditor1",
                  "Effect": "Allow",
                  "Action": [
                      "elasticfilesystem:DescribeMountTargets",
                      "elasticfilesystem:DeleteAccessPoint",
                      "elasticfilesystem:ClientMount",
                      "elasticfilesystem:DescribeAccessPoints",
                      "elasticfilesystem:ClientWrite",
                      "elasticfilesystem:ClientRootAccess",
                      "elasticfilesystem:DescribeFileSystems",
                      "elasticfilesystem:CreateAccessPoint",
                      "elasticfilesystem:TagResource"
                  ],
                  "Resource": "*"
              }
          ]
      }
      EOF

      Copy to Clipboard Toggle word wrap

   6. 다음 명령을 실행하여 IAM 정책을 생성합니다.

      ACCOUNT_B_POLICY_ARN=$(aws iam create-policy --policy-name "${CLUSTER_NAME}-efs-csi-policy" \
         --policy-document file://$SCRATCH_DIR/EfsPolicyInAccountB.json \
         --query 'Policy.Arn' --output text) \
      && echo ${ACCOUNT_B_POLICY_ARN}

      Copy to Clipboard Toggle word wrap

   7. 다음 명령을 실행하여 역할에 정책을 연결합니다.

      aws iam attach-role-policy \
         --role-name "${ACCOUNT_B_ROLE_NAME}" \
         --policy-arn "${ACCOUNT_B_POLICY_ARN}"

      Copy to Clipboard Toggle word wrap

3. AWS 계정 A IAM 역할 및 정책을 구성합니다.

   1. 다음 명령을 실행하여 계정 A 프로필로 전환합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_A}

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 IAM 정책 문서를 생성합니다.

      cat << EOF > $SCRATCH_DIR/AssumeRoleInlinePolicyPolicyInAccountA.json
      {
        "Version": "2012-10-17",
        "Statement": [
          {
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "${ACCOUNT_B_ROLE_ARN}"
          }
        ]
      }
      EOF

      Copy to Clipboard Toggle word wrap

   3. AWS 계정 A에서 다음 명령을 실행하여 AWS 관리 정책 "AmazonElasticFileSystemClientClientFullAccess"를 OpenShift Dedicated 클러스터 마스터 역할에 연결합니다.

      EFS_CLIENT_FULL_ACCESS_BUILTIN_POLICY_ARN=arn:aws:iam::aws:policy/AmazonElasticFileSystemClientFullAccess
      declare -A ROLE_SEEN
      for NODE in $(oc get nodes --selector="${NODE_SELECTOR}" -o jsonpath='{.items[*].metadata.name}'); do
          INSTANCE_PROFILE=$(aws ec2 describe-instances \
              --filters "Name=private-dns-name,Values=${NODE}" \
              --query 'Reservations[].Instances[].IamInstanceProfile.Arn' \
              --output text | awk -F'/' '{print $NF}' | xargs)
          MASTER_ROLE_ARN=$(aws iam get-instance-profile \
              --instance-profile-name "${INSTANCE_PROFILE}" \
              --query 'InstanceProfile.Roles[0].Arn' \
              --output text | xargs)
          MASTER_ROLE_NAME=$(echo "${MASTER_ROLE_ARN}" | awk -F'/' '{print $NF}' | xargs)
          echo "Checking role: '${MASTER_ROLE_NAME}'"
          if [[ -n "${ROLE_SEEN[$MASTER_ROLE_NAME]:-}" ]]; then
              echo "Already processed role: '${MASTER_ROLE_NAME}', skipping."
              continue
          fi
          ROLE_SEEN["$MASTER_ROLE_NAME"]=1
          echo "Assigning policy ${EFS_CLIENT_FULL_ACCESS_BUILTIN_POLICY_ARN} to role ${MASTER_ROLE_NAME}"
          aws iam attach-role-policy --role-name "${MASTER_ROLE_NAME}" --policy-arn "${EEFS_CLIENT_FULL_ACCESS_BUILTIN_POLICY_ARN}"
      done

      Copy to Clipboard Toggle word wrap

4. 역할을 가정할 수 있도록 IAM 엔터티에 정책을 연결합니다.

   이 단계는 클러스터 구성에 따라 다릅니다. 다음 두 시나리오 모두에서 EFS CSI Driver Operator는 엔터티를 사용하여 AWS에 인증하며 이 엔티티에는 계정 B에서 역할을 가정할 수 있는 권한이 부여되어야 합니다.

   클러스터가 있는 경우:

   • STS가 활성화되지 않음: EFS CSI Driver Operator는 AWS 인증을 위해 IAM 사용자 엔터티를 사용합니다. 역할 가정을 허용하기 위해 IAM 사용자에게 정책 연결을 진행합니다.
   • STS가 활성화되어 있습니다. EFS CSI Driver Operator는 AWS 인증을 위해 IAM 역할 엔터티를 사용합니다. 역할 가정을 허용하려면 " IAM 역할에 연결 정책 적용" 단계를 진행합니다.

5. 역할 가정 허용을 위해 IAM 사용자에게 정책 연결

   1. 다음 명령을 실행하여 EFS CSI Driver Operator에서 사용하는 IAM 사용자를 식별합니다.

      EFS_CSI_DRIVER_OPERATOR_USER=$(oc -n openshift-cloud-credential-operator get credentialsrequest/openshift-aws-efs-csi-driver -o json | jq -r '.status.providerStatus.user')

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 IAM 사용자에게 정책을 연결합니다.

      aws iam put-user-policy \
          --user-name "${EFS_CSI_DRIVER_OPERATOR_USER}"  \
          --policy-name efs-cross-account-inline-policy \
          --policy-document file://$SCRATCH_DIR/AssumeRoleInlinePolicyPolicyInAccountA.json

      Copy to Clipboard Toggle word wrap

6. 역할을 가정할 수 있도록 IAM 역할에 정책을 연결합니다.

   1. 다음 명령을 실행하여 현재 EFS CSI Driver Operator에서 사용하는 IAM 역할 이름을 식별합니다.

      EFS_CSI_DRIVER_OPERATOR_ROLE=$(oc -n ${CSI_DRIVER_NAMESPACE} get secret/aws-efs-cloud-credentials -o jsonpath='{.data.credentials}' | base64 -d | grep role_arn | cut -d'/' -f2) && echo ${EFS_CSI_DRIVER_OPERATOR_ROLE}

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 EFS CSI Driver Operator에서 사용하는 IAM 역할에 정책을 연결합니다.

       aws iam put-role-policy \
          --role-name "${EFS_CSI_DRIVER_OPERATOR_ROLE}"  \
          --policy-name efs-cross-account-inline-policy \
          --policy-document file://$SCRATCH_DIR/AssumeRoleInlinePolicyPolicyInAccountA.json

      Copy to Clipboard Toggle word wrap

7. VPC 피어링을 구성합니다.

   1. 다음 명령을 실행하여 계정 A에서 계정 B로의 피어링 요청을 시작합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_A}
      PEER_REQUEST_ID=$(aws ec2 create-vpc-peering-connection --vpc-id "${AWS_ACCOUNT_A_VPC_ID}" --peer-vpc-id "${AWS_ACCOUNT_B_VPC_ID}" --peer-owner-id "${AWS_ACCOUNT_B_ID}" --query VpcPeeringConnection.VpcPeeringConnectionId --output text)

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 계정 B에서 피어링 요청을 수락합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_B}
      aws ec2 accept-vpc-peering-connection --vpc-peering-connection-id "${PEER_REQUEST_ID}"

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 계정 A의 경로 테이블 ID를 검색하고 계정 B VPC에 경로를 추가합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_A}
      for NODE in $(oc get nodes --selector=node-role.kubernetes.io/worker | tail -n +2 | awk '{print $1}')
      do
          SUBNET=$(aws ec2 describe-instances --filters "Name=private-dns-name,Values=$NODE" --query 'Reservations[*].Instances[*].NetworkInterfaces[*].SubnetId' | jq -r '.[0][0][0]')
          echo SUBNET is ${SUBNET}
          ROUTE_TABLE_ID=$(aws ec2 describe-route-tables --filters "Name=association.subnet-id,Values=${SUBNET}" --query 'RouteTables[*].RouteTableId' | jq -r '.[0]')
          echo Route table ID is $ROUTE_TABLE_ID
          aws ec2 create-route --route-table-id ${ROUTE_TABLE_ID} --destination-cidr-block ${AWS_ACCOUNT_B_VPC_CIDR} --vpc-peering-connection-id ${PEER_REQUEST_ID}
      done

      Copy to Clipboard Toggle word wrap

   4. 계정 B의 경로 테이블 ID를 검색하고 다음 명령을 실행하여 계정 A VPC에 경로를 추가합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_B}
      for ROUTE_TABLE_ID in $(aws ec2 describe-route-tables   --filters "Name=vpc-id,Values=${AWS_ACCOUNT_B_VPC_ID}"   --query "RouteTables[].RouteTableId" | jq -r '.[]')
      do
          echo Route table ID is $ROUTE_TABLE_ID
          aws ec2 create-route --route-table-id ${ROUTE_TABLE_ID} --destination-cidr-block ${AWS_ACCOUNT_A_VPC_CIDR} --vpc-peering-connection-id ${PEER_REQUEST_ID}
      done

      Copy to Clipboard Toggle word wrap

8. 계정 A에서 EFS로 NFS 트래픽을 허용하도록 계정 B에서 보안 그룹을 구성합니다.

   1. 다음 명령을 실행하여 계정 B 프로필로 전환합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_B}

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 EFS 액세스를 위해 VPC 보안 그룹을 구성합니다.

      SECURITY_GROUP_ID=$(aws ec2 describe-security-groups --filters Name=vpc-id,Values="${AWS_ACCOUNT_B_VPC_ID}" | jq -r '.SecurityGroups[].GroupId')
      aws ec2 authorize-security-group-ingress \
       --group-id "${SECURITY_GROUP_ID}" \
       --protocol tcp \
       --port 2049 \
       --cidr "${AWS_ACCOUNT_A_VPC_CIDR}" | jq .

      Copy to Clipboard Toggle word wrap

9. 계정 B에서 지역 전체 EFS 파일 시스템을 생성합니다.

   1. 다음 명령을 실행하여 계정 B 프로필로 전환합니다.

      export AWS_DEFAULT_PROFILE=${AWS_ACCOUNT_B}

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 지역 전체 EFS 파일 시스템을 생성합니다.

      CROSS_ACCOUNT_FS_ID=$(aws efs create-file-system --creation-token efs-token-1 \
      --region ${AWS_REGION} \
      --encrypted | jq -r '.FileSystemId') \
      && echo $CROSS_ACCOUNT_FS_ID

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 EFS의 지역 전체 마운트 대상을 구성합니다.

      for SUBNET in $(aws ec2 describe-subnets \
        --filters "Name=vpc-id,Values=${AWS_ACCOUNT_B_VPC_ID}" \
        --region ${AWS_REGION} \
        | jq -r '.Subnets.[].SubnetId'); do \
          MOUNT_TARGET=$(aws efs create-mount-target --file-system-id ${CROSS_ACCOUNT_FS_ID} \
          --subnet-id ${SUBNET} \
          --region ${AWS_REGION} \
          | jq -r '.MountTargetId'); \
          echo ${MOUNT_TARGET}; \
      done

      Copy to Clipboard Toggle word wrap

      그러면 VPC의 각 서브넷에 마운트 지점이 생성됩니다.

10. 계정 간 액세스를 위해 EFS Operator를 구성합니다.

    1. 다음 명령을 실행하여 후속 단계에서 생성할 시크릿 및 스토리지 클래스에 대한 사용자 정의 이름을 정의합니다.

       export SECRET_NAME=my-efs-cross-account
       export STORAGE_CLASS_NAME=efs-sc-cross

       Copy to Clipboard Toggle word wrap

    2. OpenShift Dedicated CLI에서 다음 명령을 실행하여 계정 B에서 역할 ARN을 참조하는 시크릿을 생성합니다.

       oc create secret generic ${SECRET_NAME} -n ${CSI_DRIVER_NAMESPACE} --from-literal=awsRoleArn="${ACCOUNT_B_ROLE_ARN}"

       Copy to Clipboard Toggle word wrap

    3. OpenShift Dedicated CLI에서 다음 명령을 실행하여 새로 생성된 보안에 대한 CSI 드라이버 컨트롤러 액세스 권한을 부여합니다.

       oc -n ${CSI_DRIVER_NAMESPACE} create role access-secrets --verb=get,list,watch --resource=secrets
       oc -n ${CSI_DRIVER_NAMESPACE} create rolebinding --role=access-secrets default-to-secrets --serviceaccount=${CSI_DRIVER_NAMESPACE}:aws-efs-csi-driver-controller-sa

       Copy to Clipboard Toggle word wrap

    4. OpenShift Dedicated CLI에서 다음 명령을 실행하여 계정 B의 EFS ID와 이전에 생성된 시크릿을 참조하는 새 스토리지 클래스를 생성합니다.

       cat << EOF | oc apply -f -
       kind: StorageClass
       apiVersion: storage.k8s.io/v1
       metadata:
         name: ${STORAGE_CLASS_NAME}
       provisioner: efs.csi.aws.com
       parameters:
         provisioningMode: efs-ap
         fileSystemId: ${CROSS_ACCOUNT_FS_ID}
         directoryPerms: "700"
         gidRangeStart: "1000"
         gidRangeEnd: "2000"
         basePath: "/dynamic_provisioning"
         csi.storage.k8s.io/provisioner-secret-name: ${SECRET_NAME}
         csi.storage.k8s.io/provisioner-secret-namespace: ${CSI_DRIVER_NAMESPACE}
       EOF

       Copy to Clipboard Toggle word wrap

1. 웹 콘솔에 로그인합니다.
2. AWS EFS PV를 사용하는 모든 애플리케이션을 중지합니다.

3. 모든 AWS EFS PV를 삭제합니다.

   1. 스토리지 → 영구 볼륨 클레임을 클릭합니다.
   2. AWS EFS CSI Driver Operator에서 사용 중인 각 PVC를 선택하고 PVC 오른쪽에 있는 드롭다운 메뉴를 클릭한 다음 영구 볼륨 클레임 삭제를 클릭합니다.

4. AWS EFS CSI 드라이버를 설치 제거합니다.

   참고

   Operator를 설치 제거하려면 CSI 드라이버를 먼저 제거해야 합니다.

   1. Administration → CustomResourceDefinitions → ClusterCSIDriver 를 클릭합니다.
   2. 인스턴스 탭에서 efs.csi.aws.com의 맨 왼쪽에 있는 드롭다운 메뉴를 클릭한 다음 ClusterCSIDriver 삭제를 클릭합니다.
   3. 메시지가 표시되면 삭제를 클릭합니다.

5. AWS EFS CSI Operator를 설치 제거합니다.

   1. Ecosystem → 설치된 Operators를 클릭합니다.
   2. 설치된 Operators 페이지에서 스크롤하거나 AWS EFS CSI를 이름으로 검색 상자에 입력하여 Operator를 찾은 다음 클릭합니다.
   3. 설치된 Operator > Operator 세부 정보 페이지 오른쪽 상단에서 작업 → Operator 설치 제거를 클릭합니다.

   4. Operator 설치 제거 창이 표시되면 제거 버튼을 클릭하여 네임스페이스에서 Operator를 제거합니다. 클러스터에 Operator가 배포한 애플리케이션을 수동으로 정리해야 합니다.

      설치 제거 후 AWS EFS CSI Driver Operator는 더 이상 웹 콘솔의 설치된 Operator 섹션에 나열되지 않습니다.