노드

1. 다음과 같은 오브젝트 정의를 사용하여 YAML 파일을 만듭니다.

   apiVersion: policy/v1 1
   kind: PodDisruptionBudget
   metadata:
     name: my-pdb
   spec:
     minAvailable: 2  2
     selector:  3
       matchLabels:
         name: my-pod

   1

   PodDisruptionBudget 은 policy/v1 API 그룹의 일부입니다.

   2

   동시에 사용할 수 필요가 있는 최소 pod 수 입니다. 정수 또는 백분율 (예: 20 %)을 지정하는 문자열을 사용할 수 있습니다.

   3

   리소스 집합에 대한 라벨 쿼리입니다. matchLabels 및 matchExpressions의 결과는 논리적으로 결합됩니다. 프로젝트의 모든 포드를 선택하려면 이 매개변수(예: selector {} )를 비워 둡니다.

   또는 다음을 수행합니다.

   apiVersion: policy/v1 1
   kind: PodDisruptionBudget
   metadata:
     name: my-pdb
   spec:
     maxUnavailable: 25% 2
     selector: 3
       matchLabels:
         name: my-pod

   1

   PodDisruptionBudget 은 policy/v1 API 그룹의 일부입니다.

   2

   동시에 사용할 수없는 최대 pod 수입니다. 정수 또는 백분율 (예: 20 %)을 지정하는 문자열을 사용할 수 있습니다.

   3

   리소스 집합에 대한 라벨 쿼리입니다. matchLabels 및 matchExpressions의 결과는 논리적으로 결합됩니다. 프로젝트의 모든 포드를 선택하려면 이 매개변수(예: selector {} )를 비워 둡니다.

2. 다음 명령을 실행하여 오브젝트를 프로젝트에 추가합니다.

   $ oc create -f </path/to/file> -n <project_name>

프로세스

1. PodDisruptionBudget 오브젝트를 정의하는 YAML 파일을 생성하고 비정상 Pod 제거 정책을 지정합니다.

   pod-disruption-budget.yaml 파일의 예

   apiVersion: policy/v1
   kind: PodDisruptionBudget
   metadata:
     name: my-pdb
   spec:
     minAvailable: 2
     selector:
       matchLabels:
         name: my-pod
     unhealthyPodEvictionPolicy: AlwaysAllow 1

   1

   비정상 Pod 제거 정책으로 IfHealthyBudget 또는 AlwaysAllow 중 하나를 선택합니다. unhealthyPodEvictionPolicy 필드가 비어 있는 경우 기본값은 IfHealthyBudget 입니다.

2. 다음 명령을 실행하여 PodDisruptionBudget 오브젝트를 생성합니다.

   $ oc create -f pod-disruption-budget.yaml

1. 배포의 새 상태를 확인합니다.

   $ oc get deployment image-registry

   이제 배포에 Pod 5개가 있습니다.

   출력 예

   NAME             REVISION   DESIRED   CURRENT   TRIGGERED BY
   image-registry   1          5         5         config

1. 대체 권장 사항에 대한 서비스 계정을 생성하고 해당 서비스 계정을 필수 클러스터 역할에 바인딩합니다.

   apiVersion: v1 1
   kind: ServiceAccount
   metadata:
     name: alt-vpa-recommender-sa
     namespace: <namespace_name>
   ---
   apiVersion: rbac.authorization.k8s.io/v1 2
   kind: ClusterRoleBinding
   metadata:
     name: system:example-metrics-reader
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: system:metrics-reader
   subjects:
   - kind: ServiceAccount
     name: alt-vpa-recommender-sa
     namespace: <namespace_name>
   ---
   apiVersion: rbac.authorization.k8s.io/v1 3
   kind: ClusterRoleBinding
   metadata:
     name: system:example-vpa-actor
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: system:vpa-actor
   subjects:
   - kind: ServiceAccount
     name: alt-vpa-recommender-sa
     namespace: <namespace_name>
   ---
   apiVersion: rbac.authorization.k8s.io/v1 4
   kind: ClusterRoleBinding
   metadata:
     name: system:example-vpa-target-reader-binding
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: ClusterRole
     name: system:vpa-target-reader
   subjects:
   - kind: ServiceAccount
     name: alt-vpa-recommender-sa
     namespace: <namespace_name>

   1

   권장자가 배포된 네임스페이스에서 recommender에 대한 서비스 계정을 생성합니다.

   2

   recommender 서비스 계정을 metrics-reader 역할에 바인딩합니다. 권장 항목을 배포할 네임스페이스를 지정합니다.

   3

   recommender 서비스 계정을 vpa-actor 역할에 바인딩합니다. 권장 항목을 배포할 네임스페이스를 지정합니다.

   4

   recommender 서비스 계정을 vpa-target-reader 역할에 바인딩합니다. 권장 항목을 배포할 네임스페이스를 지정합니다.

2. 클러스터에 대체 권장자를 추가하려면 다음과 유사한 Deployment 오브젝트를 생성합니다.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: alt-vpa-recommender
     namespace: <namespace_name>
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: alt-vpa-recommender
     template:
       metadata:
         labels:
           app: alt-vpa-recommender
       spec:
         containers: 1
         - name: recommender
           image: quay.io/example/alt-recommender:latest 2
           imagePullPolicy: Always
           resources:
             limits:
               cpu: 200m
               memory: 1000Mi
             requests:
               cpu: 50m
               memory: 500Mi
           ports:
           - name: prometheus
             containerPort: 8942
           securityContext:
             allowPrivilegeEscalation: false
             capabilities:
               drop:
                 - ALL
             seccompProfile:
               type: RuntimeDefault
         serviceAccountName: alt-vpa-recommender-sa 3
         securityContext:
           runAsNonRoot: true

   1

   대체 권장 사항에 대한 컨테이너를 생성합니다.

   2

   권장 이미지를 지정합니다.

   3

   권장 사항에 대해 생성한 서비스 계정을 연결합니다.

   동일한 네임스페이스의 대체 권장 사항에 대한 새 Pod가 생성됩니다.

   $ oc get pods

   출력 예

   NAME                                        READY   STATUS    RESTARTS   AGE
   frontend-845d5478d-558zf                    1/1     Running   0          4m25s
   frontend-845d5478d-7z9gx                    1/1     Running   0          4m25s
   frontend-845d5478d-b7l4j                    1/1     Running   0          4m25s
   vpa-alt-recommender-55878867f9-6tp5v        1/1     Running   0          9s

3. alternative recommender Deployment 오브젝트의 이름이 포함된 VPA CR을 구성합니다.

   alternative recommender를 포함하는 VPA CR의 예

   apiVersion: autoscaling.k8s.io/v1
   kind: VerticalPodAutoscaler
   metadata:
     name: vpa-recommender
     namespace: <namespace_name>
   spec:
     recommenders:
       - name: alt-vpa-recommender 1
     targetRef:
       apiVersion: "apps/v1"
       kind:       Deployment 2
       name:       frontend

   1

   대체 권장 배포의 이름을 지정합니다.

   2

   이 VPA에서 관리할 기존 워크로드 오브젝트의 이름을 지정합니다.

프로세스

1. 컨트롤 플레인 노드의 YAML 파일에 Secret 오브젝트를 생성합니다.

   예를 들면 다음과 같습니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: mysecret
   type: Opaque 1
   data:
     username: <username>
     password: <password>

   1

   불투명 보안을 지정합니다.

2. 다음 명령을 사용하여 Secret 오브젝트를 생성합니다.

   $ oc create -f <filename>.yaml

3. Pod에서 보안을 사용하려면 다음을 수행합니다.

   1. "보안을 생성하는 방법 이해" 섹션에 표시된 대로 Pod의 서비스 계정을 업데이트하여 보안을 참조합니다.
   2. "보안 생성 방법 이해" 섹션에 표시된 대로 보안 을 환경 변수 또는 파일로 사용하는 Pod를 생성합니다.

프로세스

1. 컨트롤 플레인 노드의 YAML 파일에 Secret 오브젝트를 생성합니다.

   Secret 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: secret-sa-sample
     annotations:
       kubernetes.io/service-account.name: "sa-name" 1
   type: kubernetes.io/service-account-token 2

   1

   기존 서비스 계정 이름을 지정합니다. ServiceAccount 및 Secret 오브젝트를 모두 생성하는 경우 ServiceAccount 오브젝트를 먼저 생성합니다.

   2

   서비스 계정 토큰 시크릿을 지정합니다.

2. 다음 명령을 사용하여 Secret 오브젝트를 생성합니다.

   $ oc create -f <filename>.yaml

3. Pod에서 보안을 사용하려면 다음을 수행합니다.

   1. "보안을 생성하는 방법 이해" 섹션에 표시된 대로 Pod의 서비스 계정을 업데이트하여 보안을 참조합니다.
   2. "보안 생성 방법 이해" 섹션에 표시된 대로 보안 을 환경 변수 또는 파일로 사용하는 Pod를 생성합니다.

프로세스

1. 컨트롤 플레인 노드의 YAML 파일에 Secret 오브젝트를 생성합니다.

   보안 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: secret-basic-auth
   type: kubernetes.io/basic-auth 1
   data:
   stringData: 2
     username: admin
     password: <password>

   1

   기본 인증 보안을 지정합니다.

   2

   사용할 기본 인증 값을 지정합니다.

2. 다음 명령을 사용하여 Secret 오브젝트를 생성합니다.

   $ oc create -f <filename>.yaml

3. Pod에서 보안을 사용하려면 다음을 수행합니다.

   1. "보안을 생성하는 방법 이해" 섹션에 표시된 대로 Pod의 서비스 계정을 업데이트하여 보안을 참조합니다.
   2. "보안 생성 방법 이해" 섹션에 표시된 대로 보안 을 환경 변수 또는 파일로 사용하는 Pod를 생성합니다.

프로세스

1. 컨트롤 플레인 노드의 YAML 파일에 Secret 오브젝트를 생성합니다.

   보안 오브젝트의 예:

   apiVersion: v1
   kind: Secret
   metadata:
     name: secret-ssh-auth
   type: kubernetes.io/ssh-auth 1
   data:
     ssh-privatekey: | 2
             MIIEpQIBAAKCAQEAulqb/Y ...

   1

   SSH 인증 보안을 지정합니다.

   2

   사용할 SSH 자격 증명으로 SSH 키/값 쌍을 지정합니다.

2. 다음 명령을 사용하여 Secret 오브젝트를 생성합니다.

   $ oc create -f <filename>.yaml

3. Pod에서 보안을 사용하려면 다음을 수행합니다.

   1. "보안을 생성하는 방법 이해" 섹션에 표시된 대로 Pod의 서비스 계정을 업데이트하여 보안을 참조합니다.
   2. "보안 생성 방법 이해" 섹션에 표시된 대로 보안 을 환경 변수 또는 파일로 사용하는 Pod를 생성합니다.

프로세스

1. 컨트롤 플레인 노드의 YAML 파일에 Secret 오브젝트를 생성합니다.

   Docker 구성 시크릿 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: secret-docker-cfg
     namespace: my-project
   type: kubernetes.io/dockerconfig 1
   data:
     .dockerconfig:bm5ubm5ubm5ubm5ubm5ubm5ubm5ubmdnZ2dnZ2dnZ2dnZ2dnZ2dnZ2cgYXV0aCBrZXlzCg== 2

   1

   보안이 Docker 구성 파일을 사용하도록 지정합니다.

   2

   base64로 인코딩된 Docker 구성 파일의 출력

   Docker 구성 JSON 시크릿 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: secret-docker-json
     namespace: my-project
   type: kubernetes.io/dockerconfig 1
   data:
     .dockerconfigjson:bm5ubm5ubm5ubm5ubm5ubm5ubm5ubmdnZ2dnZ2dnZ2dnZ2dnZ2dnZ2cgYXV0aCBrZXlzCg== 2

   1

   보안이 Docker 구성 JSON 파일을 사용하도록 지정합니다.

   2

   base64로 인코딩된 Docker 구성 JSON 파일의 출력

2. 다음 명령을 사용하여 Secret 오브젝트를 생성합니다.

   $ oc create -f <filename>.yaml

3. Pod에서 보안을 사용하려면 다음을 수행합니다.

   1. "보안을 생성하는 방법 이해" 섹션에 표시된 대로 Pod의 서비스 계정을 업데이트하여 보안을 참조합니다.
   2. "보안 생성 방법 이해" 섹션에 표시된 대로 보안 을 환경 변수 또는 파일로 사용하는 Pod를 생성합니다.

프로세스

1. 워크로드 → 시크릿으로 이동합니다.

2. 생성 → YAML 을 클릭합니다.

   1. 사양에 맞게 YAML을 수동으로 편집하거나 파일을 YAML 편집기로 끌어서 놓습니다. 예를 들면 다음과 같습니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: example
        namespace: <namespace>
      type: Opaque 1
      data:
        username: <base64 encoded username>
        password: <base64 encoded password>
      stringData: 2
        hostname: myapp.mydomain.com

      1

      이 예제에서는 불투명 보안을 지정합니다. 그러나 서비스 계정 토큰 시크릿, 기본 인증 시크릿, SSH 인증 시크릿 또는 Docker 구성을 사용하는 시크릿과 같은 다른 시크릿 유형이 표시될 수 있습니다.

      2

      stringData 맵의 항목이 base64로 변환된 후 해당 항목이 자동으로 data 맵으로 이동합니다. 이 필드는 쓰기 전용이며 값은 data 필드를 통해서만 반환됩니다.

3. 생성을 클릭합니다.

4. 워크로드에 시크릿 추가를 클릭합니다.

   1. 드롭다운 메뉴에서 추가할 워크로드를 선택합니다.
   2. 저장을 클릭합니다.

1. 서비스에 대한 Pod 사양을 편집합니다.

2. 보안에 사용할 이름과 함께 service.beta.openshift.io/serving-cert-secret-name 주석을 추가합니다.

   kind: Service
   apiVersion: v1
   metadata:
     name: my-service
     annotations:
         service.beta.openshift.io/serving-cert-secret-name: my-cert 1
   spec:
     selector:
       app: MyApp
     ports:
     - protocol: TCP
       port: 80
       targetPort: 9376

   인증서 및 키는 PEM 형식이며 각각 tls.crt 및 tls.key에 저장됩니다.

3. 서비스를 생성합니다.

   $ oc create -f <file-name>.yaml

4. 보안이 생성되었는지 확인합니다.

   1. 모든 보안 목록을 확인합니다.

      $ oc get secrets

      출력 예

      NAME                     TYPE                                  DATA      AGE
      my-cert                  kubernetes.io/tls                     2         9m

   2. 보안에 대한 세부 정보를 확인합니다.

      $ oc describe secret my-cert

      출력 예

      Name:         my-cert
      Namespace:    openshift-console
      Labels:       <none>
      Annotations:  service.beta.openshift.io/expiry: 2023-03-08T23:22:40Z
                    service.beta.openshift.io/originating-service-name: my-service
                    service.beta.openshift.io/originating-service-uid: 640f0ec3-afc2-4380-bf31-a8c784846a11
                    service.beta.openshift.io/expiry: 2023-03-08T23:22:40Z
      
      Type:  kubernetes.io/tls
      
      Data
      ====
      tls.key:  1679 bytes
      tls.crt:  2595 bytes

5. 해당 보안을 사용하여 Pod 사양을 편집합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-service-pod
   spec:
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault
     containers:
     - name: mypod
       image: redis
       volumeMounts:
       - name: my-container
         mountPath: "/etc/my-path"
       securityContext:
         allowPrivilegeEscalation: false
         capabilities:
           drop: [ALL]
     volumes:
     - name: my-volume
       secret:
         secretName: my-cert
         items:
         - key: username
           path: my-group/my-username
           mode: 511

   사용 가능한 경우 Pod가 실행됩니다. 인증서는 내부 서비스 DNS 이름인 <service.name>.<service.namespace>.svc에 적합합니다.

   인증서/키 쌍은 만료 시기가 다가오면 자동으로 교체됩니다. 시크릿의 service.beta.openshift.io/expiry 주석에서 RFC3339 형식으로 된 만료 날짜를 확인합니다.

   참고

   대부분의 경우 서비스 DNS 이름 <service.name>.<service.namespace>.svc는 외부에서 라우팅할 수 없습니다. <service.name>.<service.namespace>.svc는 주로 클러스터 내 또는 서비스 내 통신과 경로 재암호화에 사용됩니다.

프로세스

1. AWS Secrets Manager 공급자를 설치합니다.

   1. 공급자 리소스에 대한 다음 구성을 사용하여 YAML 파일을 생성합니다.

      중요

      Secrets Store CSI 드라이버의 AWS Secrets Manager 공급자는 업스트림 공급자입니다.

      이 구성은 OpenShift Container Platform과 제대로 작동하도록 업스트림 AWS 설명서에 제공된 구성에서 수정됩니다. 이 구성을 변경하면 기능에 영향을 미칠 수 있습니다.

      aws-provider.yaml 파일의 예

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRole
      metadata:
        name: csi-secrets-store-provider-aws-cluster-role
      rules:
      - apiGroups: [""]
        resources: ["serviceaccounts/token"]
        verbs: ["create"]
      - apiGroups: [""]
        resources: ["serviceaccounts"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["pods"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["nodes"]
        verbs: ["get"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: csi-secrets-store-provider-aws-cluster-rolebinding
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: csi-secrets-store-provider-aws-cluster-role
      subjects:
      - kind: ServiceAccount
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        namespace: openshift-cluster-csi-drivers
        name: csi-secrets-store-provider-aws
        labels:
          app: csi-secrets-store-provider-aws
      spec:
        updateStrategy:
          type: RollingUpdate
        selector:
          matchLabels:
            app: csi-secrets-store-provider-aws
        template:
          metadata:
            labels:
              app: csi-secrets-store-provider-aws
          spec:
            serviceAccountName: csi-secrets-store-provider-aws
            hostNetwork: false
            containers:
              - name: provider-aws-installer
                image: public.ecr.aws/aws-secrets-manager/secrets-store-csi-driver-provider-aws:1.0.r2-50-g5b4aca1-2023.06.09.21.19
                imagePullPolicy: Always
                args:
                    - --provider-volume=/etc/kubernetes/secrets-store-csi-providers
                resources:
                  requests:
                    cpu: 50m
                    memory: 100Mi
                  limits:
                    cpu: 50m
                    memory: 100Mi
                securityContext:
                  privileged: true
                volumeMounts:
                  - mountPath: "/etc/kubernetes/secrets-store-csi-providers"
                    name: providervol
                  - name: mountpoint-dir
                    mountPath: /var/lib/kubelet/pods
                    mountPropagation: HostToContainer
            tolerations:
            - operator: Exists
            volumes:
              - name: providervol
                hostPath:
                  path: "/etc/kubernetes/secrets-store-csi-providers"
              - name: mountpoint-dir
                hostPath:
                  path: /var/lib/kubelet/pods
                  type: DirectoryOrCreate
            nodeSelector:
              kubernetes.io/os: linux

   2. 다음 명령을 실행하여 csi-secrets-store-provider-aws 서비스 계정에 대한 권한 권한을 부여합니다.

      $ oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-aws -n openshift-cluster-csi-drivers

   3. 다음 명령을 실행하여 공급자 리소스를 생성합니다.

      $ oc apply -f aws-provider.yaml

2. 서비스 계정에서 AWS 시크릿 오브젝트를 읽을 수 있는 권한을 부여합니다.

   1. 다음 명령을 실행하여 인증 정보 요청을 포함할 디렉터리를 생성합니다.

      $ mkdir credentialsrequest-dir-aws

   2. 인증 정보 요청에 대해 다음 구성을 사용하여 YAML 파일을 생성합니다.

      credentialsrequest.yaml 파일 예

      apiVersion: cloudcredential.openshift.io/v1
      kind: CredentialsRequest
      metadata:
        name: aws-provider-test
        namespace: openshift-cloud-credential-operator
      spec:
        providerSpec:
          apiVersion: cloudcredential.openshift.io/v1
          kind: AWSProviderSpec
          statementEntries:
          - action:
            - "secretsmanager:GetSecretValue"
            - "secretsmanager:DescribeSecret"
            effect: Allow
            resource: "arn:*:secretsmanager:*:*:secret:testSecret-??????"
        secretRef:
          name: aws-creds
          namespace: my-namespace
        serviceAccountNames:
        - aws-provider

   3. 다음 명령을 실행하여 OIDC 공급자를 검색합니다.

      $ oc get --raw=/.well-known/openid-configuration | jq -r '.issuer'

      출력 예

      https://<oidc_provider_name>

      다음 단계에서 사용할 출력에서 OIDC 공급자 이름 <oidc_provider_name >을 복사합니다.

   4. ccoctl 툴을 사용하여 다음 명령을 실행하여 인증 정보 요청을 처리합니다.

      $ ccoctl aws create-iam-roles \
          --name my-role --region=<aws_region> \
          --credentials-requests-dir=credentialsrequest-dir-aws \
          --identity-provider-arn arn:aws:iam::<aws_account>:oidc-provider/<oidc_provider_name> --output-dir=credrequests-ccoctl-output

      출력 예

      2023/05/15 18:10:34 Role arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds created
      2023/05/15 18:10:34 Saved credentials configuration to: credrequests-ccoctl-output/manifests/my-namespace-aws-creds-credentials.yaml
      2023/05/15 18:10:35 Updated Role policy for Role my-role-my-namespace-aws-creds

      다음 단계에서 사용할 출력에서 < aws_role_arn >을 복사합니다. 예를 들어 arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds.

   5. 다음 명령을 실행하여 서비스 계정을 ARN 역할과 바인딩합니다.

      $ oc annotate -n my-namespace sa/aws-provider eks.amazonaws.com/role-arn="<aws_role_arn>"

3. 시크릿 공급자 클래스를 생성하여 시크릿 저장소 공급자를 정의합니다.

   1. SecretProviderClass 오브젝트를 정의하는 YAML 파일을 생성합니다.

      secret-provider-class-aws.yaml의 예

      apiVersion: secrets-store.csi.x-k8s.io/v1
      kind: SecretProviderClass
      metadata:
        name: my-aws-provider                   1
        namespace: my-namespace                 2
      spec:
        provider: aws                           3
        parameters:                             4
          objects: |
            - objectName: "testSecret"
              objectType: "secretsmanager"

      1 1

      시크릿 공급자 클래스의 이름을 지정합니다.

      2

      시크릿 공급자 클래스의 네임스페이스를 지정합니다.

      3

      공급자를 aws 로 지정합니다.

      4

      공급자별 구성 매개변수를 지정합니다.

   2. 다음 명령을 실행하여 SecretProviderClass 오브젝트를 생성합니다.

      $ oc create -f secret-provider-class-aws.yaml

4. 이 시크릿 공급자 클래스를 사용할 배포를 생성합니다.

   1. Deployment 오브젝트를 정의하는 YAML 파일을 생성합니다.

      deployment.yaml의 예

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: my-aws-deployment                              1
        namespace: my-namespace                              2
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: my-storage
        template:
          metadata:
            labels:
              app: my-storage
          spec:
            containers:
            - name: busybox
              image: k8s.gcr.io/e2e-test-images/busybox:1.29
              command:
                - "/bin/sleep"
                - "10000"
              volumeMounts:
              - name: secrets-store-inline
                mountPath: "/mnt/secrets-store"
                readOnly: true
            volumes:
              - name: secrets-store-inline
                csi:
                  driver: secrets-store.csi.k8s.io
                  readOnly: true
                  volumeAttributes:
                    secretProviderClass: "my-aws-provider" 3

      1

      배포 이름을 지정합니다.

      2

      배포의 네임스페이스를 지정합니다. 이는 시크릿 공급자 클래스와 동일한 네임스페이스여야 합니다.

      3

      시크릿 공급자 클래스의 이름을 지정합니다.

   2. 다음 명령을 실행하여 Deployment 오브젝트를 생성합니다.

      $ oc create -f deployment.yaml

프로세스

1. AWS Systems Manager Parameter Store 공급자를 설치합니다.

   1. 공급자 리소스에 대한 다음 구성을 사용하여 YAML 파일을 생성합니다.

      중요

      Secrets Store CSI 드라이버의 AWS Systems Manager Parameter Store 공급자는 업스트림 공급자입니다.

      이 구성은 OpenShift Container Platform과 제대로 작동하도록 업스트림 AWS 설명서에 제공된 구성에서 수정됩니다. 이 구성을 변경하면 기능에 영향을 미칠 수 있습니다.

      aws-provider.yaml 파일의 예

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRole
      metadata:
        name: csi-secrets-store-provider-aws-cluster-role
      rules:
      - apiGroups: [""]
        resources: ["serviceaccounts/token"]
        verbs: ["create"]
      - apiGroups: [""]
        resources: ["serviceaccounts"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["pods"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["nodes"]
        verbs: ["get"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: csi-secrets-store-provider-aws-cluster-rolebinding
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: csi-secrets-store-provider-aws-cluster-role
      subjects:
      - kind: ServiceAccount
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        namespace: openshift-cluster-csi-drivers
        name: csi-secrets-store-provider-aws
        labels:
          app: csi-secrets-store-provider-aws
      spec:
        updateStrategy:
          type: RollingUpdate
        selector:
          matchLabels:
            app: csi-secrets-store-provider-aws
        template:
          metadata:
            labels:
              app: csi-secrets-store-provider-aws
          spec:
            serviceAccountName: csi-secrets-store-provider-aws
            hostNetwork: false
            containers:
              - name: provider-aws-installer
                image: public.ecr.aws/aws-secrets-manager/secrets-store-csi-driver-provider-aws:1.0.r2-50-g5b4aca1-2023.06.09.21.19
                imagePullPolicy: Always
                args:
                    - --provider-volume=/etc/kubernetes/secrets-store-csi-providers
                resources:
                  requests:
                    cpu: 50m
                    memory: 100Mi
                  limits:
                    cpu: 50m
                    memory: 100Mi
                securityContext:
                  privileged: true
                volumeMounts:
                  - mountPath: "/etc/kubernetes/secrets-store-csi-providers"
                    name: providervol
                  - name: mountpoint-dir
                    mountPath: /var/lib/kubelet/pods
                    mountPropagation: HostToContainer
            tolerations:
            - operator: Exists
            volumes:
              - name: providervol
                hostPath:
                  path: "/etc/kubernetes/secrets-store-csi-providers"
              - name: mountpoint-dir
                hostPath:
                  path: /var/lib/kubelet/pods
                  type: DirectoryOrCreate
            nodeSelector:
              kubernetes.io/os: linux

   2. 다음 명령을 실행하여 csi-secrets-store-provider-aws 서비스 계정에 대한 권한 권한을 부여합니다.

      $ oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-aws -n openshift-cluster-csi-drivers

   3. 다음 명령을 실행하여 공급자 리소스를 생성합니다.

      $ oc apply -f aws-provider.yaml

2. 서비스 계정에서 AWS 시크릿 오브젝트를 읽을 수 있는 권한을 부여합니다.

   1. 다음 명령을 실행하여 인증 정보 요청을 포함할 디렉터리를 생성합니다.

      $ mkdir credentialsrequest-dir-aws

   2. 인증 정보 요청에 대해 다음 구성을 사용하여 YAML 파일을 생성합니다.

      credentialsrequest.yaml 파일 예

      apiVersion: cloudcredential.openshift.io/v1
      kind: CredentialsRequest
      metadata:
        name: aws-provider-test
        namespace: openshift-cloud-credential-operator
      spec:
        providerSpec:
          apiVersion: cloudcredential.openshift.io/v1
          kind: AWSProviderSpec
          statementEntries:
          - action:
            - "ssm:GetParameter"
            - "ssm:GetParameters"
            effect: Allow
            resource: "arn:*:ssm:*:*:parameter/testParameter*"
        secretRef:
          name: aws-creds
          namespace: my-namespace
        serviceAccountNames:
        - aws-provider

   3. 다음 명령을 실행하여 OIDC 공급자를 검색합니다.

      $ oc get --raw=/.well-known/openid-configuration | jq -r '.issuer'

      출력 예

      https://<oidc_provider_name>

      다음 단계에서 사용할 출력에서 OIDC 공급자 이름 <oidc_provider_name >을 복사합니다.

   4. ccoctl 툴을 사용하여 다음 명령을 실행하여 인증 정보 요청을 처리합니다.

      $ ccoctl aws create-iam-roles \
          --name my-role --region=<aws_region> \
          --credentials-requests-dir=credentialsrequest-dir-aws \
          --identity-provider-arn arn:aws:iam::<aws_account>:oidc-provider/<oidc_provider_name> --output-dir=credrequests-ccoctl-output

      출력 예

      2023/05/15 18:10:34 Role arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds created
      2023/05/15 18:10:34 Saved credentials configuration to: credrequests-ccoctl-output/manifests/my-namespace-aws-creds-credentials.yaml
      2023/05/15 18:10:35 Updated Role policy for Role my-role-my-namespace-aws-creds

      다음 단계에서 사용할 출력에서 < aws_role_arn >을 복사합니다. 예를 들어 arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds.

   5. 다음 명령을 실행하여 서비스 계정을 ARN 역할과 바인딩합니다.

      $ oc annotate -n my-namespace sa/aws-provider eks.amazonaws.com/role-arn="<aws_role_arn>"

3. 시크릿 공급자 클래스를 생성하여 시크릿 저장소 공급자를 정의합니다.

   1. SecretProviderClass 오브젝트를 정의하는 YAML 파일을 생성합니다.

      secret-provider-class-aws.yaml의 예

      apiVersion: secrets-store.csi.x-k8s.io/v1
      kind: SecretProviderClass
      metadata:
        name: my-aws-provider                   1
        namespace: my-namespace                 2
      spec:
        provider: aws                           3
        parameters:                             4
          objects: |
            - objectName: "testParameter"
              objectType: "ssmparameter"

      1

      시크릿 공급자 클래스의 이름을 지정합니다.

      2

      시크릿 공급자 클래스의 네임스페이스를 지정합니다.

      3

      공급자를 aws 로 지정합니다.

      4

      공급자별 구성 매개변수를 지정합니다.

   2. 다음 명령을 실행하여 SecretProviderClass 오브젝트를 생성합니다.

      $ oc create -f secret-provider-class-aws.yaml

4. 이 시크릿 공급자 클래스를 사용할 배포를 생성합니다.

   1. Deployment 오브젝트를 정의하는 YAML 파일을 생성합니다.

      deployment.yaml의 예

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: my-aws-deployment                              1
        namespace: my-namespace                              2
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: my-storage
        template:
          metadata:
            labels:
              app: my-storage
          spec:
            containers:
            - name: busybox
              image: k8s.gcr.io/e2e-test-images/busybox:1.29
              command:
                - "/bin/sleep"
                - "10000"
              volumeMounts:
              - name: secrets-store-inline
                mountPath: "/mnt/secrets-store"
                readOnly: true
            volumes:
              - name: secrets-store-inline
                csi:
                  driver: secrets-store.csi.k8s.io
                  readOnly: true
                  volumeAttributes:
                    secretProviderClass: "my-aws-provider" 3

      1

      배포 이름을 지정합니다.

      2

      배포의 네임스페이스를 지정합니다. 이는 시크릿 공급자 클래스와 동일한 네임스페이스여야 합니다.

      3

      시크릿 공급자 클래스의 이름을 지정합니다.

   2. 다음 명령을 실행하여 Deployment 오브젝트를 생성합니다.

      $ oc create -f deployment.yaml

프로세스

1. Azure Key Vault 공급자를 설치합니다.

   1. 공급자 리소스에 대한 다음 구성을 사용하여 YAML 파일을 생성합니다.

      중요

      Secrets Store CSI 드라이버의 Azure Key Vault 공급자는 업스트림 공급자입니다.

      이 구성은 OpenShift Container Platform에서 제대로 작동하도록 업스트림 Azure 설명서에 제공된 구성에서 수정됩니다. 이 구성을 변경하면 기능에 영향을 미칠 수 있습니다.

      azure-provider.yaml 파일 예

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: csi-secrets-store-provider-azure
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRole
      metadata:
        name: csi-secrets-store-provider-azure-cluster-role
      rules:
      - apiGroups: [""]
        resources: ["serviceaccounts/token"]
        verbs: ["create"]
      - apiGroups: [""]
        resources: ["serviceaccounts"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["pods"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["nodes"]
        verbs: ["get"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: csi-secrets-store-provider-azure-cluster-rolebinding
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: csi-secrets-store-provider-azure-cluster-role
      subjects:
      - kind: ServiceAccount
        name: csi-secrets-store-provider-azure
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        namespace: openshift-cluster-csi-drivers
        name: csi-secrets-store-provider-azure
        labels:
          app: csi-secrets-store-provider-azure
      spec:
        updateStrategy:
          type: RollingUpdate
        selector:
          matchLabels:
            app: csi-secrets-store-provider-azure
        template:
          metadata:
            labels:
              app: csi-secrets-store-provider-azure
          spec:
            serviceAccountName: csi-secrets-store-provider-azure
            hostNetwork: true
            containers:
              - name: provider-azure-installer
                image: mcr.microsoft.com/oss/azure/secrets-store/provider-azure:v1.4.1
                imagePullPolicy: IfNotPresent
                args:
                  - --endpoint=unix:///provider/azure.sock
                  - --construct-pem-chain=true
                  - --healthz-port=8989
                  - --healthz-path=/healthz
                  - --healthz-timeout=5s
                livenessProbe:
                  httpGet:
                    path: /healthz
                    port: 8989
                  failureThreshold: 3
                  initialDelaySeconds: 5
                  timeoutSeconds: 10
                  periodSeconds: 30
                resources:
                  requests:
                    cpu: 50m
                    memory: 100Mi
                  limits:
                    cpu: 50m
                    memory: 100Mi
                securityContext:
                  allowPrivilegeEscalation: false
                  readOnlyRootFilesystem: true
                  runAsUser: 0
                  capabilities:
                    drop:
                    - ALL
                volumeMounts:
                  - mountPath: "/provider"
                    name: providervol
            affinity:
              nodeAffinity:
                requiredDuringSchedulingIgnoredDuringExecution:
                  nodeSelectorTerms:
                  - matchExpressions:
                    - key: type
                      operator: NotIn
                      values:
                      - virtual-kubelet
            volumes:
              - name: providervol
                hostPath:
                  path: "/var/run/secrets-store-csi-providers"
            tolerations:
            - operator: Exists
            nodeSelector:
              kubernetes.io/os: linux

   2. 다음 명령을 실행하여 csi-secrets-store-provider-azure 서비스 계정에 대한 권한 권한을 부여합니다.

      $ oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-azure -n openshift-cluster-csi-drivers

   3. 다음 명령을 실행하여 공급자 리소스를 생성합니다.

      $ oc apply -f azure-provider.yaml

2. 키 자격 증명 모음에 액세스할 서비스 주체를 생성합니다.

   1. 다음 명령을 실행하여 서비스 주체 클라이언트 시크릿을 환경 변수로 설정합니다.

      $ SERVICE_PRINCIPAL_CLIENT_SECRET="$(az ad sp create-for-rbac --name https://$KEYVAULT_NAME --query 'password' -otsv)"

   2. 다음 명령을 실행하여 서비스 주체 클라이언트 ID를 환경 변수로 설정합니다.

      $ SERVICE_PRINCIPAL_CLIENT_ID="$(az ad sp list --display-name https://$KEYVAULT_NAME --query '[0].appId' -otsv)"

   3. 다음 명령을 실행하여 서비스 주체 클라이언트 시크릿 및 ID를 사용하여 일반 시크릿을 생성합니다.

      $ oc create secret generic secrets-store-creds -n my-namespace --from-literal clientid=${SERVICE_PRINCIPAL_CLIENT_ID} --from-literal clientsecret=${SERVICE_PRINCIPAL_CLIENT_SECRET}

   4. secret -store.csi.k8s.io/used=true 레이블을 적용하여 공급자가 이 nodePublishSecretRef 시크릿을 찾을 수 있도록 합니다.

      $ oc -n my-namespace label secret secrets-store-creds secrets-store.csi.k8s.io/used=true

3. 시크릿 공급자 클래스를 생성하여 시크릿 저장소 공급자를 정의합니다.

   1. SecretProviderClass 오브젝트를 정의하는 YAML 파일을 생성합니다.

      secret-provider-class-azure.yaml의 예

      apiVersion: secrets-store.csi.x-k8s.io/v1
      kind: SecretProviderClass
      metadata:
        name: my-azure-provider                 1
        namespace: my-namespace                 2
      spec:
        provider: azure                         3
        parameters:                             4
          usePodIdentity: "false"
          useVMManagedIdentity: "false"
          userAssignedIdentityID: ""
          keyvaultName: "kvname"
          objects: |
            array:
              - |
                objectName: secret1
                objectType: secret
          tenantId: "tid"

      1

      시크릿 공급자 클래스의 이름을 지정합니다.

      2

      시크릿 공급자 클래스의 네임스페이스를 지정합니다.

      3

      공급자를 azure 로 지정합니다.

      4

      공급자별 구성 매개변수를 지정합니다.

   2. 다음 명령을 실행하여 SecretProviderClass 오브젝트를 생성합니다.

      $ oc create -f secret-provider-class-azure.yaml

4. 이 시크릿 공급자 클래스를 사용할 배포를 생성합니다.

   1. Deployment 오브젝트를 정의하는 YAML 파일을 생성합니다.

      deployment.yaml의 예

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: my-azure-deployment                            1
        namespace: my-namespace                              2
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: my-storage
        template:
          metadata:
            labels:
              app: my-storage
          spec:
            containers:
            - name: busybox
              image: k8s.gcr.io/e2e-test-images/busybox:1.29
              command:
                - "/bin/sleep"
                - "10000"
              volumeMounts:
              - name: secrets-store-inline
                mountPath: "/mnt/secrets-store"
                readOnly: true
            volumes:
              - name: secrets-store-inline
                csi:
                  driver: secrets-store.csi.k8s.io
                  readOnly: true
                  volumeAttributes:
                    secretProviderClass: "my-azure-provider" 3
                  nodePublishSecretRef:
                    name: secrets-store-creds                4

      1

      배포 이름을 지정합니다.

      2

      배포의 네임스페이스를 지정합니다. 이는 시크릿 공급자 클래스와 동일한 네임스페이스여야 합니다.

      3

      시크릿 공급자 클래스의 이름을 지정합니다.

      4

      Azure Key Vault에 액세스하기 위한 서비스 주체 인증 정보가 포함된 Kubernetes 시크릿의 이름을 지정합니다.

   2. 다음 명령을 실행하여 Deployment 오브젝트를 생성합니다.

      $ oc create -f deployment.yaml

프로세스

1. 다음 명령을 실행하여 HashiCorp Helm 리포지토리를 추가합니다.

   $ helm repo add hashicorp https://helm.releases.hashicorp.com

2. 다음 명령을 실행하여 Helm이 최신 버전을 인식하도록 모든 리포지토리를 업데이트합니다.

   $ helm repo update

3. HashiCorp Vault 공급자를 설치합니다.

   1. 다음 명령을 실행하여 Vault에 대한 새 프로젝트를 생성합니다.

      $ oc new-project vault

   2. 다음 명령을 실행하여 Pod 보안 승인을 위해 vault 네임스페이스에 레이블을 지정합니다.

      $ oc label ns vault security.openshift.io/scc.podSecurityLabelSync=false pod-security.kubernetes.io/enforce=privileged pod-security.kubernetes.io/audit=privileged pod-security.kubernetes.io/warn=privileged --overwrite

   3. 다음 명령을 실행하여 vault 서비스 계정에 대한 권한 권한을 부여합니다.

      $ oc adm policy add-scc-to-user privileged -z vault -n vault

   4. 다음 명령을 실행하여 vault-csi-provider 서비스 계정에 대한 권한 권한을 부여합니다.

      $ oc adm policy add-scc-to-user privileged -z vault-csi-provider -n vault

   5. 다음 명령을 실행하여 HashiCorp Vault를 배포합니다.

      $ helm install vault hashicorp/vault --namespace=vault \
        --set "server.dev.enabled=true" \
        --set "injector.enabled=false" \
        --set "csi.enabled=true" \
        --set "global.openshift=true" \
        --set "injector.agentImage.repository=docker.io/hashicorp/vault" \
        --set "server.image.repository=docker.io/hashicorp/vault" \
        --set "csi.image.repository=docker.io/hashicorp/vault-csi-provider" \
        --set "csi.agent.image.repository=docker.io/hashicorp/vault" \
        --set "csi.daemonSet.providersDir=/var/run/secrets-store-csi-providers"

   6. 다음 명령을 실행하여 vault-csi-driver 데몬 세트를 패치하여 securityContext 를 privileged 로 설정합니다.

      $ oc patch daemonset -n vault vault-csi-provider --type='json' -p='[{"op": "add", "path": "/spec/template/spec/containers/0/securityContext", "value": {"privileged": true} }]'

   7. 다음 명령을 실행하여 vault-csi-provider Pod가 올바르게 시작되었는지 확인합니다.

      $ oc get pods -n vault

      출력 예

      NAME                       READY   STATUS    RESTARTS   AGE
      vault-0                    1/1     Running   0          24m
      vault-csi-provider-87rgw   1/2     Running   0          5s
      vault-csi-provider-bd6hp   1/2     Running   0          4s
      vault-csi-provider-smlv7   1/2     Running   0          5s

4. 필요한 시크릿을 저장하도록 HashiCorp Vault를 구성합니다.

   1. 다음 명령을 실행하여 보안을 생성합니다.

      $ oc exec vault-0 --namespace=vault -- vault kv put secret/example1 testSecret1=my-secret-value

   2. 다음 명령을 실행하여 경로 secret/example1 에서 시크릿을 읽을 수 있는지 확인합니다.

      $ oc exec vault-0 --namespace=vault -- vault kv get secret/example1

      출력 예

      = Secret Path =
      secret/data/example1
      
      ======= Metadata =======
      Key                Value
      ---                -----
      created_time       2024-04-05T07:05:16.713911211Z
      custom_metadata    <nil>
      deletion_time      n/a
      destroyed          false
      version            1
      
      === Data ===
      Key            Value
      ---            -----
      testSecret1    my-secret-value

5. Kubernetes 인증을 사용하도록 Vault를 구성합니다.

   1. 다음 명령을 실행하여 Kubernetes 인증 방법을 활성화합니다.

      $ oc exec vault-0 --namespace=vault -- vault auth enable kubernetes

      출력 예

      Success! Enabled kubernetes auth method at: kubernetes/

   2. Kubernetes 인증 방법을 구성합니다.

      1. 다음 명령을 실행하여 토큰 검토자를 환경 변수로 설정합니다.

         $ TOKEN_REVIEWER_JWT="$(oc exec vault-0 --namespace=vault -- cat /var/run/secrets/kubernetes.io/serviceaccount/token)"

      2. 다음 명령을 실행하여 Kubernetes 서비스 IP 주소를 환경 변수로 설정합니다.

         $ KUBERNETES_SERVICE_IP="$(oc get svc kubernetes -o go-template="{{ .spec.clusterIP }}")"

      3. 다음 명령을 실행하여 Kubernetes 인증 방법을 업데이트합니다.

         $ oc exec -i vault-0 --namespace=vault -- vault write auth/kubernetes/config \
           issuer="https://kubernetes.default.svc.cluster.local" \
           token_reviewer_jwt="${TOKEN_REVIEWER_JWT}" \
           kubernetes_host="https://${KUBERNETES_SERVICE_IP}:443" \
           kubernetes_ca_cert=@/var/run/secrets/kubernetes.io/serviceaccount/ca.crt

         출력 예

         Success! Data written to: auth/kubernetes/config

   3. 다음 명령을 실행하여 애플리케이션에 대한 정책을 생성합니다.

      $ oc exec -i vault-0 --namespace=vault -- vault policy write csi -<<EOF
        path "secret/data/*" {
        capabilities = ["read"]
        }
        EOF

      출력 예

      Success! Uploaded policy: csi

   4. 다음 명령을 실행하여 애플리케이션에 액세스할 인증 역할을 생성합니다.

      $ oc exec -i vault-0 --namespace=vault -- vault write auth/kubernetes/role/csi \
        bound_service_account_names=default \
        bound_service_account_namespaces=default,test-ns,negative-test-ns,my-namespace \
        policies=csi \
        ttl=20m

      출력 예

      Success! Data written to: auth/kubernetes/role/csi

   5. 다음 명령을 실행하여 모든 vault Pod가 올바르게 실행되고 있는지 확인합니다.

      $ oc get pods -n vault

      출력 예

      NAME                       READY   STATUS    RESTARTS   AGE
      vault-0                    1/1     Running   0          43m
      vault-csi-provider-87rgw   2/2     Running   0          19m
      vault-csi-provider-bd6hp   2/2     Running   0          19m
      vault-csi-provider-smlv7   2/2     Running   0          19m

   6. 다음 명령을 실행하여 모든 secrets-store-csi-driver Pod가 올바르게 실행되고 있는지 확인합니다.

      $ oc get pods -n openshift-cluster-csi-drivers | grep -E "secrets"

      출력 예

      secrets-store-csi-driver-node-46d2g                  3/3     Running   0             45m
      secrets-store-csi-driver-node-d2jjn                  3/3     Running   0             45m
      secrets-store-csi-driver-node-drmt4                  3/3     Running   0             45m
      secrets-store-csi-driver-node-j2wlt                  3/3     Running   0             45m
      secrets-store-csi-driver-node-v9xv4                  3/3     Running   0             45m
      secrets-store-csi-driver-node-vlz28                  3/3     Running   0             45m
      secrets-store-csi-driver-operator-84bd699478-fpxrw   1/1     Running   0             47m

6. 시크릿 공급자 클래스를 생성하여 시크릿 저장소 공급자를 정의합니다.

   1. SecretProviderClass 오브젝트를 정의하는 YAML 파일을 생성합니다.

      secret-provider-class-vault.yaml의 예

      apiVersion: secrets-store.csi.x-k8s.io/v1
      kind: SecretProviderClass
      metadata:
        name: my-vault-provider                   1
        namespace: my-namespace                   2
      spec:
        provider: vault                           3
        parameters:                               4
          roleName: "csi"
          vaultAddress: "http://vault.vault:8200"
          objects:  |
            - secretPath: "secret/data/example1"
              objectName: "testSecret1"
              secretKey: "testSecret1

      1

      시크릿 공급자 클래스의 이름을 지정합니다.

      2

      시크릿 공급자 클래스의 네임스페이스를 지정합니다.

      3

      공급자를 vault 로 지정합니다.

      4

      공급자별 구성 매개변수를 지정합니다.

   2. 다음 명령을 실행하여 SecretProviderClass 오브젝트를 생성합니다.

      $ oc create -f secret-provider-class-vault.yaml

7. 이 시크릿 공급자 클래스를 사용할 배포를 생성합니다.

   1. Deployment 오브젝트를 정의하는 YAML 파일을 생성합니다.

      deployment.yaml의 예

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: busybox-deployment                                    1
        namespace: my-namespace                                     2
        labels:
          app: busybox
      spec:
        replicas: 1
        selector:
          matchLabels:
            app: busybox
        template:
          metadata:
            labels:
              app: busybox
          spec:
            terminationGracePeriodSeconds: 0
            containers:
            - image: registry.k8s.io/e2e-test-images/busybox:1.29-4
              name: busybox
              imagePullPolicy: IfNotPresent
              command:
              - "/bin/sleep"
              - "10000"
              volumeMounts:
              - name: secrets-store-inline
                mountPath: "/mnt/secrets-store"
                readOnly: true
            volumes:
              - name: secrets-store-inline
                csi:
                  driver: secrets-store.csi.k8s.io
                  readOnly: true
                  volumeAttributes:
                    secretProviderClass: "my-vault-provider"        3

      1

      배포 이름을 지정합니다.

      2

      배포의 네임스페이스를 지정합니다. 이는 시크릿 공급자 클래스와 동일한 네임스페이스여야 합니다.

      3

      시크릿 공급자 클래스의 이름을 지정합니다.

   2. 다음 명령을 실행하여 Deployment 오브젝트를 생성합니다.

      $ oc create -f deployment.yaml

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.

2. Run Once Duration Override Operator에 필요한 네임스페이스를 생성합니다.

   1. 관리 → 네임스페이스로 이동하여 네임스페이스 생성을 클릭합니다.
   2. 이름 필드에 openshift-run-once-duration-override-operator 를 입력하고 생성 을 클릭합니다.

3. Run Once Duration Override Operator를 설치합니다.

   1. Operators → OperatorHub로 이동합니다.
   2. Run Once Duration Override Operator 를 필터 상자에 입력합니다.
   3. Run Once Duration Override Operator 를 선택하고 설치를 클릭합니다.

   4. Operator 설치 페이지에서 다음을 수행합니다.

      1. Update 채널은 stable 로 설정되어 Run Once Duration Override Operator의 안정적인 최신 릴리스를 설치합니다.
      2. 클러스터에서 특정 네임스페이스를 선택합니다.
      3. Installed namespace 아래의 드롭다운 메뉴에서 openshift-run-once-duration-override-operator 를 선택합니다.

      4. 업데이트 승인 전략을 선택합니다.

         • 자동 전략을 사용하면 Operator 새 버전이 준비될 때 OLM(Operator Lifecycle Manager)이 자동으로 Operator를 업데이트할 수 있습니다.
         • 수동 전략을 사용하려면 적절한 자격 증명을 가진 사용자가 Operator 업데이트를 승인해야 합니다.
      5. 설치를 클릭합니다.

4. RunOnceDurationOverride 인스턴스를 만듭니다.

   1. Operator → 설치된 Operator 페이지에서 Run Once Duration Override Operator 를 클릭합니다.
   2. Run Once Duration Override 탭을 선택하고 CreateOnceDurationOverride 를 클릭합니다.

   3. 필요에 따라 설정을 편집합니다.

      runOnceDurationOverride 섹션에서 필요한 경우 spec.activeDeadlineSeconds 값을 업데이트할 수 있습니다. 사전 정의된 값은 3600 초 또는 1시간입니다.

   4. 생성을 클릭합니다.

검증

1. OpenShift CLI에 로그인합니다.

2. 모든 Pod가 생성되고 제대로 실행되는지 확인합니다.

   $ oc get pods -n openshift-run-once-duration-override-operator

   출력 예

   NAME                                                   READY   STATUS    RESTARTS   AGE
   run-once-duration-override-operator-7b88c676f6-lcxgc   1/1     Running   0          7m46s
   runoncedurationoverride-62blp                          1/1     Running   0          41s
   runoncedurationoverride-h8h8b                          1/1     Running   0          41s
   runoncedurationoverride-tdsqk                          1/1     Running   0          41s

프로세스

1. OpenShift CLI에 로그인합니다.

2. 네임스페이스에 런타임 기간 덮어쓰기를 활성화하려면 라벨을 추가합니다.

   $ oc label namespace <namespace> \ 1
       runoncedurationoverrides.admission.runoncedurationoverride.openshift.io/enabled=true

   1

   런타임 기간 덮어쓰기를 활성화하려면 네임스페이스를 지정합니다.

검증

1. 런타임 기간 덮어쓰기를 활성화한 네임스페이스에 테스트 run-once Pod를 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: example
     namespace: <namespace>                 1
   spec:
     restartPolicy: Never                   2
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault
     containers:
       - name: busybox
         securityContext:
           allowPrivilegeEscalation: false
           capabilities:
             drop: [ALL]
         image: busybox:1.25
         command:
           - /bin/sh
           - -ec
           - |
             while sleep 5; do date; done

   1

   & lt;namespace >를 네임스페이스 이름으로 바꿉니다.

   2

   restartPolicy 는 일회성 Pod가 되려면 Never 또는 OnFailure 여야 합니다.

2. Pod에 activeDeadlineSeconds 필드가 설정되어 있는지 확인합니다.

   $ oc get pods -n <namespace> -o yaml | grep activeDeadlineSeconds

   출력 예

       activeDeadlineSeconds: 3600

프로세스

1. OpenShift CLI에 로그인합니다.

2. RunOnceDurationOverride 리소스를 편집합니다.

   $ oc edit runoncedurationoverride cluster

3. activeDeadlineSeconds 필드를 업데이트합니다.

   apiVersion: operator.openshift.io/v1
   kind: RunOnceDurationOverride
   metadata:
   # ...
   spec:
     runOnceDurationOverride:
       spec:
         activeDeadlineSeconds: 1800 1
   # ...

   1

   activeDeadlineSeconds 필드를 원하는 값(초)으로 설정합니다.

4. 파일을 저장하여 변경 사항을 적용합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. Operators → 설치된 Operator로 이동합니다.
3. 프로젝트 드롭다운 목록에서 openshift-run-once-duration-override-operator 를 선택합니다.

4. RunOnceDurationOverride 인스턴스를 삭제합니다.

   1. Run Once Duration Override Operator 를 클릭하고 Run Once Duration Override 탭을 선택합니다.
   2. 클러스터 항목 옆에 있는 옵션 메뉴 를 클릭하고 RunOnceDurationOverride 삭제 를 선택합니다.
   3. 확인 대화 상자에서 삭제를 클릭합니다.

5. Run Once Duration Override Operator를 설치 제거합니다.

   1. Operators → 설치된 Operator로 이동합니다.
   2. Run Once Duration Override Operator 항목 옆에 있는 옵션 메뉴 를 클릭하고 Operator 설치 제거를 클릭합니다.
   3. 확인 대화 상자에서 설치 제거를 클릭합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.

2. Run Once Duration Override Operator가 설치될 때 생성된 CRD를 제거합니다.

   1. 관리 → 클러스터 리소스 정의로 이동합니다.
   2. Name 필드에 RunOnceDurationOverride 를 입력하여 CRD를 필터링합니다.
   3. RunOnceDurationOverride CRD 옆에 있는 옵션 메뉴 를 클릭하고 CustomResourceDefinition 삭제 를 선택합니다.
   4. 확인 대화 상자에서 삭제를 클릭합니다.

3. openshift-run-once-duration-override-operator 네임스페이스를 삭제합니다.

   1. 관리 → 네임스페이스로 이동합니다.
   2. 필터 상자에 openshift-run-once-duration-override-operator 를 입력합니다.
   3. openshift-run-once-duration-override-operator 항목 옆에 있는 옵션 메뉴 를 클릭하고 네임스페이스 삭제 를 선택합니다.
   4. 확인 대화 상자에서 openshift-run-once-duration-override-operator 를 입력하고 삭제 를 클릭합니다.

4. 활성화된 네임스페이스에서 런타임 기간 덮어쓰기 레이블을 제거합니다.

   1. 관리 → 네임스페이스로 이동합니다.
   2. 네임스페이스를 선택합니다.
   3. Labels 필드 옆에 있는 편집을 클릭합니다.
   4. runoncedurationoverrides.admission.runoncedurationoverride.openshift.io/enabled=true 레이블을 제거하고 저장을 클릭합니다.

프로세스

1. 스케일링할 오브젝트를 사용하여 프로젝트로 변경합니다.

   $ oc project my-project

2. 클러스터에 없는 경우 서비스 계정 및 토큰을 생성합니다.

   1. 다음 명령을 사용하여 서비스 계정 오브젝트를 생성합니다.

      $ oc create serviceaccount thanos 1

      1

      서비스 계정의 이름을 지정합니다.

   2. 시크릿 YAML을 생성하여 서비스 계정 토큰을 생성합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: thanos-token
        annotations:
          kubernetes.io/service-account.name: thanos 1
        type: kubernetes.io/service-account-token

      1

      서비스 계정의 이름을 지정합니다.

   3. 다음 명령을 사용하여 보안 오브젝트를 생성합니다.

      $ oc create -f <file_name>.yaml

   4. 다음 명령을 사용하여 서비스 계정에 할당된 토큰을 찾습니다.

      $ oc describe serviceaccount thanos 1

      1

      서비스 계정의 이름을 지정합니다.

      출력 예

      Name:                thanos
      Namespace:           my-project
      Labels:              <none>
      Annotations:         <none>
      Image pull secrets:  thanos-dockercfg-nnwgj
      Mountable secrets:   thanos-dockercfg-nnwgj
      Tokens:              thanos-token 1
      Events:              <none>

      1

      트리거 인증에 이 토큰을 사용합니다.

3. 서비스 계정 토큰을 사용하여 트리거 인증을 생성합니다.

   1. 다음과 유사한 YAML 파일을 생성합니다.

      apiVersion: keda.sh/v1alpha1
      kind: TriggerAuthentication
      metadata:
        name: keda-trigger-auth-prometheus
      spec:
        secretTargetRef: 1
        - parameter: bearerToken 2
          name: thanos-token 3
          key: token 4
        - parameter: ca
          name: thanos-token
          key: ca.crt

      1

      이 오브젝트가 권한 부여에 보안을 사용하도록 지정합니다.

      2

      토큰을 사용하여 제공할 인증 매개 변수를 지정합니다.

      3

      사용할 토큰의 이름을 지정합니다.

      4

      지정된 매개변수와 함께 사용할 토큰의 키를 지정합니다.

   2. CR 오브젝트를 생성합니다.

      $ oc create -f <file-name>.yaml

4. Thanos 지표를 읽는 역할을 생성합니다.

   1. 다음 매개변수를 사용하여 YAML 파일을 생성합니다.

      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: thanos-metrics-reader
      rules:
      - apiGroups:
        - ""
        resources:
        - pods
        verbs:
        - get
      - apiGroups:
        - metrics.k8s.io
        resources:
        - pods
        - nodes
        verbs:
        - get
        - list
        - watch

   2. CR 오브젝트를 생성합니다.

      $ oc create -f <file-name>.yaml

5. Thanos 메트릭을 읽기 위한 역할 바인딩을 생성합니다.

   1. 다음과 유사한 YAML 파일을 생성합니다.

      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: thanos-metrics-reader 1
        namespace: my-project 2
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: thanos-metrics-reader
      subjects:
      - kind: ServiceAccount
        name: thanos 3
        namespace: my-project 4

      1

      생성한 역할의 이름을 지정합니다.

      2

      스케일링할 오브젝트의 네임스페이스를 지정합니다.

      3

      역할에 바인딩할 서비스 계정의 이름을 지정합니다.

      4

      스케일링할 오브젝트의 네임스페이스를 지정합니다.

   2. CR 오브젝트를 생성합니다.

      $ oc create -f <file-name>.yaml