5장. Operator 개발

프로세스

1. Operator 프로젝트의 ClusterServiceVersion(CSV) 객체를 업데이트합니다.

   1. Operator가 CredentialsRequests 객체를 만들 수 있는 RBAC 권한이 있는지 확인합니다.

      예 clusterPermissions 목록

      # ...
      install:
        spec:
          clusterPermissions:
          - rules:
            - apiGroups:
              - "cloudcredential.openshift.io"
              resources:
              - credentialsrequests
              verbs:
              - create
              - delete
              - get
              - list
              - patch
              - update
              - watch

   2. 다음 항목을 추가하여 AWS STS를 사용하여 CCO 기반 워크플로우의 이 방법에 대한 지원을 요구합니다.

      # ...
      metadata:
       annotations:
         features.operators.openshift.io/token-auth-aws: "true"

2. Operator 프로젝트 코드를 업데이트합니다.

   1. Subscription 객체에 의해 pod에 설정된 환경 변수에서 ROLE ARN을 가져옵니다. 예를 들면 다음과 같습니다.

      // Get ENV var
      roleARN := os.Getenv("ROLEARN")
      setupLog.Info("getting role ARN", "role ARN = ", roleARN)
      webIdentityTokenPath := "/var/run/secrets/openshift/serviceaccount/token"

   2. 패치 및 적용할 준비가 된 CredentialsRequest 객체가 있는지 확인합니다. 예를 들면 다음과 같습니다.

      예제 CredentialsRequest 개체 생성

      import (
         minterv1 "github.com/openshift/cloud-credential-operator/pkg/apis/cloudcredential/v1"
         corev1 "k8s.io/api/core/v1"
         metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
      )
      
      var in = minterv1.AWSProviderSpec{
         StatementEntries: []minterv1.StatementEntry{
            {
               Action: []string{
                  "s3:*",
               },
               Effect:   "Allow",
               Resource: "arn:aws:s3:*:*:*",
            },
         },
      	STSIAMRoleARN: "<role_arn>",
      }
      
      var codec = minterv1.Codec
      var ProviderSpec, _ = codec.EncodeProviderSpec(in.DeepCopyObject())
      
      const (
         name      = "<credential_request_name>"
         namespace = "<namespace_name>"
      )
      
      var CredentialsRequestTemplate = &minterv1.CredentialsRequest{
         ObjectMeta: metav1.ObjectMeta{
             Name:      name,
             Namespace: "openshift-cloud-credential-operator",
         },
         Spec: minterv1.CredentialsRequestSpec{
            ProviderSpec: ProviderSpec,
            SecretRef: corev1.ObjectReference{
               Name:      "<secret_name>",
               Namespace: namespace,
            },
            ServiceAccountNames: []string{
               "<service_account_name>",
            },
            CloudTokenPath:   "",
         },
      }

      또는 YAML 형식의 CredentialsRequest 객체에서 시작하는 경우(예를 들어, Operator 프로젝트 코드의 일부로), 다른 방법으로 처리할 수 있습니다.

      예제 인증서 YAML 양식에서 객체 생성 요청

      // CredentialsRequest is a struct that represents a request for credentials
      type CredentialsRequest struct {
        APIVersion string `yaml:"apiVersion"`
        Kind       string `yaml:"kind"`
        Metadata   struct {
           Name      string `yaml:"name"`
           Namespace string `yaml:"namespace"`
        } `yaml:"metadata"`
        Spec struct {
           SecretRef struct {
              Name      string `yaml:"name"`
              Namespace string `yaml:"namespace"`
           } `yaml:"secretRef"`
           ProviderSpec struct {
              APIVersion     string `yaml:"apiVersion"`
              Kind           string `yaml:"kind"`
              StatementEntries []struct {
                 Effect   string   `yaml:"effect"`
                 Action   []string `yaml:"action"`
                 Resource string   `yaml:"resource"`
              } `yaml:"statementEntries"`
              STSIAMRoleARN   string `yaml:"stsIAMRoleARN"`
           } `yaml:"providerSpec"`
      
           // added new field
            CloudTokenPath   string `yaml:"cloudTokenPath"`
        } `yaml:"spec"`
      }
      
      // ConsumeCredsRequestAddingTokenInfo is a function that takes a YAML filename and two strings as arguments
      // It unmarshals the YAML file to a CredentialsRequest object and adds the token information.
      func ConsumeCredsRequestAddingTokenInfo(fileName, tokenString, tokenPath string) (*CredentialsRequest, error) {
        // open a file containing YAML form of a CredentialsRequest
        file, err := os.Open(fileName)
        if err != nil {
           return nil, err
        }
        defer file.Close()
      
        // create a new CredentialsRequest object
        cr := &CredentialsRequest{}
      
        // decode the yaml file to the object
        decoder := yaml.NewDecoder(file)
        err = decoder.Decode(cr)
        if err != nil {
           return nil, err
        }
      
        // assign the string to the existing field in the object
        cr.Spec.CloudTokenPath = tokenPath
      
        // return the modified object
        return cr, nil
      }

      참고

      Operator 번들에 CredentialsRequest 객체를 추가하는 것은 현재 지원되지 않습니다.

   3. ROLE ARN 및 웹 정체성 토큰 경로를 자격 증명 요청에 추가하고 Operator 초기화 중에 적용합니다.

      Operator 초기화 중 CredentialsRequest 객체 적용 예

      // apply CredentialsRequest on install
      credReq := credreq.CredentialsRequestTemplate
      credReq.Spec.CloudTokenPath = webIdentityTokenPath
      
      c := mgr.GetClient()
      if err := c.Create(context.TODO(), credReq); err != nil {
         if !errors.IsAlreadyExists(err) {
            setupLog.Error(err, "unable to create CredRequest")
            os.Exit(1)
         }
      }

   4. Operator 에서 조정하는 다른 항목과 함께 호출되는 다음 예제와 같이 CCO 에서 비밀 객체가 나타나기를 기다릴 수 있는지 확인합니다.

      비밀 객체 대기 예

      // WaitForSecret is a function that takes a Kubernetes client, a namespace, and a v1 "k8s.io/api/core/v1" name as arguments
      // It waits until the secret object with the given name exists in the given namespace
      // It returns the secret object or an error if the timeout is exceeded
      func WaitForSecret(client kubernetes.Interface, namespace, name string) (*v1.Secret, error) {
        // set a timeout of 10 minutes
        timeout := time.After(10 * time.Minute)
      
        // set a polling interval of 10 seconds
        ticker := time.NewTicker(10 * time.Second)
      
        // loop until the timeout or the secret is found
        for {
           select {
           case <-timeout:
              // timeout is exceeded, return an error
              return nil, fmt.Errorf("timed out waiting for secret %s in namespace %s", name, namespace)
                 // add to this error with a pointer to instructions for following a manual path to a Secret that will work on STS
           case <-ticker.C:
              // polling interval is reached, try to get the secret
              secret, err := client.CoreV1().Secrets(namespace).Get(context.Background(), name, metav1.GetOptions{})
              if err != nil {
                 if errors.IsNotFound(err) {
                    // secret does not exist yet, continue waiting
                    continue
                 } else {
                    // some other error occurred, return it
                    return nil, err
                 }
              } else {
                 // secret is found, return it
                 return secret, nil
              }
           }
        }
      }

      타임오트 값은 CCO가 추가된 CredentialsRequest 객체를 얼마나 빨리 탐지하고 비밀 객체를 생성할 수 있는지에 대한 예측을 기반으로 합니다. 운영자가 아직 클라우드 리소스를 액세스하지 않는 이유를 궁금해하는 클러스터 관리자를 위해 시간을 줄이거나 사용자 지정 피드백을 생성할 수도 있습니다.

   5. CCO가 자격 증명 요청에서 생성한 비밀을 읽고 해당 비밀에서 데이터를 포함하는 AWS 구성 파일을 생성하여 AWS 구성을 설정합니다.

      AWS 구성 생성 예제

      func SharedCredentialsFileFromSecret(secret *corev1.Secret) (string, error) {
         var data []byte
         switch {
         case len(secret.Data["credentials"]) > 0:
             data = secret.Data["credentials"]
         default:
             return "", errors.New("invalid secret for aws credentials")
         }
      
      
         f, err := ioutil.TempFile("", "aws-shared-credentials")
         if err != nil {
             return "", errors.Wrap(err, "failed to create file for shared credentials")
         }
         defer f.Close()
         if _, err := f.Write(data); err != nil {
             return "", errors.Wrapf(err, "failed to write credentials to %s", f.Name())
         }
         return f.Name(), nil
      }

      중요

      비밀은 존재한다고 가정하지만, CCO가 비밀을 만들 수 있도록 이 비밀을 사용할 때 운영자 코드를 기다리고 다시 시도해야 합니다.

      또한 대기 기간이 끝나고 사용자가 OpenShift Container Platform 클러스터 버전과 따라서 CCO가 STS 탐지 기능을 갖춘 CredentialsRequest 객체 워크플로우를 지원하지 않는 이전 버전일 수 있음을 경고해야 합니다. 이러한 경우에는 다른 방법을 사용하여 비밀을 추가해야 한다는 사용자에게 지시합니다.

   6. 예를 들어 AWS SDK 세션을 구성합니다.

      AWS SDK 세션 구성 예제

      sharedCredentialsFile, err := SharedCredentialsFileFromSecret(secret)
      if err != nil {
         // handle error
      }
      options := session.Options{
         SharedConfigState: session.SharedConfigEnable,
         SharedConfigFiles: []string{sharedCredentialsFile},
      }

프로세스

1. Pod에서 토큰을 추출:

   $ oc exec operator-pod -n <namespace_name> \
       -- cat /var/run/secrets/openshift/serviceaccount/token

2. pod에서 ROLE ARN을 추출합니다.

   $ oc exec operator-pod -n <namespace_name> \
       -- cat /<path>/<to>/<secret_name>

   경로를 위해 뿌리를 사용하지 마십시오.

3. 웹 정체성 토큰으로 ROLE 가정하십시오.

   $ aws sts assume-role-with-web-identity \
       --role-arn $ROLEARN \
       --role-session-name <session_name> \
       --web-identity-token $TOKEN

프로세스

1. Operator 프로젝트의 ClusterServiceVersion(CSV) 객체를 업데이트합니다.

   1. Operator가 CredentialsRequests 객체를 만들 수 있는 RBAC 권한이 있는지 확인합니다.

      예 clusterPermissions 목록

      # ...
      install:
        spec:
          clusterPermissions:
          - rules:
            - apiGroups:
              - "cloudcredential.openshift.io"
              resources:
              - credentialsrequests
              verbs:
              - create
              - delete
              - get
              - list
              - patch
              - update
              - watch

   2. Workload ID를 사용하여 CCO 기반 워크플로의 이 방법에 대한 지원을 요구하기 위해 다음 문서를 추가합니다.

      # ...
      metadata:
       annotations:
         features.operators.openshift.io/token-auth-azure: "true"

2. Operator 프로젝트 코드를 업데이트합니다.

   1. Subscription 객체에 의해 pod에 설정된 환경 변수에서 클라이언트 ID, 테넌트 ID 및 구독 ID를 가져옵니다. 예를 들면 다음과 같습니다.

      // Get ENV var
      clientID := os.Getenv("CLIENTID")
      tenantID := os.Getenv("TENANTID")
      subscriptionID := os.Getenv("SUBSCRIPTIONID")
      azureFederatedTokenFile := "/var/run/secrets/openshift/serviceaccount/token"

   2. 패치 및 적용할 준비가 된 CredentialsRequest 객체가 있는지 확인합니다.

      참고

      Operator 번들에 CredentialsRequest 객체를 추가하는 것은 현재 지원되지 않습니다.

   3. Azure 자격 증명 정보 및 웹 정체성 토큰 경로를 자격 증명 요청에 추가하고 Operator 초기화 중에 적용합니다.

      Operator 초기화 중 CredentialsRequest 객체 적용 예

      // apply CredentialsRequest on install
      credReqTemplate.Spec.AzureProviderSpec.AzureClientID = clientID
      credReqTemplate.Spec.AzureProviderSpec.AzureTenantID = tenantID
      credReqTemplate.Spec.AzureProviderSpec.AzureRegion = "centralus"
      credReqTemplate.Spec.AzureProviderSpec.AzureSubscriptionID = subscriptionID
      credReqTemplate.CloudTokenPath = azureFederatedTokenFile
      
      c := mgr.GetClient()
      if err := c.Create(context.TODO(), credReq); err != nil {
          if !errors.IsAlreadyExists(err) {
              setupLog.Error(err, "unable to create CredRequest")
              os.Exit(1)
          }
      }

   4. Operator 에서 조정하는 다른 항목과 함께 호출되는 다음 예제와 같이 CCO 에서 비밀 객체가 나타나기를 기다릴 수 있는지 확인합니다.

      비밀 객체 대기 예

      // WaitForSecret is a function that takes a Kubernetes client, a namespace, and a v1 "k8s.io/api/core/v1" name as arguments
      // It waits until the secret object with the given name exists in the given namespace
      // It returns the secret object or an error if the timeout is exceeded
      func WaitForSecret(client kubernetes.Interface, namespace, name string) (*v1.Secret, error) {
        // set a timeout of 10 minutes
        timeout := time.After(10 * time.Minute)
      
        // set a polling interval of 10 seconds
        ticker := time.NewTicker(10 * time.Second)
      
        // loop until the timeout or the secret is found
        for {
           select {
           case <-timeout:
              // timeout is exceeded, return an error
              return nil, fmt.Errorf("timed out waiting for secret %s in namespace %s", name, namespace)
                 // add to this error with a pointer to instructions for following a manual path to a Secret that will work on STS
           case <-ticker.C:
              // polling interval is reached, try to get the secret
              secret, err := client.CoreV1().Secrets(namespace).Get(context.Background(), name, metav1.GetOptions{})
              if err != nil {
                 if errors.IsNotFound(err) {
                    // secret does not exist yet, continue waiting
                    continue
                 } else {
                    // some other error occurred, return it
                    return nil, err
                 }
              } else {
                 // secret is found, return it
                 return secret, nil
              }
           }
        }
      }

      타임오트 값은 CCO가 추가된 CredentialsRequest 객체를 얼마나 빨리 탐지하고 비밀 객체를 생성할 수 있는지에 대한 예측을 기반으로 합니다. 운영자가 아직 클라우드 리소스를 액세스하지 않는 이유를 궁금해하는 클러스터 관리자를 위해 시간을 줄이거나 사용자 지정 피드백을 생성할 수도 있습니다.

   5. CCO가 CredentialsRequest 객체에서 생성한 비밀을 읽어 Azure로 인증하고 필요한 인증서를 수신합니다.

프로세스

1. Operator 프로젝트의 ClusterServiceVersion(CSV) 객체를 업데이트합니다.

   1. CSV의 Operator deployment에는 다음과 같은 volumeMounts 및 volumes 필드를 포함하여 Operator가 웹 ID로 ROLE를 수행할 수 있는지 확인합니다.

      예 Volume수량 및 Volumes 필드

      # ...
            volumeMounts:
      
            - name: bound-sa-token
              mountPath: /var/run/secrets/openshift/serviceaccount
              readOnly: true
            volumes:
               # This service account token can be used to provide identity outside the cluster.
               - name: bound-sa-token
                 projected:
                   sources:
                   - serviceAccountToken:
                     path: token
                     audience: openshift

   2. Operator가 CredentialsRequests 객체를 만들 수 있는 RBAC 권한이 있는지 확인합니다.

      예 clusterPermissions 목록

      # ...
      install:
        spec:
          clusterPermissions:
          - rules:
            - apiGroups:
              - "cloudcredential.openshift.io"
              resources:
              - credentialsrequests
              verbs:
              - create
              - delete
              - get
              - list
              - patch
              - update
              - watch

   3. 다음 항목을 추가하여 GCP Workload Identity를 사용하여 CCO 기반 워크플로의 이 방법에 대한 지원을 요구합니다.

      # ...
      metadata:
       annotations:
         features.operators.openshift.io/token-auth-gcp: "true"

2. Operator 프로젝트 코드를 업데이트합니다.

   1. 구독 구성에 의해 pod에 설정된 환경 변수에서 고객 및 serviceAccountEmail 값을 가져옵니다.

       // Get ENV var
         audience := os.Getenv("AUDIENCE")
         serviceAccountEmail := os.Getenv("SERVICE_ACCOUNT_EMAIL")
         gcpIdentityTokenFile := "/var/run/secrets/openshift/serviceaccount/token"

   2. 패치 및 적용할 준비가 된 CredentialsRequest 객체가 있는지 확인합니다.

      참고

      Operator 번들에 CredentialsRequest 객체를 추가하는 것은 현재 지원되지 않습니다.

   3. GCP Workload Identity 변수를 자격 증명 요청에 추가하고 Operator 초기화 중에 적용합니다.

      Operator 초기화 중 CredentialsRequest 객체 적용 예

      // apply CredentialsRequest on install
         credReqTemplate.Spec.GCPProviderSpec.Audience = audience
         credReqTemplate.Spec.GCPProviderSpec.ServiceAccountEmail = serviceAccountEmail
         credReqTemplate.CloudTokenPath = gcpIdentityTokenFile
      
      
         c := mgr.GetClient()
         if err := c.Create(context.TODO(), credReq); err != nil {
             if !errors.IsAlreadyExists(err) {
                 setupLog.Error(err, "unable to create CredRequest")
                 os.Exit(1)
             }
         }

   4. Operator 에서 조정하는 다른 항목과 함께 호출되는 다음 예제와 같이 CCO 에서 비밀 객체가 나타나기를 기다릴 수 있는지 확인합니다.

      비밀 객체 대기 예

      // WaitForSecret is a function that takes a Kubernetes client, a namespace, and a v1 "k8s.io/api/core/v1" name as arguments
      // It waits until the secret object with the given name exists in the given namespace
      // It returns the secret object or an error if the timeout is exceeded
      func WaitForSecret(client kubernetes.Interface, namespace, name string) (*v1.Secret, error) {
        // set a timeout of 10 minutes
        timeout := time.After(10 * time.Minute)
      
        // set a polling interval of 10 seconds
        ticker := time.NewTicker(10 * time.Second)
      
        // loop until the timeout or the secret is found
        for {
           select {
           case <-timeout:
              // timeout is exceeded, return an error
              return nil, fmt.Errorf("timed out waiting for secret %s in namespace %s", name, namespace)
      // add to this error with a pointer to instructions for following a manual path to a Secret that will work
           case <-ticker.C:
              // polling interval is reached, try to get the secret
              secret, err := client.CoreV1().Secrets(namespace).Get(context.Background(), name, metav1.GetOptions{})
              if err != nil {
                 if errors.IsNotFound(err) {
                    // secret does not exist yet, continue waiting
                    continue
                 } else {
                    // some other error occurred, return it
                    return nil, err
                 }
              } else {
                 // secret is found, return it
                 return secret, nil
              }
           }
        }
      }

      타임오트 값은 CCO가 추가된 CredentialsRequest 객체를 얼마나 빨리 탐지하고 비밀 객체를 생성할 수 있는지에 대한 예측을 기반으로 합니다. 운영자가 아직 클라우드 리소스를 액세스하지 않는 이유를 궁금해하는 클러스터 관리자를 위해 시간을 줄이거나 사용자 지정 피드백을 생성할 수도 있습니다.

   5. 비밀에서 service_account.json 필드를 읽고 Google Cloud 클라이언트를 인증합니다.

      service_account_json := secret.StringData["service_account.json"]