5.5. Helm 기반 Operator

프로세스

1. 프로젝트를 생성합니다.

   1. 프로젝트 디렉토리를 생성합니다.

      $ mkdir nginx-operator

   2. 프로젝트 디렉터리로 변경합니다.

      $ cd nginx-operator

   3. helm 플러그인과 함께 operator-sdk init 명령을 실행하여 프로젝트를 초기화합니다.

      $ operator-sdk init \
          --plugins=helm

2. API를 생성합니다.

   간단한 Nginx API를 생성합니다.

   $ operator-sdk create api \
       --group demo \
       --version v1 \
       --kind Nginx

   이 API는 helm create 명령의 기본 제공 Helm 차트 상용구를 사용합니다.

3. Operator 이미지를 빌드하여 내보냅니다.

   기본 Makefile 대상을 사용하여 Operator를 빌드하고 내보냅니다. 내보낼 수 있는 레지스트리를 사용하는 이미지의 가져오기 사양에 IMG를 설정합니다.

   $ make docker-build docker-push IMG=<registry>/<user>/<image_name>:<tag>

4. Operator를 실행합니다.

   1. CRD를 설치합니다.

      $ make install

   2. 클러스터에 프로젝트를 배포합니다. 내보낸 이미지에 IMG를 설정합니다.

      $ make deploy IMG=<registry>/<user>/<image_name>:<tag>

5. SCC(보안 컨텍스트 제약 조건)를 추가합니다.

   Nginx 서비스 계정에는 OpenShift Container Platform에서 실행할 수 있는 권한이 필요합니다. nginx-sample Pod의 서비스 계정에 다음 SCC를 추가합니다.

   $ oc adm policy add-scc-to-user \
       anyuid system:serviceaccount:nginx-operator-system:nginx-sample

6. 샘플 CR(사용자 정의 리소스)을 생성합니다.

   1. 샘플 CR을 생성합니다.

      $ oc apply -f config/samples/demo_v1_nginx.yaml \
          -n nginx-operator-system

   2. CR에서 Operator를 조정하는지 확인합니다.

      $ oc logs deployment.apps/nginx-operator-controller-manager \
          -c manager \
          -n nginx-operator-system

7. CR을 삭제합니다.

   다음 명령을 실행하여 CR을 삭제합니다.

   $ oc delete -f config/samples/demo_v1_nginx.yaml -n nginx-operator-system

8. 정리합니다.

   다음 명령을 실행하여 이 절차의 일부로 생성된 리소스를 정리합니다.

   $ make undeploy

프로세스

1. 프로젝트에 사용할 디렉터리를 생성합니다.

   $ mkdir -p $HOME/projects/nginx-operator

2. 디렉터리로 변경합니다.

   $ cd $HOME/projects/nginx-operator

3. helm 플러그인과 함께 operator-sdk init 명령을 실행하여 프로젝트를 초기화합니다.

   $ operator-sdk init \
       --plugins=helm \
       --domain=example.com \
       --group=demo \
       --version=v1 \
       --kind=Nginx

   참고

   기본적으로 helm 플러그인은 상용구 Helm 차트를 사용하여 프로젝트를 초기화합니다. 기존 Helm 차트를 사용하는 프로젝트를 초기화하려면 --helm-chart 플래그와 같은 추가 플래그를 사용하면 됩니다.

   init 명령은 API 버전이 example.com/v1이고 종류가 Nginx인 리소스를 조사하기 위해 특별히 nginx-operator 프로젝트를 생성합니다.

4. Helm 기반 프로젝트의 경우 init 명령은 차트의 기본 매니페스트에 의해 배포되는 리소스를 기반으로 config/rbac/role.yaml 파일에 RBAC 규칙을 생성합니다. 이 파일에 생성된 규칙이 Operator의 권한 요구 사항을 충족하는지 확인합니다.

프로세스

1. overrideValues 필드를 추가하여 환경 변수에 따라 덮어쓰기를 포함하도록 watches.yaml 파일을 편집합니다.

   ...
   - group: demo.example.com
     version: v1alpha1
     kind: Nginx
     chart: helm-charts/nginx
     overrideValues:
       proxy.http: $HTTP_PROXY
   ...

2. helm-charts/nginx/values.yaml 파일에 proxy.http 값을 추가합니다.

   ...
   proxy:
     http: ""
     https: ""
     no_proxy: ""

3. 차트 템플릿이 변수 사용을 지원하는지 확인하려면 다음을 포함하도록 helm-charts/nginx/templates/deployment.yaml 파일에서 차트 템플릿을 편집합니다.

   containers:
     - name: {{ .Chart.Name }}
       securityContext:
         - toYaml {{ .Values.securityContext | nindent 12 }}
       image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"
       imagePullPolicy: {{ .Values.image.pullPolicy }}
       env:
         - name: http_proxy
           value: "{{ .Values.proxy.http }}"

4. config/manager/manager.yaml 파일에 다음을 추가하여 Operator 배포에서 환경 변수를 설정합니다.

   containers:
    - args:
      - --leader-elect
      - --leader-election-id=ansible-proxy-demo
      image: controller:latest
      name: manager
      env:
        - name: "HTTP_PROXY"
          value: "http_proxy_test"

프로세스

1. Operator가 설치된 네임스페이스로 변경합니다. 예를 들어 make deploy 명령을 사용하여 Operator를 배포한 경우 다음을 실행합니다.

   $ oc project nginx-operator-system

2. 다음 사양을 포함하도록 config/samples/demo_v1_nginx.yaml에서 샘플 Nginx CR 매니페스트를 편집합니다.

   apiVersion: demo.example.com/v1
   kind: Nginx
   metadata:
     name: nginx-sample
   ...
   spec:
   ...
     replicaCount: 3

3. Nginx 서비스 계정에는 OpenShift Container Platform에서 실행할 수 있는 권한이 필요합니다. nginx-sample Pod의 서비스 계정에 다음 SCC(보안 컨텍스트 제약 조건)를 추가합니다.

   $ oc adm policy add-scc-to-user \
       anyuid system:serviceaccount:nginx-operator-system:nginx-sample

4. CR을 생성합니다.

   $ oc apply -f config/samples/demo_v1_nginx.yaml

5. Nginx Operator에서 샘플 CR에 대한 배포를 올바른 크기로 생성하는지 확인합니다.

   $ oc get deployments

   출력 예

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   nginx-operator-controller-manager       1/1     1            1           8m
   nginx-sample                            3/3     3            3           1m

6. Pod 및 CR 상태를 확인하여 상태가 Nginx Pod 이름으로 업데이트되었는지 확인합니다.

   1. Pod를 확인합니다.

      $ oc get pods

      출력 예

      NAME                                  READY     STATUS    RESTARTS   AGE
      nginx-sample-6fd7c98d8-7dqdr          1/1       Running   0          1m
      nginx-sample-6fd7c98d8-g5k7v          1/1       Running   0          1m
      nginx-sample-6fd7c98d8-m7vn7          1/1       Running   0          1m

   2. CR 상태 확인:

      $ oc get nginx/nginx-sample -o yaml

      출력 예

      apiVersion: demo.example.com/v1
      kind: Nginx
      metadata:
      ...
        name: nginx-sample
      ...
      spec:
        replicaCount: 3
      status:
        nodes:
        - nginx-sample-6fd7c98d8-7dqdr
        - nginx-sample-6fd7c98d8-g5k7v
        - nginx-sample-6fd7c98d8-m7vn7

7. 배포 크기를 업데이트합니다.

   1. config/samples/demo_v1_nginx.yaml 파일을 업데이트하여 Nginx CR의 spec.size 필드를 3에서 5로 변경합니다.

      $ oc patch nginx nginx-sample \
          -p '{"spec":{"replicaCount": 5}}' \
          --type=merge

   2. Operator에서 배포 크기를 변경하는지 확인합니다.

      $ oc get deployments

      출력 예

      NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
      nginx-operator-controller-manager       1/1     1            1           10m
      nginx-sample                            5/5     5            5           3m

8. 다음 명령을 실행하여 CR을 삭제합니다.

   $ oc delete -f config/samples/demo_v1_nginx.yaml

9. 이 튜토리얼의 일부로 생성된 리소스를 정리합니다.

   • make deploy 명령을 사용하여 Operator를 테스트한 경우 다음 명령을 실행합니다.

     $ make undeploy

   • operator-sdk run bundle 명령을 사용하여 Operator를 테스트한 경우 다음 명령을 실행합니다.

     $ operator-sdk cleanup <project_name>

프로세스

1. 다음 예와 같이 Operator 프로젝트의 Makefile을 편집하여 Operator SDK 버전을 v1.36.1-ocp 로 업데이트합니다.

   Makefile의 예

   # Set the Operator SDK version to use. By default, what is installed on the system is used.
   # This is useful for CI or a project to utilize a specific version of the operator-sdk toolkit.
   OPERATOR_SDK_VERSION ?= v1.36.1-ocp

2. RHEL(Red Hat Enterprise Linux) 9 기반 이미지를 사용하도록 kube-rbac-proxy 컨테이너를 업데이트합니다.

   1. 다음 파일에서 kube-rbac-proxy 컨테이너 항목을 찾습니다.

      • config/default/manager_auth_proxy_patch.yaml
      • Operator 프로젝트의 bundle/manifests/<operator_name>.clusterserviceversion.yaml (예: 튜토리얼의 memcached-operator.clusterserviceversion.yaml )

   2. ose-kube-rbac-proxy에서 ose-kube-rbac-proxy -rhel9 로 가져오기 사양의 이미지 이름을 업데이트하고 태그를 v4.17 으로 업데이트합니다.

      v4.17 이미지 태그가 있는 ose-kube-rbac-proxy-rhel9 풀 사양의 예

      # ...
            containers:
            - name: kube-rbac-proxy
              image: registry.redhat.io/openshift4/ose-kube-rbac-proxy-rhel9:v4.17
      # ...

3. 다음 예와 같이 Operator의 Dockerfile을 편집하여 ose-helm-rhel9-operator 이미지 태그를 4.17 로 업데이트합니다.

   Dockerfile 예

   FROM registry.redhat.io/openshift4/ose-helm-rhel9-operator:v4.17

4. kustomize/v2 플러그인은 이제 안정적인 상태이며 go/v4,ansible/v1,helm/v1, hybrid/v1-alpha 플러그인을 사용할 때 플러그인 체인에 사용되는 기본 버전입니다. 이 기본 스캐폴드에 대한 자세한 내용은 Kubebuilder 설명서의 Kustomize v2 를 참조하십시오.

5. Operator 프로젝트에서 다중 플랫폼 또는 다중 아키텍처, 빌드를 사용하는 경우 기존 docker-buildx 대상을 프로젝트 Makefile의 다음 정의로 교체합니다.

   Makefile의 예

   docker-buildx:
   ## Build and push the Docker image for the manager for multi-platform support
   	- docker buildx create --name project-v3-builder
   	docker buildx use project-v3-builder
   	- docker buildx build --push --platform=$(PLATFORMS) --tag ${IMG} -f Dockerfile .
   	- docker buildx rm project-v3-builder

6. 1.29를 사용하려면 Operator 프로젝트의 Kubernetes 버전을 업그레이드해야 합니다. 프로젝트 구조, Makefile 및 go.mod 파일을 다음과 같이 변경해야 합니다.

   중요

   Go/v3 플러그인은 Kubebuilder에서 더 이상 사용되지 않으므로 Operator SDK도 향후 릴리스에서 go/v4 로 마이그레이션되고 있습니다.

   1. go.mod 파일을 업데이트하여 종속 항목을 업그레이드합니다.

      k8s.io/api v0.29.2
      k8s.io/apimachinery v0.29.2
      k8s.io/client-go v0.29.2
      sigs.k8s.io/controller-runtime v0.17.3

   2. 다음 명령을 실행하여 업그레이드된 종속 항목을 다운로드합니다.

      $ go mod tidy

7. 다음과 같이 변경하여 Makefile에서 Kustomize 버전을 업데이트합니다.

   - curl -sSLo - https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize/v5.2.1/kustomize_v5.2.1_$(OS)_$(ARCH).tar.gz | \
   + curl -sSLo - https://github.com/kubernetes-sigs/kustomize/releases/download/kustomize/v5.3.0/kustomize_v5.3.0_$(OS)_$(ARCH).tar.gz | \

프로세스

1. 프로젝트에 사용할 디렉터리를 생성합니다.

   $ mkdir -p $HOME/github.com/example/memcached-operator

2. 디렉터리로 변경합니다.

   $ cd $HOME/github.com/example/memcached-operator

3. operator-sdk init 명령을 실행하여 프로젝트를 초기화합니다. 이 예제에서는 모든 API 그룹이 . my.domain 이 되도록 my.domain 의 도메인을 사용합니다.

   $ operator-sdk init \
       --plugins=hybrid.helm.sdk.operatorframework.io \
       --project-version="3" \
       --domain my.domain \
       --repo=github.com/example/memcached-operator

   init 명령은 차트의 기본 매니페스트로 배포할 리소스를 기반으로 config/rbac/role.yaml 파일에 RBAC 규칙을 생성합니다. config/rbac/role.yaml 파일에서 생성된 규칙이 Operator의 권한 요구 사항을 충족하는지 확인합니다.

프로세스

1. 다음 명령을 실행하여 그룹 캐시, 버전 v1 및 kind MemcachedBackup 으로 Go API를 생성합니다.

   $ operator-sdk create api \
       --group=cache \
       --version v1 \
       --kind MemcachedBackup \
       --resource \
       --controller \
       --plugins=go/v4

2. 메시지가 표시되면 리소스 및 컨트롤러를 모두 생성하도록 y 를 입력합니다.

   $ Create Resource [y/n]
   y
   Create Controller [y/n]
   y

프로세스

1. 다음 make 명령을 실행하여 Operator 이미지를 빌드하고 내보냅니다. 액세스할 수 있는 리포지토리를 참조하려면 다음 단계에서 IMG 인수를 수정합니다. Quay.io와 같은 리포지토리 사이트에 컨테이너를 저장하기 위해 계정을 받을 수 있습니다.

   1. 이미지를 빌드합니다.

      $ make docker-build IMG=<registry>/<user>/<image_name>:<tag>

      참고

      Operator용 SDK에서 생성한 Dockerfile은 Go 빌드에 대해 GOARCH=amd64 를 명시적으로 참조합니다. AMD64 이외의 아키텍처의 경우 GOARCH=$TARGETARCH 로 수정할 수 있습니다. Docker는 자동으로 -platform 에서 지정한 값으로 환경 변수를 설정합니다. Buildah를 사용하면 -build-arg 를 목적으로 사용해야 합니다. 자세한 내용은 다중 아키텍처를 참조하십시오.

   2. 이미지를 리포지토리로 내보냅니다.

      $ make docker-push IMG=<registry>/<user>/<image_name>:<tag>

      참고

      두 명령 모두 이미지의 이름과 태그(예: IMG=<registry>/<user>/<image_name>:<tag>)를 Makefile에 설정할 수 있습니다. 기본 이미지 이름을 설정하려면 IMG ?= controller:latest 값을 수정합니다.

2. 다음 명령을 실행하여 Operator를 배포합니다.

   $ make deploy IMG=<registry>/<user>/<image_name>:<tag>

   기본적으로 이 명령은 <project_name>-system 형식으로 된 Operator 프로젝트 이름을 사용하여 네임스페이스를 생성하고 배포에 사용됩니다. 이 명령은 또한 config/rbac에서 RBAC 매니페스트를 설치합니다.

3. 다음 명령을 실행하여 Operator가 실행 중인지 확인합니다.

   $ oc get deployment -n <project_name>-system

   출력 예

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   <project_name>-controller-manager       1/1     1            1           8m

프로세스

1. Operator가 설치된 네임스페이스로 변경합니다.

   $ oc project <project_name>-system

2. replicaCount 필드를 3 으로 업데이트하여 config/samples/cache_v1_memcached.yaml 파일에서 샘플 Memcached CR 매니페스트를 업데이트합니다.

   예 5.8. Example config/samples/cache_v1_memcached.yaml file

   apiVersion: cache.my.domain/v1
   kind: Memcached
   metadata:
     name: memcached-sample
   spec:
     # Default values copied from <project_dir>/helm-charts/memcached/values.yaml
     affinity: {}
     autoscaling:
       enabled: false
       maxReplicas: 100
       minReplicas: 1
       targetCPUUtilizationPercentage: 80
     fullnameOverride: ""
     image:
       pullPolicy: IfNotPresent
       repository: nginx
       tag: ""
     imagePullSecrets: []
     ingress:
       annotations: {}
       className: ""
       enabled: false
       hosts:
       - host: chart-example.local
         paths:
         - path: /
           pathType: ImplementationSpecific
       tls: []
     nameOverride: ""
     nodeSelector: {}
     podAnnotations: {}
     podSecurityContext: {}
     replicaCount: 3
     resources: {}
     securityContext: {}
     service:
       port: 80
       type: ClusterIP
     serviceAccount:
       annotations: {}
       create: true
       name: ""
     tolerations: []

3. Memcached CR을 생성합니다.

   $ oc apply -f config/samples/cache_v1_memcached.yaml

4. Memcached Operator가 샘플 CR에 대한 배포를 올바른 크기로 생성하는지 확인합니다.

   $ oc get pods

   출력 예

   NAME                                  READY     STATUS    RESTARTS   AGE
   memcached-sample-6fd7c98d8-7dqdr      1/1       Running   0          18m
   memcached-sample-6fd7c98d8-g5k7v      1/1       Running   0          18m
   memcached-sample-6fd7c98d8-m7vn7      1/1       Running   0          18m

5. 크기를 2 로 업데이트하여 config/samples/cache_v1_memcachedbackup.yaml 파일에서 샘플 MemcachedBackup CR 매니페스트를 업데이트합니다.

   예 5.9. Example config/samples/cache_v1_memcachedbackup.yaml file

   apiVersion: cache.my.domain/v1
   kind: MemcachedBackup
   metadata:
     name: memcachedbackup-sample
   spec:
     size: 2

6. MemcachedBackup CR을 생성합니다.

   $ oc apply -f config/samples/cache_v1_memcachedbackup.yaml

7. memcachedbackup Pod 수가 CR에 지정된 것과 동일한지 확인합니다.

   $ oc get pods

   출력 예

   NAME                                        READY     STATUS    RESTARTS   AGE
   memcachedbackup-sample-8649699989-4bbzg     1/1       Running   0          22m
   memcachedbackup-sample-8649699989-mq6mx     1/1       Running   0          22m

8. 위의 각 CR에서 사양 을 업데이트한 다음 다시 적용할 수 있습니다. 컨트롤러가 다시 조정되고 Pod 크기가 해당 CR의 사양에 지정된 대로 있는지 확인합니다.

9. 이 튜토리얼의 일부로 생성된 리소스를 정리합니다.

   1. Memcached 리소스를 삭제합니다.

      $ oc delete -f config/samples/cache_v1_memcached.yaml

   2. MemcachedBackup 리소스를 삭제합니다.

      $ oc delete -f config/samples/cache_v1_memcachedbackup.yaml

   3. make deploy 명령을 사용하여 Operator를 테스트한 경우 다음 명령을 실행합니다.

      $ make undeploy

프로세스

1. 다음 예와 같이 Operator 프로젝트의 Makefile을 편집하여 Operator SDK 버전을 v1.36.1-ocp 로 업데이트합니다.

   Makefile의 예

   # Set the Operator SDK version to use. By default, what is installed on the system is used.
   # This is useful for CI or a project to utilize a specific version of the operator-sdk toolkit.
   OPERATOR_SDK_VERSION ?= v1.36.1-ocp

2. RHEL(Red Hat Enterprise Linux) 9 기반 이미지를 사용하도록 kube-rbac-proxy 컨테이너를 업데이트합니다.

   1. 다음 파일에서 kube-rbac-proxy 컨테이너 항목을 찾습니다.

      • config/default/manager_auth_proxy_patch.yaml
      • Operator 프로젝트의 bundle/manifests/<operator_name>.clusterserviceversion.yaml (예: 튜토리얼의 memcached-operator.clusterserviceversion.yaml )

   2. ose-kube-rbac-proxy에서 ose-kube-rbac-proxy -rhel9 로 가져오기 사양의 이미지 이름을 업데이트하고 태그를 v4.17 으로 업데이트합니다.

      v4.17 이미지 태그가 있는 ose-kube-rbac-proxy-rhel9 풀 사양의 예

      # ...
            containers:
            - name: kube-rbac-proxy
              image: registry.redhat.io/openshift4/ose-kube-rbac-proxy-rhel9:v4.17
      # ...

3. 이제 Go /v4 플러그인이 안정적이며 Go 기반 Operator를 스캐폴드할 때 사용되는 기본 버전입니다. Golang v2 및 v3 플러그인에서 새로운 Golang v4 플러그인으로 전환하면 상당한 변경 사항이 추가되었습니다. 이 마이그레이션은 Golang 개발의 진화하는 환경을 반영하여 프로젝트의 기능과 호환성을 개선하도록 설계되었습니다.

   이러한 변경 사항의 추론에 대한 자세한 내용은 Kubebuilder 설명서의 go/v3 vs go/v4 를 참조하십시오.

   v4 플러그인 형식으로의 마이그레이션 프로세스 및 자세한 마이그레이션 단계를 포괄적으로 이해하려면 Kubebuilder 문서에서 수동으로 파일을 업데이트하여 이동/v3에서 go/v4로 마이그레이션을 참조하십시오.

4. kustomize/v2 플러그인은 이제 안정적인 상태이며 go/v4,ansible/v1,helm/v1, hybrid/v1-alpha 플러그인을 사용할 때 플러그인 체인에 사용되는 기본 버전입니다. 이 기본 스캐폴드에 대한 자세한 내용은 Kubebuilder 설명서의 Kustomize v2 를 참조하십시오.

5. Operator 프로젝트에서 다중 플랫폼 또는 다중 아키텍처, 빌드를 사용하는 경우 기존 docker-buildx 대상을 프로젝트 Makefile의 다음 정의로 교체합니다.

   Makefile의 예

   docker-buildx:
   ## Build and push the Docker image for the manager for multi-platform support
   	- docker buildx create --name project-v3-builder
   	docker buildx use project-v3-builder
   	- docker buildx build --push --platform=$(PLATFORMS) --tag ${IMG} -f Dockerfile .
   	- docker buildx rm project-v3-builder

6. 1.29를 사용하려면 Operator 프로젝트의 Kubernetes 버전을 업그레이드해야 합니다. 프로젝트 구조, Makefile 및 go.mod 파일을 다음과 같이 변경해야 합니다.

   중요

   Go/v3 플러그인은 Kubebuilder에서 더 이상 사용되지 않으므로 Operator SDK도 향후 릴리스에서 go/v4 로 마이그레이션되고 있습니다.

   1. go.mod 파일을 업데이트하여 종속 항목을 업그레이드합니다.

      k8s.io/api v0.29.2
      k8s.io/apimachinery v0.29.2
      k8s.io/client-go v0.29.2
      sigs.k8s.io/controller-runtime v0.17.3

   2. 다음 명령을 실행하여 업그레이드된 종속 항목을 다운로드합니다.

      $ go mod tidy