5.3. Go 기반 Operator

프로세스

1. 프로젝트에 사용할 디렉터리를 생성합니다.

   $ mkdir -p $HOME/projects/memcached-operator

2. 디렉터리로 변경합니다.

   $ cd $HOME/projects/memcached-operator

3. Go 모듈에 대한 지원을 활성화합니다.

   $ export GO111MODULE=on

4. operator-sdk init 명령을 실행하여 프로젝트를 초기화합니다.

   $ operator-sdk init \
       --domain=example.com \
       --repo=github.com/example-inc/memcached-operator

   참고

   operator-sdk init 명령은 기본적으로 Go 플러그인을 사용합니다.

   operator-sdk init 명령은 Go 모듈과 함께 사용할 go.mod 파일을 생성합니다. $GOPATH/src/ 외부에서 프로젝트를 생성할 때는 생성된 파일에 유효한 모듈 경로가 필요하기 때문에 --repo 플래그가 있어야 합니다.

프로세스

1. 다음 명령을 실행하여 그룹이 cache이고 버전이 v1, 종류가 Memcached인 API를 생성합니다.

   $ operator-sdk create api \
       --group=cache \
       --version=v1 \
       --kind=Memcached

2. 메시지가 표시되면 리소스 및 컨트롤러 모두 생성하도록 y를 입력합니다.

   Create Resource [y/n]
   y
   Create Controller [y/n]
   y

   출력 예

   Writing scaffold for you to edit...
   api/v1/memcached_types.go
   controllers/memcached_controller.go
   ...

프로세스

1. 다음을 포함하도록 controllers/memcached_controller.go 파일을 편집합니다.

   1. operator-lib 라이브러리에서 proxy 패키지를 가져옵니다.

      import (
        ...
         "github.com/operator-framework/operator-lib/proxy"
      )

   2. 조정 루프에 proxy.ReadProxyVarsFromEnv 도우미 함수를 추가하고 Operand 환경에 결과를 추가합니다.

      for i, container := range dep.Spec.Template.Spec.Containers {
      		dep.Spec.Template.Spec.Containers[i].Env = append(container.Env, proxy.ReadProxyVarsFromEnv()...)
      }
      ...

2. config/manager/manager.yaml 파일에 다음을 추가하여 Operator 배포에서 환경 변수를 설정합니다.

   containers:
    - args:
      - --leader-elect
      - --leader-election-id=ansible-proxy-demo
      image: controller:latest
      name: manager
      env:
        - name: "HTTP_PROXY"
          value: "http_proxy_test"

프로세스

1. Operator가 설치된 네임스페이스로 변경합니다. 예를 들어 make deploy 명령을 사용하여 Operator를 배포한 경우 다음을 실행합니다.

   $ oc project memcached-operator-system

2. 다음 사양을 포함하도록 config/samples/cache_v1_memcached.yaml의 샘플 Memcached CR 매니페스트를 편집합니다.

   apiVersion: cache.example.com/v1
   kind: Memcached
   metadata:
     name: memcached-sample
   ...
   spec:
   ...
     size: 3

3. CR을 생성합니다.

   $ oc apply -f config/samples/cache_v1_memcached.yaml

4. Memcached Operator에서 샘플 CR에 대한 배포를 올바른 크기로 생성하는지 확인합니다.

   $ oc get deployments

   출력 예

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   memcached-operator-controller-manager   1/1     1            1           8m
   memcached-sample                        3/3     3            3           1m

5. Pod 및 CR 상태를 확인하여 상태가 Memcached Pod 이름으로 업데이트되었는지 확인합니다.

   1. Pod를 확인합니다.

      $ oc get pods

      출력 예

      NAME                                  READY     STATUS    RESTARTS   AGE
      memcached-sample-6fd7c98d8-7dqdr      1/1       Running   0          1m
      memcached-sample-6fd7c98d8-g5k7v      1/1       Running   0          1m
      memcached-sample-6fd7c98d8-m7vn7      1/1       Running   0          1m

   2. CR 상태 확인:

      $ oc get memcached/memcached-sample -o yaml

      출력 예

      apiVersion: cache.example.com/v1
      kind: Memcached
      metadata:
      ...
        name: memcached-sample
      ...
      spec:
        size: 3
      status:
        nodes:
        - memcached-sample-6fd7c98d8-7dqdr
        - memcached-sample-6fd7c98d8-g5k7v
        - memcached-sample-6fd7c98d8-m7vn7

6. 배포 크기를 업데이트합니다.

   1. config/samples/cache_v1_memcached.yaml 파일을 업데이트하여 Memcached CR의 spec.size 필드를 3에서 5로 변경합니다.

      $ oc patch memcached memcached-sample \
          -p '{"spec":{"size": 5}}' \
          --type=merge

   2. Operator에서 배포 크기를 변경하는지 확인합니다.

      $ oc get deployments

      출력 예

      NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
      memcached-operator-controller-manager   1/1     1            1           10m
      memcached-sample                        5/5     5            5           3m

7. 다음 명령을 실행하여 CR을 삭제합니다.

   $ oc delete -f config/samples/cache_v1_memcached.yaml

8. 이 튜토리얼의 일부로 생성된 리소스를 정리합니다.

   • make deploy 명령을 사용하여 Operator를 테스트한 경우 다음 명령을 실행합니다.

     $ make undeploy

   • operator-sdk run bundle 명령을 사용하여 Operator를 테스트한 경우 다음 명령을 실행합니다.

     $ operator-sdk cleanup <project_name>

프로세스

1. 다음 예와 같이 Operator 프로젝트의 Makefile을 편집하여 Operator SDK 버전을 v1.36.1-ocp 로 업데이트합니다.

   Makefile의 예

   # Set the Operator SDK version to use. By default, what is installed on the system is used.
   # This is useful for CI or a project to utilize a specific version of the operator-sdk toolkit.
   OPERATOR_SDK_VERSION ?= v1.36.1-ocp

2. RHEL(Red Hat Enterprise Linux) 9 기반 이미지를 사용하도록 kube-rbac-proxy 컨테이너를 업데이트합니다.

   1. 다음 파일에서 kube-rbac-proxy 컨테이너 항목을 찾습니다.

      • config/default/manager_auth_proxy_patch.yaml
      • Operator 프로젝트의 bundle/manifests/<operator_name>.clusterserviceversion.yaml (예: 튜토리얼의 memcached-operator.clusterserviceversion.yaml )

   2. ose-kube-rbac-proxy에서 ose-kube-rbac-proxy -rhel9 로 가져오기 사양의 이미지 이름을 업데이트하고 태그를 v4 로 업데이트합니다.

      v4 이미지 태그가 있는 ose-kube-rbac-proxy-rhel9 풀 사양의 예

      # ...
            containers:
            - name: kube-rbac-proxy
              image: registry.redhat.io/openshift4/ose-kube-rbac-proxy-rhel9:v4
      # ...

3. 이제 Go /v4 플러그인이 안정적이며 Go 기반 Operator를 스캐폴드할 때 사용되는 기본 버전입니다. Golang v2 및 v3 플러그인에서 새로운 Golang v4 플러그인으로 전환하면 상당한 변경 사항이 추가되었습니다. 이 마이그레이션은 Golang 개발의 진화하는 환경을 반영하여 프로젝트의 기능과 호환성을 개선하도록 설계되었습니다.

   이러한 변경 사항의 추론에 대한 자세한 내용은 Kubebuilder 설명서의 go/v3 vs go/v4 를 참조하십시오.

   v4 플러그인 형식으로의 마이그레이션 프로세스 및 자세한 마이그레이션 단계를 포괄적으로 이해하려면 Kubebuilder 문서에서 수동으로 파일을 업데이트하여 이동/v3에서 go/v4로 마이그레이션을 참조하십시오.

4. kustomize/v2 플러그인은 이제 안정적인 상태이며 go/v4,ansible/v1,helm/v1, hybrid/v1-alpha 플러그인을 사용할 때 플러그인 체인에 사용되는 기본 버전입니다. 이 기본 스캐폴드에 대한 자세한 내용은 Kubebuilder 설명서의 Kustomize v2 를 참조하십시오.

5. Operator 프로젝트에서 다중 플랫폼 또는 다중 아키텍처, 빌드를 사용하는 경우 기존 docker-buildx 대상을 프로젝트 Makefile의 다음 정의로 교체합니다.

   Makefile의 예

   docker-buildx:
   ## Build and push the Docker image for the manager for multi-platform support
   	- docker buildx create --name project-v3-builder
   	docker buildx use project-v3-builder
   	- docker buildx build --push --platform=$(PLATFORMS) --tag ${IMG} -f Dockerfile .
   	- docker buildx rm project-v3-builder

6. 1.29를 사용하려면 Operator 프로젝트의 Kubernetes 버전을 업그레이드해야 합니다. 프로젝트 구조, Makefile 및 go.mod 파일을 다음과 같이 변경해야 합니다.

   중요

   Go/v3 플러그인은 Kubebuilder에서 더 이상 사용되지 않으므로 Operator SDK도 향후 릴리스에서 go/v4 로 마이그레이션되고 있습니다.

   1. go.mod 파일을 업데이트하여 종속 항목을 업그레이드합니다.

      k8s.io/api v0.29.2
      k8s.io/apimachinery v0.29.2
      k8s.io/client-go v0.29.2
      sigs.k8s.io/controller-runtime v0.17.3

   2. 다음 명령을 실행하여 업그레이드된 종속 항목을 다운로드합니다.

      $ go mod tidy

   3. 이제 Kustomize로 빌드된 모든 리소스가 포함된 파일을 생성할 수 있습니다. 이 파일은 종속 항목 없이 이 프로젝트를 설치하는 데 필요합니다. 다음과 같이 변경하여 Makefile을 업데이트합니다.

      + .PHONY: build-installer
      +   build-installer: manifests generate kustomize ## Generate a consolidated YAML with CRDs and deployment.
      +   	mkdir -p dist
      +   	cd config/manager && $(KUSTOMIZE) edit set image controller=${IMG}
      +   	$(KUSTOMIZE) build config/default > dist/install.yaml

   4. 다음과 같이 변경하여 Makefile에서 ENVTEST_K8S_VERSION 변수를 업데이트합니다.

      - ENVTEST_K8S_VERSION = 1.28.3
      + ENVTEST_K8S_VERSION = 1.29.0

   5. Makefile에서 다음 섹션을 제거하십시오.

      - GOLANGCI_LINT = $(shell pwd)/bin/golangci-lint
      - GOLANGCI_LINT_VERSION ?= v1.54.2
      - golangci-lint:
      - 	@[ -f $(GOLANGCI_LINT) ] || { \
      - 	set -e ;\
      - 	curl -sSfL https://raw.githubusercontent.com/golangci/golangci-lint/master/install.sh | sh -s -- -b $(shell dirname $(GOLANGCI_LINT)) $(GOLANGCI_LINT_VERSION) ;\
      - 	}

   6. 다음과 같이 변경하여 Makefile을 업데이트합니다.

      예 5.2. Makefile 변경

      - ## Tool Binaries
      - KUBECTL ?= kubectl
      - KUSTOMIZE ?= $(LOCALBIN)/kustomize
      - CONTROLLER_GEN ?= $(LOCALBIN)/controller-gen
      - ENVTEST ?= $(LOCALBIN)/setup-envtest
      -
      - ## Tool Versions
      - KUSTOMIZE_VERSION ?= v5.2.1
      - CONTROLLER_TOOLS_VERSION ?= v0.13.0
      -
      - .PHONY: kustomize
      - kustomize: $(KUSTOMIZE) ## Download kustomize locally if necessary. If wrong version is installed, it will be removed before downloading.
      - $(KUSTOMIZE): $(LOCALBIN)
      -   @if test -x $(LOCALBIN)/kustomize && ! $(LOCALBIN)/kustomize version | grep -q $(KUSTOMIZE_VERSION); then \
      -   echo "$(LOCALBIN)/kustomize version is not expected $(KUSTOMIZE_VERSION). Removing it before installing."; \
      -   rm -rf $(LOCALBIN)/kustomize; \
      -   fi
      -   test -s $(LOCALBIN)/kustomize || GOBIN=$(LOCALBIN) GO111MODULE=on go install sigs.k8s.io/kustomize/kustomize/v5@$(KUSTOMIZE_VERSION)
      -
      - .PHONY: controller-gen
      - controller-gen: $(CONTROLLER_GEN) ## Download controller-gen locally if necessary. If wrong version is installed, it will be overwritten.
      - $(CONTROLLER_GEN): $(LOCALBIN)
      -   test -s $(LOCALBIN)/controller-gen && $(LOCALBIN)/controller-gen --version | grep -q $(CONTROLLER_TOOLS_VERSION) || \
      -   GOBIN=$(LOCALBIN) go install sigs.k8s.io/controller-tools/cmd/controller-gen@$(CONTROLLER_TOOLS_VERSION)
      -
      - .PHONY: envtest
      - envtest: $(ENVTEST) ## Download envtest-setup locally if necessary.
      - $(ENVTEST): $(LOCALBIN)
      -   test -s $(LOCALBIN)/setup-envtest || GOBIN=$(LOCALBIN) go install sigs.k8s.io/controller-runtime/tools/setup-envtest@latest
      + ## Tool Binaries
      + KUBECTL ?= kubectl
      + KUSTOMIZE ?= $(LOCALBIN)/kustomize-$(KUSTOMIZE_VERSION)
      + CONTROLLER_GEN ?= $(LOCALBIN)/controller-gen-$(CONTROLLER_TOOLS_VERSION)
      + ENVTEST ?= $(LOCALBIN)/setup-envtest-$(ENVTEST_VERSION)
      + GOLANGCI_LINT = $(LOCALBIN)/golangci-lint-$(GOLANGCI_LINT_VERSION)
      +
      + ## Tool Versions
      + KUSTOMIZE_VERSION ?= v5.3.0
      + CONTROLLER_TOOLS_VERSION ?= v0.14.0
      + ENVTEST_VERSION ?= release-0.17
      + GOLANGCI_LINT_VERSION ?= v1.57.2
      +
      + .PHONY: kustomize
      + kustomize: $(KUSTOMIZE) ## Download kustomize locally if necessary.
      + $(KUSTOMIZE): $(LOCALBIN)
      + 	$(call go-install-tool,$(KUSTOMIZE),sigs.k8s.io/kustomize/kustomize/v5,$(KUSTOMIZE_VERSION))
      +
      + .PHONY: controller-gen
      + controller-gen: $(CONTROLLER_GEN) ## Download controller-gen locally if necessary.
      + $(CONTROLLER_GEN): $(LOCALBIN)
      + 	$(call go-install-tool,$(CONTROLLER_GEN),sigs.k8s.io/controller-tools/cmd/controller-gen,$(CONTROLLER_TOOLS_VERSION))
      +
      + .PHONY: envtest
      + envtest: $(ENVTEST) ## Download setup-envtest locally if necessary.
      + $(ENVTEST): $(LOCALBIN)
      + 	$(call go-install-tool,$(ENVTEST),sigs.k8s.io/controller-runtime/tools/setup-envtest,$(ENVTEST_VERSION))
      +
      + .PHONY: golangci-lint
      + golangci-lint: $(GOLANGCI_LINT) ## Download golangci-lint locally if necessary.
      + $(GOLANGCI_LINT): $(LOCALBIN)
      + 	$(call go-install-tool,$(GOLANGCI_LINT),github.com/golangci/golangci-lint/cmd/golangci-lint,${GOLANGCI_LINT_VERSION})
      +
      + # go-install-tool will 'go install' any package with custom target and name of binary, if it doesn't exist
      + # $1 - target path with name of binary (ideally with version)
      + # $2 - package url which can be installed
      + # $3 - specific version of package
      + define go-install-tool
      + @[ -f $(1) ] || { \
      + set -e; \
      + package=$(2)@$(3) ;\
      + echo "Downloading $${package}" ;\
      + GOBIN=$(LOCALBIN) go install $${package} ;\
      + mv "$$(echo "$(1)" | sed "s/-$(3)$$//")" $(1) ;\
      + }
      + endef