5.5. 基于 Helm 的 Operator

流程

1. 创建一个项目。

   1. 创建您的项目目录：

      $ mkdir nginx-operator

   2. 切换到项目所在的目录：

      $ cd nginx-operator

   3. 使用 helm 插件运行 operator-sdk init 命令以初始化项目：

      $ operator-sdk init \
          --plugins=helm

2. 创建 API。

   创建简单的 Nginx API：

   $ operator-sdk create api \
       --group demo \
       --version v1 \
       --kind Nginx

   此 API 使用 helm create 命令的内置 Helm Chart 网卡。

3. 构建并推送 Operator 镜像。

   使用默认的 Makefile 目标来构建和推送 Operator。使用镜像的 pull spec 设置 IMG，该 spec 使用您可推送到的 registry：

   $ make docker-build docker-push IMG=<registry>/<user>/<image_name>:<tag>

4. 运行 Operator。

   1. 安装 CRD：

      $ make install

   2. 将项目部署到集群中。将 IMG 设置为您推送的镜像：

      $ make deploy IMG=<registry>/<user>/<image_name>:<tag>

5. 添加安全性上下文约束(SCC)。

   Nginx 服务帐户需要特权访问权限才能在 OpenShift Container Platform 中运行。将以下 SCC 添加到 nginx-sample pod 的服务帐户中：

   $ oc adm policy add-scc-to-user \
       anyuid system:serviceaccount:nginx-operator-system:nginx-sample

6. 创建示例自定义资源（CR）。

   1. 创建一个示例 CR：

      $ oc apply -f config/samples/demo_v1_nginx.yaml \
          -n nginx-operator-system

   2. 查看 CR 协调 Operator：

      $ oc logs deployment.apps/nginx-operator-controller-manager \
          -c manager \
          -n nginx-operator-system

7. 删除 CR。

   运行以下命令来删除 CR：

   $ oc delete -f config/samples/demo_v1_nginx.yaml -n nginx-operator-system

8. 清理。

   运行以下命令清理在此流程中创建的资源：

   $ make undeploy

流程

1. 为项目创建一个目录：

   $ mkdir -p $HOME/projects/nginx-operator

2. 进入该目录：

   $ cd $HOME/projects/nginx-operator

3. 使用 helm 插件运行 operator-sdk init 命令以初始化项目：

   $ operator-sdk init \
       --plugins=helm \
       --domain=example.com \
       --group=demo \
       --version=v1 \
       --kind=Nginx

   注意

   默认情况下，helm 插件使用样板 Helm Chart 初始化项目。您可以使用其他标记（如 --helm-chart 标志）使用现有 Helm chart 初始化项目。

   init 命令创建 nginx-operator 项目，专门用于监视 API 版本为 example.com/v1 和 kind Nginx 的资源。

4. 对于基于 Helm 的项目，init 命令根据 chart 的默认清单部署的资源，在 config/rbac/role.yaml 文件中生成 RBAC 规则。验证此文件生成的规则是否满足 Operator 的权限要求。

流程

1. 通过添加 overrideValues 字段来编辑 watches.yaml 文件，使其包含基于环境变量的覆盖：

   ...
   - group: demo.example.com
     version: v1alpha1
     kind: Nginx
     chart: helm-charts/nginx
     overrideValues:
       proxy.http: $HTTP_PROXY
   ...

2. 在 helm-charts/nginx/values.yaml 文件中添加 proxy.http 值：

   ...
   proxy:
     http: ""
     https: ""
     no_proxy: ""

3. 要确保 Chart 模板支持使用变量，请编辑 helm-charts/nginx/templates/deployment.yaml 文件中的 chart 模板，使其包含以下内容：

   containers:
     - name: {{ .Chart.Name }}
       securityContext:
         - toYaml {{ .Values.securityContext | nindent 12 }}
       image: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"
       imagePullPolicy: {{ .Values.image.pullPolicy }}
       env:
         - name: http_proxy
           value: "{{ .Values.proxy.http }}"

4. 通过在 config/manager/manager.yaml 文件中添加以下内容来设置 Operator 部署上的环境变量：

   containers:
    - args:
      - --leader-elect
      - --leader-election-id=ansible-proxy-demo
      image: controller:latest
      name: manager
      env:
        - name: "HTTP_PROXY"
          value: "http_proxy_test"

流程

1. 切换到安装 Operator 的命名空间。例如，如果使用 make deploy 命令部署 Operator：

   $ oc project nginx-operator-system

2. 编辑 config/samples/demo_v1_nginx.yaml 中的 Nginx CR 清单示例，使其包含以下规格：

   apiVersion: demo.example.com/v1
   kind: Nginx
   metadata:
     name: nginx-sample
   ...
   spec:
   ...
     replicaCount: 3

3. Nginx 服务帐户需要特权访问权限才能在 OpenShift Container Platform 中运行。将以下安全性上下文约束 (SCC) 添加到 nginx-sample pod 的服务帐户中：

   $ oc adm policy add-scc-to-user \
       anyuid system:serviceaccount:nginx-operator-system:nginx-sample

4. 创建 CR:

   $ oc apply -f config/samples/demo_v1_nginx.yaml

5. 确保 Nginx Operator 为示例 CR 创建部署，其大小正确：

   $ oc get deployments

   输出示例

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   nginx-operator-controller-manager       1/1     1            1           8m
   nginx-sample                            3/3     3            3           1m

6. 检查 pod 和 CR 状态，以确认其状态是否使用 Nginx pod 名称更新。

   1. 检查 pod:

      $ oc get pods

      输出示例

      NAME                                  READY     STATUS    RESTARTS   AGE
      nginx-sample-6fd7c98d8-7dqdr          1/1       Running   0          1m
      nginx-sample-6fd7c98d8-g5k7v          1/1       Running   0          1m
      nginx-sample-6fd7c98d8-m7vn7          1/1       Running   0          1m

   2. 检查 CR 状态：

      $ oc get nginx/nginx-sample -o yaml

      输出示例

      apiVersion: demo.example.com/v1
      kind: Nginx
      metadata:
      ...
        name: nginx-sample
      ...
      spec:
        replicaCount: 3
      status:
        nodes:
        - nginx-sample-6fd7c98d8-7dqdr
        - nginx-sample-6fd7c98d8-g5k7v
        - nginx-sample-6fd7c98d8-m7vn7

7. 更新部署大小。

   1. 更新 config/samples/demo_v1_nginx.yaml 文件，将 Nginx CR 中的 spec.size 字段从 3 改为 5：

      $ oc patch nginx nginx-sample \
          -p '{"spec":{"replicaCount": 5}}' \
          --type=merge

   2. 确认 Operator 已更改部署大小：

      $ oc get deployments

      输出示例

      NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
      nginx-operator-controller-manager       1/1     1            1           10m
      nginx-sample                            5/5     5            5           3m

8. 运行以下命令来删除 CR：

   $ oc delete -f config/samples/demo_v1_nginx.yaml

9. 清理本教程中创建的资源。

   • 如果使用 make deploy 命令来测试 Operator，请运行以下命令：

     $ make undeploy

   • 如果使用 operator-sdk run bundle 命令来测试 Operator，请运行以下命令：

     $ operator-sdk cleanup <project_name>

流程

1. 编辑 Operator 的 Dockerfile，将 Helm Operator 版本更新至 1.31.0，如下例所示：

   Dockerfile 示例

   FROM quay.io/operator-framework/helm-operator:v1.31.0 1

   1

   将 Helm Operator 版本从 1.28.0 更新至 1.31.0

2. 编辑 Operator 项目的 makefile，将 Operator SDK 更新至 1.31.0，如下例所示：

   makefile 示例

   # Set the Operator SDK version to use. By default, what is installed on the system is used.
   # This is useful for CI or a project to utilize a specific version of the operator-sdk toolkit.
   OPERATOR_SDK_VERSION ?= v1.31.0 1

   1

   将版本从 1.28.0 更改为 1.31.0。

3. 如果使用自定义服务帐户进行部署，请定义以下角色来需要对 secret 资源进行监视操作，如下例所示：

   config/rbac/role.yaml 文件示例

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRoleBinding
   metadata:
     name: <operator_name>-admin
   subjects:
   - kind: ServiceAccount
     name: <operator_name>
     namespace: <operator_namespace>
   roleRef:
     kind: ClusterRole
     name: cluster-admin
     apiGroup: ""
   rules: 1
     - apiGroups:
         - ""
       resources:
         - secrets
       verbs:
         - watch

   1

   添加 rules 小节，为您的 secret 资源创建监视操作。

流程

1. 为项目创建一个目录：

   $ mkdir -p $HOME/github.com/example/memcached-operator

2. 进入该目录：

   $ cd $HOME/github.com/example/memcached-operator

3. 运行 operator-sdk init 命令以初始化项目。这个示例使用 my.domain 域，因此所有 API 组为 <group>.my.domain:

   $ operator-sdk init \
       --plugins=hybrid.helm.sdk.operatorframework.io \
       --project-version="3" \
       --domain my.domain \
       --repo=github.com/example/memcached-operator

   init 命令根据 chart 的默认清单部署的资源，在 config/rbac/role.yaml 文件中生成 RBAC 规则。验证 config/rbac/role.yaml 文件中生成的规则是否满足您的 Operator 的权限要求。

流程

1. 运行以下命令，使用组 cache、版本 v1 和 kind MemcachedBackup 创建 Go API：

   $ operator-sdk create api \
       --group=cache \
       --version v1 \
       --kind MemcachedBackup \
       --resource \
       --controller \
       --plugins=go/v3

2. 提示时，输入 y 来创建资源和控制器：

   $ Create Resource [y/n]
   y
   Create Controller [y/n]
   y

流程

1. 运行以下 make 命令来构建和推送 Operator 镜像。在以下步骤中修改 IMG 参数来引用您可访问的库。您可以获取在存储库站点（如 Quay.io）存储容器的帐户。

   1. 构建镜像：

      $ make docker-build IMG=<registry>/<user>/<image_name>:<tag>

      注意

      由 SDK 为 Operator 生成的 Dockerfile 需要为 go build 明确引用 GOARCH=amd64。这可以在非 AMD64 构架中使用 GOARCH=$TARGETARCH。Docker 自动将环境变量设置为 -platform 指定的值。对于 Buildah，需要使用 -build-arg 来实现这一目的。如需更多信息，请参阅多个架构。

   2. 将镜像推送到存储库：

      $ make docker-push IMG=<registry>/<user>/<image_name>:<tag>

      注意

      镜像的名称和标签，如 IMG=<registry> /<user> /<image_name>:<tag>，在两个命令中都可在您的 Makefile 中设置。修改 IMG ?= controller:latest 值来设置您的默认镜像名称。

2. 运行以下命令来部署 Operator：

   $ make deploy IMG=<registry>/<user>/<image_name>:<tag>

   默认情况下，这个命令会创建一个带有 Operator 项目名称的命名空间，格式为 <project_name>-system，用于部署。此命令还从 config/rbac 安装 RBAC 清单。

3. 运行以下命令验证 Operator 是否正在运行：

   $ oc get deployment -n <project_name>-system

   输出示例

   NAME                                    READY   UP-TO-DATE   AVAILABLE   AGE
   <project_name>-controller-manager       1/1     1            1           8m

流程

1. 切换到安装 Operator 的命名空间：

   $ oc project <project_name>-system

2. 通过将 replicaCount 字段更新为 3，更新 config/samples/cache_v1_memcached.yaml 文件中的 Memcached CR 清单示例：

   例 5.7. config/samples/cache_v1_memcached.yaml 文件示例

   apiVersion: cache.my.domain/v1
   kind: Memcached
   metadata:
     name: memcached-sample
   spec:
     # Default values copied from <project_dir>/helm-charts/memcached/values.yaml
     affinity: {}
     autoscaling:
       enabled: false
       maxReplicas: 100
       minReplicas: 1
       targetCPUUtilizationPercentage: 80
     fullnameOverride: ""
     image:
       pullPolicy: IfNotPresent
       repository: nginx
       tag: ""
     imagePullSecrets: []
     ingress:
       annotations: {}
       className: ""
       enabled: false
       hosts:
       - host: chart-example.local
         paths:
         - path: /
           pathType: ImplementationSpecific
       tls: []
     nameOverride: ""
     nodeSelector: {}
     podAnnotations: {}
     podSecurityContext: {}
     replicaCount: 3
     resources: {}
     securityContext: {}
     service:
       port: 80
       type: ClusterIP
     serviceAccount:
       annotations: {}
       create: true
       name: ""
     tolerations: []

3. 创建 Memcached CR：

   $ oc apply -f config/samples/cache_v1_memcached.yaml

4. 确保 Memcached Operator 为示例 CR 创建部署，其大小正确：

   $ oc get pods

   输出示例

   NAME                                  READY     STATUS    RESTARTS   AGE
   memcached-sample-6fd7c98d8-7dqdr      1/1       Running   0          18m
   memcached-sample-6fd7c98d8-g5k7v      1/1       Running   0          18m
   memcached-sample-6fd7c98d8-m7vn7      1/1       Running   0          18m

5. 通过将 size 更新至 2，更新 config/samples/cache_v1_memcachedbackup.yaml 文件中的 MemcachedBackup CR 清单示例：

   例 5.8. config/samples/cache_v1_memcachedbackup.yaml 文件示例

   apiVersion: cache.my.domain/v1
   kind: MemcachedBackup
   metadata:
     name: memcachedbackup-sample
   spec:
     size: 2

6. 创建 MemcachedBackup CR：

   $ oc apply -f config/samples/cache_v1_memcachedbackup.yaml

7. 确保 memcachedbackup pod 的数量与 CR 中指定的相同：

   $ oc get pods

   输出示例

   NAME                                        READY     STATUS    RESTARTS   AGE
   memcachedbackup-sample-8649699989-4bbzg     1/1       Running   0          22m
   memcachedbackup-sample-8649699989-mq6mx     1/1       Running   0          22m

8. 您可以更新以上每个 CR 中的 spec，然后再次应用它们。控制器再次进行协调，并确保按照相应 CR 的 spec 中指定 pod 的大小。

9. 清理本教程中创建的资源：

   1. 删除 Memcached 资源：

      $ oc delete -f config/samples/cache_v1_memcached.yaml

   2. 删除 MemcachedBackup 资源：

      $ oc delete -f config/samples/cache_v1_memcachedbackup.yaml

   3. 如果使用 make deploy 命令来测试 Operator，请运行以下命令：

      $ make undeploy