11.3. 创建基于 Helm 的 Operator

流程

1. 使用 operator-sdk new 命令来创建新 Operator 项目，可以是全命名空间范围，也可以是全集群范围。选择以下任意一项：

   1. 全命名空间范围的 Operator（默认）会监视和管理单一命名空间中的资源。全命名空间范围的 Operator 因灵活性高而常被视为首选。这类 Operator 支持解耦升级、针对故障和监控隔离命名空间以及区别化 API 定义。

      要创建基于 Helm 的、全命名空间范围的新 nginx-operator 项目，请使用以下命令：

      $ operator-sdk new nginx-operator \
        --api-version=example.com/v1alpha1 \
        --kind=Nginx \
        --type=helm
      $ cd nginx-operator

      这样会创建一个 nginx-operator 项目，专门用于监视 APIVersion 为 example.com/v1apha1、Kind 为 Nginx 的 Nginx 资源。

   2. 全集群范围的 Operator 会监视并管理整个集群的资源，在某些情况下非常实用。例如，cert-manager Operator 通常会以全集群范围权限和监视功能进行部署，以便管理整个集群的证书颁发。

      要创建全集群范围的 nginx-operator 项目，请使用以下命令：

      $ operator-sdk new nginx-operator \
          --cluster-scoped \
          --api-version=example.com/v1alpha1 \
          --kind=Nginx \
          --type=helm

      使用 --cluster-scoped 标记来构建进行了以下修改的新 Operator：

      • deploy/operator.yaml：设置 WATCH_NAMESPACE="" 而不要将其设置为 Pod 的命名空间。
      • deploy/role.yaml：使用 ClusterRole 来代替 Role。

      • deploy/role_binding.yaml：

        • 使用 ClusterRoleBinding 来代替 rolebinding。
        • 将主题命名空间设置为 REPLACE_NAMESPACE。该命名空间必须改为部署 Operator 的命名空间。

2. 自定义 Operator 逻辑。

   在本例中，nginx-operator 会针对每个 Nginx 自定义资源 (CR) 执行以下协调逻辑：

   • 如果尚无 Nginx Deployment，请创建一个。
   • 如果尚无 Nginx Service，请创建一个。
   • 如果支持 Nginx Ingress 但尚不存在，请创建一个。
   • 确保 Deployment、Service 和可选的 Ingress 符合 Nginx CR 指定的所需配置（如副本数、镜像、服务类型）。

   默认情况下，nginx-operator 会监视 Vginx 资源事件，如 watches.yaml 文件中所示，并使用指定 Chart 执行 Helm 发行版本：

   - version: v1alpha1
     group: example.com
     kind: Nginx
     chart: /opt/helm/helm-charts/nginx

   1. 查阅 Nginx Helm Chart。

      创建 Helm Operator 项目后，Operator SDK 会创建一个 Helm Chart 示例，其中包含一组模板，用于简单的 Nginx 发行版本。

      本例中，针对 Deployment、Service 和 Ingress 资源提供了模板，另外还有 NOTES.txt 模板，Helm Chart 开发人员可利用该模板传达有关发型版本的实用信息。

      如果您对 Helm Chart 还不够熟悉，请花一点时间查阅 Helm Chart开发人员文档。

   2. 了解 Nginx CR spec。

      Helm 会使用一个名为 values 的概念来自定义 Helm Chart 的默认值，具体值在 Helm Chart 的 values.yaml 文件中定义。

      通过在 CR spec 中设置所需值来覆盖这些默认值。以副本数量为例：

      1. 首先，检查 helm-charts/nginx/values.yaml 文件，会发现 Chart 有一个名为 replicaCount 的值，默认设置为 1。要在部署中使用 2 个 Nginx 实例，您的 CR spec 中必须包含 replicaCount: 2。

         更新 deploy/crds/example_v1alpha1_nginx_cr.yaml 文件，如下所示：

         apiVersion: example.com/v1alpha1
         kind: Nginx
         metadata:
           name: example-nginx
         spec:
           replicaCount: 2

      2. 同样，服务端口默认设置为 80。要改用 8080，请通过添加服务端口覆盖来再次更新 deploy/crds/example_v1alpha1_nginx_cr.yaml 文件：

         apiVersion: example.com/v1alpha1
         kind: Nginx
         metadata:
           name: example-nginx
         spec:
           replicaCount: 2
           service:
             port: 8080

         Helm Operator 应用整个 spec，将其视为 values 文件内容，与 helm install -f ./overrides.yaml 命令的工作方式类似。

3. 部署 CRD。

   在运行 Operator 之前，Kubernetes 需要了解 Operator 将会监视的新自定义资源定义 (CRD)。部署以下 CRD：

   $ oc create -f deploy/crds/example_v1alpha1_nginx_crd.yaml

4. 构建并运行 Operator。

   有两种方式来构建和运行 Operator：

   • 作为 Kubernetes 集群内的一个 Pod。
   • 作为集群外的 Go 程序，使用 operator-sdk up 命令。

   选择以下任一方法：

   1. 作为 Kubernetes 集群内的一个 Pod 来运行。这是生产环境的首先方法。

      1. 构建 nginx-operator 镜像并将其推送至 registry：

         $ operator-sdk build quay.io/example/nginx-operator:v0.0.1
         $ docker push quay.io/example/nginx-operator:v0.0.1

      2. deploy/operator.yaml 文件中会生成 Deployment 清单。本文件中的部署镜像需要从占位符 REPLACE_IMAGE 修改为之前构建的镜像。为此，请运行：

         $ sed -i 's|REPLACE_IMAGE|quay.io/example/nginx-operator:v0.0.1|g' deploy/operator.yaml

      3. 如果使用 --cluster-scoped=true 标记来创建 Operator，请更新所生成的 ClusterRoleBinding 中的服务账户命名空间，以匹配 Operator 的部署位置：

         $ export OPERATOR_NAMESPACE=$(oc config view --minify -o jsonpath='{.contexts[0].context.namespace}')
         $ sed -i "s|REPLACE_NAMESPACE|$OPERATOR_NAMESPACE|g" deploy/role_binding.yaml

         如果要在 OSX 中执行这些步骤，请使用以下命令：

         $ sed -i "" 's|REPLACE_IMAGE|quay.io/example/nginx-operator:v0.0.1|g' deploy/operator.yaml
         $ sed -i "" "s|REPLACE_NAMESPACE|$OPERATOR_NAMESPACE|g" deploy/role_binding.yaml

      4. 部署 nginx-operator：

         $ oc create -f deploy/service_account.yaml
         $ oc create -f deploy/role.yaml
         $ oc create -f deploy/role_binding.yaml
         $ oc create -f deploy/operator.yaml

      5. 验证 nginx-operator 是否正在运行：

         $ oc get deployment
         NAME                 DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
         nginx-operator       1         1         1            1           1m

   2. 在集群外运行。这是开发阶段的首选方法，可加快部署和测试的速度。

      此外，还务必要确保您的计算机上存在 watches.yaml 文件中引用的 Chart 路径。watches.yaml 文件默认能够与通过 operator-sdk build 命令构建的 Operator 镜像一起使用。当使用 operator-sdk up local 命令开发和测试您的 Operator 时，SDK 会在您的本地文件系统中查找该路径。

      1. 在该位置创建符号链接，以指向您的 Helm Chart 路径：

         $ sudo mkdir -p /opt/helm/helm-charts
         $ sudo ln -s $PWD/helm-charts/nginx /opt/helm/helm-charts/nginx

      2. 要使用 $HOME/.kube/config 中的默认 Kubernetes 配置文件在本地运行 Operator：

         $ operator-sdk up local

         要使用所提供的 Kubernetes 配置文件在本地运行 Operator：

         $ operator-sdk up local --kubeconfig=<path_to_config>

5. 部署 Nginx CR。

   应用之前修改的 Nginx CR：

   $ oc apply -f deploy/crds/example_v1alpha1_nginx_cr.yaml

   确保 nginx-operator 为 CR 创建部署：

   $ oc get deployment
   NAME                                           DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
   example-nginx-b9phnoz9spckcrua7ihrbkrt1        2         2         2            2           1m

   检查 Pod，确认已创建两个副本：

   $ oc get pods
   NAME                                                      READY     STATUS    RESTARTS   AGE
   example-nginx-b9phnoz9spckcrua7ihrbkrt1-f8f9c875d-fjcr9   1/1       Running   0          1m
   example-nginx-b9phnoz9spckcrua7ihrbkrt1-f8f9c875d-ljbzl   1/1       Running   0          1m

   检查 Service 端口是否已设置为 8080：

   $ oc get service
   NAME                                      TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
   example-nginx-b9phnoz9spckcrua7ihrbkrt1   ClusterIP   10.96.26.3   <none>        8080/TCP   1m

6. 更新 replicaCount 并删除端口。

   将 spec.replicaCount 字段从 2 改为 3，删除 spec.service 字段并应用更改：

   $ cat deploy/crds/example_v1alpha1_nginx_cr.yaml
   apiVersion: "example.com/v1alpha1"
   kind: "Nginx"
   metadata:
     name: "example-nginx"
   spec:
     replicaCount: 3
   
   $ oc apply -f deploy/crds/example_v1alpha1_nginx_cr.yaml

   确认 Operator 已更改 Deployment 大小：

   $ oc get deployment
   NAME                                           DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
   example-nginx-b9phnoz9spckcrua7ihrbkrt1        3         3         3            3           1m

   检查 Service 端口是否已设置为默认值 80。

   $ oc get service
   NAME                                      TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)  AGE
   example-nginx-b9phnoz9spckcrua7ihrbkrt1   ClusterIP   10.96.26.3   <none>        80/TCP   1m

7. 清理资源：

   $ oc delete -f deploy/crds/example_v1alpha1_nginx_cr.yaml
   $ oc delete -f deploy/operator.yaml
   $ oc delete -f deploy/role_binding.yaml
   $ oc delete -f deploy/role.yaml
   $ oc delete -f deploy/service_account.yaml
   $ oc delete -f deploy/crds/example_v1alpha1_nginx_crd.yaml