网络

流程

1. 选择 Operators → OperatorHub。
2. 在 All Items 下面的搜索字段中, 输入 nmstate 并点 Enter 来搜索 Kubernetes NMState Operator。
3. 点 Kubernetes NMState Operator 搜索结果。
4. 点 Install 打开 Install Operator 窗口。
5. 点 Install 安装 Operator。
6. Operator 安装完成后，点 View Operator。
7. 在 Provided APIs 下，点 Create Instance 打开对话框以创建 kubernetes-nmstate 实例。

8. 在对话框的 Name 字段中，确保实例的名称是 nmstate.

   注意

   名称限制是一个已知问题。该实例是整个集群的单个实例。

9. 接受默认设置并点 Create 创建实例。

流程

1. 创建 nmstate Operator 命名空间：

   $ cat << EOF | oc apply -f -
   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-nmstate
   spec:
     finalizers:
     - kubernetes
   EOF

2. 创建 OperatorGroup ：

   $ cat << EOF | oc apply -f -
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: openshift-nmstate
     namespace: openshift-nmstate
   spec:
     targetNamespaces:
     - openshift-nmstate
   EOF

3. 订阅 nmstate Operator:

   $ cat << EOF| oc apply -f -
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: kubernetes-nmstate-operator
     namespace: openshift-nmstate
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: kubernetes-nmstate-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
   EOF

4. 确认 nmstate Operator 部署的 ClusterServiceVersion (CSV) 状态等于 Succeeded ：

   $ oc get clusterserviceversion -n openshift-nmstate \
    -o custom-columns=Name:.metadata.name,Phase:.status.phase

   输出示例

   Name                                             Phase
   kubernetes-nmstate-operator.4.17.0-202210210157   Succeeded

5. 创建 nmstate Operator 实例：

   $ cat << EOF | oc apply -f -
   apiVersion: nmstate.io/v1
   kind: NMState
   metadata:
     name: nmstate
   EOF

6. 验证 NMState Operator 的 pod 是否正在运行：

   $ oc get pod -n openshift-nmstate

   输出示例

   Name                                      Ready   Status  Restarts  Age
   pod/nmstate-cert-manager-5b47d8dddf-5wnb5   1/1   Running  0         77s
   pod/nmstate-console-plugin-d6b76c6b9-4dcwm  1/1   Running  0         77s
   pod/nmstate-handler-6v7rm                   1/1   Running  0         77s
   pod/nmstate-handler-bjcxw                   1/1   Running  0         77s
   pod/nmstate-handler-fv6m2                   1/1   Running  0         77s
   pod/nmstate-handler-kb8j6                   1/1   Running  0         77s
   pod/nmstate-handler-wn55p                   1/1   Running  0         77s
   pod/nmstate-operator-f6bb869b6-v5m92        1/1   Running  0        4m51s
   pod/nmstate-webhook-66d6bbd84b-6n674        1/1   Running  0         77s
   pod/nmstate-webhook-66d6bbd84b-vlzrd        1/1   Running  0         77s

流程

1. 如果要从 OpenShift Container Platform Web 控制台中的 Developer 视角查看指标，请完成以下任务：

   1. 点 Observe。
   2. 要查看特定项目的指标，请在 Project: 列表中选择该项目。例如，openshift-nmstate。
   3. 点 Metrics 选项卡。

   4. 要在图表中视觉化指标，请从 Select query 列表中选择查询，或者通过选择 Show PromQL 根据所选查询创建自定义 PromQL 查询。

      注意

      在 Developer 视角中，您一次只能运行一个查询。

2. 如果要从 OpenShift Container Platform Web 控制台中的 Administrator 视角查看指标，请完成以下任务：

   1. 点 Observe → Metrics。
   2. 在 Expression 字段中输入 kubernetes_nmstate_features_applied。
   3. 点 Add query，然后点 Run query。

3. 要探索视觉化的指标，请执行以下操作之一：

   1. 要放大图表并更改时间范围，请执行以下任何任务：

      • 要可视化选择时间范围，请单击并拖动图表。
      • 要选择时间范围，请使用控制台左上角的菜单。
   2. 要重置时间范围，请选择 Reset Zoom。
   3. 要显示所有查询在特定时间点的输出，请将鼠标光标停留在图表中的对应点上。查询输出显示在弹出窗口中。

流程

1. 您可以通过运行以下命令来创建 Subscription 对象，以按需部署 AWS Load Balancer Operator：

   $ oc -n aws-load-balancer-operator get sub aws-load-balancer-operator --template='{{.status.installplan.name}}{{"\n"}}'

   输出示例

   install-zlfbt

2. 运行以下命令，检查安装计划的状态是否为 Complete ：

   $ oc -n aws-load-balancer-operator get ip <install_plan_name> --template='{{.status.phase}}{{"\n"}}'

   输出示例

   Complete

3. 运行以下命令，查看 aws-load-balancer-operator-controller-manager 部署的状态：

   $ oc get -n aws-load-balancer-operator deployment/aws-load-balancer-operator-controller-manager

   输出示例

   NAME                                           READY     UP-TO-DATE   AVAILABLE   AGE
   aws-load-balancer-operator-controller-manager  1/1       1            1           23h

流程

1. 运行以下命令来创建 aws-load-balancer-operator 项目：

   $ oc new-project aws-load-balancer-operator

2. 运行以下命令来创建 OperatorGroup 对象：

   $ cat <<EOF | oc apply -f -
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: aws-load-balancer-operator
     namespace: aws-load-balancer-operator
   spec:
     targetNamespaces: []
   EOF

3. 运行以下命令来创建 Subscription 对象：

   $ cat <<EOF | oc apply -f -
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: aws-load-balancer-operator
     namespace: aws-load-balancer-operator
   spec:
     channel: stable-v1
     name: aws-load-balancer-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     config:
       env:
       - name: ROLEARN
         value: "<albo_role_arn>" 1
   EOF

   1

   指定 CredentialsRequest 中使用的 ARN 角色，以便为 AWS Load Balancer Operator 置备 AWS 凭证。一个 <albo_role_arn> 示例是 arn:aws:iam::<aws_account_number>:role/albo-operator。

   注意

   AWS Load Balancer Operator 会在进入 Available 状态前等待创建 secret。

流程

1. 在 OpenShift Container Platform Web 控制台中进入 Operators → OperatorHub。
2. 选择 AWS Load Balancer Operator。您可以使用 Filter by keyword 文本框，或者使用过滤器列表从 Operator 列表搜索 AWS Load Balancer Operator。
3. 选择 aws-load-balancer-operator 命名空间。

4. 在 Install Operator 页面中，选择以下选项：

   1. 更新频道为 stable-v1。
   2. 安装模式 为 All namespaces on the cluster (default)。
   3. Installed Namespace 为 aws-load-balancer-operator。如果 aws-load-balancer-operator 命名空间不存在，它会在 Operator 安装过程中创建。
   4. 选择 Update approval 为 Automatic 或 Manual。默认情况下，Update approval 设置为 Automatic。如果选择自动更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。如果选择手动更新，OLM 将创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，以便将 Operator 更新至新版本。
5. 点 Install。

流程

1. 创建一个 Namespace 对象：

   1. 创建定义 Namespace 对象的 YAML 文件：

      namespace.yaml 文件示例

      apiVersion: v1
      kind: Namespace
      metadata:
        name: aws-load-balancer-operator

   2. 运行以下命令来创建 Namespace 对象：

      $ oc apply -f namespace.yaml

2. 创建一个 OperatorGroup 对象：

   1. 创建定义 OperatorGroup 对象的 YAML 文件：

      operatorgroup.yaml 文件示例

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: aws-lb-operatorgroup
        namespace: aws-load-balancer-operator
      spec:
        upgradeStrategy: Default

   2. 运行以下命令来创建 OperatorGroup 对象：

      $ oc apply -f operatorgroup.yaml

3. 创建 Subscription 对象：

   1. 创建定义 Subscription 对象的 YAML 文件：

      subscription.yaml 文件示例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: aws-load-balancer-operator
        namespace: aws-load-balancer-operator
      spec:
        channel: stable-v1
        installPlanApproval: Automatic
        name: aws-load-balancer-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   2. 运行以下命令来创建 Subscription 对象：

      $ oc apply -f subscription.yaml

验证

1. 从订阅中获取安装计划的名称：

   $ oc -n aws-load-balancer-operator \
       get subscription aws-load-balancer-operator \
       --template='{{.status.installplan.name}}{{"\n"}}'

2. 检查安装计划的状态：

   $ oc -n aws-load-balancer-operator \
       get ip <install_plan_name> \
       --template='{{.status.phase}}{{"\n"}}'

   输出必须是 Complete。

流程

1. 创建定义 AWSLoadBalancerController 对象的 YAML 文件：

   sample-aws-lb.yaml 文件示例

   apiVersion: networking.olm.openshift.io/v1
   kind: AWSLoadBalancerController 1
   metadata:
     name: cluster 2
   spec:
     subnetTagging: Auto 3
     additionalResourceTags: 4
     - key: example.org/security-scope
       value: staging
     ingressClass: alb 5
     config:
       replicas: 2 6
     enabledAddons: 7
       - AWSWAFv2 8

   1

   定义 AWSLoadBalancerController 对象。

   2

   定义 AWS Load Balancer Controller 名称。此实例名称作为后缀添加到所有相关资源。

   3

   配置 AWS Load Balancer Controller 的子网标记方法。以下值有效：

   • Auto ：AWS Load Balancer Operator 决定属于集群的子网，并相应地标记它们。如果内部子网上不存在内部子网标签，Operator 无法正确确定角色。
   • Manual ：您可以使用适当的角色标签手动标记属于集群的子网。如果在用户提供的基础架构上安装集群，则使用这个选项。

   4

   定义在置备 AWS 资源时 AWS Load Balancer Controller 使用的标签。

   5

   定义入口类名称。默认值为 alb。

   6

   指定 AWS Load Balancer Controller 的副本数。

   7

   将注解指定为 AWS Load Balancer Controller 的附加组件。

   8

   启用 alb.ingress.kubernetes.io/wafv2-acl-arn 注解。

2. 运行以下命令来创建 AWSLoadBalancerController 对象：

   $ oc create -f sample-aws-lb.yaml

3. 创建定义 Deployment 资源的 YAML 文件：

   sample-aws-lb.yaml 文件示例

   apiVersion: apps/v1
   kind: Deployment 1
   metadata:
     name: <echoserver> 2
     namespace: echoserver
   spec:
     selector:
       matchLabels:
         app: echoserver
     replicas: 3 3
     template:
       metadata:
         labels:
           app: echoserver
       spec:
         containers:
           - image: openshift/origin-node
             command:
              - "/bin/socat"
             args:
               - TCP4-LISTEN:8080,reuseaddr,fork
               - EXEC:'/bin/bash -c \"printf \\\"HTTP/1.0 200 OK\r\n\r\n\\\"; sed -e \\\"/^\r/q\\\"\"'
             imagePullPolicy: Always
             name: echoserver
             ports:
               - containerPort: 8080

   1

   定义部署资源。

   2

   指定部署名称。

   3

   指定部署的副本数量。

4. 创建定义 Service 资源的 YAML 文件：

   service-albo.yaml 文件示例

   apiVersion: v1
   kind: Service 1
   metadata:
     name: <echoserver> 2
     namespace: echoserver
   spec:
     ports:
       - port: 80
         targetPort: 8080
         protocol: TCP
     type: NodePort
     selector:
       app: echoserver

   1

   定义服务资源。

   2

   指定服务名称。

5. 创建定义 Ingress 资源的 YAML 文件：

   ingress-albo.yaml 文件示例

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: <name> 1
     namespace: echoserver
     annotations:
       alb.ingress.kubernetes.io/scheme: internet-facing
       alb.ingress.kubernetes.io/target-type: instance
   spec:
     ingressClassName: alb
     rules:
       - http:
           paths:
             - path: /
               pathType: Exact
               backend:
                 service:
                   name: <echoserver> 2
                   port:
                     number: 80

   1

   为 Ingress 资源指定一个名称。

   2

   指定服务名称。

1. 运行以下命令，创建配置映射以在 aws-load-balancer-operator 命名空间中包含证书颁发机构 (CA) 捆绑包：

   $ oc -n aws-load-balancer-operator create configmap trusted-ca

2. 要将可信 CA 捆绑包注入配置映射中，请运行以下命令将 config.openshift.io/inject-trusted-cabundle=true 标签添加到配置映射中：

   $ oc -n aws-load-balancer-operator label cm trusted-ca config.openshift.io/inject-trusted-cabundle=true

3. 运行以下命令，更新 AWS Load Balancer Operator 订阅以访问 AWS Load Balancer Operator 部署中的配置映射：

   $ oc -n aws-load-balancer-operator patch subscription aws-load-balancer-operator --type='merge' -p '{"spec":{"config":{"env":[{"name":"TRUSTED_CA_CONFIGMAP_NAME","value":"trusted-ca"}],"volumes":[{"name":"trusted-ca","configMap":{"name":"trusted-ca"}}],"volumeMounts":[{"name":"trusted-ca","mountPath":"/etc/pki/tls/certs/albo-tls-ca-bundle.crt","subPath":"ca-bundle.crt"}]}}}'

4. 部署 AWS Load Balancer Operator 后，运行以下命令来验证 CA 捆绑包是否已添加到 aws-load-balancer-operator-controller-manager 部署中：

   $ oc -n aws-load-balancer-operator exec deploy/aws-load-balancer-operator-controller-manager -c manager -- bash -c "ls -l /etc/pki/tls/certs/albo-tls-ca-bundle.crt; printenv TRUSTED_CA_CONFIGMAP_NAME"

   输出示例

   -rw-r--r--. 1 root 1000690000 5875 Jan 11 12:25 /etc/pki/tls/certs/albo-tls-ca-bundle.crt
   trusted-ca

5. 可选：通过运行以下命令，每次 configmap 发生变化时重启 AWS Load Balancer Operator 的部署：

   $ oc -n aws-load-balancer-operator rollout restart deployment/aws-load-balancer-operator-controller-manager

流程

1. 创建定义 AWSLoadBalancerController 资源的 YAML 文件：

   add-tls-termination-albc.yaml 文件示例

   apiVersion: networking.olm.openshift.io/v1
   kind: AWSLoadBalancerController
   metadata:
     name: cluster
   spec:
     subnetTagging: Auto
     ingressClass: tls-termination 1

   1

   定义入口类名称。如果集群中没有 ingress 类，AWS Load Balancer Controller 会创建一个。如果 spec.controller 设置为 ingress.k8s.aws/alb，AWS Load Balancer Controller 会协调额外的入口类值。

2. 创建定义 Ingress 资源的 YAML 文件：

   add-tls-termination-ingress.yaml 文件示例

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: <example> 1
     annotations:
       alb.ingress.kubernetes.io/scheme: internet-facing 2
       alb.ingress.kubernetes.io/certificate-arn: arn:aws:acm:us-west-2:xxxxx 3
   spec:
     ingressClassName: tls-termination 4
     rules:
     - host: example.com 5
       http:
           paths:
             - path: /
               pathType: Exact
               backend:
                 service:
                   name: <example_service> 6
                   port:
                     number: 80

   1

   指定入口名称。

   2

   控制器在公共子网中为入口置备负载均衡器，以便通过互联网访问负载均衡器。

   3

   附加到负载均衡器的证书的 Amazon 资源名称(ARN)。

   4

   定义入口类名称。

   5

   定义流量路由的域。

   6

   定义流量路由的服务。

流程

1. 创建一个 IngressClassParams 资源 YAML 文件，如 sample-single-lb-params.yaml，如下所示：

   apiVersion: elbv2.k8s.aws/v1beta1 1
   kind: IngressClassParams
   metadata:
     name: single-lb-params 2
   spec:
     group:
       name: single-lb 3

   1

   定义 IngressClassParams 资源的 API 组和版本。

   2

   指定 IngressClassParams 资源名称。

   3

   指定 IngressGroup 资源名称。此类的所有 Ingress 资源都属于此 IngressGroup。

2. 运行以下命令来创建 IngressClassParams 资源：

   $ oc create -f sample-single-lb-params.yaml

3. 创建 IngressClass 资源 YAML 文件，如 sample-single-lb-class.yaml，如下所示：

   apiVersion: networking.k8s.io/v1 1
   kind: IngressClass
   metadata:
     name: single-lb 2
   spec:
     controller: ingress.k8s.aws/alb 3
     parameters:
       apiGroup: elbv2.k8s.aws 4
       kind: IngressClassParams 5
       name: single-lb-params 6

   1

   定义 IngressClass 资源的 API 组和版本。

   2

   指定入口类名称。

   3

   定义控制器名称。ingress.k8s.aws/alb 值表示此类的所有入口资源都应由 AWS Load Balancer Controller 管理。

   4

   定义 IngressClassParams 资源的 API 组。

   5

   定义 IngressClassParams 资源的资源类型。

   6

   定义 IngressClassParams 资源名称。

4. 运行以下命令来创建 IngressClass 资源：

   $ oc create -f sample-single-lb-class.yaml

5. 创建 AWSLoadBalancerController 资源 YAML 文件，如 sample-single-lb.yaml，如下所示：

   apiVersion: networking.olm.openshift.io/v1
   kind: AWSLoadBalancerController
   metadata:
     name: cluster
   spec:
     subnetTagging: Auto
     ingressClass: single-lb 1

   1

   定义 IngressClass 资源的名称。

6. 运行以下命令来创建 AWSLoadBalancerController 资源：

   $ oc create -f sample-single-lb.yaml

7. 创建 Ingress 资源 YAML 文件，如 sample-multiple-ingress.yaml，如下所示：

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: example-1 1
     annotations:
       alb.ingress.kubernetes.io/scheme: internet-facing 2
       alb.ingress.kubernetes.io/group.order: "1" 3
       alb.ingress.kubernetes.io/target-type: instance 4
   spec:
     ingressClassName: single-lb 5
     rules:
     - host: example.com 6
       http:
           paths:
           - path: /blog 7
             pathType: Prefix
             backend:
               service:
                 name: example-1 8
                 port:
                   number: 80 9
   ---
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: example-2
     annotations:
       alb.ingress.kubernetes.io/scheme: internet-facing
       alb.ingress.kubernetes.io/group.order: "2"
       alb.ingress.kubernetes.io/target-type: instance
   spec:
     ingressClassName: single-lb
     rules:
     - host: example.com
       http:
           paths:
           - path: /store
             pathType: Prefix
             backend:
               service:
                 name: example-2
                 port:
                   number: 80
   ---
   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: example-3
     annotations:
       alb.ingress.kubernetes.io/scheme: internet-facing
       alb.ingress.kubernetes.io/group.order: "3"
       alb.ingress.kubernetes.io/target-type: instance
   spec:
     ingressClassName: single-lb
     rules:
     - host: example.com
       http:
           paths:
           - path: /
             pathType: Prefix
             backend:
               service:
                 name: example-3
                 port:
                   number: 80

   1

   指定入口名称。

   2

   指明在公共子网中置备的负载均衡器，以访问互联网。

   3

   指定在负载均衡器收到请求时，来自多个入口资源的规则的顺序匹配。

   4

   表示负载均衡器将针对 OpenShift Container Platform 节点为目标，以访问该服务。

   5

   指定属于此入口的入口类。

   6

   定义用于请求路由的域名。

   7

   定义必须路由到服务的路径。

   8

   定义提供 Ingress 资源中配置的端点的服务名称。

   9

   定义服务上提供端点的端口。

8. 运行以下命令来创建 Ingress 资源：

   $ oc create -f sample-multiple-ingress.yaml

流程

1. 运行以下命令来创建 bpfman 命名空间：

   $ cat << EOF| oc create -f -
   apiVersion: v1
   kind: Namespace
   metadata:
     labels:
       pod-security.kubernetes.io/enforce: privileged
       pod-security.kubernetes.io/enforce-version: v1.24
     name: bpfman
   EOF

2. 运行以下命令来创建 OperatorGroup CR：

   $ cat << EOF| oc create -f -
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: bpfman-operators
     namespace: bpfman
   EOF

3. 订阅 eBPF Manager Operator。

   1. 要为 eBPF Manager Operator 创建 Subscription CR，请输入以下命令：

      $ cat << EOF| oc create -f -
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: bpfman-operator
        namespace: bpfman
      spec:
        name: bpfman-operator
        channel: alpha
        source: community-operators
        sourceNamespace: openshift-marketplace
      EOF

4. 要验证是否已安装 Operator，请输入以下命令：

   $ oc get ip -n bpfman

   输出示例

   NAME            CSV                                 APPROVAL    APPROVED
   install-ppjxl   security-profiles-operator.v0.8.5   Automatic   true

5. 要验证 Operator 的版本，请输入以下命令：

   $ oc get csv -n bpfman

   输出示例

   NAME                                DISPLAY                      VERSION   REPLACES                            PHASE
   bpfman-operator.v0.5.0              eBPF Manager Operator              0.5.0     bpfman-operator.v0.4.2              Succeeded

流程

1. 安装 eBPF Manager Operator：

   1. 在 OpenShift Container Platform Web 控制台中，点击 Operators → OperatorHub。
   2. 从可用的 Operator 列表中选择 eBPF Manager Operator，如果提示输入 Show community Operator，请点 Continue。
   3. 点 Install。
   4. 在 Install Operator 页面中，在 Installed Namespace 下选择 Operator recommended Namespace。
   5. 点 Install。

2. 验证 eBPF Manager Operator 是否已成功安装：

   1. 导航到 Operators → Installed Operators 页面。

   2. 确保 openshift-ingress-node-firewall 项目中列出的 eBPF Manager Operator 的 Status 为 InstallSucceeded。

      注意

      在安装过程中，Operator 可能会显示 Failed 状态。如果安装过程结束后有 InstallSucceeded 信息，您可以忽略这个 Failed 信息。

      如果 Operator 没有 InstallSucceeded 状态，请按照以下步骤进行故障排除：

      • 检查 Operator Subscriptions 和 Install Plans 选项卡中的 Status 项中是否有任何错误。
      • 进入到 Workloads → Pods 页面，在 bpfman 项目中检查 pod 的日志。

流程

1. 要下载清单，请输入以下命令：

   $ curl -L https://github.com/bpfman/bpfman/releases/download/v0.5.1/go-xdp-counter-install-selinux.yaml -o go-xdp-counter-install-selinux.yaml

2. 要部署示例 eBPF 应用程序，请输入以下命令：

   $ oc create -f go-xdp-counter-install-selinux.yaml

   输出示例

   namespace/go-xdp-counter created
   serviceaccount/bpfman-app-go-xdp-counter created
   clusterrolebinding.rbac.authorization.k8s.io/xdp-binding created
   daemonset.apps/go-xdp-counter-ds created
   xdpprogram.bpfman.io/go-xdp-counter-example created
   selinuxprofile.security-profiles-operator.x-k8s.io/bpfman-secure created

3. 要确认 eBPF 示例应用程序已被成功部署，请输入以下命令：

   $ oc get all -o wide -n go-xdp-counter

   输出示例

   NAME                          READY   STATUS    RESTARTS   AGE   IP             NODE                                 NOMINATED NODE   READINESS GATES
   pod/go-xdp-counter-ds-4m9cw   1/1     Running   0          44s   10.129.0.92    ci-ln-dcbq7d2-72292-ztrkp-master-1   <none>           <none>
   pod/go-xdp-counter-ds-7hzww   1/1     Running   0          44s   10.130.0.86    ci-ln-dcbq7d2-72292-ztrkp-master-2   <none>           <none>
   pod/go-xdp-counter-ds-qm9zx   1/1     Running   0          44s   10.128.0.101   ci-ln-dcbq7d2-72292-ztrkp-master-0   <none>           <none>
   
   NAME                               DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE   CONTAINERS       IMAGES                                           SELECTOR
   daemonset.apps/go-xdp-counter-ds   3         3         3       3            3           <none>          44s   go-xdp-counter   quay.io/bpfman-userspace/go-xdp-counter:v0.5.0   name=go-xdp-counter

4. 要确认示例 XDP 程序正在运行，请输入以下命令：

   $ oc get xdpprogram go-xdp-counter-example

   输出示例

   NAME                     BPFFUNCTIONNAME   NODESELECTOR   STATUS
   go-xdp-counter-example   xdp_stats         {}             ReconcileSuccess

5. 要确认 XDP 程序正在收集数据，请输入以下命令：

   $ oc logs <pod_name> -n go-xdp-counter

   将 <pod_name> 替换为 XDP 程序 pod 的名称，如 go-xdp-counter-ds-4m9cw。

   输出示例

   2024/08/13 15:20:06 15016 packets received
   2024/08/13 15:20:06 93581579 bytes received
   
   2024/08/13 15:20:09 19284 packets received
   2024/08/13 15:20:09 99638680 bytes received
   
   2024/08/13 15:20:12 23522 packets received
   2024/08/13 15:20:12 105666062 bytes received
   
   2024/08/13 15:20:15 27276 packets received
   2024/08/13 15:20:15 112028608 bytes received
   
   2024/08/13 15:20:18 29470 packets received
   2024/08/13 15:20:18 112732299 bytes received
   
   2024/08/13 15:20:21 32588 packets received
   2024/08/13 15:20:21 113813781 bytes received

1. 运行以下命令，检查安装计划的名称：

   $ oc -n external-dns-operator get sub external-dns-operator -o yaml | yq '.status.installplan.name'

   输出示例

   install-zcvlr

2. 运行以下命令，检查安装计划的状态是否为 Complete ：

   $ oc -n external-dns-operator get ip <install_plan_name> -o yaml | yq '.status.phase'

   输出示例

   Complete

3. 运行以下命令，查看 external-dns-operator 部署的状态：

   $ oc get -n external-dns-operator deployment/external-dns-operator

   输出示例

   NAME                    READY     UP-TO-DATE   AVAILABLE   AGE
   external-dns-operator   1/1       1            1           23h

流程

1. 运行以下命令，查看外部 DNS Operator 的日志：

   $ oc logs -n external-dns-operator deployment/external-dns-operator -c external-dns-operator

流程

1. 在 OpenShift Container Platform Web 控制台中点 Operators → OperatorHub。
2. 点 External DNS Operator。您可以使用 Filter by keyword 文本框或过滤器列表从 Operator 列表中搜索 External DNS Operator。
3. 选择 external-dns-operator 命名空间。
4. 在 External DNS Operator 页面中，点 Install。

5. 在 Install Operator 页面中，确保选择了以下选项：

   1. 将频道更新为 stable-v1。
   2. 安装模式为 A specific name on the cluster。
   3. 安装的命名空间为 external-dns-operator。如果命名空间 external-dns-operator 不存在，它会在 Operator 安装过程中创建。
   4. 将 Approval Strategy 选为 Automatic 或 Manual。默认情况下，批准策略设置为 Automatic。
   5. 点 Install。

流程

1. 创建一个 Namespace 对象：

   1. 创建定义 Namespace 对象的 YAML 文件：

      namespace.yaml 文件示例

      apiVersion: v1
      kind: Namespace
      metadata:
        name: external-dns-operator

   2. 运行以下命令来创建 Namespace 对象：

      $ oc apply -f namespace.yaml

2. 创建一个 OperatorGroup 对象：

   1. 创建定义 OperatorGroup 对象的 YAML 文件：

      operatorgroup.yaml 文件示例

      apiVersion: operators.coreos.com/v1
      kind: OperatorGroup
      metadata:
        name: external-dns-operator
        namespace: external-dns-operator
      spec:
        upgradeStrategy: Default
        targetNamespaces:
        - external-dns-operator

   2. 运行以下命令来创建 OperatorGroup 对象：

      $ oc apply -f operatorgroup.yaml

3. 创建 Subscription 对象：

   1. 创建定义 Subscription 对象的 YAML 文件：

      subscription.yaml 文件示例

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: external-dns-operator
        namespace: external-dns-operator
      spec:
        channel: stable-v1
        installPlanApproval: Automatic
        name: external-dns-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

   2. 运行以下命令来创建 Subscription 对象：

      $ oc apply -f subscription.yaml

验证

1. 运行以下命令，从订阅获取安装计划的名称：

   $ oc -n external-dns-operator \
       get subscription external-dns-operator \
       --template='{{.status.installplan.name}}{{"\n"}}'

2. 运行以下命令，验证安装计划的状态是否为 Complete ：

   $ oc -n external-dns-operator \
       get ip <install_plan_name> \
       --template='{{.status.phase}}{{"\n"}}'

3. 运行以下命令，验证 external-dns-operator pod 的状态是否为 Running ：

   $ oc -n external-dns-operator get pod

   输出示例

   NAME                                     READY   STATUS    RESTARTS   AGE
   external-dns-operator-5584585fd7-5lwqm   2/2     Running   0          11m

4. 运行以下命令，验证订阅的目录源是否为 redhat-operators ：

   $ oc -n external-dns-operator get subscription

   输出示例

   NAME                    PACKAGE                 SOURCE             CHANNEL
   external-dns-operator   external-dns-operator   redhat-operators   stable-v1

5. 运行以下命令检查 external-dns-operator 版本：

   $ oc -n external-dns-operator get csv

   输出示例

   NAME                           DISPLAY                VERSION   REPLACES   PHASE
   external-dns-operator.v<1.y.z>   ExternalDNS Operator   <1.y.z>                Succeeded

流程

1. 检查用户。用户必须有权访问 kube-system 命名空间。如果没有凭证，您可以从 kube-system 命名空间中获取凭证，以使用云供应商客户端：

   $ oc whoami

   输出示例

   system:admin

2. 从 kube-system 命名空间中存在的 aws-creds secret 中获取值。

   $ export AWS_ACCESS_KEY_ID=$(oc get secrets aws-creds -n kube-system  --template={{.data.aws_access_key_id}} | base64 -d)
   $ export AWS_SECRET_ACCESS_KEY=$(oc get secrets aws-creds -n kube-system  --template={{.data.aws_secret_access_key}} | base64 -d)

3. 获取路由来检查域：

   $ oc get routes --all-namespaces | grep console

   输出示例

   openshift-console          console             console-openshift-console.apps.testextdnsoperator.apacshift.support                       console             https   reencrypt/Redirect     None
   openshift-console          downloads           downloads-openshift-console.apps.testextdnsoperator.apacshift.support                     downloads           http    edge/Redirect          None

4. 获取 dns zones 列表以查找与之前找到的路由域对应的 dns 区域：

   $ aws route53 list-hosted-zones | grep testextdnsoperator.apacshift.support

   输出示例

   HOSTEDZONES	terraform	/hostedzone/Z02355203TNN1XXXX1J6O	testextdnsoperator.apacshift.support.	5

5. 为路由源创建 ExternalDNS 资源：

   $ cat <<EOF | oc create -f -
   apiVersion: externaldns.olm.openshift.io/v1beta1
   kind: ExternalDNS
   metadata:
     name: sample-aws 1
   spec:
     domains:
     - filterType: Include   2
       matchType: Exact   3
       name: testextdnsoperator.apacshift.support 4
     provider:
       type: AWS 5
     source:  6
       type: OpenShiftRoute 7
       openshiftRouteOptions:
         routerName: default 8
   EOF

   1

   定义外部 DNS 资源的名称。

   2

   默认情况下，所有托管区都被选为潜在的目标。您可以包括需要的托管区。

   3

   目标区的域匹配必须是完全准确的（与正则表达式匹配不同）。

   4

   指定您要更新的区域的确切域。路由的主机名必须是指定域的子域。

   5

   定义 AWS Route53 DNS 供应商。

   6

   定义 DNS 记录源的选项。

   7

   定义 OpenShift 路由资源，作为在之前指定的 DNS 供应商中创建的 DNS 记录来源。

   8

   如果源是 OpenShiftRoute，您可以传递 OpenShift Ingress Controller 名称。外部 DNS Operator 在创建 CNAME 记录时，选择该路由器的规范主机名作为目标。

6. 使用以下命令，检查为 OCP 路由创建的记录：

   $ aws route53 list-resource-record-sets --hosted-zone-id Z02355203TNN1XXXX1J6O --query "ResourceRecordSets[?Type == 'CNAME']" | grep console

流程

1. 运行以下命令，获取您创建的 IAM 角色的 Role ARN，以允许帐户 B 访问帐户 A 的 Route 53 托管区：

   $ aws --profile account-a iam get-role --role-name user-rol1 | head -1

   输出示例

   ROLE	arn:aws:iam::1234567890123:role/user-rol1	2023-09-14T17:21:54+00:00	3600	/	AROA3SGB2ZRKRT5NISNJN	user-rol1

2. 运行以下命令，找到用于帐户 A 凭证的私有托管区：

   $ aws --profile account-a route53 list-hosted-zones | grep testextdnsoperator.apacshift.support

   输出示例

   HOSTEDZONES	terraform	/hostedzone/Z02355203TNN1XXXX1J6O	testextdnsoperator.apacshift.support. 5

3. 运行以下命令来创建 ExternalDNS 对象：

   $ cat <<EOF | oc create -f -
   apiVersion: externaldns.olm.openshift.io/v1beta1
   kind: ExternalDNS
   metadata:
     name: sample-aws
   spec:
     domains:
     - filterType: Include
       matchType: Exact
       name: testextdnsoperator.apacshift.support
     provider:
       type: AWS
       aws:
         assumeRole:
           arn: arn:aws:iam::12345678901234:role/user-rol1 1
     source:
       type: OpenShiftRoute
       openshiftRouteOptions:
         routerName: default
   EOF

   1

   指定 Role ARN，以便在帐户 A 中创建 DNS 记录。

4. 使用以下命令，检查为 OpenShift Container Platform (OCP) 路由创建的记录：

   $ aws --profile account-a route53 list-resource-record-sets --hosted-zone-id Z02355203TNN1XXXX1J6O --query "ResourceRecordSets[?Type == 'CNAME']" | grep console-openshift-console

流程

1. 运行以下命令，从 kube-system 命名空间中获取凭证以使用云供应商客户端：

   $ CLIENT_ID=$(oc get secrets azure-credentials  -n kube-system  --template={{.data.azure_client_id}} | base64 -d)
   $ CLIENT_SECRET=$(oc get secrets azure-credentials  -n kube-system  --template={{.data.azure_client_secret}} | base64 -d)
   $ RESOURCE_GROUP=$(oc get secrets azure-credentials  -n kube-system  --template={{.data.azure_resourcegroup}} | base64 -d)
   $ SUBSCRIPTION_ID=$(oc get secrets azure-credentials  -n kube-system  --template={{.data.azure_subscription_id}} | base64 -d)
   $ TENANT_ID=$(oc get secrets azure-credentials  -n kube-system  --template={{.data.azure_tenant_id}} | base64 -d)

2. 运行以下命令来登录到 Azure：

   $ az login --service-principal -u "${CLIENT_ID}" -p "${CLIENT_SECRET}" --tenant "${TENANT_ID}"

3. 运行以下命令来获取路由列表：

   $ oc get routes --all-namespaces | grep console

   输出示例

   openshift-console          console             console-openshift-console.apps.test.azure.example.com                       console             https   reencrypt/Redirect     None
   openshift-console          downloads           downloads-openshift-console.apps.test.azure.example.com                     downloads           http    edge/Redirect          None

4. 运行以下命令，获取 DNS 区域列表：

   $ az network dns zone list --resource-group "${RESOURCE_GROUP}"

5. 创建一个 YAML 文件，如 external-dns-sample-azure.yaml，该文件定义 ExternalDNS 对象：

   external-dns-sample-azure.yaml 文件示例

   apiVersion: externaldns.olm.openshift.io/v1beta1
   kind: ExternalDNS
   metadata:
     name: sample-azure 1
   spec:
     zones:
     - "/subscriptions/1234567890/resourceGroups/test-azure-xxxxx-rg/providers/Microsoft.Network/dnszones/test.azure.example.com" 2
     provider:
       type: Azure 3
     source:
       openshiftRouteOptions: 4
         routerName: default 5
       type: OpenShiftRoute 6

   1

   指定外部 DNS 名称。

   2

   定义区域 ID。

   3

   定义提供程序类型。

   4

   您可以定义 DNS 记录源的选项。

   5

   如果源类型是 OpenShiftRoute，您可以传递 OpenShift Ingress Controller 名称。外部 DNS 在创建 CNAME 记录时，选择该路由器的规范主机名作为目标。

   6

   将 route 资源定义为 Azure DNS 记录的来源。

6. 运行以下命令，检查为 OpenShift Container Platform 路由创建的 DNS 记录：

   $ az network dns record-set list -g "${RESOURCE_GROUP}"  -z test.azure.example.com | grep console

   注意

   要在私有 Azure DNS 上的私有托管区上创建记录，您需要在 zones 字段中指定私有区，用于在 ExternalDNS 容器参数中将供应商类型填充到 azure-private-dns。

流程

1. 运行以下命令，将 gcp-credentials secret 复制到 encoded-gcloud.json 文件中：

   $ oc get secret gcp-credentials -n kube-system --template='{{$v := index .data "service_account.json"}}{{$v}}' | base64 -d - > decoded-gcloud.json

2. 运行以下命令导出 Google 凭证：

   $ export GOOGLE_CREDENTIALS=decoded-gcloud.json

3. 使用以下命令激活您的帐户：

   $ gcloud auth activate-service-account  <client_email as per decoded-gcloud.json> --key-file=decoded-gcloud.json

4. 运行以下命令来设置项目：

   $ gcloud config set project <project_id as per decoded-gcloud.json>

5. 运行以下命令来获取路由列表：

   $ oc get routes --all-namespaces | grep console

   输出示例

   openshift-console          console             console-openshift-console.apps.test.gcp.example.com                       console             https   reencrypt/Redirect     None
   openshift-console          downloads           downloads-openshift-console.apps.test.gcp.example.com                     downloads           http    edge/Redirect          None

6. 运行以下命令来获取受管区列表：

   $ gcloud dns managed-zones list | grep test.gcp.example.com

   输出示例

   qe-cvs4g-private-zone test.gcp.example.com

7. 创建一个 YAML 文件，如 external-dns-sample-gcp.yaml，该文件定义 ExternalDNS 对象：

   external-dns-sample-gcp.yaml 文件示例

   apiVersion: externaldns.olm.openshift.io/v1beta1
   kind: ExternalDNS
   metadata:
     name: sample-gcp 1
   spec:
     domains:
       - filterType: Include 2
         matchType: Exact 3
         name: test.gcp.example.com 4
     provider:
       type: GCP 5
     source:
       openshiftRouteOptions: 6
         routerName: default 7
       type: OpenShiftRoute 8

   1

   指定外部 DNS 名称。

   2

   默认情况下，所有托管区都被选为潜在的目标。您可以包含托管区。

   3

   目标的域必须与 name 键定义的字符串匹配。

   4

   指定您要更新的区域的确切域。路由的主机名必须是指定域的子域。

   5

   定义提供程序类型。

   6

   您可以定义 DNS 记录源的选项。

   7

   如果源类型是 OpenShiftRoute，您可以传递 OpenShift Ingress Controller 名称。外部 DNS 在创建 CNAME 记录时，选择该路由器的规范主机名作为目标。

   8

   将 route 资源定义为 GCP DNS 记录的源。

8. 运行以下命令，检查为 OpenShift Container Platform 路由创建的 DNS 记录：

   $ gcloud dns record-sets list --zone=qe-cvs4g-private-zone | grep console

流程

1. 运行以下命令，使用 Infoblox 凭证创建 secret 对象：

   $ oc -n external-dns-operator create secret generic infoblox-credentials --from-literal=EXTERNAL_DNS_INFOBLOX_WAPI_USERNAME=<infoblox_username> --from-literal=EXTERNAL_DNS_INFOBLOX_WAPI_PASSWORD=<infoblox_password>

2. 运行以下命令来获取路由列表：

   $ oc get routes --all-namespaces | grep console

   输出示例

   openshift-console          console             console-openshift-console.apps.test.example.com                       console             https   reencrypt/Redirect     None
   openshift-console          downloads           downloads-openshift-console.apps.test.example.com                     downloads           http    edge/Redirect          None

3. 创建一个 YAML 文件，如 external-dns-sample-infoblox.yaml，该文件定义 ExternalDNS 对象：

   external-dns-sample-infoblox.yaml 文件示例

   apiVersion: externaldns.olm.openshift.io/v1beta1
   kind: ExternalDNS
   metadata:
     name: sample-infoblox 1
   spec:
     provider:
       type: Infoblox 2
       infoblox:
         credentials:
           name: infoblox-credentials
         gridHost: ${INFOBLOX_GRID_PUBLIC_IP}
         wapiPort: 443
         wapiVersion: "2.3.1"
     domains:
     - filterType: Include
       matchType: Exact
       name: test.example.com
     source:
       type: OpenShiftRoute 3
       openshiftRouteOptions:
         routerName: default 4

   1

   指定外部 DNS 名称。

   2

   定义提供程序类型。

   3

   您可以定义 DNS 记录源的选项。

   4

   如果源类型是 OpenShiftRoute，您可以传递 OpenShift Ingress Controller 名称。外部 DNS 在创建 CNAME 记录时，选择该路由器的规范主机名作为目标。

4. 运行以下命令，在 Infoblox 上创建 ExternalDNS 资源：

   $ oc create -f external-dns-sample-infoblox.yaml

5. 通过 Infoblox UI，检查为 console 路由创建的 DNS 记录：

   1. 点 Data Management → DNS → Zones。
   2. 选择区域名称。

流程

1. 运行以下命令，创建配置映射以在 external-dns-operator 命名空间中包含 CA 捆绑包：

   $ oc -n external-dns-operator create configmap trusted-ca

2. 要将可信 CA 捆绑包注入配置映射中，请运行以下命令将 config.openshift.io/inject-trusted-cabundle=true 标签添加到配置映射中：

   $ oc -n external-dns-operator label cm trusted-ca config.openshift.io/inject-trusted-cabundle=true

3. 运行以下命令更新外部 DNS Operator 的订阅：

   $ oc -n external-dns-operator patch subscription external-dns-operator --type='json' -p='[{"op": "add", "path": "/spec/config", "value":{"env":[{"name":"TRUSTED_CA_CONFIGMAP_NAME","value":"trusted-ca"}]}}]'

流程

1. 在 OpenShift Container Platform Web 控制台中导航至 Operators → OperatorHub。

2. 在 Filter by keyword 框中输入关键字，或滚动以查找您想要的 Operator。例如，键入 metallb 来查找 MetalLB Operator。

   您还可以根据基础架构功能过滤选项。例如，如果您希望 Operator 在断开连接的环境中工作，请选择 Disconnected。

3. 在 Install Operator 页面中，接受默认值并点 Install。

验证

1. 确认安装成功：

   1. 导航到 Operators → Installed Operators 页面。
   2. 检查 Operator 是否安装在 openshift-operators 命名空间中，其状态是否为 Succeeded。

2. 如果 Operator 没有成功安装，请检查 Operator 的状态并查看日志：

   1. 导航到 Operators → Installed Operators 页面，并检查 Status 列中是否有任何错误或故障。
   2. 导航到 Workloads → Pods 页面，并检查 openshift-operators 项目中报告问题的 pod 的日志。

流程

1. 输入以下命令为 MetalLB Operator 创建命名空间：

   $ cat << EOF | oc apply -f -
   apiVersion: v1
   kind: Namespace
   metadata:
     name: metallb-system
   EOF

2. 在命名空间中创建 Operator 组自定义资源(CR)：

   $ cat << EOF | oc apply -f -
   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: metallb-operator
     namespace: metallb-system
   EOF

3. 确认 Operator 组已安装在命名空间中：

   $ oc get operatorgroup -n metallb-system

   输出示例

   NAME               AGE
   metallb-operator   14m

4. 创建一个 Subscription CR：

   1. 定义 Subscription CR 并保存 YAML 文件，如 metallb-sub.yaml ：

      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: metallb-operator-sub
        namespace: metallb-system
      spec:
        channel: stable
        name: metallb-operator
        source: redhat-operators 1
        sourceNamespace: openshift-marketplace

      1

      您必须指定 redhat-operators 值。

   2. 要创建 Subscription CR，请运行以下命令：

      $ oc create -f metallb-sub.yaml

5. 可选： 要确保 BGP 和 BFD 指标出现在 Prometheus 中，您可以使用以下命令标记命名空间：

   $ oc label ns metallb-system "openshift.io/cluster-monitoring=true"

1. 确认安装计划位于命名空间中：

   $ oc get installplan -n metallb-system

   输出示例

   NAME            CSV                                   APPROVAL    APPROVED
   install-wzg94   metallb-operator.4.17.0-nnnnnnnnnnnn   Automatic   true

   注意

   安装 Operator 可能需要几秒钟。

2. 要验证是否已安装 Operator，请输入以下命令：

   $ oc get clusterserviceversion -n metallb-system \
     -o custom-columns=Name:.metadata.name,Phase:.status.phase

   输出示例

   Name                                  Phase
   metallb-operator.4.17.0-nnnnnnnnnnnn   Succeeded

1. 创建 MetalLB 自定义资源的单一实例：

   $ cat << EOF | oc apply -f -
   apiVersion: metallb.io/v1beta1
   kind: MetalLB
   metadata:
     name: metallb
     namespace: metallb-system
   EOF

1. 验证控制器的部署是否正在运行：

   $ oc get deployment -n metallb-system controller

   输出示例

   NAME         READY   UP-TO-DATE   AVAILABLE   AGE
   controller   1/1     1            1           11m

2. 验证发言人的守护进程集是否正在运行：

   $ oc get daemonset -n metallb-system speaker

   输出示例

   NAME      DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR            AGE
   speaker   6         6         6       6            6           kubernetes.io/os=linux   18m

   示例输出显示 6 个 speaker Pod。集群中的 speaker pod 数量可能与示例输出不同。确保输出指示集群中每个节点有一个容器集。

流程

1. 导航到 Operators → Installed Operators 页面。
2. 搜索 MetalLB Operator。然后点它。

3. 在 Operator Details 页面右侧，从 Actions 下拉菜单中选择 Uninstall Operator。

   此时会显示 Uninstall Operator? 对话框。

4. 选择 Uninstall 来删除 Operator、Operator 部署和 pod。按照此操作，Operator 将停止运行，不再接收更新。

   注意

   此操作不会删除 Operator 管理的资源，包括自定义资源定义 (CRD) 和自定义资源 (CR) 。Web 控制台和继续运行的集群资源启用的仪表板和导航项可能需要手动清理。要在卸载 Operator 后删除这些，您可能需要手动删除 Operator CRD。

流程

1. 在 currentCSV 字段中检查订阅的 MetalLB Operator 的当前版本：

   $ oc get subscription metallb-operator -n metallb-system -o yaml | grep currentCSV

   输出示例

     currentCSV: metallb-operator.4.10.0-202207051316

2. 删除订阅：

   $ oc delete subscription metallb-operator -n metallb-system

   输出示例

   subscription.operators.coreos.com "metallb-operator" deleted

3. 使用上一步中的 currentCSV 值来删除目标命名空间中相应 Operator 的 CSV：

   $ oc delete clusterserviceversion metallb-operator.4.10.0-202207051316 -n metallb-system

   输出示例

   clusterserviceversion.operators.coreos.com "metallb-operator.4.10.0-202207051316" deleted

流程

1. 运行以下命令，列出 metallb-system 命名空间中的 Operator 组：

   $ oc get operatorgroup -n metallb-system

   输出示例

   NAME                   AGE
   metallb-system-7jc66   85m

2. 运行以下命令，验证与 metallb-system 命名空间关联的 Operator 组 CR 中是否存在 spec.targetNamespaces ：

   $ oc get operatorgroup metallb-system-7jc66 -n metallb-system -o yaml

   输出示例

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     annotations:
       olm.providedAPIs: ""
     creationTimestamp: "2023-10-25T09:42:49Z"
     generateName: metallb-system-
     generation: 1
     name: metallb-system-7jc66
     namespace: metallb-system
     resourceVersion: "25027"
     uid: f5f644a0-eef8-4e31-a306-e2bbcfaffab3
   spec:
     targetNamespaces:
     - metallb-system
     upgradeStrategy: Default
   status:
     lastUpdated: "2023-10-25T09:42:49Z"
     namespaces:
     - metallb-system

3. 运行以下命令，编辑 Operator 组并删除 spec 部分下的 targetNamespaces 和 metallb-system ：

   $ oc edit n metallb-system

   输出示例

   operatorgroup.operators.coreos.com/metallb-system-7jc66 edited

4. 运行以下命令，验证 spec.targetNamespaces 已从与 metallb-system 命名空间关联的 Operator 组自定义资源中删除：

   $ oc get operatorgroup metallb-system-7jc66 -n metallb-system -o yaml

   输出示例

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     annotations:
       olm.providedAPIs: ""
     creationTimestamp: "2023-10-25T09:42:49Z"
     generateName: metallb-system-
     generation: 2
     name: metallb-system-7jc66
     namespace: metallb-system
     resourceVersion: "61658"
     uid: f5f644a0-eef8-4e31-a306-e2bbcfaffab3
   spec:
     upgradeStrategy: Default
   status:
     lastUpdated: "2023-10-25T14:31:30Z"
     namespaces:
     - ""

流程

1. 验证 metallb-system 命名空间仍然存在：

   $ oc get namespaces | grep metallb-system

   输出示例

   metallb-system                                     Active   31m

2. 验证 metallb 自定义资源仍然存在：

   $ oc get metallb -n metallb-system

   输出示例

   NAME      AGE
   metallb   33m

3. 按照"使用 CLI 安装 OperatorHub"中的指导来安装 MetalLB Operator 的最新 4.17 版本。

   注意

   安装最新的 MetalLB Operator 版本 4.17 时，您必须将 Operator 安装到之前安装的同一命名空间。

4. 验证 Operator 的升级版本现在是 4.17 版本。

   $ oc get csv -n metallb-system

   输出示例

   NAME                                   DISPLAY            VERSION               REPLACES   PHASE
   metallb-operator.4.17.0-202207051316   MetalLB Operator   4.17.0-202207051316              Succeeded

流程

1. 在 DNS Operator 中将 managementState 更改为 Unmanaged ：

   oc patch dns.operator.openshift.io default --type merge --patch '{"spec":{"managementState":"Unmanaged"}}'

2. 使用 jsonpath 命令行 JSON 解析器查看 DNS Operator 的 managementState ：

   $ oc get dns.operator.openshift.io default -ojsonpath='{.spec.managementState}'

   输出示例

   "Unmanaged"

流程

1. 修改名为 default 的 DNS Operator 对象：

   $ oc edit dns.operator/default

   集群管理员可以配置传输层安全(TLS)来转发 DNS 查询。

   使用 TLS 配置 DNS 转发

   apiVersion: operator.openshift.io/v1
   kind: DNS
   metadata:
     name: default
   spec:
     servers:
     - name: example-server 1
       zones:
       - example.com 2
       forwardPlugin:
         transportConfig:
           transport: TLS 3
           tls:
             caBundle:
               name: mycacert
             serverName: dnstls.example.com  4
         policy: Random 5
         upstreams: 6
         - 1.1.1.1
         - 2.2.2.2:5353
     upstreamResolvers: 7
       transportConfig:
         transport: TLS
         tls:
           caBundle:
             name: mycacert
           serverName: dnstls.example.com
       upstreams:
       - type: Network 8
         address: 1.2.3.4 9
         port: 53 10

   1

   必须符合 rfc6335 服务名称语法。

   2

   必须符合 rfc1123 服务名称语法中的子域的定义。集群域 cluster.local 是对 zones 字段的无效子域。集群域 cluster.local 不是 zones 中的一个有效的 subdomain。

   3

   在为转发 DNS 查询配置 TLS 时，将 transport 字段设置为具有值 TLS。

   4

   当为转发 DNS 查询配置 TLS 时，这是用作服务器名称的一部分(SNI)的强制服务器名称来验证上游 TLS 服务器证书。

   5

   定义用于选择上游解析器的策略。默认值为 Random。您还可以使用 RoundRobin, 和 Sequential 值。

   6

   必需。使用它提供上游解析器。每个 forwardPlugin 条目最多允许 15 个 upstreams 条目。

   7

   可选。您可以使用它来覆盖默认策略，并将 DNS 解析转发到默认域的指定 DNS 解析器（上游解析器）。如果没有提供任何上游解析器，DNS 名称查询将进入 /etc/resolv.conf 中的服务器。

   8

   在使用 TLS 时，只允许网络类型，且您必须提供 IP 地址。网络类型表示，该上游解析器应该独立于 /etc/resolv.conf 中列出的上游解析器单独处理转发请求。

   9

   address 字段必须是有效的 IPv4 或 IPv6 地址。

   10

   您可以选择提供端口。port 必须是 1 到 65535 之间的值。如果您没有为上游指定端口，则默认端口为 853。

   注意

   如果 servers 未定义或无效，则配置映射只包括默认服务器。

验证

1. 查看配置映射：

   $ oc get configmap/dns-default -n openshift-dns -o yaml

   基于 TLS 转发示例的 DNS ConfigMap 示例

   apiVersion: v1
   data:
     Corefile: |
       example.com:5353 {
           forward . 1.1.1.1 2.2.2.2:5353
       }
       bar.com:5353 example.com:5353 {
           forward . 3.3.3.3 4.4.4.4:5454 1
       }
       .:5353 {
           errors
           health
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods insecure
               upstream
               fallthrough in-addr.arpa ip6.arpa
           }
           prometheus :9153
           forward . /etc/resolv.conf 1.2.3.4:53 {
               policy Random
           }
           cache 30
           reload
       }
   kind: ConfigMap
   metadata:
     labels:
       dns.operator.openshift.io/owning-dns: default
     name: dns-default
     namespace: openshift-dns

   1

   对 forwardPlugin 的更改会触发 CoreDNS 守护进程集的滚动更新。

1. 使用 tls.crt 和 tls.key 文件，创建在 openshift-ingress 命名空间中包含自定义证书的 Secret 资源。

   $ oc --namespace openshift-ingress create secret tls custom-certs-default --cert=tls.crt --key=tls.key

2. 更新 IngressController CR，以引用新的证书 Secret：

   $ oc patch --type=merge --namespace openshift-ingress-operator ingresscontrollers/default \
     --patch '{"spec":{"defaultCertificate":{"name":"custom-certs-default"}}}'

3. 验证更新是否已生效：

   $ echo Q |\
     openssl s_client -connect console-openshift-console.apps.<domain>:443 -showcerts 2>/dev/null |\
     openssl x509 -noout -subject -issuer -enddate

   其中：

   <domain>

   指定集群的基域名。

   输出示例

   subject=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = *.apps.example.com
   issuer=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = example.com
   notAfter=May 10 08:32:45 2022 GM

   提示

   您还可以应用以下 YAML 来设置自定义默认证书：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     defaultCertificate:
       name: custom-certs-default

   证书 Secret 名称应该与用来更新 CR 的值匹配。

流程

1. 运行以下命令，创建一个服务帐户来与 Thanos 进行身份验证：

   $ oc create -n openshift-ingress-operator serviceaccount thanos && oc describe -n openshift-ingress-operator serviceaccount thanos

   输出示例

   Name:                thanos
   Namespace:           openshift-ingress-operator
   Labels:              <none>
   Annotations:         <none>
   Image pull secrets:  thanos-dockercfg-kfvf2
   Mountable secrets:   thanos-dockercfg-kfvf2
   Tokens:              <none>
   Events:              <none>

2. 使用以下命令手动创建服务帐户令牌：

   $ oc apply -f - <<EOF
   apiVersion: v1
   kind: Secret
   metadata:
     name: thanos-token
     namespace: openshift-ingress-operator
     annotations:
       kubernetes.io/service-account.name: thanos
   type: kubernetes.io/service-account-token
   EOF

3. 使用服务帐户的令牌，在 openshift-ingress-operator 命名空间中定义一个 TriggerAuthentication 对象。

   1. 创建 TriggerAuthentication 对象，并将 secret 变量的值传递给 TOKEN 参数：

      $ oc apply -f - <<EOF
      apiVersion: keda.sh/v1alpha1
      kind: TriggerAuthentication
      metadata:
        name: keda-trigger-auth-prometheus
        namespace: openshift-ingress-operator
      spec:
        secretTargetRef:
        - parameter: bearerToken
          name: thanos-token
          key: token
        - parameter: ca
          name: thanos-token
          key: ca.crt
      EOF

4. 创建并应用角色以从 Thanos 读取指标：

   1. 创建一个新角色 thanos-metrics-reader.yaml，从 pod 和节点读取指标：

      thanos-metrics-reader.yaml

      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: thanos-metrics-reader
        namespace: openshift-ingress-operator
      rules:
      - apiGroups:
        - ""
        resources:
        - pods
        - nodes
        verbs:
        - get
      - apiGroups:
        - metrics.k8s.io
        resources:
        - pods
        - nodes
        verbs:
        - get
        - list
        - watch
      - apiGroups:
        - ""
        resources:
        - namespaces
        verbs:
        - get

   2. 运行以下命令来应用新角色：

      $ oc apply -f thanos-metrics-reader.yaml

5. 输入以下命令在服务帐户中添加新角色：

   $ oc adm policy -n openshift-ingress-operator add-role-to-user thanos-metrics-reader -z thanos --role-namespace=openshift-ingress-operator

   $ oc adm policy -n openshift-ingress-operator add-cluster-role-to-user cluster-monitoring-view -z thanos

   注意

   只有在使用跨命名空间查询时，才需要参数 add-cluster-role-to-user。以下步骤使用 kube-metrics 命名空间中的查询，该命名空间需要此参数。

6. 创建一个新的 ScaledObject YAML 文件 ingress-autoscaler.yaml，该文件以默认 Ingress Controller 部署为目标：

   ScaledObject 定义示例

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     name: ingress-scaler
     namespace: openshift-ingress-operator
   spec:
     scaleTargetRef: 1
       apiVersion: operator.openshift.io/v1
       kind: IngressController
       name: default
       envSourceContainerName: ingress-operator
     minReplicaCount: 1
     maxReplicaCount: 20 2
     cooldownPeriod: 1
     pollingInterval: 1
     triggers:
     - type: prometheus
       metricType: AverageValue
       metadata:
         serverAddress: https://thanos-querier.openshift-monitoring.svc.cluster.local:9091 3
         namespace: openshift-ingress-operator 4
         metricName: 'kube-node-role'
         threshold: '1'
         query: 'sum(kube_node_role{role="worker",service="kube-state-metrics"})' 5
         authModes: "bearer"
       authenticationRef:
         name: keda-trigger-auth-prometheus

   1

   要目标的自定义资源。在本例中，Ingress Controller。

   2

   可选：最大副本数。如果省略此字段，则默认最大值设置为 100 个副本。

   3

   openshift-monitoring 命名空间中的 Thanos 服务端点。

   4

   Ingress Operator 命名空间。

   5

   此表达式评估为，部署的集群中存在很多 worker 节点。

   重要

   如果使用跨命名空间查询，您必须在 serverAddress 字段中目标端口 9091 而不是端口 9092。您还必须有升级的特权，才能从此端口读取指标。

7. 运行以下命令来应用自定义资源定义：

   $ oc apply -f ingress-autoscaler.yaml

流程

1. 查看默认 IngressController 的当前可用副本数：

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   输出示例

   2

2. 使用 oc patch 命令，将默认 IngressController 扩展至所需的副本数。以下示例将默认 IngressController 扩展至 3 个副本：

   $ oc patch -n openshift-ingress-operator ingresscontroller/default --patch '{"spec":{"replicas": 3}}' --type=merge

   输出示例

   ingresscontroller.operator.openshift.io/default patched

3. 验证默认 IngressController 是否已扩展至您指定的副本数：

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   输出示例

   3

   提示

   您还可以应用以下 YAML 将 Ingress Controller 扩展为三个副本：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     replicas: 3               1

   1

   如果需要不同数量的副本，请更改 replicas 值。

流程

1. 在名为 <name>-ingress-controller.yaml 的文件中创建 IngressController 自定义资源 (CR) ，如下例所示：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: <name> 1
   spec:
     domain: <domain> 2
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal 3

   1

   将 <name> 替换为 IngressController 对象的名称。

   2

   指定控制器发布的应用程序的 domain。

   3

   指定一个 Internal 值以使用内部负载均衡器。

2. 运行以下命令，创建上一步中定义的 Ingress Controller：

   $ oc create -f <name>-ingress-controller.yaml 1

   1

   将 <name> 替换为 IngressController 对象的名称。

3. 可选：通过运行以下命令确认创建了 Ingress Controller：

   $ oc --all-namespaces=true get ingresscontrollers

流程

1. 配置 Ingress Controller 资源，以允许全局访问。

   注意

   您还可以创建 Ingress Controller 并指定全局访问选项。

   1. 配置 Ingress Controller 资源：

      $ oc -n openshift-ingress-operator edit ingresscontroller/default

   2. 编辑 YAML 文件：

      clientAccess 配置为 Global 的示例

        spec:
          endpointPublishingStrategy:
            loadBalancer:
              providerParameters:
                gcp:
                  clientAccess: Global 1
                type: GCP
              scope: Internal
            type: LoadBalancerService

      1

      将 gcp.clientAccess 设置为 Global。

   3. 保存文件以使改变生效。

2. 运行以下命令，以验证该服务是否允许全局访问：

   $ oc -n openshift-ingress edit svc/router-default -o yaml

   输出显示，全局访问已为带有注解 networking.gke.io/internal-load-balancer-allow-global-access 的 GCP 启用。

流程

1. 通过删除并重新创建集群，将 默认 Ingress Controller 配置为内部。

   $ oc replace --force --wait --filename - <<EOF
   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: default
   spec:
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal
   EOF

流程

1. 配置通配符策略。

   1. 使用以下命令来编辑 IngressController 资源：

      $ oc edit IngressController

   2. 在 spec 下，将 wildcardPolicy 字段设置 为 WildcardsDisallowed 或 WildcardsAllowed：

      spec:
        routeAdmission:
          wildcardPolicy: WildcardsDisallowed # or WildcardsAllowed