7.2. 配置集群入口流量

流程

1. 运行以下命令来修改默认 Ingress Controller：

   $ oc edit ingresscontroller -n openshift-ingress-operator default

   Copy to Clipboard Toggle word wrap

2. 编辑 Ingress Controller 以包含一个 namespaceSelector，它排除了任何 finance、ops 和 dev 标签的路由：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     namespaceSelector:
       matchExpressions:
         - key: name
           operator: NotIn
           values:
             - finance
             - ops
             - dev

   Copy to Clipboard Toggle word wrap

流程

1. 编辑 router-internal.yaml 文件：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: sharded
     namespace: openshift-ingress-operator
   spec:
     domain: <apps-sharded.basedomain.example.net> 

   1

   
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/worker: ""
     routeSelector:
       matchLabels:
         type: sharded

   Copy to Clipboard Toggle word wrap

   1

   指定 Ingress Controller 使用的域。此域必须与默认 Ingress Controller 域不同。

2. 应用 Ingress Controller router-internal.yaml 文件：

   # oc apply -f router-internal.yaml

   Copy to Clipboard Toggle word wrap

   Ingress Controller 选择具有 type: sharded 标签的任意命名空间中的路由。

3. 使用 router-internal.yaml 中配置的域创建新路由：

   $ oc expose svc <service-name> --hostname <route-name>.apps-sharded.basedomain.example.net

   Copy to Clipboard Toggle word wrap

流程

1. 编辑 router-internal.yaml 文件：

   $ cat router-internal.yaml

   Copy to Clipboard Toggle word wrap

   输出示例

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: sharded
     namespace: openshift-ingress-operator
   spec:
     domain: <apps-sharded.basedomain.example.net> 

   1

   
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/worker: ""
     namespaceSelector:
       matchLabels:
         type: sharded

   Copy to Clipboard Toggle word wrap

   1

   指定 Ingress Controller 使用的域。此域必须与默认 Ingress Controller 域不同。

2. 应用 Ingress Controller router-internal.yaml 文件：

   $ oc apply -f router-internal.yaml

   Copy to Clipboard Toggle word wrap

   Ingress Controller 选择由命名空间选择器选择的具有 type: sharded 标签的任意命名空间中的路由。

3. 使用 router-internal.yaml 中配置的域创建新路由：

   $ oc expose svc <service-name> --hostname <route-name>.apps-sharded.basedomain.example.net

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，创建一个名为 hello-openshift 的项目：

   $ oc new-project hello-openshift

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，在项目中创建 pod：

   $ oc create -f https://raw.githubusercontent.com/openshift/origin/master/examples/hello-openshift/hello-pod.json

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，创建名为 hello-openshift 的服务：

   $ oc expose pod/hello-openshift

   Copy to Clipboard Toggle word wrap

4. 创建名为 hello-openshift-route.yaml 的路由定义：

   为分片创建的路由的 YAML 定义

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     labels:
       type: sharded 

   1

   
     name: hello-openshift-edge
     namespace: hello-openshift
   spec:
     subdomain: hello-openshift 

   2

   
     tls:
       termination: edge
     to:
       kind: Service
       name: hello-openshift

   Copy to Clipboard Toggle word wrap

   1

   标签键及其对应标签值必须与 Ingress Controller 中指定的标签值匹配。在本例中，Ingress Controller 具有标签键和值 type: sharded。

   2

   路由将使用 subdomain 字段的值公开。指定 subdomain 字段时，您必须保留主机名未设置。如果您同时指定了 host 和 subdomain 字段，则路由将使用 host 字段的值，并忽略 subdomain 字段。

5. 通过运行以下命令，使用 hello-openshift-route.yaml 创建到 hello-openshift 应用程序的路由：

   $ oc -n hello-openshift create -f hello-openshift-route.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 为 Ingress Controller 创建自定义资源 (CR) 文件：

   定义 IngressController 对象的信息的 CR 文件示例

   apiVersion: v1
   items:
   - apiVersion: operator.openshift.io/v1
     kind: IngressController
     metadata:
       name: <custom_ic_name> 

   1

   
       namespace: openshift-ingress-operator
     spec:
       replicas: 1
       domain: <custom_ic_domain_name> 

   2

   
       nodePlacement:
         nodeSelector:
           matchLabels:
             <key>: <value> 

   3

   
       namespaceSelector:
        matchLabels:
          <key>: <value> 

   4

   
       endpointPublishingStrategy:
         type: NodePortService
   # ...

   Copy to Clipboard Toggle word wrap

   1

   为 IngressController CR 指定一个自定义名称。

   2

   Ingress Controller 服务的 DNS 名称。例如，默认的 ingresscontroller 域是 apps.ipi-cluster.example.com，因此您要将 <custom_ic_domain_name> 指定为 nodeportsvc.ipi-cluster.example.com。

   3

   指定包含自定义 Ingress Controller 的节点的标签。

   4

   指定一组命名空间的标签。使用键值对替换 <key>:<value>，其中 <key> 是新标签的唯一名称，<value> 是它的值。例如：ingresscontroller: custom-ic。

2. 使用 oc label node 命令给节点添加标签：

   $ oc label node <node_name> <key>=<value> 

   1

   Copy to Clipboard Toggle word wrap

   1

   其中 <value> 必须与 IngressController CR 的 nodePlacement 部分中指定的键值对匹配。

3. 创建 IngressController 对象：

   $ oc create -f <ingress_controller_cr>.yaml

   Copy to Clipboard Toggle word wrap

4. 查找为 IngressController CR 创建的服务的端口：

   $ oc get svc -n openshift-ingress

   Copy to Clipboard Toggle word wrap

   显示 router-nodeport-custom-ic3 服务的端口 80:32432/TCP 的示例

   NAME                        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                                     AGE
   router-internal-default      ClusterIP   172.30.195.74    <none>        80/TCP,443/TCP,1936/TCP                     223d
   router-nodeport-custom-ic3   NodePort    172.30.109.219   <none>        80:32432/TCP,443:31366/TCP,1936:30499/TCP   155m

   Copy to Clipboard Toggle word wrap

5. 要创建新项目，请输入以下命令：

   $ oc new-project <project_name>

   Copy to Clipboard Toggle word wrap

6. 要标记新命名空间，请输入以下命令：

   $ oc label namespace <project_name> <key>=<value> 

   1

   Copy to Clipboard Toggle word wrap

   1

   其中 <key>=<value> 需要与 Ingress Controller CR 的 namespaceSelector 部分中的值匹配。

7. 在集群中创建新应用程序：

   $ oc new-app --image=<image_name> 

   1

   Copy to Clipboard Toggle word wrap

   1

   一个 <image_name> 的示例是 quay.io/openshifttest/hello-openshift:multiarch。

8. 为服务创建 Route 对象，以便 pod 可以使用该服务向集群外部公开应用程序。

   $ oc expose svc/<service_name> --hostname=<svc_name>-<project_name>.<custom_ic_domain_name> 

   1

   Copy to Clipboard Toggle word wrap
   注意

   您必须在 --hostname 参数中指定自定义 Ingress Controller 的域名。如果没有这样做，Ingress Operator 会使用默认的 Ingress Controller 来提供集群的所有路由。

9. 检查路由是否具有 Admitted 状态，并且包含自定义 Ingress Controller 的元数据：

   $ oc get route/hello-openshift -o json | jq '.status.ingress'

   Copy to Clipboard Toggle word wrap

   输出示例

   # ...
   {
     "conditions": [
       {
         "lastTransitionTime": "2024-05-17T18:25:41Z",
         "status": "True",
         "type": "Admitted"
       }
     ],
     [
       {
         "host": "hello-openshift.nodeportsvc.ipi-cluster.example.com",
         "routerCanonicalHostname": "router-nodeportsvc.nodeportsvc.ipi-cluster.example.com",
         "routerName": "nodeportsvc", "wildcardPolicy": "None"
       }
     ],
   }

   Copy to Clipboard Toggle word wrap

10. 更新默认的 IngressController CR，以防止默认 Ingress Controller 管理 NodePort 类型 Service。默认 Ingress Controller 将继续监控所有其他集群流量。

    $ oc patch --type=merge -n openshift-ingress-operator ingresscontroller/default --patch '{"spec":{"namespaceSelector":{"matchExpressions":[{"key":"<key>","operator":"NotIn","values":["<value>]}]}}}'

    Copy to Clipboard Toggle word wrap

验证

1. 输入以下命令验证 DNS 条目是否可以在集群内部和外部路由。命令输出之前从运行 oc label node 命令接收标签的节点的 IP 地址。

   $ dig +short <svc_name>-<project_name>.<custom_ic_domain_name>

   Copy to Clipboard Toggle word wrap

2. 要验证集群是否使用来自外部 DNS 服务器的 IP 地址进行 DNS 解析，请输入以下命令检查集群的连接：

   $ curl <svc_name>-<project_name>.<custom_ic_domain_name>:<port> 

   1

   Copy to Clipboard Toggle word wrap

   1 1

   其中 <port> 是来自 NodePort 类型的 Service 的节点端口。根据 oc get svc -n openshift-ingress 命令的输出示例，80:32432/TCP HTTP 路由意味着 32432 是节点端口。

   输出示例

   Hello OpenShift!

   Copy to Clipboard Toggle word wrap

流程

1. 使用 oc annotate 命令，为路由添加超时：

   $ oc annotate route <route_name> \
       --overwrite haproxy.router.openshift.io/timeout=<timeout><time_unit> 

   1

   Copy to Clipboard Toggle word wrap

   1

   支持的时间单位是微秒 (us)、毫秒 (ms)、秒钟 (s)、分钟 (m)、小时 (h)、或天 (d)。

   以下示例在名为 myroute 的路由上设置两秒的超时：

   $ oc annotate route myroute --overwrite haproxy.router.openshift.io/timeout=2s

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，为默认的 ingresscontroller 设置 AWS 连接闲置超时：

   $ oc -n openshift-ingress-operator patch ingresscontroller/default \
       --type=merge --patch='{"spec":{"endpointPublishingStrategy": \
       {"type":"LoadBalancerService", "loadBalancer": \
       {"scope":"External", "providerParameters":{"type":"AWS", "aws": \
       {"type":"Classic", "classicLoadBalancer": \
       {"connectionIdleTimeout":"5m"}}}}}}}'

   Copy to Clipboard Toggle word wrap

2. 可选：运行以下命令来恢复超时的默认值：

   $ oc -n openshift-ingress-operator patch ingresscontroller/default \
       --type=merge --patch='{"spec":{"endpointPublishingStrategy": \
       {"loadBalancer":{"providerParameters":{"aws":{"classicLoadBalancer": \
       {"connectionIdleTimeout":null}}}}}}}'

   Copy to Clipboard Toggle word wrap

流程

1. 修改您要使用 NLB 切换到的现有 Ingress Controller。这个示例假定您的默认 Ingress Controller 具有外部范围，且没有其他自定义：

   ingresscontroller.yaml 文件示例

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     creationTimestamp: null
     name: default
     namespace: openshift-ingress-operator
   spec:
     endpointPublishingStrategy:
       loadBalancer:
         scope: External
         providerParameters:
           type: AWS
           aws:
             type: NLB
       type: LoadBalancerService

   Copy to Clipboard Toggle word wrap

   注意

   如果您没有为 spec.endpointPublishingStrategy.loadBalancer.providerParameters.aws.type 字段指定值，Ingress Controller 会使用在安装过程中设置的集群 Ingress 配置中的 spec.loadBalancer.platform.aws.type 值。

   提示

   如果您的 Ingress Controller 有其他要更新的自定义（如更改域），请考虑强制替换 Ingress Controller 定义文件。

2. 运行以下命令，将更改应用到 Ingress Controller YAML 文件：

   $ oc apply -f ingresscontroller.yaml

   Copy to Clipboard Toggle word wrap

   当 Ingress Controller 更新时，可能会有几分钟的停机。

流程

1. 修改您要切换为使用 CLB 的现有 Ingress Controller。这个示例假定您的默认 Ingress Controller 具有外部范围，且没有其他自定义：

   ingresscontroller.yaml 文件示例

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     creationTimestamp: null
     name: default
     namespace: openshift-ingress-operator
   spec:
     endpointPublishingStrategy:
       loadBalancer:
         scope: External
         providerParameters:
           type: AWS
           aws:
             type: Classic
       type: LoadBalancerService

   Copy to Clipboard Toggle word wrap

   注意

   如果您没有为 spec.endpointPublishingStrategy.loadBalancer.providerParameters.aws.type 字段指定值，Ingress Controller 会使用在安装过程中设置的集群 Ingress 配置中的 spec.loadBalancer.platform.aws.type 值。

   提示

   如果您的 Ingress Controller 有其他要更新的自定义（如更改域），请考虑强制替换 Ingress Controller 定义文件。

2. 运行以下命令，将更改应用到 Ingress Controller YAML 文件：

   $ oc apply -f ingresscontroller.yaml

   Copy to Clipboard Toggle word wrap

   当 Ingress Controller 更新时，可能会有几分钟的停机。

流程

1. 创建一个新的默认 Ingress Controller 文件。以下示例假定您的默认 Ingress Controller 具有外部范围，且没有其他自定义：

   ingresscontroller.yml 文件示例

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     creationTimestamp: null
     name: default
     namespace: openshift-ingress-operator
   spec:
     endpointPublishingStrategy:
       loadBalancer:
         scope: External
         providerParameters:
           type: AWS
           aws:
             type: NLB
       type: LoadBalancerService

   Copy to Clipboard Toggle word wrap

   如果您的默认 Ingress Controller 有其他自定义，请确定您相应地修改该文件。

   提示

   如果您的 Ingress Controller 没有其他自定义，且您只更新负载均衡器类型，请考虑 "Switch the Ingress Controller from using an Classic Load Balancer to a Network Load Balancer" 中详述的步骤。

2. 强制替换 Ingress Controller YAML 文件：

   $ oc replace --force --wait -f ingresscontroller.yml

   Copy to Clipboard Toggle word wrap

   等待 Ingress Controller 已被替换。预计会有几分钟的停机时间。

1. 创建 Ingress Controller 清单：

    $ cat ingresscontroller-aws-nlb.yaml

   Copy to Clipboard Toggle word wrap

   输出示例

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: $my_ingress_controller

   1

   
     namespace: openshift-ingress-operator
   spec:
     domain: $my_unique_ingress_domain

   2

   
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: External

   3

   
         providerParameters:
           type: AWS
           aws:
             type: NLB

   Copy to Clipboard Toggle word wrap

   1

   将 $my_ingress_controller 替换为 Ingress Controller 的唯一名称。

   2

   将 $my_unique_ingress_domain 替换为集群中所有 Ingress Controller 的唯一域名。此变量需要是 DNS 名的子域 <clustername>.<domain>。

   3

   您可以将 External 替换为 Internal，以使用内部 NLB。

2. 在集群中创建资源：

   $ oc create -f ingresscontroller-aws-nlb.yaml

   Copy to Clipboard Toggle word wrap

1. 进入包含安装程序的目录并创建清单：

   $ ./openshift-install create manifests --dir <installation_directory> 

   1

   Copy to Clipboard Toggle word wrap

   1

   对于 <installation_directory>，请指定含有集群的 install-config.yaml 文件的目录的名称。

2. 在 <installation_directory>/manifests/ 目录中创建一个名为 cluster-ingress-default-ingresscontroller.yaml 的文件：

   $ touch <installation_directory>/manifests/cluster-ingress-default-ingresscontroller.yaml 

   1

   Copy to Clipboard Toggle word wrap

   1

   对于 <installation_directory>，请指定包含集群的 manifests/ 目录的目录名称。

   创建该文件后，几个网络配置文件位于 manifests/ 目录中，如下所示：

   $ ls <installation_directory>/manifests/cluster-ingress-default-ingresscontroller.yaml

   Copy to Clipboard Toggle word wrap

   输出示例

   cluster-ingress-default-ingresscontroller.yaml

   Copy to Clipboard Toggle word wrap

3. 在编辑器中打开 cluster-ingress-default-ingresscontroller.yaml 文件，并输入描述您想要的 Operator 配置的自定义资源（CR）：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     creationTimestamp: null
     name: default
     namespace: openshift-ingress-operator
   spec:
     endpointPublishingStrategy:
       loadBalancer:
         scope: External
         providerParameters:
           type: AWS
           aws:
             type: NLB
       type: LoadBalancerService

   Copy to Clipboard Toggle word wrap
4. 保存 cluster-ingress-default-ingresscontroller.yaml 文件并退出文本编辑器。
5. 可选：备份 manifests/cluster-ingress-default-ingresscontroller.yaml 文件。创建集群时，安装程序会删除 manifests/ 目录。

流程

1. 创建自定义资源(CR)文件。

   使用以下内容创建 YAML 文件（如 sample-ingress.yaml）：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: <name>
   spec:
     domain: <domain>
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: External
     dnsManagementPolicy: Managed

   Copy to Clipboard Toggle word wrap

2. 创建自定义资源(CR)文件。

   在 YAML 文件中添加子网：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name:  <name> 

   1

   
     namespace: openshift-ingress-operator
   spec:
     domain: <domain> 

   2

   
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: External
         providerParameters:
           type: AWS
           aws:
             type: Classic
             classicLoadBalancer: 

   3

   
               subnets:
                 ids: 

   4

   
                 - <subnet> 

   5

   
                 - <subnet>
                 - <subnet>
   dnsManagementPolicy: Managed

   Copy to Clipboard Toggle word wrap

   1

   将 <name> 替换为 IngressController 的名

   2

   将 <domain> 替换为由 IngressController 管理的服务的 DNS 名称。

   3

   如果使用 NLB，您还可以使用 networkLoadBalancer 字段。

   4

   您可以使用 name 字段通过名称指定子网，而不是使用 ID 来指定子网。

   5

   指定子网 ID （或名称，如果使用了 names）。

   重要

   您可以为每个可用区最多指定一个子网。仅为内部 Ingress Controller 提供外部 Ingress Controller 和专用子网。

3. 应用 CR 文件。

   1. 保存文件并使用 OpenShift CLI (oc) 应用。

      $  oc apply -f sample-ingress.yaml

      Copy to Clipboard Toggle word wrap

   2. 通过检查 IngressController 条件确认负载均衡器已被成功置备。

      $ oc get ingresscontroller -n openshift-ingress-operator <name> -o jsonpath="{.status.conditions}" | yq -PC

      Copy to Clipboard Toggle word wrap

1. 修改现有 IngressController 以更新到新子网。

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name:  <name> 

   1

   
     namespace: openshift-ingress-operator
   spec:
     domain: <domain> 

   2

   
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: External
         providerParameters:
           type: AWS
           aws:
             type: Classic 

   3

   
             classicLoadBalancer: 

   4

   
               subnets:
                 ids: 

   5

   
                 - <updated_subnet> 

   6

   
                 - <updated_subnet>
                 - <updated_subnet>

   Copy to Clipboard Toggle word wrap

   1

   将 <name> 替换为 IngressController 的名

   2

   将 <domain> 替换为由 IngressController 管理的服务的 DNS 名称。

   3

   指定更新的子网 ID （或名称，如果使用了 names）。

   4

   如果使用 NLB，您还可以使用 networkLoadBalancer 字段。

   5

   您可以使用 name 字段通过名称指定子网，而不是使用 ID 来指定子网。

   6

   更新子网 ID （或名称，如果使用了 names）。

   重要

   您可以为每个可用区最多指定一个子网。仅为内部 Ingress Controller 提供外部 Ingress Controller 和专用子网。

2. 运行以下命令，检查 IngressController 上的 Progressing 条件以获取如何应用子网更新的说明：

   $ oc get ingresscontroller -n openshift-ingress-operator subnets -o jsonpath="{.status.conditions[?(@.type==\"Progressing\")]}" | yq -PC

   Copy to Clipboard Toggle word wrap

   输出示例

   lastTransitionTime: "2024-11-25T20:19:31Z"
   message: 'One or more status conditions indicate progressing: LoadBalancerProgressing=True (OperandsProgressing: One or more managed resources are progressing: The IngressController subnets were changed from [...] to [...].  To effectuate this change, you must delete the service: `oc -n openshift-ingress delete svc/router-<name>`; the service load-balancer will then be deprovisioned and a new one created. This will most likely cause the new load-balancer to have a different host name and IP address and cause disruption. To return to the previous state, you can revert the change to the IngressController: [...]'
   reason: IngressControllerProgressing
   status: "True"
   type: Progressing

   Copy to Clipboard Toggle word wrap

3. 要应用更新，请运行以下命令删除与 Ingress 控制器关联的服务：

流程

1. 创建一个包含以下内容的 YAML 文件：

   sample-ingress.yaml

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: <name> 

   1

   
   spec:
     domain: <domain> 

   2

   
     endpointPublishingStrategy:
       loadBalancer:
         scope: External 

   3

   
         type: LoadBalancerService
         providerParameters:
           type: AWS
           aws:
             type: NLB
             networkLoadBalancer:
               subnets: 

   4

   
                 ids:
                 - <subnet_ID>
                 names:
                 - <subnet_A>
                 - <subnet_B>
               eipAllocations: 

   5

   
               - <eipalloc_A>
               - <eipalloc_B>
               - <eipalloc_C>

   Copy to Clipboard Toggle word wrap

   1

   使用 Ingress Controller 的名称替换 <name> 占位符。

   2

   将 <domain> 占位符替换为 Ingress Controller 服务的 DNS 名称。

   3

   范围必须设置为 External 的值，并面向互联网，才能分配 EIP。

   4

   指定子网的 ID 和名称。ID 和名称的总数必须等于您分配的 EIP。

   5

   指定 EIP 地址。

   重要

   您可以为每个可用区最多指定一个子网。仅为外部 Ingress Controller 提供公共子网。您可以为每个子网关联一个 EIP 地址。

2. 输入以下命令保存并应用 CR 文件：

   $  oc apply -f sample-ingress.yaml

   Copy to Clipboard Toggle word wrap

验证

1. 运行以下命令，检查 IngressController 条件来确认负载均衡器是否已成功置备：

   $ oc get ingresscontroller -n openshift-ingress-operator <name> -o jsonpath="{.status.conditions}" | yq -PC

   Copy to Clipboard Toggle word wrap