6.8. 配置 Ingress Controller

1. 使用 tls.crt 和 tls.key 文件，创建在 openshift-ingress 命名空间中包含自定义证书的 Secret 资源。

   $ oc --namespace openshift-ingress create secret tls custom-certs-default --cert=tls.crt --key=tls.key

2. 更新 IngressController CR，以引用新的证书 Secret：

   $ oc patch --type=merge --namespace openshift-ingress-operator ingresscontrollers/default \
     --patch '{"spec":{"defaultCertificate":{"name":"custom-certs-default"}}}'

3. 验证更新是否已生效：

   $ echo Q |\
     openssl s_client -connect console-openshift-console.apps.<domain>:443 -showcerts 2>/dev/null |\
     openssl x509 -noout -subject -issuer -enddate

   其中：

   <domain>

   指定集群的基域名。

   输出示例

   subject=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = *.apps.example.com
   issuer=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = example.com
   notAfter=May 10 08:32:45 2022 GM

   提示

   您还可以应用以下 YAML 来设置自定义默认证书：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     defaultCertificate:
       name: custom-certs-default

   证书 Secret 名称应该与用来更新 CR 的值匹配。

流程

1. 查看默认 IngressController 的当前可用副本数：

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   输出示例

   2

2. 使用 oc patch 命令，将默认 IngressController 扩展至所需的副本数。以下示例将默认 IngressController 扩展至 3 个副本：

   $ oc patch -n openshift-ingress-operator ingresscontroller/default --patch '{"spec":{"replicas": 3}}' --type=merge

   输出示例

   ingresscontroller.operator.openshift.io/default patched

3. 验证默认 IngressController 是否已扩展至您指定的副本数：

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   输出示例

   3

   提示

   您还可以应用以下 YAML 将 Ingress Controller 扩展为三个副本：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     replicas: 3               1

   1

   如果需要不同数量的副本，请更改 replicas 值。

流程

1. 在名为 <name>-ingress-controller.yaml 的文件中创建 IngressController 自定义资源 (CR) ，如下例所示：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: <name> 1
   spec:
     domain: <domain> 2
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal 3

   1

   将 <name> 替换为 IngressController 对象的名称。

   2

   指定控制器发布的应用程序的 domain。

   3

   指定一个 Internal 值以使用内部负载均衡器。

2. 运行以下命令，创建上一步中定义的 Ingress Controller：

   $ oc create -f <name>-ingress-controller.yaml 1

   1

   将 <name> 替换为 IngressController 对象的名称。

3. 可选：通过运行以下命令确认创建了 Ingress Controller：

   $ oc --all-namespaces=true get ingresscontrollers

流程

1. 配置 Ingress Controller 资源，以允许全局访问。

   注意

   您还可以创建 Ingress Controller 并指定全局访问选项。

   1. 配置 Ingress Controller 资源：

      $ oc -n openshift-ingress-operator edit ingresscontroller/default

   2. 编辑 YAML 文件：

      clientAccess 配置为 Global 的示例

        spec:
          endpointPublishingStrategy:
            loadBalancer:
              providerParameters:
                gcp:
                  clientAccess: Global 1
                type: GCP
              scope: Internal
            type: LoadBalancerService

      1

      将 gcp.clientAccess 设置为 Global。

   3. 保存文件以使改变生效。

2. 运行以下命令，以验证该服务是否允许全局访问：

   $ oc -n openshift-ingress edit svc/router-default -o yaml

   输出显示，全局访问已为带有注解 networking.gke.io/internal-load-balancer-allow-global-access 的 GCP 启用。

流程

1. 通过删除并重新创建集群，将 默认 Ingress Controller 配置为内部。

   $ oc replace --force --wait --filename - <<EOF
   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: default
   spec:
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal
   EOF

流程

1. 配置通配符策略。

   1. 使用以下命令来编辑 IngressController 资源：

      $ oc edit IngressController

   2. 在 spec 下，将 wildcardPolicy 字段设置 为 WildcardsDisallowed 或 WildcardsAllowed：

      spec:
        routeAdmission:
          wildcardPolicy: WildcardsDisallowed # or WildcardsAllowed

流程

1. 为 Ingress Controller 配置 HTTPHeaders 字段。

   1. 使用以下命令来编辑 IngressController 资源：

      $ oc edit IngressController

   2. 在 spec 下，将 HTTPHeaders 策略字段设置为 Append、Replace、IfNone 或 Never:

      apiVersion: operator.openshift.io/v1
      kind: IngressController
      metadata:
        name: default
        namespace: openshift-ingress-operator
      spec:
        httpHeaders:
          forwardedHeaderPolicy: Append

流程

1. 编辑 Ingress Controller 资源：

   $ oc -n openshift-ingress-operator edit ingresscontroller/default

2. 设置 PROXY 配置：

   • 如果您的 Ingress Controller 使用 hostNetwork 端点发布策略类型，将 spec.endpointPublishingStrategy.hostNetwork.protocol 子字段设置为 PROXY：

     hostNetwork 配置为 PROXY 的示例

       spec:
         endpointPublishingStrategy:
           hostNetwork:
             protocol: PROXY
           type: HostNetwork

   • 如果您的 Ingress Controller 使用 NodePortService 端点发布策略类型，将 spec.endpointPublishingStrategy.nodePort.protocol 子字段设置为 PROXY：

     nodePort 配置为 PROXY 示例

       spec:
         endpointPublishingStrategy:
           nodePort:
             protocol: PROXY
           type: NodePortService

流程

1. 通过为用户创建的路由指定备选默认域来配置 appsDomain 字段。

   1. 编辑 ingress 集群资源 ：

      $ oc edit ingresses.config/cluster -o yaml

   2. 编辑 YAML 文件：

      示例 appsDomain 配置为 test.example.com

      apiVersion: config.openshift.io/v1
      kind: Ingress
      metadata:
        name: cluster
      spec:
        domain: apps.example.com            1
        appsDomain: <test.example.com>      2

      1

      指定默认域。您不能在安装后修改默认域。

      2

      可选：用于应用程序路由的 OpenShift Container Platform 基础架构域。您可以使用 测试 等替代前缀 apps，而不是默认前缀。

2. 通过公开路由并验证路由域更改，验证现有路由是否包含 appsDomain 字段中指定的域名：

   注意

   在公开路由前，等待 openshift-apiserver 完成滚动更新。

   1. 公开路由：

      $ oc expose service hello-openshift
      route.route.openshift.io/hello-openshift exposed

      输出示例：

      $ oc get routes
      NAME              HOST/PORT                                   PATH   SERVICES          PORT       TERMINATION   WILDCARD
      hello-openshift   hello_openshift-<my_project>.test.example.com
      hello-openshift   8080-tcp                 None

流程

1. 为 Ingress Controller 配置 httpCompression 字段。

   1. 使用以下命令来编辑 IngressController 资源：

      $ oc edit -n openshift-ingress-operator ingresscontrollers/default

   2. 在 spec 下，将 httpCompression 策略字段设置为 mimeTypes，并指定应该应用压缩的 MIME 类型列表：

      apiVersion: operator.openshift.io/v1
      kind: IngressController
      metadata:
        name: default
        namespace: openshift-ingress-operator
      spec:
        httpCompression:
          mimeTypes:
          - "text/html"
          - "text/css; charset=utf-8"
          - "application/json"
         ...

流程

1. 运行以下命令来获取路由器 pod 名称：

   $ oc get pods -n openshift-ingress

   输出示例

   NAME                              READY   STATUS    RESTARTS   AGE
   router-default-76bfffb66c-46qwp   1/1     Running   0          11h

2. 获取路由器的用户名和密码，路由器 Pod 存储在 /var/lib/haproxy/conf/metrics-auth/statsUsername 和 /var/lib/haproxy/conf/metrics-auth/statsPassword 文件中：

   1. 运行以下命令来获取用户名：

      $ oc rsh <router_pod_name> cat metrics-auth/statsUsername

   2. 运行以下命令来获取密码：

      $ oc rsh <router_pod_name> cat metrics-auth/statsPassword

3. 运行以下命令，获取路由器 IP 和指标证书：

   $ oc describe pod <router_pod>

4. 运行以下命令，以 Prometheus 格式获取原始统计信息：

   $ curl -u <user>:<password> http://<router_IP>:<stats_port>/metrics

5. 运行以下命令来安全地访问指标：

   $ curl -u user:password https://<router_IP>:<stats_port>/metrics -k

6. 运行以下命令，访问默认的 stats 端口 1936：

   $ curl -u <user>:<password> http://<router_IP>:<stats_port>/metrics

   例 6.1. 输出示例

   …​ # HELP haproxy_backend_connections_total Total number of connections. # TYPE haproxy_backend_connections_total gauge haproxy_backend_connections_total{backend="http",namespace="default",route="hello-route"} 0 haproxy_backend_connections_total{backend="http",namespace="default",route="hello-route-alt"} 0 haproxy_backend_connections_total{backend="http",namespace="default",route="hello-route01"} 0 …​ # HELP haproxy_exporter_server_threshold Number of servers tracked and the current threshold value. # TYPE haproxy_exporter_server_threshold gauge haproxy_exporter_server_threshold{type="current"} 11 haproxy_exporter_server_threshold{type="limit"} 500 …​ # HELP haproxy_frontend_bytes_in_total Current total of incoming bytes. # TYPE haproxy_frontend_bytes_in_total gauge haproxy_frontend_bytes_in_total{frontend="fe_no_sni"} 0 haproxy_frontend_bytes_in_total{frontend="fe_sni"} 0 haproxy_frontend_bytes_in_total{frontend="public"} 119070 …​ # HELP haproxy_server_bytes_in_total Current total of incoming bytes. # TYPE haproxy_server_bytes_in_total gauge haproxy_server_bytes_in_total{namespace="",pod="",route="",server="fe_no_sni",service=""} 0 haproxy_server_bytes_in_total{namespace="",pod="",route="",server="fe_sni",service=""} 0 haproxy_server_bytes_in_total{namespace="default",pod="docker-registry-5-nk5fz",route="docker-registry",server="10.130.0.89:5000",service="docker-registry"} 0 haproxy_server_bytes_in_total{namespace="default",pod="hello-rc-vkjqx",route="hello-route",server="10.130.0.90:8080",service="hello-svc-1"} 0 …​

7. 通过在浏览器中输入以下 URL 来启动 stats 窗口：

   http://<user>:<password>@<router_IP>:<stats_port>

8. 可选：通过在浏览器中输入以下 URL 来获取 CSV 格式的统计信息：

   http://<user>:<password>@<router_ip>:1936/metrics;csv

流程

1. 在 openshift-config 命名空间中创建一个名为 my-custom-error-code-pages 的配置映射：

   $ oc -n openshift-config create configmap my-custom-error-code-pages \
   --from-file=error-page-503.http \
   --from-file=error-page-404.http

   重要

   如果没有为自定义错误代码响应页面指定正确的格式，则会出现路由器 pod 中断。要解决此中断，您必须删除或更正配置映射并删除受影响的路由器 pod，以便使用正确的信息重新创建它们。

2. 对 Ingress Controller 进行补丁以根据名称引用 my-custom-error-code-pages 配置映射：

   $ oc patch -n openshift-ingress-operator ingresscontroller/default --patch '{"spec":{"httpErrorCodePages":{"name":"my-custom-error-code-pages"}}}' --type=merge

   Ingress Operator 将 my-custom-error-code-pages 配置映射从 openshift-config 命名空间复制到 openshift-ingress 命名空间。Operator 根据 openshift-ingress 命名空间中的模式 <your_ingresscontroller_name>-errorpages 命名配置映射。

3. 显示副本：

   $ oc get cm default-errorpages -n openshift-ingress

   输出示例

   NAME                       DATA   AGE
   default-errorpages         2      25s  1

   1

   配置映射名称示例为 default-errorpages，因为 default Ingress Controller 自定义资源 (CR) 已被修补。

4. 确认包含自定义错误响应页面的配置映射挂载到路由器卷中，其中配置映射键是具有自定义 HTTP 错误代码响应的文件名：

   • 对于 503 自定义 HTTP 自定义错误代码响应：

     $ oc -n openshift-ingress rsh <router_pod> cat /var/lib/haproxy/conf/error_code_pages/error-page-503.http

   • 对于 404 自定义 HTTP 自定义错误代码响应：

     $ oc -n openshift-ingress rsh <router_pod> cat /var/lib/haproxy/conf/error_code_pages/error-page-404.http

1. 创建测试项目和应用程序：

    $ oc new-project test-ingress

   $ oc new-app django-psql-example

2. 对于 503 自定义 http 错误代码响应：

   1. 停止应用的所有容器集。

   2. 运行以下 curl 命令或在浏览器中访问路由主机名：

      $ curl -vk <route_hostname>

3. 对于 404 自定义 http 错误代码响应：

   1. 访问不存在的路由或路由不正确。

   2. 运行以下 curl 命令或在浏览器中访问路由主机名：

      $ curl -vk <route_hostname>

4. 检查 haproxy.config 文件中的 errorfile 属性是否正确：

   $ oc -n openshift-ingress rsh <router> cat /var/lib/haproxy/conf/haproxy.config | grep errorfile