Ingress 和负载均衡

流程

1. 运行以下命令，创建一个名为 hello-openshift 的项目：

   $ oc new-project hello-openshift

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，在项目中创建 pod：

   $ oc create -f https://raw.githubusercontent.com/openshift/origin/master/examples/hello-openshift/hello-pod.json

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，创建名为 hello-openshift 的服务：

   $ oc expose pod/hello-openshift

   Copy to Clipboard Toggle word wrap

4. 运行以下命令，创建一个没有安全安全的路由到 hello-openshift 应用程序：

   $ oc expose svc hello-openshift

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，创建一个名为 hello-openshift 的项目：

   $ oc new-project hello-openshift

   Copy to Clipboard Toggle word wrap

2. 运行以下命令，在项目中创建 pod：

   $ oc create -f https://raw.githubusercontent.com/openshift/origin/master/examples/hello-openshift/hello-pod.json

   Copy to Clipboard Toggle word wrap

3. 运行以下命令，创建名为 hello-openshift 的服务：

   $ oc expose pod/hello-openshift

   Copy to Clipboard Toggle word wrap

4. 创建名为 hello-openshift-route.yaml 的路由定义：

   为分片创建的路由的 YAML 定义

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     labels:
       type: sharded 

   1

   
     name: hello-openshift-edge
     namespace: hello-openshift
   spec:
     subdomain: hello-openshift 

   2

   
     tls:
       termination: edge
     to:
       kind: Service
       name: hello-openshift

   Copy to Clipboard Toggle word wrap

   1

   标签键及其对应标签值必须与 Ingress Controller 中指定的标签值匹配。在本例中，Ingress Controller 具有标签键和值 type: sharded。

   2

   路由将使用 subdomain 字段的值公开。指定 subdomain 字段时，您必须保留主机名未设置。如果您同时指定了 host 和 subdomain 字段，则路由将使用 host 字段的值，并忽略 subdomain 字段。

5. 通过运行以下命令，使用 hello-openshift-route.yaml 创建到 hello-openshift 应用程序的路由：

   $ oc -n hello-openshift create -f hello-openshift-route.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 创建一个路由定义，并将它保存到名为 app-example-route.yaml 的文件中：

   使用 HTTP 标头指令创建路由的 YAML 定义

   apiVersion: route.openshift.io/v1
   kind: Route
   # ...
   spec:
     host: app.example.com
     tls:
       termination: edge
     to:
       kind: Service
       name: app-example
     httpHeaders:
       actions: 

   1

   
         response: 

   2

   
         - name: Content-Location 

   3

   
           action:
             type: Set 

   4

   
             set:
               value: /lang/en-us 

   5

   Copy to Clipboard Toggle word wrap

   1

   要在 HTTP 标头上执行的操作列表。

   2

   您要更改的标头类型。在本例中，响应标头。

   3

   您要更改的标头的名称。有关您可以设置或删除的可用标头列表，请参阅 HTTP 标头配置。

   4

   在标头中执行的操作类型。此字段可以具有 Set 或 Delete 的值。

   5

   在设置 HTTP 标头时，您必须提供一个 value。该值可以是该标头的可用指令列表中的字符串，如 DENY，也可以是使用 HAProxy 的动态值语法来解释的动态值。在这种情况下，该值被设置为内容的相对位置。

2. 使用新创建的路由定义，创建到现有 Web 应用程序的路由：

   $ oc -n app-example create -f app-example-route.yaml

   Copy to Clipboard Toggle word wrap

1. 默认情况下，路由器会每 5 秒重新加载一次，它会从头重置容器集之间的平衡连接。因此，roundrobin 状态不会在重新加载后保留。当 pod 具有几乎相同的计算能力和存储容量时，此算法效果最佳。如果您的应用程序或服务会持续更改端点，例如，由于使用了 CI/CD 管道，可能会出现不平衡的结果。如果是这种情况下，可以使用不同的算法。

2. 如果允许列表中的 IP 地址和 CIDR 范围超过 61，它们将被写入到一个独立的文件中，haproxy.config 会引用这个文件。此文件存储在 /var/lib/haproxy/router/allowlists 文件夹中。

   注意

   为确保地址被写入允许列表，请检查 Ingress Controller 配置文件中是否列出了 CIDR 范围的完整列表。etcd 对象大小限制了路由注解的大小。因此，它实际上是为您可以在允许列表中包含的 IP 地址和 CIDR 范围的最大数量创建一个阈值。

流程

1. 在 OpenShift Container Platform 控制台中或通过 oc create 命令来定义 Ingress 对象：

   Ingress 的 YAML 定义

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: frontend
     annotations:
       route.openshift.io/termination: "reencrypt" 

   1

   
       route.openshift.io/destination-ca-certificate-secret: secret-ca-cert 

   2

   
   spec:
     rules:
     - host: www.example.com 

   3

   
       http:
         paths:
         - backend:
             service:
               name: frontend
               port:
                 number: 443
           path: /
           pathType: Prefix
     tls:
     - hosts:
       - www.example.com
       secretName: example-com-tls-certificate

   Copy to Clipboard Toggle word wrap

   1

   route.openshift.io/termination 注解可用于配置 Route 的 spec.tls.termination 字段，因为 Ingress 没有此字段。可接受的值为 edge、passthrough 和 reencrypt。所有其他值都会被静默忽略。当注解值未设置时，edge 是默认路由。模板文件中必须定义 TLS 证书详细信息，才能实现默认的边缘路由。

   3

   在使用 Ingress 对象时，您必须指定一个显式主机名，这与使用路由时不同。您可以使用 <host_name>.<cluster_ingress_domain> 语法（如 apps.openshiftdemos.com）以利用 *.<cluster_ingress_domain> 通配符 DNS 记录，为集群提供证书。否则，您必须确保有一个用于所选主机名的 DNS 记录。

   1. 如果您在 route.openshift.io/termination 注解中指定 passthrough 值，在 spec 中将 path 设置为 ''，将 pathType 设置为 ImplementationSpecific：

        spec:
          rules:
          - host: www.example.com
            http:
              paths:
              - path: ''
                pathType: ImplementationSpecific
                backend:
                  service:
                    name: frontend
                    port:
                      number: 443

      Copy to Clipboard Toggle word wrap

      $ oc apply -f ingress.yaml

      Copy to Clipboard Toggle word wrap

   2

   route.openshift.io/destination-ca-certificate-secret 可用于 Ingress 对象来定义带有自定义目的地证书(CA)的路由。该注解引用一个 kubernetes secret，secret-ca-cert 将插入到生成的路由中。

   1. 要从 ingress 对象使用目标 CA 指定路由对象，您必须在 secret 的 data.tls.crt specifier 中创建一个带有 PEM 编码格式的证书的 kubernetes.io/tls 或 Opaque 类型 secret。

2. 列出您的路由：

   $ oc get routes

   Copy to Clipboard Toggle word wrap

   结果包括一个自动生成的路由，其名称以 frontend- 开头：

   NAME             HOST/PORT         PATH    SERVICES    PORT    TERMINATION          WILDCARD
   frontend-gnztq   www.example.com           frontend    443     reencrypt/Redirect   None

   Copy to Clipboard Toggle word wrap

   如果您检查这个路由，它会类似于：

   自动生成的路由的 YAML 定义

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     name: frontend-gnztq
     ownerReferences:
     - apiVersion: networking.k8s.io/v1
       controller: true
       kind: Ingress
       name: frontend
       uid: 4e6c59cc-704d-4f44-b390-617d879033b6
   spec:
     host: www.example.com
     path: /
     port:
       targetPort: https
     tls:
       certificate: |
         -----BEGIN CERTIFICATE-----
         [...]
         -----END CERTIFICATE-----
       insecureEdgeTerminationPolicy: Redirect
       key: |
         -----BEGIN RSA PRIVATE KEY-----
         [...]
         -----END RSA PRIVATE KEY-----
       termination: reencrypt
       destinationCACertificate: |
         -----BEGIN CERTIFICATE-----
         [...]
         -----END CERTIFICATE-----
     to:
       kind: Service
       name: frontend

   Copy to Clipboard Toggle word wrap

流程

1. 为 Ingress 对象创建 YAML 文件。在本例中，该文件名为 example-ingress.yaml ：

   Ingress 对象的 YAML 定义

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: frontend
     ...
   spec:
     rules:
       ...
     tls:
     - {} 

   1

   Copy to Clipboard Toggle word wrap

   1

   使用此精确的语法指定 TLS，而不指定自定义证书。

2. 运行以下命令来创建 Ingress 对象：

   $ oc create -f example-ingress.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 输入以下命令为目标 CA 证书创建 secret：

   $ oc create secret generic dest-ca-cert --from-file=tls.crt=<file_path>

   Copy to Clipboard Toggle word wrap

   例如：

   $ oc -n test-ns create secret generic dest-ca-cert --from-file=tls.crt=tls.crt

   Copy to Clipboard Toggle word wrap

   输出示例

   secret/dest-ca-cert created

   Copy to Clipboard Toggle word wrap

2. 将 route.openshift.io/destination-ca-certificate-secret 添加到 Ingress 注解中：

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: frontend
     annotations:
       route.openshift.io/termination: "reencrypt"
       route.openshift.io/destination-ca-certificate-secret: secret-ca-cert 

   1

   
   ...

   Copy to Clipboard Toggle word wrap

   1

   该注解引用 kubernetes secret。

3. 此注解中引用的机密将插入到生成的路由中。

   输出示例

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     name: frontend
     annotations:
       route.openshift.io/termination: reencrypt
       route.openshift.io/destination-ca-certificate-secret: secret-ca-cert
   spec:
   ...
     tls:
       insecureEdgeTerminationPolicy: Redirect
       termination: reencrypt
       destinationCACertificate: |
         -----BEGIN CERTIFICATE-----
         [...]
         -----END CERTIFICATE-----
   ...

   Copy to Clipboard Toggle word wrap

流程

1. 要使 Ingress Controller 为工作负载提供通过 IPv4/IPv6 的流量，您可以通过设置 ipFamilies 和 ipFamilyPolicy 字段来创建服务 YAML 文件，或通过设置 ipFamilies 和 ipFamilyPolicy 字段来修改现有服务 YAML 文件。例如：

   服务 YAML 文件示例

   apiVersion: v1
   kind: Service
   metadata:
     creationTimestamp: yyyy-mm-ddT00:00:00Z
     labels:
       name: <service_name>
       manager: kubectl-create
       operation: Update
       time: yyyy-mm-ddT00:00:00Z
     name: <service_name>
     namespace: <namespace_name>
     resourceVersion: "<resource_version_number>"
     selfLink: "/api/v1/namespaces/<namespace_name>/services/<service_name>"
     uid: <uid_number>
   spec:
     clusterIP: 172.30.0.0/16
     clusterIPs: 

   1

   
     - 172.30.0.0/16
     - <second_IP_address>
     ipFamilies: 

   2

   
     - IPv4
     - IPv6
     ipFamilyPolicy: RequireDualStack 

   3

   
     ports:
     - port: 8080
       protocol: TCP
       targetport: 8080
     selector:
       name: <namespace_name>
     sessionAffinity: None
     type: ClusterIP
   status:
     loadbalancer: {}

   Copy to Clipboard Toggle word wrap

   1

   在双栈实例中，提供了两个不同的 clusterIP。

   2

   对于单堆栈实例，输入 IPv4 或 IPv6。对于双栈实例，请输入 IPv4 和 IPv6。

   3

   对于单堆栈实例，请输入 SingleStack。对于双栈实例，请输入 RequireDualStack。

   这些资源生成对应的端点。Ingress Controller 现在监视 endpointslices。

2. 要查看端点，请输入以下命令：

   $ oc get endpoints

   Copy to Clipboard Toggle word wrap

3. 要查看endpointslices，输入以下命令：

   $ oc get endpointslices

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，在与 secret 相同的命名空间中创建一个 角色，以允许路由器服务帐户读取访问权限：

   $ oc create role secret-reader --verb=get,list,watch --resource=secrets --resource-name=<secret-name> \ 

   1

   
   --namespace=<current-namespace> 

   2

   Copy to Clipboard Toggle word wrap

   1

   指定 secret 的实际名称。

   2

   指定 secret 和路由所在的命名空间。

2. 运行以下命令，在与 secret 相同的命名空间中创建 rolebinding，并将 router 服务帐户绑定到新创建的角色：

   $ oc create rolebinding secret-reader-binding --role=secret-reader --serviceaccount=openshift-ingress:router --namespace=<current-namespace> 

   1

   Copy to Clipboard Toggle word wrap

   1

   指定 secret 和路由所在的命名空间。

3. 创建一个定义 路由的 YAML 文件，并使用以下示例指定包含证书的 secret。

   安全路由的 YAML 定义

   apiVersion: route.openshift.io/v1
   kind: Route
   metadata:
     name: myedge
     namespace: test
   spec:
     host: myedge-test.apps.example.com
     tls:
       externalCertificate:
         name: <secret-name> 

   1

   
       termination: edge
       [...]
   [...]

   Copy to Clipboard Toggle word wrap

   1

   指定 secret 的实际名称。

4. 运行以下命令来创建一个路由资源：

   $ oc apply -f <route.yaml> 

   1

   Copy to Clipboard Toggle word wrap

   1

   指定生成的 YAML 文件名。

   如果 secret 存在并具有证书/密钥对，如果满足所有先决条件，路由器将提供生成的证书。

   注意

   如果没有提供 .spec.tls.externalCertificate，路由器将使用默认生成的证书。

   使用 .spec.tls.externalCertificate 字段时，您无法提供 .spec.tls.certificate 字段或 .spec.tls.key 字段。

流程

1. 可选： 要显示当前的外部 IP 配置，请输入以下命令：

   $ oc describe networks.config cluster

   Copy to Clipboard Toggle word wrap

2. 要编辑配置，请输入以下命令：

   $ oc edit networks.config cluster

   Copy to Clipboard Toggle word wrap

3. 修改 ExternalIP 配置，如下例所示：

   apiVersion: config.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     ...
     externalIP: 

   1

   
     ...

   Copy to Clipboard Toggle word wrap

   1

   指定 externalIP 小节的配置。

4. 要确认更新的 ExternalIP 配置，请输入以下命令：

   $ oc get networks.config cluster -o go-template='{{.spec.externalIP}}{{"\n"}}'

   Copy to Clipboard Toggle word wrap

流程

1. 运行 oc new-project 命令为您的服务创建一个新项目：

   $ oc new-project <project_name>

   Copy to Clipboard Toggle word wrap

2. 使用 oc new-app 命令来创建服务：

   $ oc new-app nodejs:12~https://github.com/sclorg/nodejs-ex.git

   Copy to Clipboard Toggle word wrap

3. 要验证该服务是否已创建，请运行以下命令：

   $ oc get svc -n <project_name>

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
   nodejs-ex   ClusterIP   172.30.197.157   <none>        8080/TCP   70s

   Copy to Clipboard Toggle word wrap

   注意

   默认情况下，新服务没有外部 IP 地址。

流程

1. 登录您想公开的服务所在的项目：

   $ oc project <project_name>

   Copy to Clipboard Toggle word wrap

2. 运行 oc expose service 命令以公开路由：

   $ oc expose service nodejs-ex

   Copy to Clipboard Toggle word wrap

   输出示例

   route.route.openshift.io/nodejs-ex exposed

   Copy to Clipboard Toggle word wrap

3. 要验证该服务是否已公开，您可以使用 curl 等工具来检查该服务是否可从集群外部访问。

   1. 要查找路由的主机名，请输入以下命令：

      $ oc get route

      Copy to Clipboard Toggle word wrap

      输出示例

      NAME        HOST/PORT                        PATH   SERVICES    PORT       TERMINATION   WILDCARD
      nodejs-ex   nodejs-ex-myproject.example.com         nodejs-ex   8080-tcp                 None

      Copy to Clipboard Toggle word wrap

   2. 要检查主机是否响应 GET 请求，请输入以下命令：

      curl 命令示例

      $ curl --head nodejs-ex-myproject.example.com

      Copy to Clipboard Toggle word wrap

      输出示例

      HTTP/1.1 200 OK
      ...

      Copy to Clipboard Toggle word wrap