网络

流程

1. 在 DNS Operator 中将 managementState 更改为 Unmanaged ：

   oc patch dns.operator.openshift.io default --type merge --patch '{"spec":{"managementState":"Unmanaged"}}'

   Copy to Clipboard Toggle word wrap

2. 使用 jsonpath 命令行 JSON 解析器查看 DNS Operator 的 managementState ：

   $ oc get dns.operator.openshift.io default -ojsonpath='{.spec.managementState}'

   Copy to Clipboard Toggle word wrap

   输出示例

   "Unmanaged"

   Copy to Clipboard Toggle word wrap

流程

1. 修改名为 default 的 DNS Operator 对象：

   $ oc edit dns.operator/default

   Copy to Clipboard Toggle word wrap

   集群管理员可以配置传输层安全(TLS)来转发 DNS 查询。

   使用 TLS 配置 DNS 转发

   apiVersion: operator.openshift.io/v1
   kind: DNS
   metadata:
     name: default
   spec:
     servers:
     - name: example-server 

   1

   
       zones:
       - example.com 

   2

   
       forwardPlugin:
         transportConfig:
           transport: TLS 

   3

   
           tls:
             caBundle:
               name: mycacert
             serverName: dnstls.example.com  

   4

   
         policy: Random 

   5

   
         upstreams: 

   6

   
         - 1.1.1.1
         - 2.2.2.2:5353
     upstreamResolvers: 

   7

   
       transportConfig:
         transport: TLS
         tls:
           caBundle:
             name: mycacert
           serverName: dnstls.example.com
       upstreams:
       - type: Network 

   8

   
         address: 1.2.3.4 

   9

   
         port: 53 

   10

   Copy to Clipboard Toggle word wrap

   1

   必须符合 rfc6335 服务名称语法。

   2

   必须符合 rfc1123 服务名称语法中的子域的定义。集群域 cluster.local 是对 zones 字段的无效子域。集群域 cluster.local 不是 zones 中的一个有效的 subdomain。

   3

   在为转发 DNS 查询配置 TLS 时，将 transport 字段设置为具有值 TLS。

   4

   当为转发 DNS 查询配置 TLS 时，这是用作服务器名称的一部分(SNI)的强制服务器名称来验证上游 TLS 服务器证书。

   5

   定义用于选择上游解析器的策略。默认值为 Random。您还可以使用 RoundRobin, 和 Sequential 值。

   6

   必需。使用它提供上游解析器。每个 forwardPlugin 条目最多允许 15 个 upstreams 条目。

   7

   可选。您可以使用它来覆盖默认策略，并将 DNS 解析转发到默认域的指定 DNS 解析器（上游解析器）。如果没有提供任何上游解析器，DNS 名称查询将进入 /etc/resolv.conf 中的服务器。

   8

   在使用 TLS 时，只允许网络类型，且您必须提供 IP 地址。网络类型表示，该上游解析器应该独立于 /etc/resolv.conf 中列出的上游解析器单独处理转发请求。

   9

   address 字段必须是有效的 IPv4 或 IPv6 地址。

   10

   您可以选择提供端口。port 必须是 1 到 65535 之间的值。如果您没有为上游指定端口，则默认端口为 853。

   注意

   如果 servers 未定义或无效，则配置映射只包括默认服务器。

验证

1. 查看配置映射：

   $ oc get configmap/dns-default -n openshift-dns -o yaml

   Copy to Clipboard Toggle word wrap

   基于 TLS 转发示例的 DNS ConfigMap 示例

   apiVersion: v1
   data:
     Corefile: |
       example.com:5353 {
           forward . 1.1.1.1 2.2.2.2:5353
       }
       bar.com:5353 example.com:5353 {
           forward . 3.3.3.3 4.4.4.4:5454 

   1

   
       }
       .:5353 {
           errors
           health
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods insecure
               upstream
               fallthrough in-addr.arpa ip6.arpa
           }
           prometheus :9153
           forward . /etc/resolv.conf 1.2.3.4:53 {
               policy Random
           }
           cache 30
           reload
       }
   kind: ConfigMap
   metadata:
     labels:
       dns.operator.openshift.io/owning-dns: default
     name: dns-default
     namespace: openshift-dns

   Copy to Clipboard Toggle word wrap

   1

   对 forwardPlugin 的更改会触发 CoreDNS 守护进程集的滚动更新。

1. 使用 tls.crt 和 tls.key 文件，创建在 openshift-ingress 命名空间中包含自定义证书的 Secret 资源。

   $ oc --namespace openshift-ingress create secret tls custom-certs-default --cert=tls.crt --key=tls.key

   Copy to Clipboard Toggle word wrap

2. 更新 IngressController CR，以引用新的证书 Secret：

   $ oc patch --type=merge --namespace openshift-ingress-operator ingresscontrollers/default \
     --patch '{"spec":{"defaultCertificate":{"name":"custom-certs-default"}}}'

   Copy to Clipboard Toggle word wrap

3. 验证更新是否已生效：

   $ echo Q |\
     openssl s_client -connect console-openshift-console.apps.<domain>:443 -showcerts 2>/dev/null |\
     openssl x509 -noout -subject -issuer -enddate

   Copy to Clipboard Toggle word wrap

   其中：

   <domain>

   指定集群的基域名。

   输出示例

   subject=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = *.apps.example.com
   issuer=C = US, ST = NC, L = Raleigh, O = RH, OU = OCP4, CN = example.com
   notAfter=May 10 08:32:45 2022 GM

   Copy to Clipboard Toggle word wrap

   提示

   您还可以应用以下 YAML 来设置自定义默认证书：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     defaultCertificate:
       name: custom-certs-default

   Copy to Clipboard Toggle word wrap

   证书 Secret 名称应该与用来更新 CR 的值匹配。

流程

1. 运行以下命令，创建一个服务帐户来与 Thanos 进行身份验证：

   $ oc create -n openshift-ingress-operator serviceaccount thanos && oc describe -n openshift-ingress-operator serviceaccount thanos

   Copy to Clipboard Toggle word wrap

   输出示例

   Name:                thanos
   Namespace:           openshift-ingress-operator
   Labels:              <none>
   Annotations:         <none>
   Image pull secrets:  thanos-dockercfg-kfvf2
   Mountable secrets:   thanos-dockercfg-kfvf2
   Tokens:              <none>
   Events:              <none>

   Copy to Clipboard Toggle word wrap

2. 使用以下命令手动创建服务帐户令牌：

   $ oc apply -f - <<EOF
   apiVersion: v1
   kind: Secret
   metadata:
     name: thanos-token
     namespace: openshift-ingress-operator
     annotations:
       kubernetes.io/service-account.name: thanos
   type: kubernetes.io/service-account-token
   EOF

   Copy to Clipboard Toggle word wrap

3. 使用服务帐户的令牌，在 openshift-ingress-operator 命名空间中定义一个 TriggerAuthentication 对象。

   1. 创建 TriggerAuthentication 对象，并将 secret 变量的值传递给 TOKEN 参数：

      $ oc apply -f - <<EOF
      apiVersion: keda.sh/v1alpha1
      kind: TriggerAuthentication
      metadata:
        name: keda-trigger-auth-prometheus
        namespace: openshift-ingress-operator
      spec:
        secretTargetRef:
        - parameter: bearerToken
          name: thanos-token
          key: token
        - parameter: ca
          name: thanos-token
          key: ca.crt
      EOF

      Copy to Clipboard Toggle word wrap

4. 创建并应用角色以从 Thanos 读取指标：

   1. 创建一个新角色 thanos-metrics-reader.yaml，从 pod 和节点读取指标：

      thanos-metrics-reader.yaml

      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: thanos-metrics-reader
        namespace: openshift-ingress-operator
      rules:
      - apiGroups:
        - ""
        resources:
        - pods
        - nodes
        verbs:
        - get
      - apiGroups:
        - metrics.k8s.io
        resources:
        - pods
        - nodes
        verbs:
        - get
        - list
        - watch
      - apiGroups:
        - ""
        resources:
        - namespaces
        verbs:
        - get

      Copy to Clipboard Toggle word wrap

   2. 运行以下命令来应用新角色：

      $ oc apply -f thanos-metrics-reader.yaml

      Copy to Clipboard Toggle word wrap

5. 输入以下命令在服务帐户中添加新角色：

   $ oc adm policy -n openshift-ingress-operator add-role-to-user thanos-metrics-reader -z thanos --role-namespace=openshift-ingress-operator

   Copy to Clipboard Toggle word wrap

   $ oc adm policy -n openshift-ingress-operator add-cluster-role-to-user cluster-monitoring-view -z thanos

   Copy to Clipboard Toggle word wrap
   注意

   只有在使用跨命名空间查询时，才需要参数 add-cluster-role-to-user。以下步骤使用 kube-metrics 命名空间中的查询，该命名空间需要此参数。

6. 创建一个新的 ScaledObject YAML 文件 ingress-autoscaler.yaml，该文件以默认 Ingress Controller 部署为目标：

   ScaledObject 定义示例

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     name: ingress-scaler
     namespace: openshift-ingress-operator
   spec:
     scaleTargetRef: 

   1

   
       apiVersion: operator.openshift.io/v1
       kind: IngressController
       name: default
       envSourceContainerName: ingress-operator
     minReplicaCount: 1
     maxReplicaCount: 20 

   2

   
     cooldownPeriod: 1
     pollingInterval: 1
     triggers:
     - type: prometheus
       metricType: AverageValue
       metadata:
         serverAddress: https://thanos-querier.openshift-monitoring.svc.cluster.local:9091 

   3

   
         namespace: openshift-ingress-operator 

   4

   
         metricName: 'kube-node-role'
         threshold: '1'
         query: 'sum(kube_node_role{role="worker",service="kube-state-metrics"})' 

   5

   
         authModes: "bearer"
       authenticationRef:
         name: keda-trigger-auth-prometheus

   Copy to Clipboard Toggle word wrap

   1

   要目标的自定义资源。在本例中，Ingress Controller。

   2

   可选：最大副本数。如果省略此字段，则默认最大值设置为 100 个副本。

   3

   openshift-monitoring 命名空间中的 Thanos 服务端点。

   4

   Ingress Operator 命名空间。

   5

   此表达式评估为，部署的集群中存在很多 worker 节点。

   重要

   如果使用跨命名空间查询，您必须在 serverAddress 字段中目标端口 9091 而不是端口 9092。您还必须有升级的特权，才能从此端口读取指标。

7. 运行以下命令来应用自定义资源定义：

   $ oc apply -f ingress-autoscaler.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 查看默认 IngressController 的当前可用副本数：

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   Copy to Clipboard Toggle word wrap

   输出示例

   2

   Copy to Clipboard Toggle word wrap

2. 使用 oc patch 命令，将默认 IngressController 扩展至所需的副本数。以下示例将默认 IngressController 扩展至 3 个副本：

   $ oc patch -n openshift-ingress-operator ingresscontroller/default --patch '{"spec":{"replicas": 3}}' --type=merge

   Copy to Clipboard Toggle word wrap

   输出示例

   ingresscontroller.operator.openshift.io/default patched

   Copy to Clipboard Toggle word wrap

3. 验证默认 IngressController 是否已扩展至您指定的副本数：

   $ oc get -n openshift-ingress-operator ingresscontrollers/default -o jsonpath='{$.status.availableReplicas}'

   Copy to Clipboard Toggle word wrap

   输出示例

   3

   Copy to Clipboard Toggle word wrap

   提示

   您还可以应用以下 YAML 将 Ingress Controller 扩展为三个副本：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     replicas: 3               

   1

   Copy to Clipboard Toggle word wrap

   1

   如果需要不同数量的副本，请更改 replicas 值。

流程

1. 在名为 <name>-ingress-controller.yaml 的文件中创建 IngressController 自定义资源 (CR) ，如下例所示：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: <name> 

   1

   
   spec:
     domain: <domain> 

   2

   
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal 

   3

   Copy to Clipboard Toggle word wrap

   1

   将 <name> 替换为 IngressController 对象的名称。

   2

   指定控制器发布的应用程序的 domain。

   3

   指定一个 Internal 值以使用内部负载均衡器。

2. 运行以下命令，创建上一步中定义的 Ingress Controller：

   $ oc create -f <name>-ingress-controller.yaml 

   1

   Copy to Clipboard Toggle word wrap

   1

   将 <name> 替换为 IngressController 对象的名称。

3. 可选：通过运行以下命令确认创建了 Ingress Controller：

   $ oc --all-namespaces=true get ingresscontrollers

   Copy to Clipboard Toggle word wrap

流程

1. 通过删除并重新创建集群，将 默认 Ingress Controller 配置为内部。

   $ oc replace --force --wait --filename - <<EOF
   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     namespace: openshift-ingress-operator
     name: default
   spec:
     endpointPublishingStrategy:
       type: LoadBalancerService
       loadBalancer:
         scope: Internal
   EOF

   Copy to Clipboard Toggle word wrap

流程

1. 配置通配符策略。

   1. 使用以下命令来编辑 IngressController 资源：

      $ oc edit IngressController

      Copy to Clipboard Toggle word wrap

   2. 在 spec 下，将 wildcardPolicy 字段设置 为 WildcardsDisallowed 或 WildcardsAllowed：

      spec:
        routeAdmission:
          wildcardPolicy: WildcardsDisallowed # or WildcardsAllowed

      Copy to Clipboard Toggle word wrap

流程

1. 编辑 Ingress Controller 资源：

   $ oc -n openshift-ingress-operator edit ingresscontroller/default

   Copy to Clipboard Toggle word wrap

2. 将 X-SSL-Client-Der HTTP 请求标头替换为 X-Forwarded-Client-Cert HTTP 请求标头：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     httpHeaders:
       actions: 

   1

   
         request: 

   2

   
         - name: X-Forwarded-Client-Cert 

   3

   
           action:
             type: Set 

   4

   
             set:
              value: "%{+Q}[ssl_c_der,base64]" 

   5

   
         - name: X-SSL-Client-Der
           action:
             type: Delete

   Copy to Clipboard Toggle word wrap

   1

   要在 HTTP 标头上执行的操作列表。

   2

   您要更改的标头类型。在本例中，请求标头。

   3

   您要更改的标头的名称。有关您可以设置或删除的可用标头列表，请参阅 HTTP 标头配置。

   4

   在标头中执行的操作类型。此字段可以具有 Set 或 Delete 的值。

   5

   在设置 HTTP 标头时，您必须提供一个 value。该值可以是该标头的可用指令列表中的字符串，如 DENY，也可以是使用 HAProxy 的动态值语法来解释的动态值。在这种情况下，会添加一个动态值。

   注意

   对于 HTTP 响应设置动态标头值，允许示例 fetchers 是 res.hdr 和 ssl_c_der。对于 HTTP 请求设置动态标头值，允许示例获取器为 req.hdr 和 ssl_c_der。请求和响应动态值都可以使用 lower 和 base64 转换器。

3. 保存文件以使改变生效。

流程

1. 为 Ingress Controller 配置 HTTPHeaders 字段。

   1. 使用以下命令来编辑 IngressController 资源：

      $ oc edit IngressController

      Copy to Clipboard Toggle word wrap

   2. 在 spec 下，将 HTTPHeaders 策略字段设置为 Append、Replace、IfNone 或 Never:

      apiVersion: operator.openshift.io/v1
      kind: IngressController
      metadata:
        name: default
        namespace: openshift-ingress-operator
      spec:
        httpHeaders:
          forwardedHeaderPolicy: Append

      Copy to Clipboard Toggle word wrap

流程

1. 在 CLI 中输入以下命令来编辑 Ingress Controller 资源：

   $ oc -n openshift-ingress-operator edit ingresscontroller/default

   Copy to Clipboard Toggle word wrap

2. 设置 PROXY 配置：

   • 如果您的 Ingress Controller 使用 HostNetwork 端点发布策略类型，请将 spec.endpointPublishingStrategy.hostNetwork.protocol 子字段设置为 PROXY ：

     hostNetwork 配置为 PROXY 的示例

     # ...
       spec:
         endpointPublishingStrategy:
           hostNetwork:
             protocol: PROXY
           type: HostNetwork
     # ...

     Copy to Clipboard Toggle word wrap

   • 如果您的 Ingress Controller 使用 NodePortService 端点发布策略类型，请将 spec.endpointPublishingStrategy.nodePort.protocol 子字段设置为 PROXY ：

     nodePort 配置为 PROXY 示例

     # ...
       spec:
         endpointPublishingStrategy:
           nodePort:
             protocol: PROXY
           type: NodePortService
     # ...

     Copy to Clipboard Toggle word wrap

   • 如果您的 Ingress Controller 使用 Private 端点发布策略类型，请将 spec.endpointPublishingStrategy.private.protocol 子字段设置为 PROXY ：

     到 PROXY 的私有 配置示例

     # ...
       spec:
         endpointPublishingStrategy:
           private:
             protocol: PROXY
         type: Private
     # ...

     Copy to Clipboard Toggle word wrap

流程

1. 通过为用户创建的路由指定备选默认域来配置 appsDomain 字段。

   1. 编辑 ingress 集群资源 ：

      $ oc edit ingresses.config/cluster -o yaml

      Copy to Clipboard Toggle word wrap

   2. 编辑 YAML 文件：

      示例 appsDomain 配置为 test.example.com

      apiVersion: config.openshift.io/v1
      kind: Ingress
      metadata:
        name: cluster
      spec:
        domain: apps.example.com            

      1

      
        appsDomain: <test.example.com>      

      2

      Copy to Clipboard Toggle word wrap

      1

      指定默认域。您不能在安装后修改默认域。

      2

      可选：用于应用程序路由的 OpenShift Dedicated 基础架构域。您可以使用 测试 等替代前缀 apps，而不是默认前缀。

2. 通过公开路由并验证路由域更改，验证现有路由是否包含 appsDomain 字段中指定的域名：

   注意

   在公开路由前，等待 openshift-apiserver 完成滚动更新。

   1. 公开路由：

      $ oc expose service hello-openshift
      route.route.openshift.io/hello-openshift exposed

      Copy to Clipboard Toggle word wrap

      输出示例

      $ oc get routes
      NAME              HOST/PORT                                   PATH   SERVICES          PORT       TERMINATION   WILDCARD
      hello-openshift   hello_openshift-<my_project>.test.example.com
      hello-openshift   8080-tcp                 None

      Copy to Clipboard Toggle word wrap