配置网络设置

流程

1. 使用以下内容创建网络附加定义，如 tuning-example.yaml ：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: <name>
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "<name>",
       "plugins": [{
          "type": "<main_CNI_plugin>"
         },
         {
          "type": "tuning",
          "sysctl": {
               "net.ipv4.conf.IFNAME.accept_redirects": "1"
           }
         }
        ]
   }

   其中：

   metadata.name

   指定要创建的额外网络附加的名称。名称在指定的命名空间中必须是唯一的。

   metadata.namespace

   指定与对象关联的命名空间。

   spec.config.cniVersion

   指定 CNI 规格版本。

   spec.config.name

   指定配置的名称。建议您将配置名称与网络附加定义的 name 值匹配。

   spec.config.plugins.type

   指定要配置的主 CNI 插件的名称。

   spec.config.plugins.tuning.sysctl

   指定要设置的 sysctl。接口名称由 IFNAME 令牌表示，并替换为运行时接口的实际名称。

   网络附加定义示例

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: tuningnad
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "tuningnad",
       "plugins": [{
         "type": "bridge"
         },
         {
         "type": "tuning",
         "sysctl": {
            "net.ipv4.conf.IFNAME.accept_redirects": "1"
           }
       }
     ]
   }'

2. 运行以下命令来应用 YAML：

   $ oc apply -f tuning-example.yaml

   输出示例

   networkattachmentdefinition.k8.cni.cncf.io/tuningnad created

3. 使用类似以下示例的网络附加定义，创建示例 pod.yaml ：

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: default
     annotations:
       k8s.v1.cni.cncf.io/networks: tuningnad
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   其中：

   metadata.annotations.k8s.v1.cni.cncf.io/networks

   指定配置的 NetworkAttachmentDefinition 的名称。

   spec.containers.securityContext.runAsUser

   指定容器使用哪个用户 ID。

   spec.containers.securityContext.runAsGroup

   指定容器使用哪个主要组 ID。

   spec.containers.securityContext.allowPrivilegeEscalation

   指定 pod 是否可以请求允许特权升级。如果未指定，则默认为 true。这个布尔值直接控制在容器进程中是否设置了 no_new_privs 标志。

   spec.containers.securityContext.capabilities

   指定特权操作，而不提供完整的 root 访问权限。此策略可确保从 pod 中丢弃了所有功能。

   spec.securityContext.runAsNonRoot: true

   指定容器将使用任何 UID 为 0 的用户运行。

   spec.securityContext.seccompProfile

   指定 pod 或容器工作负载的默认 seccomp 配置集。

4. 运行以下命令来应用 yaml:

   $ oc apply -f examplepod.yaml

5. 运行以下命令验证 pod 是否已创建：

   $ oc get pod

   输出示例

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

6. 运行以下命令登录到 pod：

   $ oc rsh tunepod

7. 验证配置的 sysctl 标记的值。例如，通过运行以下命令查找 net.ipv4.conf.net1.accept_redirects 的值：

   sh-4.4# sysctl net.ipv4.conf.net1.accept_redirects

   预期输出

   net.ipv4.conf.net1.accept_redirects = 1

流程

1. 使用以下内容创建网络附加定义，如 tuning-example.yaml ：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: <name>
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "<name>",
       "plugins": [{
          "type": "<main_CNI_plugin>"
         },
         {
          "type": "tuning",
          "allmulti": true
           }
         }
        ]
   }

   其中：

   <name>

   指定要创建的额外网络附加的名称。名称在指定的命名空间中必须是唯一的。

   default

   指定与对象关联的命名空间。

   "0.4.0"

   指定 CNI 规格版本。

   "<name>"

   指定配置的名称。将配置名称与网络附加定义的 name 值匹配。

   "<main_CNI_plugin>"

   指定要配置的主 CNI 插件的名称。

   "tuning"

   指定 CNI meta 插件的名称。

   "true"

   指定接口的全多播模式。如果启用，接口将接收网络上的所有多播数据包。

   网络附加定义示例

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: setallmulti
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "setallmulti",
       "plugins": [
         {
           "type": "bridge"
         },
         {
           "type": "tuning",
           "allmulti": true
         }
       ]
     }'

2. 运行以下命令应用 YAML 文件中指定的设置：

   $ oc apply -f tuning-allmulti.yaml

   输出示例

   networkattachmentdefinition.k8s.cni.cncf.io/setallmulti created

3. 使用类似以下 examplepod.yaml文件中指定的网络附加定义创建 pod ：

   apiVersion: v1
   kind: Pod
   metadata:
     name: allmultipod
     namespace: default
     annotations:
       k8s.v1.cni.cncf.io/networks: setallmulti
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000
         runAsGroup: 3000
         allowPrivilegeEscalation: false
         capabilities:
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true
       seccompProfile:
         type: RuntimeDefault

   其中：

   metadata.annotations.k8s.v1.cni.cncf.io/networks

   指定配置的 NetworkAttachmentDefinition 的名称。

   spec.containers.securityContext.runAsUser

   指定容器使用哪个用户 ID。

   spec.containers.securityContext.runAsGroup

   指定容器使用哪个主要组 ID。

   spec.containers.securityContext.allowPrivilegeEscalation

   指定 pod 是否可以请求允许特权升级。如果未指定，则默认为 true。这个布尔值直接控制在容器进程中是否设置了 no_new_privs 标志。

   spec.containers.securityContext.capabilities

   指定特权操作，而不提供完整的 root 访问权限。此策略可确保从 pod 中丢弃了所有功能。

   spec.containers.securityContext.runAsNonRoot: true

   指定容器将使用任何 UID 为 0 的用户运行。

   spec.containers.securityContext.seccompProfile

   指定 pod 或容器工作负载的默认 seccomp 配置集。

4. 运行以下命令应用 YAML 文件中指定的设置：

   $ oc apply -f examplepod.yaml

5. 运行以下命令验证 pod 是否已创建：

   $ oc get pod

   输出示例

   NAME          READY   STATUS    RESTARTS   AGE
   allmultipod   1/1     Running   0          23s

6. 运行以下命令登录到 pod：

   $ oc rsh allmultipod

7. 运行以下命令，列出与 pod 关联的所有接口：

   sh-4.4# ip link

   输出示例

   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   2: eth0@if22: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8901 qdisc noqueue state UP mode DEFAULT group default
       link/ether 0a:58:0a:83:00:10 brd ff:ff:ff:ff:ff:ff link-netnsid 0
   3: net1@if24: <BROADCAST,MULTICAST,ALLMULTI,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default
       link/ether ee:9b:66:a4:ec:1d brd ff:ff:ff:ff:ff:ff link-netnsid 0

   其中：

   eth0@if22

   指定主接口。

   net1@if24

   指定使用支持 all-multicast 模式(ALLMULTI 标志)的 network-attachment-definition 配置的二级接口。

流程

1. 要获取集群的集群网络范围和主机前缀，请输入以下命令：

   $ oc get network.operator.openshift.io \
     -o jsonpath="{.items[0].spec.clusterNetwork}"

   输出示例

   [{"cidr":"10.217.0.0/22","hostPrefix":23}]

2. 要扩展集群网络 IP 地址范围，请输入以下命令。使用上一命令输出返回的 CIDR IP 地址范围和主机前缀。

   $ oc patch Network.config.openshift.io cluster --type='merge' --patch \
     '{
       "spec":{
         "clusterNetwork": [ {"cidr":"<network>/<cidr>","hostPrefix":<prefix>} ],
         "networkType": "OVNKubernetes"
       }
     }'

   其中：

   <network>

   指定您在上一步中获取的 cidr 字段的网络部分。您无法更改这个值。

   <cidr>

   指定网络前缀长度。例如，14。将此值更改为比上一步中的输出值小的值，以扩展集群网络范围。

   <prefix>

   指定集群的当前主机前缀。这个值必须与您在上一步中获取的 hostPrefix 字段的值相同。

   示例命令

   $ oc patch Network.config.openshift.io cluster --type='merge' --patch \
     '{
       "spec":{
         "clusterNetwork": [ {"cidr":"10.217.0.0/14","hostPrefix": 23} ],
         "networkType": "OVNKubernetes"
       }
     }'

   输出示例

   network.config.openshift.io/cluster patched

3. 要确认配置是活跃的，请输入以下命令。可能需要 30 分钟才能使此更改生效。

   $ oc get network.operator.openshift.io \
     -o jsonpath="{.items[0].spec.clusterNetwork}"

   输出示例

   [{"cidr":"10.217.0.0/14","hostPrefix":23}]

流程

1. 创建 IP 故障转移服务帐户：

   $ oc create sa ipfailover

2. 为 hostNetwork 更新安全性上下文约束（SCC）：

   $ oc adm policy add-scc-to-user privileged -z ipfailover

   $ oc adm policy add-scc-to-user hostnetwork -z ipfailover

3. 仅限 Red Hat OpenStack Platform (RHOSP)：完成以下步骤，使在 RHOSP 端口上可以访问故障转移 VIP 地址。

   1. 使用 RHOSP CLI 在 RHOSP 集群的 allowed_address_pairs 参数中显示默认的 RHOSP API 和 VIP 地址：

      $ openstack port show <cluster_name> -c allowed_address_pairs

      输出示例

      *Field*                  *Value*
      allowed_address_pairs    ip_address='192.168.0.5', mac_address='fa:16:3e:31:f9:cb'
                               ip_address='192.168.0.7', mac_address='fa:16:3e:31:f9:cb'

   2. 为 IP 故障转移部署设置不同的 VIP 地址，并通过在 RHOSP CLI 中输入以下命令使 RHOSP 端口上的地址访问。不要将任何默认的 RHOSP API 和 VIP 地址设置为 IP 故障转移部署的故障转移 VIP 地址。

      在 RHOSP 端口中添加 1.1.1.1 故障转移 IP 地址作为允许的地址的示例。

      $ openstack port set <cluster_name> --allowed-address ip-address=1.1.1.1,mac-address=fa:fa:16:3e:31:f9:cb

   3. 创建部署 YAML 文件，为您的部署配置 IP 故障切换。请参阅后续步骤中的"IP 故障转移配置的部署 YAML 示例"。

   4. 在 IP 故障转移部署中指定以下规格，以便将故障转移 VIP 地址传递给 OPENSHIFT_HA_VIRTUAL_IPS 环境变量：

      将 1.1.1.1 VIP 地址添加到 OPENSHIFT_HA_VIRTUAL_IPS 的示例

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: ipfailover-keepalived
      # ...
            spec:
                env:
                - name: OPENSHIFT_HA_VIRTUAL_IPS
                value: "1.1.1.1"
      # ...

4. 创建部署 YAML 文件来配置 IP 故障切换。

   注意

   对于 Red Hat OpenStack Platform (RHOSP)，您不需要重新创建部署 YAML 文件。您已作为之前说明的一部分创建了此文件。

   IP 故障转移配置的部署 YAML 示例

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: ipfailover-keepalived
     labels:
       ipfailover: hello-openshift
   spec:
     strategy:
       type: Recreate
     replicas: 2
     selector:
       matchLabels:
         ipfailover: hello-openshift
     template:
       metadata:
         labels:
           ipfailover: hello-openshift
       spec:
         serviceAccountName: ipfailover
         privileged: true
         hostNetwork: true
         nodeSelector:
           node-role.kubernetes.io/worker: ""
         containers:
         - name: openshift-ipfailover
           image: registry.redhat.io/openshift4/ose-keepalived-ipfailover-rhel9:v4.17
           ports:
           - containerPort: 63000
             hostPort: 63000
           imagePullPolicy: IfNotPresent
           securityContext:
             privileged: true
           volumeMounts:
           - name: lib-modules
             mountPath: /lib/modules
             readOnly: true
           - name: host-slash
             mountPath: /host
             readOnly: true
             mountPropagation: HostToContainer
           - name: etc-sysconfig
             mountPath: /etc/sysconfig
             readOnly: true
           - name: config-volume
             mountPath: /etc/keepalive
           env:
           - name: OPENSHIFT_HA_CONFIG_NAME
             value: "ipfailover"
           - name: OPENSHIFT_HA_VIRTUAL_IPS
             value: "1.1.1.1-2"
           - name: OPENSHIFT_HA_VIP_GROUPS
             value: "10"
           - name: OPENSHIFT_HA_NETWORK_INTERFACE
             value: "ens3" #The host interface to assign the VIPs
           - name: OPENSHIFT_HA_MONITOR_PORT
             value: "30060"
           - name: OPENSHIFT_HA_VRRP_ID_OFFSET
             value: "0"
           - name: OPENSHIFT_HA_REPLICA_COUNT
             value: "2" #Must match the number of replicas in the deployment
           - name: OPENSHIFT_HA_USE_UNICAST
             value: "false"
           #- name: OPENSHIFT_HA_UNICAST_PEERS
             #value: "10.0.148.40,10.0.160.234,10.0.199.110"
           - name: OPENSHIFT_HA_IPTABLES_CHAIN
             value: "INPUT"
           #- name: OPENSHIFT_HA_NOTIFY_SCRIPT
           #  value: /etc/keepalive/mynotifyscript.sh
           - name: OPENSHIFT_HA_CHECK_SCRIPT
             value: "/etc/keepalive/mycheckscript.sh"
           - name: OPENSHIFT_HA_PREEMPTION
             value: "preempt_delay 300"
           - name: OPENSHIFT_HA_CHECK_INTERVAL
             value: "2"
           livenessProbe:
             initialDelaySeconds: 10
             exec:
               command:
               - pgrep
               - keepalived
         volumes:
         - name: lib-modules
           hostPath:
             path: /lib/modules
         - name: host-slash
           hostPath:
             path: /
         - name: etc-sysconfig
           hostPath:
             path: /etc/sysconfig
         # config-volume contains the check script
         # created with `oc create configmap keepalived-checkscript --from-file=mycheckscript.sh`
         - configMap:
             defaultMode: 0755
             name: keepalived-checkscript
           name: config-volume
         imagePullSecrets:
           - name: openshift-pull-secret

   其中：

   ipfailover-keepalived

   指定 IP 故障转移部署的名称。

   OPENSHIFT_HA_VIRTUAL_IPS

   指定要复制的 IP 地址范围的lis t。必须提供.例如，1.2.3.4-6,1.2.3.9。

   OPENSHIFT_HA_VIP_GROUPS

   指定为 VRRP 创建的组数量。如果没有设置，则会为通过 OPENSHIFT_HA_VIP_GROUPS 变量指定的每个虚拟 IP 范围创建一个组。

   OPENSHIFT_HA_NETWORK_INTERFACE

   指定 IP 故障转移用于发送 VRRP 流量的接口名称。默认情况下使用 eth0。

   OPENSHIFT_HA_MONITOR_PORT

   指定 IP 故障转移 pod 会尝试在每个 VIP 上打开到此端口的 TCP 连接。如果建立连接，则服务将被视为正在运行。如果此端口设为 0，则测试会始终通过。默认值为 80。

   OPENSHIFT_HA_VRRP_ID_OFFSET

   指定用于设置虚拟路由器 ID 的偏移值。使用不同的偏移值可以在同一集群中存在多个 IP 故障转移配置。默认偏移值为 10，允许的范围为 0 到 255。

   OPENSHIFT_HA_REPLICA_COUNT

   指定要创建的副本数。这必须与 IP 故障转移配置中的 spec.replicas 值匹配。默认值为 2。

   OPENSHIFT_HA_USE_UNICAST

   指定是否为 VRRP 使用单播模式。默认值为 false。

   OPENSHIFT_HA_UNICAST_PEERS

   指定单播对等点的 IP 地址列表。如果 OPENSHIFT_HA_USE_UNICAST 设为 true，则必须提供此要求。

   OPENSHIFT_HA_IPTABLES_CHAIN

   指定 iptables 链的名称，以自动添加允许 VRRP 流量的 iptables 规则。如果没有设置值，则不会添加 iptables 规则。如果链不存在，则不会创建链，Keepalived 在单播模式下运行。默认为 INPUT。

   OPENSHIFT_HA_NOTIFY_SCRIPT

   指定在状态更改时运行的脚本的 pod 文件系统中的完整路径名称。

   OPENSHIFT_HA_CHECK_SCRIPT

   指定定期运行的脚本的 pod 文件系统中的完整路径名称，以验证应用程序是否正在运行。

   OPENSHIFT_HA_PREEMPTION

   指定处理新具有更高优先级主机的策略。默认值为 preempt_delay 300，这会导致，在有一个较低优先级的 master 提供 VIP 时，Keepalived 实例在 5 分钟后会接管 VIP。

   OPENSHIFT_HA_CHECK_INTERVAL

   指定检查脚本运行的期间（以秒为单位）。默认值为 2。

   openshift-pull-secret

   指定用于 IP 故障转移部署的 pull secret 名称。在创建部署之前创建 pull secret，否则您将在创建部署时收到错误。

流程

1. 创建所需脚本，并创建 ConfigMap 对象来容纳它。脚本没有输入参数，并且必须返回 0（ OK）和 1（ fail）。

   检查脚本，mycheckscript.sh：

   #!/bin/bash
       # Whatever tests are needed
       # E.g., send request and verify response
   exit 0

2. 运行以下命令来创建 ConfigMap 对象：

   $ oc create configmap mycustomcheck --from-file=mycheckscript.sh

3. 将脚本添加到容器集。挂载的 ConfigMap 对象的 defaultMode 必须能够使用 oc 命令或编辑 IP 故障转移配置来运行。

   1. 运行以下命令，将脚本添加到 pod。值通常为 0755、493 十进制。例如：

      $ oc set env deploy/ipfailover-keepalived \
          OPENSHIFT_HA_CHECK_SCRIPT=/etc/keepalive/mycheckscript.sh

      $ oc set volume deploy/ipfailover-keepalived --add --overwrite \
          --name=config-volume \
          --mount-path=/etc/keepalive \
          --source='{"configMap": { "name": "mycustomcheck", "defaultMode": 493}}'

      注意

      oc set env 命令对空格敏感。= 符号的两侧不能有空格。

   2. 或者，运行以下命令来编辑 ipfailover-keepalived 配置：

      $ oc edit deploy ipfailover-keepalived

      ipfailover-keepalived 配置示例

          spec:
            containers:
            - env:
              - name: OPENSHIFT_HA_CHECK_SCRIPT
                value: /etc/keepalive/mycheckscript.sh
      ...
              volumeMounts:
              - mountPath: /etc/keepalive
                name: config-volume
            dnsPolicy: ClusterFirst
      ...
            volumes:
            - configMap:
                defaultMode: 0755
                name: customrouter
              name: config-volume
      ...

      其中：

      spec.container.env.name

      指定 OPENSHIFT_HA_CHECK_SCRIPT 环境变量，以指向挂载的脚本文件。

      spec.container.volumeMounts

      指定用于创建挂载点的 spec.container.volumeMounts 字段。

      spec.volumes

      指定一个新的 spec.volumes 字段来提及配置映射。

      spec.volumes.configMap.defaultMode

      指定文件的运行权限。在重新读后，其显示为十进制 493。

   3. 保存更改并退出编辑器。这会重启 ipfailover-keepalived 配置。

流程

1. 可选：识别并删除存储为配置映射的任何检查和通知脚本：

   1. 确定任何用于 IP 故障切换的 pod 是否使用配置映射作为卷：

      $ oc get pod -l ipfailover \
        -o jsonpath="\
      {range .items[?(@.spec.volumes[*].configMap)]}
      {'Namespace: '}{.metadata.namespace}
      {'Pod:       '}{.metadata.name}
      {'Volumes that use config maps:'}
      {range .spec.volumes[?(@.configMap)]}  {'volume:    '}{.name}
        {'configMap: '}{.configMap.name}{'\n'}{end}
      {end}"

      输出示例

      Namespace: default
      Pod:       keepalived-worker-59df45db9c-2x9mn
      Volumes that use config maps:
        volume:    config-volume
        configMap: mycustomcheck

   2. 如果上一步提供了用作卷的配置映射的名称，请删除配置映射：

      $ oc delete configmap <configmap_name>

2. 为 IP 故障切换识别现有部署：

   $ oc get deployment -l ipfailover

   输出示例

   NAMESPACE   NAME         READY   UP-TO-DATE   AVAILABLE   AGE
   default     ipfailover   2/2     2            2           105d

3. 删除部署：

   $ oc delete deployment <ipfailover_deployment_name>

4. 删除 ipfailover 服务帐户：

   $ oc delete sa ipfailover

5. 运行一个作业，该作业会删除最初配置 IP 故障切换时添加的 IP 表规则：

   1. 创建一个文件，如 remove-ipfailover-job.yaml，其内容类似以下示例：

      apiVersion: batch/v1
      kind: Job
      metadata:
        generateName: remove-ipfailover-
        labels:
          app: remove-ipfailover
      spec:
        template:
          metadata:
            name: remove-ipfailover
          spec:
            containers:
            - name: remove-ipfailover
              image: registry.redhat.io/openshift4/ose-keepalived-ipfailover-rhel9:v4.17
              command: ["/var/lib/ipfailover/keepalived/remove-failover.sh"]
            nodeSelector:
              kubernetes.io/hostname: <host_name>
            restartPolicy: Never

      • nodeSelector 可能与旧 IP 故障转移部署中使用的选择器相同。
      • 为集群中配置 IP 故障切换的每个节点运行作业，并每次替换主机名。

   2. 运行作业：

      $ oc create -f remove-ipfailover-job.yaml

      输出示例

      job.batch/remove-ipfailover-2h8dm created

流程

1. 创建包含代理 HTTPS 连接所需的额外 CA 证书的 ConfigMap。

   注意

   如果代理的身份证书由 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包的颁发机构签名，您可以跳过这一步。

   1. 创建名为 user-ca-bundle.yaml 的文件，并提供 PEM 编码证书的值：

      apiVersion: v1
      data:
        ca-bundle.crt: | 

      1

      
          <MY_PEM_ENCODED_CERTS> 

      2

      
      kind: ConfigMap
      metadata:
        name: user-ca-bundle 

      3

      
        namespace: openshift-config 

      4

      其中：

      data.ca-bundle.crt

      指定必须命名为 ca-bundle.crt 的数据键。

      <MY_PEM_ENCODED_CERTS>

      指定用于为代理身份证书签名的一个或多个 PEM 编码的 X.509 证书。

      user-ca-bundle

      指定从 Proxy 对象引用的配置映射名称。

      openshift-config

      指定配置映射必须存在的命名空间。

   2. 输入以下命令从 user-ca-bundle.yaml 文件创建配置映射：

      $ oc create -f user-ca-bundle.yaml

2. 使用 oc edit 命令修改 Proxy 对象：

   $ oc edit proxy/cluster

3. 为代理配置所需的字段：

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     name: cluster
   spec:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 

   1

   
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 

   2

   
     noProxy: example.com 

   3

   
     readinessEndpoints:
     - http://www.google.com 

   4

   
     - https://www.google.com
     trustedCA:
       name: user-ca-bundle 

   5

   其中：

   httpProxy

   指定用于创建集群外的 HTTP 连接的代理 URL。URL 方案必须是 http。

   httpsProxy

   指定用于创建集群外的 HTTPS 连接的代理 URL。URL 方案必须是 http 或 https。指定支持 URL 方案的代理的 URL。例如，如果大多数代理被配置为使用 https，则大多数代理都会报告错误，但它们只支持 http。此失败消息可能无法传播到日志，并可能显示为网络连接失败。如果使用侦听来自集群的 https 连接的代理，您可能需要配置集群以接受代理使用的 CA 和证书。

   noProxy

   指定排除代理的目标域名、域、IP 地址（或其他网络 CIDR）和端口号的逗号分隔列表。请注意，只有在配置 IPv6 地址时，才支持端口号。配置 IPv4 地址时不支持端口号。

   在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 可对所有目的地绕过所有代理。

   如果您的 noproxy 字段需要包含域地址，您必须在 noproxy 字段中明确指定该 FQDN 或前缀匹配子域。您不能使用封装域的 IP 地址或 CIDR 范围。这是因为集群不会在分配路由连接前等待 DNS 返回 IP 地址，并根据请求明确检查。例如，如果您有一个 CIDR 块值，如 10.0.0.0/24，noproxy 字段和字段尝试访问 https://10.0.0.11，则地址可以成功匹配。但是，尝试访问 https://exampleserver.externaldomain.com （其 A 记录条目为 10.0.0.11 ）会失败。对于 noproxy 字段，还需要额外的 .externaldomain.com 值。

   如果您扩展了未包含在安装配置中 networking.machineNetwork[].cidr 字段定义的计算节点，您必须将它们添加到此列表中，以防止连接问题。

   如果未设置 httpProxy 或 httpsProxy 字段，则此字段将被忽略。

   readinessEndpoints

   指定集群外部用于执行就绪度检查的一个或多个 URL，然后再将 httpProxy 和 httpsProxy 值写入 status。

   trustedCA

   指定对 openshift-config 命名空间中配置映射的引用，其中包含代理 HTTPS 连接所需的额外 CA 证书。注意 ConfigMap 必须已经存在，然后才能在这里引用它。此字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

4. 保存文件以使改变生效。

流程

1. 使用 oc edit 命令来修改代理：

   $ oc edit proxy/cluster

2. 删除 Proxy 对象的所有 spec 字段。例如：

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     name: cluster
   spec: {}

3. 保存文件以使改变生效。

流程

1. 使用 oc 命令检查代理配置状态：

   $ oc get proxy/cluster -o yaml

2. 验证输出中的代理字段，以确保它们与您的配置匹配。具体来说，检查 spec.httpProxy,spec.httpsProxy,spec.noProxy, 和 spec.trustedCA 字段。

3. 检查 Proxy 对象的状态：

   $ oc get proxy/cluster -o jsonpath='{.status}'

   输出示例

   {
   status:
       httpProxy: http://user:xxx@xxxx:3128
       httpsProxy: http://user:xxx@xxxx:3128
       noProxy: .cluster.local,.svc,10.0.0.0/16,10.128.0.0/14,127.0.0.1,169.254.169.254,172.30.0.0/16,localhost,test.no-proxy.com
   }

4. 检查 Machine Config Operator (MCO) 的日志，以确保成功应用配置更改：

   $ oc logs -n openshift-machine-config-operator $(oc get pods -n openshift-machine-config-operator -l k8s-app=machine-config-operator -o name)

5. 查找指示代理设置的消息，并在需要时重启节点。

6. 通过检查发出外部请求的组件的日志来验证系统组件是否使用代理，如 Cluster Version Operator (CVO)：

   $ oc logs -n openshift-cluster-version $(oc get pods -n openshift-cluster-version -l k8s-app=machine-config-operator -o name)

7. 查找显示外部请求已通过代理路由的日志条目。

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port>
     httpsProxy: https://<username>:<pswd>@<ip>:<port>
     noProxy: example.com
   additionalTrustBundle: |
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle>
   # ...

   其中：

   proxy.httpProxy

   指定用于创建集群外的 HTTP 连接的代理 URL。URL 方案必须是 http。

   proxy.httpsProxy

   指定用于创建集群外的 HTTPS 连接的代理 URL。

   proxy.noProxy

   指定要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加 . 来仅匹配子域。例如： .y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。

   additionalTrustBundle

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射来保存额外的 CA 证书。如果您提供 additionalTrustBundle 和至少一个代理设置，则 Proxy 对象会被配置为引用 trustedCA 字段中的 user-ca-bundle 配置映射。然后，Cluster Network Operator 会创建一个 trusted-ca-bundle 配置映射，该配置映射将为 trustedCA 参数指定的内容与 RHCOS 信任捆绑包合并。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   additionalTrustBundlePolicy

   指定决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。可选参数。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

2. 保存该文件并在安装 OpenShift Container Platform 时引用。

   安装程序会创建一个名为 cluster 的集群范围代理，该代理 使用 提供的 install-config.yaml 文件中的代理设置。如果没有提供代理设置，仍然会创建一个 cluster Proxy 对象，但它会有一个空 spec。

   注意

   只支持名为 cluster 的 Proxy 对象，且无法创建额外的代理。

流程

1. 创建包含代理 HTTPS 连接所需的额外 CA 证书的 ConfigMap。

   注意

   如果代理的身份证书由 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包的颁发机构签名，您可以跳过这一步。

   1. 创建名为 user-ca-bundle.yaml 的文件，并提供 PEM 编码证书的值：

      apiVersion: v1
      data:
        ca-bundle.crt: | 

      1

      
          <MY_PEM_ENCODED_CERTS> 

      2

      
      kind: ConfigMap
      metadata:
        name: user-ca-bundle 

      3

      
        namespace: openshift-config 

      4

      其中：

      data.ca-bundle.crt

      指定必须命名为 ca-bundle.crt 的数据键。

      <MY_PEM_ENCODED_CERTS>

      指定用于为代理身份证书签名的一个或多个 PEM 编码的 X.509 证书。

      user-ca-bundle

      指定从 Proxy 对象引用的配置映射名称。

      openshift-config

      指定配置映射必须存在的命名空间。

   2. 输入以下命令从 user-ca-bundle.yaml 文件创建配置映射：

      $ oc create -f user-ca-bundle.yaml

2. 使用 oc edit 命令修改 Proxy 对象：

   $ oc edit proxy/cluster

3. 为代理配置所需的字段：

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     name: cluster
   spec:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 

   1

   
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 

   2

   
     noProxy: example.com 

   3

   
     readinessEndpoints:
     - http://www.google.com 

   4

   
     - https://www.google.com
     trustedCA:
       name: user-ca-bundle 

   5

   其中：

   httpProxy

   指定用于创建集群外的 HTTP 连接的代理 URL。URL 方案必须是 http。

   httpsProxy

   指定用于创建集群外的 HTTPS 连接的代理 URL。URL 方案必须是 http 或 https。指定支持 URL 方案的代理的 URL。例如，如果大多数代理被配置为使用 https，则大多数代理都会报告错误，但它们只支持 http。此失败消息可能无法传播到日志，并可能显示为网络连接失败。如果使用侦听来自集群的 https 连接的代理，您可能需要配置集群以接受代理使用的 CA 和证书。

   noProxy

   指定排除代理的目标域名、域、IP 地址（或其他网络 CIDR）和端口号的逗号分隔列表。请注意，只有在配置 IPv6 地址时，才支持端口号。配置 IPv4 地址时不支持端口号。

   在域前面加 . 来仅匹配子域。例如： .y.com 匹配 x.y.com，但不匹配 y.com。使用 * 可对所有目的地绕过所有代理。

   如果您的 noproxy 字段需要包含域地址，您必须在 noproxy 字段中明确指定该 FQDN 或前缀匹配子域。您不能使用封装域的 IP 地址或 CIDR 范围。这是因为集群不会在分配路由连接前等待 DNS 返回 IP 地址，并根据请求明确检查。例如，如果您有一个 CIDR 块值，如 10.0.0.0/24，noproxy 字段和字段尝试访问 https://10.0.0.11，则地址可以成功匹配。但是，尝试访问 https://exampleserver.externaldomain.com （其 A 记录条目为 10.0.0.11 ）会失败。对于 noproxy 字段，还需要额外的 .externaldomain.com 值。

   如果您扩展了未包含在安装配置中 networking.machineNetwork[].cidr 字段定义的计算节点，您必须将它们添加到此列表中，以防止连接问题。

   如果未设置 httpProxy 或 httpsProxy 字段，则此字段将被忽略。

   readinessEndpoints

   指定集群外部用于执行就绪度检查的一个或多个 URL，然后再将 httpProxy 和 httpsProxy 值写入 status。

   trustedCA

   指定对 openshift-config 命名空间中配置映射的引用，其中包含代理 HTTPS 连接所需的额外 CA 证书。注意 ConfigMap 必须已经存在，然后才能在这里引用它。此字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

4. 保存文件以使改变生效。