配置网络设置

流程

1. 使用以下内容创建网络附加定义，如 tuning-example.yaml ：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: <name> 

   1

   
     namespace: default 

   2

   
   spec:
     config: '{
       "cniVersion": "0.4.0", 

   3

   
       "name": "<name>", 

   4

   
       "plugins": [{
          "type": "<main_CNI_plugin>" 

   5

   
         },
         {
          "type": "tuning", 

   6

   
          "sysctl": {
               "net.ipv4.conf.IFNAME.accept_redirects": "1" 

   7

   
           }
         }
        ]
   }

   Copy to Clipboard Toggle word wrap

   1

   指定要创建的额外网络附加的名称。名称在指定的命名空间中必须是唯一的。

   2

   指定与对象关联的命名空间。

   3

   指定 CNI 规格版本。

   4

   指定配置的名称。建议您将配置名称与网络附加定义的 name 值匹配。

   5

   指定要配置的主 CNI 插件的名称。

   6

   指定 CNI meta 插件的名称。

   7

   指定要设置的 sysctl。接口名称由 IFNAME 令牌表示，并替换为运行时接口的实际名称。

   下面显示了一个 YAML 文件示例：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: tuningnad
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "tuningnad",
       "plugins": [{
         "type": "bridge"
         },
         {
         "type": "tuning",
         "sysctl": {
            "net.ipv4.conf.IFNAME.accept_redirects": "1"
           }
       }
     ]
   }'

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来应用 YAML：

   $ oc apply -f tuning-example.yaml

   Copy to Clipboard Toggle word wrap

   输出示例

   networkattachmentdefinition.k8.cni.cncf.io/tuningnad created

   Copy to Clipboard Toggle word wrap

3. 使用类似以下示例的网络附加定义，创建示例 pod.yaml ：

   apiVersion: v1
   kind: Pod
   metadata:
     name: tunepod
     namespace: default
     annotations:
       k8s.v1.cni.cncf.io/networks: tuningnad 

   1

   
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000 

   2

   
         runAsGroup: 3000 

   3

   
         allowPrivilegeEscalation: false 

   4

   
         capabilities: 

   5

   
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true 

   6

   
       seccompProfile: 

   7

   
         type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

   1

   指定配置的 NetworkAttachmentDefinition 的名称。

   2

   runAsUser 控制使用哪个用户 ID 运行容器。

   3

   runAsGroup 控制容器使用哪个主要组 ID。

   4

   allowPrivilegeEscalation 决定 pod 是否请求允许特权升级。如果未指定，则默认为 true。这个布尔值直接控制在容器进程中是否设置了 no_new_privs 标志。

   5

   capabilities 允许特权操作，而不提供完整的 root 访问权限。此策略可确保从 pod 中丢弃了所有功能。

   6

   runAsNonRoot: true 要求容器使用 0 以外的任何 UID 运行。

   7

   RuntimeDefault 为 pod 或容器工作负载启用默认的 seccomp 配置集。

4. 运行以下命令来应用 yaml:

   $ oc apply -f examplepod.yaml

   Copy to Clipboard Toggle word wrap

5. 运行以下命令验证 pod 是否已创建：

   $ oc get pod

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME      READY   STATUS    RESTARTS   AGE
   tunepod   1/1     Running   0          47s

   Copy to Clipboard Toggle word wrap

6. 运行以下命令登录到 pod：

   $ oc rsh tunepod

   Copy to Clipboard Toggle word wrap

7. 验证配置的 sysctl 标记的值。例如，通过运行以下命令查找 net.ipv4.conf.net1.accept_redirects 的值：

   sh-4.4# sysctl net.ipv4.conf.net1.accept_redirects

   Copy to Clipboard Toggle word wrap

   预期输出

   net.ipv4.conf.net1.accept_redirects = 1

   Copy to Clipboard Toggle word wrap

流程

1. 使用以下内容创建网络附加定义，如 tuning-example.yaml ：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: <name> 

   1

   
     namespace: default 

   2

   
   spec:
     config: '{
       "cniVersion": "0.4.0", 

   3

   
       "name": "<name>", 

   4

   
       "plugins": [{
          "type": "<main_CNI_plugin>" 

   5

   
         },
         {
          "type": "tuning", 

   6

   
          "allmulti": true 

   7

   
           }
         }
        ]
   }

   Copy to Clipboard Toggle word wrap

   1

   指定要创建的额外网络附加的名称。名称在指定的命名空间中必须是唯一的。

   2

   指定与对象关联的命名空间。

   3

   指定 CNI 规格版本。

   4

   指定配置的名称。将配置名称与网络附加定义的 name 值匹配。

   5

   指定要配置的主 CNI 插件的名称。

   6

   指定 CNI meta 插件的名称。

   7

   更改接口的 all-multicast 模式。如果启用，接口将接收网络上的所有多播数据包。

   下面显示了一个 YAML 文件示例：

   apiVersion: "k8s.cni.cncf.io/v1"
   kind: NetworkAttachmentDefinition
   metadata:
     name: setallmulti
     namespace: default
   spec:
     config: '{
       "cniVersion": "0.4.0",
       "name": "setallmulti",
       "plugins": [
         {
           "type": "bridge"
         },
         {
           "type": "tuning",
           "allmulti": true
         }
       ]
     }'

   Copy to Clipboard Toggle word wrap

2. 运行以下命令应用 YAML 文件中指定的设置：

   $ oc apply -f tuning-allmulti.yaml

   Copy to Clipboard Toggle word wrap

   输出示例

   networkattachmentdefinition.k8s.cni.cncf.io/setallmulti created

   Copy to Clipboard Toggle word wrap

3. 使用类似以下 examplepod.yaml文件中指定的网络附加定义创建 pod ：

   apiVersion: v1
   kind: Pod
   metadata:
     name: allmultipod
     namespace: default
     annotations:
       k8s.v1.cni.cncf.io/networks: setallmulti 

   1

   
   spec:
     containers:
     - name: podexample
       image: centos
       command: ["/bin/bash", "-c", "sleep INF"]
       securityContext:
         runAsUser: 2000 

   2

   
         runAsGroup: 3000 

   3

   
         allowPrivilegeEscalation: false 

   4

   
         capabilities: 

   5

   
           drop: ["ALL"]
     securityContext:
       runAsNonRoot: true 

   6

   
       seccompProfile: 

   7

   
         type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

   1

   指定配置的 NetworkAttachmentDefinition 的名称。

   2

   指定运行容器的用户 ID。

   3

   指定容器使用哪个主要组 ID。

   4

   指定 pod 是否可以请求特权升级。如果未指定，则默认为 true。这个布尔值直接控制在容器进程中是否设置了 no_new_privs 标志。

   5

   指定容器功能。drop: ["ALL"] 语句表示所有 Linux 功能都会从 pod 中丢弃，提供更严格的安全配置集。

   6

   指定容器将使用任何 UID 为 0 的用户运行。

   7

   指定容器的 seccomp 配置集。在这种情况下，type 被设置为 RuntimeDefault。seccomp 是一个 Linux 内核功能，它限制了进程可用的系统调用，通过最小化攻击面来提高安全性。

4. 运行以下命令应用 YAML 文件中指定的设置：

   $ oc apply -f examplepod.yaml

   Copy to Clipboard Toggle word wrap

5. 运行以下命令验证 pod 是否已创建：

   $ oc get pod

   Copy to Clipboard Toggle word wrap

   输出示例

   NAME          READY   STATUS    RESTARTS   AGE
   allmultipod   1/1     Running   0          23s

   Copy to Clipboard Toggle word wrap

6. 运行以下命令登录到 pod：

   $ oc rsh allmultipod

   Copy to Clipboard Toggle word wrap

7. 运行以下命令，列出与 pod 关联的所有接口：

   sh-4.4# ip link

   Copy to Clipboard Toggle word wrap

   输出示例

   1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
       link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
   2: eth0@if22: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8901 qdisc noqueue state UP mode DEFAULT group default
       link/ether 0a:58:0a:83:00:10 brd ff:ff:ff:ff:ff:ff link-netnsid 0 

   1

   
   3: net1@if24: <BROADCAST,MULTICAST,ALLMULTI,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default
       link/ether ee:9b:66:a4:ec:1d brd ff:ff:ff:ff:ff:ff link-netnsid 0 

   2

   Copy to Clipboard Toggle word wrap

   1

   eth0@if22 是主接口

   2

   net1@if24 是配置了 network-attachment-definition 的二级接口，它支持 all-multicast 模式 (ALLMULTI 标志)

流程

1. 要获取集群的集群网络范围和主机前缀，请输入以下命令：

   $ oc get network.operator.openshift.io \
     -o jsonpath="{.items[0].spec.clusterNetwork}"

   Copy to Clipboard Toggle word wrap

   输出示例

   [{"cidr":"10.217.0.0/22","hostPrefix":23}]

   Copy to Clipboard Toggle word wrap

2. 要扩展集群网络 IP 地址范围，请输入以下命令。使用上一命令输出返回的 CIDR IP 地址范围和主机前缀。

   $ oc patch Network.config.openshift.io cluster --type='merge' --patch \
     '{
       "spec":{
         "clusterNetwork": [ {"cidr":"<network>/<cidr>","hostPrefix":<prefix>} ],
         "networkType": "OVNKubernetes"
       }
     }'

   Copy to Clipboard Toggle word wrap

   其中：

   <network>

   指定您在上一步中获取的 cidr 字段的网络部分。您无法更改这个值。

   <cidr>

   指定网络前缀长度。例如，14。将此值更改为比上一步中的输出值小的值，以扩展集群网络范围。

   <prefix>

   指定集群的当前主机前缀。这个值必须与您在上一步中获取的 hostPrefix 字段的值相同。

   示例命令

   $ oc patch Network.config.openshift.io cluster --type='merge' --patch \
     '{
       "spec":{
         "clusterNetwork": [ {"cidr":"10.217.0.0/14","hostPrefix": 23} ],
         "networkType": "OVNKubernetes"
       }
     }'

   Copy to Clipboard Toggle word wrap

   输出示例

   network.config.openshift.io/cluster patched

   Copy to Clipboard Toggle word wrap

3. 要确认配置是活跃的，请输入以下命令。可能需要 30 分钟才能使此更改生效。

   $ oc get network.operator.openshift.io \
     -o jsonpath="{.items[0].spec.clusterNetwork}"

   Copy to Clipboard Toggle word wrap

   输出示例

   [{"cidr":"10.217.0.0/14","hostPrefix":23}]

   Copy to Clipboard Toggle word wrap

流程

1. 创建 IP 故障转移服务帐户：

   $ oc create sa ipfailover

   Copy to Clipboard Toggle word wrap

2. 为 hostNetwork 更新安全性上下文约束（SCC）：

   $ oc adm policy add-scc-to-user privileged -z ipfailover

   Copy to Clipboard Toggle word wrap

   $ oc adm policy add-scc-to-user hostnetwork -z ipfailover

   Copy to Clipboard Toggle word wrap

3. 仅限 Red Hat OpenStack Platform (RHOSP)：完成以下步骤，使在 RHOSP 端口上可以访问故障转移 VIP 地址。

   1. 使用 RHOSP CLI 在 RHOSP 集群的 allowed_address_pairs 参数中显示默认的 RHOSP API 和 VIP 地址：

      $ openstack port show <cluster_name> -c allowed_address_pairs

      Copy to Clipboard Toggle word wrap

      输出示例

      *Field*                  *Value*
      allowed_address_pairs    ip_address='192.168.0.5', mac_address='fa:16:3e:31:f9:cb'
                               ip_address='192.168.0.7', mac_address='fa:16:3e:31:f9:cb'

      Copy to Clipboard Toggle word wrap

   2. 为 IP 故障转移部署设置不同的 VIP 地址，并通过在 RHOSP CLI 中输入以下命令使 RHOSP 端口上的地址访问。不要将任何默认的 RHOSP API 和 VIP 地址设置为 IP 故障转移部署的故障转移 VIP 地址。

      在 RHOSP 端口中添加 1.1.1.1 故障转移 IP 地址作为允许的地址的示例。

      $ openstack port set <cluster_name> --allowed-address ip-address=1.1.1.1,mac-address=fa:fa:16:3e:31:f9:cb

      Copy to Clipboard Toggle word wrap

   3. 创建部署 YAML 文件，为您的部署配置 IP 故障切换。请参阅后续步骤中的"IP 故障转移配置的部署 YAML 示例"。

   4. 在 IP 故障转移部署中指定以下规格，以便将故障转移 VIP 地址传递给 OPENSHIFT_HA_VIRTUAL_IPS 环境变量：

      将 1.1.1.1 VIP 地址添加到 OPENSHIFT_HA_VIRTUAL_IPS 的示例

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: ipfailover-keepalived
      # ...
            spec:
                env:
                - name: OPENSHIFT_HA_VIRTUAL_IPS
                value: "1.1.1.1"
      # ...

      Copy to Clipboard Toggle word wrap

4. 创建部署 YAML 文件来配置 IP 故障切换。

   注意

   对于 Red Hat OpenStack Platform (RHOSP)，您不需要重新创建部署 YAML 文件。您已作为之前说明的一部分创建了此文件。

   IP 故障转移配置的部署 YAML 示例

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: ipfailover-keepalived 

   1

   
     labels:
       ipfailover: hello-openshift
   spec:
     strategy:
       type: Recreate
     replicas: 2
     selector:
       matchLabels:
         ipfailover: hello-openshift
     template:
       metadata:
         labels:
           ipfailover: hello-openshift
       spec:
         serviceAccountName: ipfailover
         privileged: true
         hostNetwork: true
         nodeSelector:
           node-role.kubernetes.io/worker: ""
         containers:
         - name: openshift-ipfailover
           image: registry.redhat.io/openshift4/ose-keepalived-ipfailover-rhel9:v4.19
           ports:
           - containerPort: 63000
             hostPort: 63000
           imagePullPolicy: IfNotPresent
           securityContext:
             privileged: true
           volumeMounts:
           - name: lib-modules
             mountPath: /lib/modules
             readOnly: true
           - name: host-slash
             mountPath: /host
             readOnly: true
             mountPropagation: HostToContainer
           - name: etc-sysconfig
             mountPath: /etc/sysconfig
             readOnly: true
           - name: config-volume
             mountPath: /etc/keepalive
           env:
           - name: OPENSHIFT_HA_CONFIG_NAME
             value: "ipfailover"
           - name: OPENSHIFT_HA_VIRTUAL_IPS 

   2

   
             value: "1.1.1.1-2"
           - name: OPENSHIFT_HA_VIP_GROUPS 

   3

   
             value: "10"
           - name: OPENSHIFT_HA_NETWORK_INTERFACE 

   4

   
             value: "ens3" #The host interface to assign the VIPs
           - name: OPENSHIFT_HA_MONITOR_PORT 

   5

   
             value: "30060"
           - name: OPENSHIFT_HA_VRRP_ID_OFFSET 

   6

   
             value: "10"
           - name: OPENSHIFT_HA_REPLICA_COUNT 

   7

   
             value: "2" #Must match the number of replicas in the deployment
           - name: OPENSHIFT_HA_USE_UNICAST
             value: "false"
           #- name: OPENSHIFT_HA_UNICAST_PEERS
             #value: "10.0.148.40,10.0.160.234,10.0.199.110"
           - name: OPENSHIFT_HA_IPTABLES_CHAIN 

   8

   
             value: "INPUT"
           #- name: OPENSHIFT_HA_NOTIFY_SCRIPT 

   9

   
           #  value: /etc/keepalive/mynotifyscript.sh
           - name: OPENSHIFT_HA_CHECK_SCRIPT 

   10

   
             value: "/etc/keepalive/mycheckscript.sh"
           - name: OPENSHIFT_HA_PREEMPTION 

   11

   
             value: "preempt_delay 300"
           - name: OPENSHIFT_HA_CHECK_INTERVAL 

   12

   
             value: "2"
           livenessProbe:
             initialDelaySeconds: 10
             exec:
               command:
               - pgrep
               - keepalived
         volumes:
         - name: lib-modules
           hostPath:
             path: /lib/modules
         - name: host-slash
           hostPath:
             path: /
         - name: etc-sysconfig
           hostPath:
             path: /etc/sysconfig
         # config-volume contains the check script
         # created with `oc create configmap keepalived-checkscript --from-file=mycheckscript.sh`
         - configMap:
             defaultMode: 0755
             name: keepalived-checkscript
           name: config-volume
         imagePullSecrets:
           - name: openshift-pull-secret 

   13

   Copy to Clipboard Toggle word wrap

   1

   IP 故障转移部署的名称。

   2

   要复制的 IP 地址范围列表。必须提供.例如，1.2.3.4-6,1.2.3.9。

   3

   为 VRRP 创建的组数量。如果没有设置，则会为通过 OPENSHIFT_HA_VIP_GROUPS 变量指定的每个虚拟 IP 范围创建一个组。

   4

   IP 故障切换用于发送 VRRP 流量的接口名称。默认情况下使用 eth0。

   5

   IP 故障转移 pod 会尝试在每个 VIP 上打开到此端口的 TCP 连接。如果建立连接，则服务将被视为正在运行。如果此端口设为 0，则测试会始终通过。默认值为 80。

   6

   用于设置虚拟路由器 ID 的偏移值。使用不同的偏移值可以在同一集群中存在多个 IP 故障转移配置。默认偏移值为 10，允许的范围为 0 到 255。

   7

   要创建的副本数。这必须与 IP 故障转移部署配置中的 spec.replicas 值匹配。默认值为 2。

   8

   iptables 链的名称，用于自动添加允许 VRRP 流量的 iptables 规则。如果没有设置值，则不会添加 iptables 规则。如果链不存在，则不会创建链，Keepalived 在单播模式下运行。默认为 INPUT。

   9

   当状态发生变化时运行的脚本的 pod 文件系统的完整路径名称。

   10

   定期运行的脚本的 pod 文件系统中的完整路径名称，以验证应用是否正在运行。

   11

   处理新的具有更高优先级主机的策略。默认值为 preempt_delay 300，这会导致，在有一个较低优先级的 master 提供 VIP 时，Keepalived 实例在 5 分钟后会接管 VIP。

   12

   检查脚本运行的期间（以秒为单位）。默认值为 2。

   13

   在创建部署之前创建 pull secret，否则您将在创建部署时收到错误。

流程

1. 创建所需脚本，并创建 ConfigMap 对象来容纳它。脚本没有输入参数，并且必须返回 0（ OK）和 1（ fail）。

   检查脚本，mycheckscript.sh：

   #!/bin/bash
       # Whatever tests are needed
       # E.g., send request and verify response
   exit 0

   Copy to Clipboard Toggle word wrap

2. 创建 ConfigMap 对象：

   $ oc create configmap mycustomcheck --from-file=mycheckscript.sh

   Copy to Clipboard Toggle word wrap

3. 将脚本添加到容器集。挂载的 ConfigMap 对象的 defaultMode 必须能够使用 oc 命令或编辑部署配置来运行。值通常为 0755、493（十进制）：

   $ oc set env deploy/ipfailover-keepalived \
       OPENSHIFT_HA_CHECK_SCRIPT=/etc/keepalive/mycheckscript.sh

   Copy to Clipboard Toggle word wrap

   $ oc set volume deploy/ipfailover-keepalived --add --overwrite \
       --name=config-volume \
       --mount-path=/etc/keepalive \
       --source='{"configMap": { "name": "mycustomcheck", "defaultMode": 493}}'

   Copy to Clipboard Toggle word wrap
   注意

   oc set env 命令对空格敏感。= 符号的两侧不能有空格。

   提示

   您还可以编辑 ipfailover-keepalived 部署配置：

   $ oc edit deploy ipfailover-keepalived

   Copy to Clipboard Toggle word wrap

       spec:
         containers:
         - env:
           - name: OPENSHIFT_HA_CHECK_SCRIPT  

   1

   
             value: /etc/keepalive/mycheckscript.sh
   ...
           volumeMounts: 

   2

   
           - mountPath: /etc/keepalive
             name: config-volume
         dnsPolicy: ClusterFirst
   ...
         volumes: 

   3

   
         - configMap:
             defaultMode: 0755 

   4

   
             name: customrouter
           name: config-volume
   ...

   Copy to Clipboard Toggle word wrap

   1

   在 spec.container.env 字段中，添加 OPENSHIFT_HA_CHECK_SCRIPT 环境变量以指向挂载的脚本文件。

   2

   添加 spec.container.volumeMounts 字段以创建挂载点。

   3

   添加新的 spec.volumes 字段以提及配置映射。

   4

   这将设置文件的运行权限。在重新读后，其显示为十进制 493。

   保存更改并退出编辑器。这会重启 ipfailover-keepalived。

流程

1. 可选：识别并删除存储为配置映射的任何检查和通知脚本：

   1. 确定任何用于 IP 故障切换的 pod 是否使用配置映射作为卷：

      $ oc get pod -l ipfailover \
        -o jsonpath="\
      {range .items[?(@.spec.volumes[*].configMap)]}
      {'Namespace: '}{.metadata.namespace}
      {'Pod:       '}{.metadata.name}
      {'Volumes that use config maps:'}
      {range .spec.volumes[?(@.configMap)]}  {'volume:    '}{.name}
        {'configMap: '}{.configMap.name}{'\n'}{end}
      {end}"

      Copy to Clipboard Toggle word wrap

      输出示例

      Namespace: default
      Pod:       keepalived-worker-59df45db9c-2x9mn
      Volumes that use config maps:
        volume:    config-volume
        configMap: mycustomcheck

      Copy to Clipboard Toggle word wrap

   2. 如果上一步提供了用作卷的配置映射的名称，请删除配置映射：

      $ oc delete configmap <configmap_name>

      Copy to Clipboard Toggle word wrap

2. 为 IP 故障切换识别现有部署：

   $ oc get deployment -l ipfailover

   Copy to Clipboard Toggle word wrap

   输出示例

   NAMESPACE   NAME         READY   UP-TO-DATE   AVAILABLE   AGE
   default     ipfailover   2/2     2            2           105d

   Copy to Clipboard Toggle word wrap

3. 删除部署：

   $ oc delete deployment <ipfailover_deployment_name>

   Copy to Clipboard Toggle word wrap

4. 删除 ipfailover 服务帐户：

   $ oc delete sa ipfailover

   Copy to Clipboard Toggle word wrap

5. 运行一个作业，该作业会删除最初配置 IP 故障切换时添加的 IP 表规则：

   1. 创建一个文件，如 remove-ipfailover-job.yaml，其内容类似以下示例：

      apiVersion: batch/v1
      kind: Job
      metadata:
        generateName: remove-ipfailover-
        labels:
          app: remove-ipfailover
      spec:
        template:
          metadata:
            name: remove-ipfailover
          spec:
            containers:
            - name: remove-ipfailover
              image: registry.redhat.io/openshift4/ose-keepalived-ipfailover-rhel9:v4.19
              command: ["/var/lib/ipfailover/keepalived/remove-failover.sh"]
            nodeSelector: 

      1

      
              kubernetes.io/hostname: <host_name>  

      2

      
            restartPolicy: Never

      Copy to Clipboard Toggle word wrap

      1

      nodeSelector 可能与旧 IP 故障转移部署中使用的选择器相同。

      2

      为集群中配置 IP 故障切换的每个节点运行作业，并每次替换主机名。

   2. 运行作业：

      $ oc create -f remove-ipfailover-job.yaml

      Copy to Clipboard Toggle word wrap

      输出示例

      job.batch/remove-ipfailover-2h8dm created

      Copy to Clipboard Toggle word wrap

流程

1. 创建包含代理 HTTPS 连接所需的额外 CA 证书的 ConfigMap。

   注意

   如果代理的身份证书由 Red Hat Enterprise Linux CoreOS (RHCOS) 信任捆绑包的颁发机构签名，您可以跳过这一步。

   1. 创建名为 user-ca-bundle.yaml 的文件，并提供 PEM 编码证书的值：

      apiVersion: v1
      data:
        ca-bundle.crt: | 

      1

      
          <MY_PEM_ENCODED_CERTS> 

      2

      
      kind: ConfigMap
      metadata:
        name: user-ca-bundle 

      3

      
        namespace: openshift-config 

      4

      Copy to Clipboard Toggle word wrap

      1

      这个数据键必须命名为 ca-bundle.crt。

      2

      一个或多个 PEM 编码的 X.509 证书，用来为代理的身份证书签名。

      3

      从 Proxy 对象引用的配置映射名称。

      4

      配置映射必须存在于 openshift-config 命名空间中。

   2. 输入以下命令从 user-ca-bundle.yaml 文件创建配置映射：

      $ oc create -f user-ca-bundle.yaml

      Copy to Clipboard Toggle word wrap

2. 使用 oc edit 命令修改 Proxy 对象：

   $ oc edit proxy/cluster

   Copy to Clipboard Toggle word wrap

3. 为代理配置所需的字段：

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     name: cluster
   spec:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 

   1

   
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 

   2

   
     noProxy: example.com 

   3

   
     readinessEndpoints:
     - http://www.google.com 

   4

   
     - https://www.google.com
     trustedCA:
       name: user-ca-bundle 

   5

   Copy to Clipboard Toggle word wrap

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。URL 方案必须是 http 或 https。指定支持 URL 方案的代理的 URL。例如，如果大多数代理被配置为使用 https，则大多数代理都会报告错误，但它们只支持 http。此失败消息可能无法传播到日志，并可能显示为网络连接失败。如果使用侦听来自集群的 https 连接的代理，您可能需要配置集群以接受代理使用的 CA 和证书。

   3

   要排除代理的目标域名、域、IP 地址（或其他网络 CIDR）和端口号的列表（以逗号分隔）。

   注意

   只有在配置 IPv6 地址时，才支持端口号。配置 IPv4 地址时不支持端口号。

   在域前面加 . 来仅匹配子域。例如： .y.com 匹配 x.y.com，但不匹配 y.com。使用 * 可对所有目的地绕过所有代理。

   如果您的 noproxy 字段需要包含域地址，您必须在 noproxy 字段中明确指定该 FQDN 或前缀匹配子域。您不能使用封装域的 IP 地址或 CIDR 范围。这是因为集群不会在分配路由连接前等待 DNS 返回 IP 地址，并根据请求明确检查。例如，如果您有一个 CIDR 块值，如 10.0.0.0/24，noproxy 字段和字段尝试访问 https://10.0.0.11，则地址可以成功匹配。但是，尝试访问 https://exampleserver.externaldomain.com （其 A 记录条目为 10.0.0.11 ）会失败。对于 noproxy 字段，还需要额外的 .externaldomain.com 值。

   如果您扩展了未包含在安装配置中 networking.machineNetwork[].cidr 字段定义的计算节点，您必须将它们添加到此列表中，以防止连接问题。

   如果未设置 httpProxy 或 httpsProxy 字段，则此字段将被忽略。

   4

   将 httpProxy 和 httpsProxy 值写进状态之前，执行就绪度检查时要使用的一个或多个集群外部 URL。

   5

   引用 openshift-config 命名空间中的 ConfigMap，其包含代理 HTTPS 连接所需的额外 CA 证书。注意 ConfigMap 必须已经存在，然后才能在这里引用它。此字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

4. 保存文件以应用更改。

流程

1. 使用 oc edit 命令来修改代理：

   $ oc edit proxy/cluster

   Copy to Clipboard Toggle word wrap

2. 删除 Proxy 对象的所有 spec 字段。例如：

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     name: cluster
   spec: {}

   Copy to Clipboard Toggle word wrap
3. 保存文件以使改变生效。

流程

1. 使用 oc 命令检查代理配置状态：

   $ oc get proxy/cluster -o yaml

   Copy to Clipboard Toggle word wrap
2. 验证输出中的代理字段，以确保它们与您的配置匹配。具体来说，检查 spec.httpProxy,spec.httpsProxy,spec.noProxy, 和 spec.trustedCA 字段。

3. 检查 Proxy 对象的状态：

   $ oc get proxy/cluster -o jsonpath='{.status}'

   Copy to Clipboard Toggle word wrap

   输出示例

   {
   status:
       httpProxy: http://user:xxx@xxxx:3128
       httpsProxy: http://user:xxx@xxxx:3128
       noProxy: .cluster.local,.svc,10.0.0.0/16,10.128.0.0/14,127.0.0.1,169.254.169.254,172.30.0.0/16,localhost,test.no-proxy.com
   }

   Copy to Clipboard Toggle word wrap

4. 检查 Machine Config Operator (MCO) 的日志，以确保成功应用配置更改：

   $ oc logs -n openshift-machine-config-operator $(oc get pods -n openshift-machine-config-operator -l k8s-app=machine-config-operator -o name)

   Copy to Clipboard Toggle word wrap
5. 查找指示代理设置的消息，并在需要时重启节点。

6. 通过检查发出外部请求的组件的日志来验证系统组件是否使用代理，如 Cluster Version Operator (CVO)：

   $ oc logs -n openshift-cluster-version $(oc get pods -n openshift-cluster-version -l k8s-app=machine-config-operator -o name)

   Copy to Clipboard Toggle word wrap
7. 查找显示外部请求已通过代理路由的日志条目。

流程

1. 编辑 install-config.yaml 文件并添加代理设置。例如：

   apiVersion: v1
   baseDomain: my.domain.com
   proxy:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 

   1

   
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 

   2

   
     noProxy: example.com 

   3

   
   additionalTrustBundle: | 

   4

   
       -----BEGIN CERTIFICATE-----
       <MY_TRUSTED_CA_CERT>
       -----END CERTIFICATE-----
   additionalTrustBundlePolicy: <policy_to_add_additionalTrustBundle> 

   5

   Copy to Clipboard Toggle word wrap

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。

   3

   要从代理中排除的目标域名、IP 地址或其他网络 CIDR 的逗号分隔列表。在域前面加上 . 以仅匹配子域。例如，.y.com 匹配 x.y.com，但不匹配 y.com。使用 * 绕过所有目的地的代理。

   4

   如果提供，安装程序会在 openshift-config 命名空间中生成名为 user-ca-bundle 的配置映射，其包含代理 HTTPS 连接所需的一个或多个额外 CA 证书。然后，Cluster Network Operator 会创建一个 trusted-ca-bundle 配置映射，将这些内容与 Red Hat Enterprise Linux CoreOS (RHCOS)信任捆绑包合并，Proxy 对象的 trustedCA 字段中也会引用此配置映射。additionalTrustBundle 字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

   5

   可选：决定 Proxy 对象的配置以引用 trustedCA 字段中 user-ca-bundle 配置映射的策略。允许的值是 Proxyonly 和 Always。仅在配置了 http/https 代理时，使用 Proxyonly 引用 user-ca-bundle 配置映射。使用 Always 始终引用 user-ca-bundle 配置映射。默认值为 Proxyonly。

   注意

   安装程序不支持代理的 readinessEndpoints 字段。

   注意

   如果安装程序超时，重启并使用安装程序的 wait-for 命令完成部署。例如：

   $ ./openshift-install wait-for install-complete --log-level debug

   Copy to Clipboard Toggle word wrap
2. 保存该文件并在安装 OpenShift Container Platform 时引用。

流程

1. 创建包含代理 HTTPS 连接所需的额外 CA 证书的 ConfigMap。

   注意

   如果代理的身份证书由 Red Hat Enterprise Linux CoreOS (RHCOS)信任捆绑包的颁发机构签名，您可以跳过这一步。

   1. 创建名为 user-ca-bundle.yaml 的文件，并提供 PEM 编码证书的值：

      apiVersion: v1
      data:
        ca-bundle.crt: | 

      1

      
          <MY_PEM_ENCODED_CERTS> 

      2

      
      kind: ConfigMap
      metadata:
        name: user-ca-bundle 

      3

      
        namespace: openshift-config 

      4

      Copy to Clipboard Toggle word wrap

      1

      这个数据键必须命名为 ca-bundle.crt。

      2

      一个或多个 PEM 编码的 X.509 证书，用来为代理的身份证书签名。

      3

      从 Proxy 对象引用的配置映射名称。

      4

      配置映射必须存在于 openshift-config 命名空间中。

   2. 输入以下命令从 user-ca-bundle.yaml 文件创建配置映射：

      $ oc create -f user-ca-bundle.yaml

      Copy to Clipboard Toggle word wrap

2. 使用 oc edit 命令修改 Proxy 对象：

   $ oc edit proxy/cluster

   Copy to Clipboard Toggle word wrap

3. 为代理配置所需的字段：

   apiVersion: config.openshift.io/v1
   kind: Proxy
   metadata:
     name: cluster
   spec:
     httpProxy: http://<username>:<pswd>@<ip>:<port> 

   1

   
     httpsProxy: https://<username>:<pswd>@<ip>:<port> 

   2

   
     noProxy: example.com 

   3

   
     readinessEndpoints:
     - http://www.google.com 

   4

   
     - https://www.google.com
     trustedCA:
       name: user-ca-bundle 

   5

   Copy to Clipboard Toggle word wrap

   1

   用于创建集群外 HTTP 连接的代理 URL。URL 方案必须是 http。

   2

   用于创建集群外 HTTPS 连接的代理 URL。URL 方案必须是 http 或 https。指定支持 URL 方案的代理的 URL。例如，如果大多数代理被配置为使用 https，则大多数代理都会报告错误，但它们只支持 http。此失败消息可能无法传播到日志，并可能显示为网络连接失败。如果使用侦听来自集群的 https 连接的代理，您可能需要配置集群以接受代理使用的 CA 和证书。

   3

   要排除代理的目标域名、域、IP 地址（或其他网络 CIDR）和端口号的列表（以逗号分隔）。

   注意

   只有在配置 IPv6 地址时，才支持端口号。配置 IPv4 地址时不支持端口号。

   在域前面加 . 来仅匹配子域。例如： .y.com 匹配 x.y.com，但不匹配 y.com。使用 * 可对所有目的地绕过所有代理。

   如果您的 noproxy 字段需要包含域地址，您必须在 noproxy 字段中明确指定该 FQDN 或前缀匹配子域。您不能使用封装域的 IP 地址或 CIDR 范围。这是因为集群不会在分配路由连接前等待 DNS 返回 IP 地址，并根据请求明确检查。例如，如果您有一个 CIDR 块值，如 10.0.0.0/24，noproxy 字段和字段尝试访问 https://10.0.0.11，则地址可以成功匹配。但是，尝试访问 https://exampleserver.externaldomain.com （其 A 记录条目为 10.0.0.11 ）会失败。对于 noproxy 字段，还需要额外的 .externaldomain.com 值。

   如果您扩展了未包含在安装配置中 networking.machineNetwork[].cidr 字段定义的计算节点，您必须将它们添加到此列表中，以防止连接问题。

   如果未设置 httpProxy 或 httpsProxy 字段，则此字段将被忽略。

   4

   将 httpProxy 和 httpsProxy 值写进状态之前，执行就绪度检查时要使用的一个或多个集群外部 URL。

   5

   引用 openshift-config 命名空间中的 ConfigMap，其包含代理 HTTPS 连接所需的额外 CA 证书。注意 ConfigMap 必须已经存在，然后才能在这里引用它。此字段是必需的，除非代理的身份证书由来自 RHCOS 信任捆绑包的颁发机构签名。

4. 保存文件以使改变生效。