网络

流程

1. 创建一个安全组，允许 SSH 访问由 openshift-install 命令创建的虚拟私有云 (VPC) 。
2. 在安装程序创建的某个公共子网中创建 Amazon EC2 实例。

3. 将公共 IP 地址与您创建的 Amazon EC2 实例相关联。

   与 OpenShift Container Platform 安装不同，您应该将您创建的 Amazon EC2 实例与 SSH 密钥对关联。这与您为这个实例选择的操作系统无关，因为它只是一个 SSH 堡垒将互联网桥接到 OpenShift Container Platform 集群的 VPC。它与您使用的 Amazon Machine Image (AMI) 相关。例如，在 Red Hat Enterprise Linux CoreOS（RHCOS） 中，您可以像安装程序一样通过 Ignition 提供密钥。

4. 一旦置备了 Amazon EC2 实例并可以 SSH 到它，您必须添加与 OpenShift Container Platform 安装关联的 SSH 密钥。这个密钥可以与堡垒实例的密钥不同，也可以相同。

   注意

   直接通过 SSH 访问仅建议在灾难恢复时使用。当 Kubernetes API 正常工作时，应该使用特权 Pod。

5. 运行 oc get nodes，查看输出结果，然后选择一个 master 节点。主机名类似于 ip-10-0-1-163.ec2.internal。

6. 从您手动部署到 Amazon EC2 的堡垒 SSH 主机中，SSH 部署到那个 control plane 主机（也称为 master 主机）。确定您使用了在安装过程中指定的相同的 SSH 密钥：

   $ ssh -i <ssh-key-path> core@<master-hostname>

1. 运行以下命令，以查看部署状态：

   $ oc get -n openshift-network-operator deployment/network-operator

   输出示例

   NAME               READY   UP-TO-DATE   AVAILABLE   AGE
   network-operator   1/1     1            1           56m

2. 运行以下命令，以查看 Cluster Network Operator 的状态：

   $ oc get clusteroperator/network

   输出示例

   NAME      VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   network   4.5.4     True        False         False      50m

   以下字段提供有关 Operator 状态的信息：AVAILABLE、Progressing 和 DEGRADED。当 Cluster Network Operator 报告可用状态条件时，AVAILABLE 字段为 True。

1. 使用 oc get 命令查看部署状态：

   $ oc get -n openshift-dns-operator deployment/dns-operator

   输出示例

   NAME           READY     UP-TO-DATE   AVAILABLE   AGE
   dns-operator   1/1       1            1           23h

2. 使用 oc get 命令来查看 DNS Operator 的状态：

   $ oc get clusteroperator/dns

   输出示例

   NAME      VERSION     AVAILABLE   PROGRESSING   DEGRADED   SINCE
   dns       4.1.0-0.11  True        False         False      92m

   AVAILABLE、PROGRESSING 和 DEGRADED 提供了有关 Operator 状态的信息。当 CoreDNS 守护进程中至少有 1 个 pod 被设置为 Available 状态时，AVAILABLE 为 True。

流程

1. 使用 oc describe 命令来查看默认 dns：

   $ oc describe dns.operator/default

   输出示例

   Name:         default
   Namespace:
   Labels:       <none>
   Annotations:  <none>
   API Version:  operator.openshift.io/v1
   Kind:         DNS
   ...
   Status:
     Cluster Domain:  cluster.local 1
     Cluster IP:      172.30.0.10 2
   ...

   1

   Cluster Domain 字段是用来构造完全限定的 pod 和服务域名的基本 DNS 域。

   2

   Cluster IP 是 Pod 为名称解析查询的地址。IP 由服务 CIDR 范围中的第 10 个地址定义。

2. 要查找集群的服务 CIDR，使用 oc get 命令：

   $ oc get networks.config/cluster -o jsonpath='{$.status.serviceNetwork}'

流程

1. 修改名为 default 的 DNS Operator 对象：

   $ oc edit dns.operator/default

   这允许 Operator 使用基于 Server 的额外服务器配置块来创建和更新名为 dns-default 的 ConfigMap。如果没有服务器带有与查询匹配的区，则命名解析功能会返回到由 /etc/resolv.conf中指定的名称服务器。

   DNS 示例

   apiVersion: operator.openshift.io/v1
   kind: DNS
   metadata:
     name: default
   spec:
     servers:
     - name: foo-server 1
       zones: 2
         - example.com
       forwardPlugin:
         upstreams: 3
           - 1.1.1.1
           - 2.2.2.2:5353
     - name: bar-server
       zones:
         - bar.com
         - example.com
       forwardPlugin:
         upstreams:
           - 3.3.3.3
           - 4.4.4.4:5454

   1

   name 必须符合 rfc6335 服务名称的语法。

   2

   zones 必须符合 rfc1123 中的一个 subdomain 的定义。集群域 cluster.local 不是 zones 中的一个有效的 subdomain。

   3

   每个 forwardPlugin 最多允许 15 个 upstreams。

   注意

   如果 servers 未定义或无效，则 ConfigMap 只包括默认服务器。

2. 查看 ConfigMap：

   $ oc get configmap/dns-default -n openshift-dns -o yaml

   基于以上 DNS 示例的 DNS ConfigMap 示例

   apiVersion: v1
   data:
     Corefile: |
       example.com:5353 {
           forward . 1.1.1.1 2.2.2.2:5353
       }
       bar.com:5353 example.com:5353 {
           forward . 3.3.3.3 4.4.4.4:5454 1
       }
       .:5353 {
           errors
           health
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods insecure
               upstream
               fallthrough in-addr.arpa ip6.arpa
           }
           prometheus :9153
           forward . /etc/resolv.conf {
               policy sequential
           }
           cache 30
           reload
       }
   kind: ConfigMap
   metadata:
     labels:
       dns.operator.openshift.io/owning-dns: default
     name: dns-default
     namespace: openshift-dns

   1

   对 forwardPlugin 的更改会触发 CoreDNS 守护进程集的滚动更新。

流程

1. 要列出当前的 PodNetworkConnectivityCheck 对象，请输入以下命令：

   $ oc get podnetworkconnectivitycheck -n openshift-network-diagnostics

   输出示例

   NAME                                                                                                                                AGE
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0   75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-1   73m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-2   75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-kubernetes-apiserver-service-cluster                               75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-kubernetes-default-service-cluster                                 75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-load-balancer-api-external                                         75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-load-balancer-api-internal                                         75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-ci-ln-x5sv9rb-f76d1-4rzrp-master-0            75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-ci-ln-x5sv9rb-f76d1-4rzrp-master-1            75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-ci-ln-x5sv9rb-f76d1-4rzrp-master-2            75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh      74m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-ci-ln-x5sv9rb-f76d1-4rzrp-worker-c-n8mbf      74m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-ci-ln-x5sv9rb-f76d1-4rzrp-worker-d-4hnrz      74m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-network-check-target-service-cluster                               75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-openshift-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0    75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-openshift-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-1    75m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-openshift-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-2    74m
   network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-openshift-apiserver-service-cluster                                75m

2. 查看连接测试日志：

   1. 在上一命令的输出中，标识您要查看连接日志的端点。

   2. 要查看对象，请输入以下命令：

      $ oc get podnetworkconnectivitycheck <name> \
        -n openshift-network-diagnostics -o yaml

      这里的 <name> 指定 PodNetworkConnectivityCheck 对象的名称。

      输出示例

      apiVersion: controlplane.operator.openshift.io/v1alpha1
      kind: PodNetworkConnectivityCheck
      metadata:
        name: network-check-source-ci-ln-x5sv9rb-f76d1-4rzrp-worker-b-6xdmh-to-kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0
        namespace: openshift-network-diagnostics
        ...
      spec:
        sourcePod: network-check-source-7c88f6d9f-hmg2f
        targetEndpoint: 10.0.0.4:6443
        tlsClientCert:
          name: ""
      status:
        conditions:
        - lastTransitionTime: "2021-01-13T20:11:34Z"
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnectSuccess
          status: "True"
          type: Reachable
        failures:
        - latency: 2.241775ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: failed
            to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443: connect:
            connection refused'
          reason: TCPConnectError
          success: false
          time: "2021-01-13T20:10:34Z"
        - latency: 2.582129ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: failed
            to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443: connect:
            connection refused'
          reason: TCPConnectError
          success: false
          time: "2021-01-13T20:09:34Z"
        - latency: 3.483578ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: failed
            to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443: connect:
            connection refused'
          reason: TCPConnectError
          success: false
          time: "2021-01-13T20:08:34Z"
        outages:
        - end: "2021-01-13T20:11:34Z"
          endLogs:
          - latency: 2.032018ms
            message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0:
              tcp connection to 10.0.0.4:6443 succeeded'
            reason: TCPConnect
            success: true
            time: "2021-01-13T20:11:34Z"
          - latency: 2.241775ms
            message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0:
              failed to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443:
              connect: connection refused'
            reason: TCPConnectError
            success: false
            time: "2021-01-13T20:10:34Z"
          - latency: 2.582129ms
            message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0:
              failed to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443:
              connect: connection refused'
            reason: TCPConnectError
            success: false
            time: "2021-01-13T20:09:34Z"
          - latency: 3.483578ms
            message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0:
              failed to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443:
              connect: connection refused'
            reason: TCPConnectError
            success: false
            time: "2021-01-13T20:08:34Z"
          message: Connectivity restored after 2m59.999789186s
          start: "2021-01-13T20:08:34Z"
          startLogs:
          - latency: 3.483578ms
            message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0:
              failed to establish a TCP connection to 10.0.0.4:6443: dial tcp 10.0.0.4:6443:
              connect: connection refused'
            reason: TCPConnectError
            success: false
            time: "2021-01-13T20:08:34Z"
        successes:
        - latency: 2.845865ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:14:34Z"
        - latency: 2.926345ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:13:34Z"
        - latency: 2.895796ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:12:34Z"
        - latency: 2.696844ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:11:34Z"
        - latency: 1.502064ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:10:34Z"
        - latency: 1.388857ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:09:34Z"
        - latency: 1.906383ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:08:34Z"
        - latency: 2.089073ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:07:34Z"
        - latency: 2.156994ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:06:34Z"
        - latency: 1.777043ms
          message: 'kubernetes-apiserver-endpoint-ci-ln-x5sv9rb-f76d1-4rzrp-master-0: tcp
            connection to 10.0.0.4:6443 succeeded'
          reason: TCPConnect
          success: true
          time: "2021-01-13T21:05:34Z"

流程

1. 要扩展节点端口范围，请输入以下命令。将 <port> 替换为新范围内的最大端口号码。

   $ oc patch network.config.openshift.io cluster --type=merge -p \
     '{
       "spec":
         { "serviceNodePortRange": "30000-<port>" }
     }'

   提示

   您还可以应用以下 YAML 来更新节点端口范围：

   apiVersion: config.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     serviceNodePortRange: "30000-<port>"

   输出示例

   network.config.openshift.io/cluster patched

2. 要确认配置是活跃的，请输入以下命令。应用更新可能需要几分钟。

   $ oc get configmaps -n openshift-kube-apiserver config \
     -o jsonpath="{.data['config\.yaml']}" | \
     grep -Eo '"service-node-port-range":["[[:digit:]]+-[[:digit:]]+"]'

   输出示例

   "service-node-port-range":["30000-33000"]

流程

1. 创建 IP 故障转移服务帐户：

   $ oc create sa ipfailover

2. 为 hostNetwork 更新安全性上下文约束（SCC）：

   $ oc adm policy add-scc-to-user privileged -z ipfailover
   $ oc adm policy add-scc-to-user hostnetwork -z ipfailover

3. 创建部署 YAML 文件来配置 IP 故障转移：

   IP 故障转移配置的部署 YAML 示例

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: ipfailover-keepalived 1
     labels:
       ipfailover: hello-openshift
   spec:
     strategy:
       type: Recreate
     replicas: 2
     selector:
       matchLabels:
         ipfailover: hello-openshift
     template:
       metadata:
         labels:
           ipfailover: hello-openshift
       spec:
         serviceAccountName: ipfailover
         privileged: true
         hostNetwork: true
         nodeSelector:
           node-role.kubernetes.io/worker: ""
         containers:
         - name: openshift-ipfailover
           image: quay.io/openshift/origin-keepalived-ipfailover
           ports:
           - containerPort: 63000
             hostPort: 63000
           imagePullPolicy: IfNotPresent
           securityContext:
             privileged: true
           volumeMounts:
           - name: lib-modules
             mountPath: /lib/modules
             readOnly: true
           - name: host-slash
             mountPath: /host
             readOnly: true
             mountPropagation: HostToContainer
           - name: etc-sysconfig
             mountPath: /etc/sysconfig
             readOnly: true
           - name: config-volume
             mountPath: /etc/keepalive
           env:
           - name: OPENSHIFT_HA_CONFIG_NAME
             value: "ipfailover"
           - name: OPENSHIFT_HA_VIRTUAL_IPS 2
             value: "1.1.1.1-2"
           - name: OPENSHIFT_HA_VIP_GROUPS 3
             value: "10"
           - name: OPENSHIFT_HA_NETWORK_INTERFACE 4
             value: "ens3" #The host interface to assign the VIPs
           - name: OPENSHIFT_HA_MONITOR_PORT 5
             value: "30060"
           - name: OPENSHIFT_HA_VRRP_ID_OFFSET 6
             value: "0"
           - name: OPENSHIFT_HA_REPLICA_COUNT 7
             value: "2" #Must match the number of replicas in the deployment
           - name: OPENSHIFT_HA_USE_UNICAST
             value: "false"
           #- name: OPENSHIFT_HA_UNICAST_PEERS
             #value: "10.0.148.40,10.0.160.234,10.0.199.110"
           - name: OPENSHIFT_HA_IPTABLES_CHAIN 8
             value: "INPUT"
           #- name: OPENSHIFT_HA_NOTIFY_SCRIPT 9
           #  value: /etc/keepalive/mynotifyscript.sh
           - name: OPENSHIFT_HA_CHECK_SCRIPT 10
             value: "/etc/keepalive/mycheckscript.sh"
           - name: OPENSHIFT_HA_PREEMPTION 11
             value: "preempt_delay 300"
           - name: OPENSHIFT_HA_CHECK_INTERVAL 12
             value: "2"
           livenessProbe:
             initialDelaySeconds: 10
             exec:
               command:
               - pgrep
               - keepalived
         volumes:
         - name: lib-modules
           hostPath:
             path: /lib/modules
         - name: host-slash
           hostPath:
             path: /
         - name: etc-sysconfig
           hostPath:
             path: /etc/sysconfig
         # config-volume contains the check script
         # created with `oc create configmap keepalived-checkscript --from-file=mycheckscript.sh`
         - configMap:
             defaultMode: 0755
             name: keepalived-checkscript
           name: config-volume
         imagePullSecrets:
           - name: openshift-pull-secret 13

   1

   IP 故障转移部署的名称。

   2

   要复制的 IP 地址范围列表。必须提供.例如，1.2.3.4-6,1.2.3.9。

   3

   为 VRRP 创建的组数量。如果没有设置，则会为通过 OPENSHIFT_HA_VIP_GROUPS 变量指定的每个虚拟 IP 范围创建一个组。

   4

   IP 故障切换用于发送 VRRP 流量的接口名称。默认情况下使用 eth0。

   5

   IP 故障转移 pod 会尝试在每个 VIP 上打开到此端口的 TCP 连接。如果建立连接，则服务将被视为正在运行。如果此端口设为 0，则测试会始终通过。默认值为 80。

   6

   用于设置虚拟路由器 ID 的偏移值。使用不同的偏移值可以在同一集群中存在多个 IP 故障转移配置。默认偏移值为 0，允许的范围是 0 到 255。

   7

   要创建的副本数。这必须与 IP 故障转移部署配置中的 spec.replicas 值匹配。默认值为 2。

   8

   iptables 链的名称，用于自动添加允许 VRRP 流量的 iptables 规则。如果没有设置值，则不会添加 iptables 规则。如果链不存在，则不会创建链，Keepalived 在单播模式下运行。默认为 INPUT。

   9

   当状态发生变化时运行的脚本的 pod 文件系统的完整路径名称。

   10

   定期运行的脚本的 pod 文件系统中的完整路径名称，以验证应用是否正在运行。

   11

   处理新的具有更高优先级主机的策略。默认值为 preempt_delay 300，这会导致，在有一个较低优先级的 master 提供 VIP 时，Keepalived 实例在 5 分钟后会接管 VIP。

   12

   检查脚本运行的期间（以秒为单位）。默认值为 2。

   13

   在创建部署之前创建 pull secret，否则您将在创建部署时收到错误。

流程

1. 创建所需脚本并创建一个配置映射来容纳它。脚本没有输入参数，并且必须返回 0（ OK）和 1（ fail）。

   检查脚本，mycheckscript.sh：

   #!/bin/bash
       # Whatever tests are needed
       # E.g., send request and verify response
   exit 0

2. 创建配置映射：

   $ oc create configmap mycustomcheck --from-file=mycheckscript.sh

3. 将脚本添加到容器集。挂载的配置映射文件的 defaultMode 必须能够使用 oc 命令或编辑部署配置来运行。值通常为 0755、493（十进制）：

   $ oc set env deploy/ipfailover-keepalived \
       OPENSHIFT_HA_CHECK_SCRIPT=/etc/keepalive/mycheckscript.sh

   $ oc set volume deploy/ipfailover-keepalived --add --overwrite \
       --name=config-volume \
       --mount-path=/etc/keepalive \
       --source='{"configMap": { "name": "mycustomcheck", "defaultMode": 493}}'

   注意

   oc set env 命令对空格敏感。= 符号的两侧不能有空格。

   提示

   您还可以编辑 ipfailover-keepalived 部署配置：

   $ oc edit deploy ipfailover-keepalived

       spec:
         containers:
         - env:
           - name: OPENSHIFT_HA_CHECK_SCRIPT  1
             value: /etc/keepalive/mycheckscript.sh
   ...
           volumeMounts: 2
           - mountPath: /etc/keepalive
             name: config-volume
         dnsPolicy: ClusterFirst
   ...
         volumes: 3
         - configMap:
             defaultMode: 0755 4
             name: customrouter
           name: config-volume
   ...

   1

   在 spec.container.env 字段中，添加 OPENSHIFT_HA_CHECK_SCRIPT 环境变量以指向挂载的脚本文件。

   2

   添加 spec.container.volumeMounts 字段以创建挂载点。

   3

   添加新的 spec.volumes 字段以提及配置映射。

   4

   这将设置文件的运行权限。在重新读后，其显示为十进制 493。

   保存更改并退出编辑器。这会重启 ipfailover-keepalived。

流程

1. 创建名为 load-sctp-module.yaml 的文件，其包含以下 YAML 定义：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     name: load-sctp-module
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/modprobe.d/sctp-blacklist.conf
             mode: 0644
             overwrite: true
             contents:
               source: data:,
           - path: /etc/modules-load.d/sctp-load.conf
             mode: 0644
             overwrite: true
             contents:
               source: data:,sctp

2. 运行以下命令来创建 MachineConfig 对象：

   $ oc create -f load-sctp-module.yaml

3. 可选： 要在 MachineConfig Operator 应用配置更改时监测节点的状态，请使用以下命令。当节点状态变为 Ready时，则代表配置更新已被应用。

   $ oc get nodes

流程

1. 创建 pod 启动 SCTP 侦听程序：

   1. 创建名为 sctp-server.yaml 的文件，该文件使用以下 YAML 定义 pod:

      apiVersion: v1
      kind: Pod
      metadata:
        name: sctpserver
        labels:
          app: sctpserver
      spec:
        containers:
          - name: sctpserver
            image: registry.access.redhat.com/ubi8/ubi
            command: ["/bin/sh", "-c"]
            args:
              ["dnf install -y nc && sleep inf"]
            ports:
              - containerPort: 30102
                name: sctpserver
                protocol: SCTP

   2. 运行以下命令来创建 pod：

      $ oc create -f sctp-server.yaml

2. 为 SCTP 侦听程序 pod 创建服务。

   1. 创建名为 sctp-service.yaml 的文件，该文件使用以下 YAML 定义服务：

      apiVersion: v1
      kind: Service
      metadata:
        name: sctpservice
        labels:
          app: sctpserver
      spec:
        type: NodePort
        selector:
          app: sctpserver
        ports:
          - name: sctpserver
            protocol: SCTP
            port: 30102
            targetPort: 30102

   2. 要创建服务，请输入以下命令：

      $ oc create -f sctp-service.yaml

3. 为 SCTP 客户端创建 pod。

   1. 使用以下 YAML 创建名为 sctp-client.yaml 的文件：

      apiVersion: v1
      kind: Pod
      metadata:
        name: sctpclient
        labels:
          app: sctpclient
      spec:
        containers:
          - name: sctpclient
            image: registry.access.redhat.com/ubi8/ubi
            command: ["/bin/sh", "-c"]
            args:
              ["dnf install -y nc && sleep inf"]

   2. 运行以下命令来创建 Pod 对象：

      $ oc apply -f sctp-client.yaml

4. 在服务器中运行 SCTP 侦听程序。

   1. 要连接到服务器 pod，请输入以下命令：

      $ oc rsh sctpserver

   2. 要启动 SCTP 侦听程序，请输入以下命令：

      $ nc -l 30102 --sctp

5. 连接到服务器上的 SCTP 侦听程序。

   1. 在终端程序里打开一个新的终端窗口或标签页。

   2. 获取 sctpservice 服务的 IP 地址。使用以下命令：

      $ oc get services sctpservice -o go-template='{{.spec.clusterIP}}{{"\n"}}'

   3. 要连接到客户端 pod，请输入以下命令：

      $ oc rsh sctpclient

   4. 要启动 SCTP 客户端，请输入以下命令。将 <cluster_IP> 替换为 sctpservice 服务的集群 IP 地址。

      # nc <cluster_IP> 30102 --sctp

流程

1. 创建以下 PtpConfig CR，然后在 <name>-ptp-config.yaml 文件中保存 YAML。使用配置的实际名称替换 <name>。

   apiVersion: ptp.openshift.io/v1
   kind: PtpConfig
   metadata:
     name: <name> 1
     namespace: openshift-ptp 2
   spec:
     profile: 3
     - name: "profile1" 4
       interface: "ens787f1" 5
       ptp4lOpts: "-s -2" 6
       phc2sysOpts: "-a -r" 7
       ptp4lConf: "" 8
     recommend: 9
     - profile: "profile1" 10
       priority: 10 11
       match: 12
       - nodeLabel: "node-role.kubernetes.io/worker" 13
         nodeName: "dev-worker-0" 14

   1

   为 PtpConfig CR 指定名称。

   2

   指定安装 PTP Operator 的命名空间。

   3

   指定包括一个或多个 profile 的数组。

   4

   指定用于唯一标识配置集（profile）对象的配置集对象名称。

   5

   指定 ptp4l 服务要使用的网络接口名称，如 ens787f1。

   6

   为 ptp4l 服务指定系统配置选项，如 -s -2。这不应该包含接口名称 -i <interface> 和服务配置文件 -f /etc/ptp4l.conf ，因为这些文件会被自动附加。

   7

   为 phc2sys 服务指定系统配置选项，如 -a -r。

   8

   指定一个字符串，其中包含要替换默认的 /etc/ptp4l.conf 文件的配置。要使用默认配置，请将字段留空。

   9

   指定包括一个或多个 recommend 对象的数组，该数组定义了如何将配置集应用到节点的规则。

   10

   指定 profile 部分中定义的 profile 对象名称。

   11

   使用 0 到 99 之间的一个整数值指定 priority。大数值的优先级较低，因此优先级 99 低于优先级 10。如果根据 match 项中定义的规则，节点可以与多个配置集相匹配，具有最高优先级的配置集将被应用到那个节点。

   12

   使用 nodeLabel 或 nodeName 指定 match 规则。

   13

   指定 nodeLabel，它带有来自节点对象的 node.Labels 的 key（可以通过运行 oc get nodes --show-labels 命令找出这些信息）。

   14

   指定 nodeName，它带有来自节点对象的 node.Name（可以通过运行 oc get nodes 命令找到这些信息）。

2. 运行以下命令来创建 CR：

   $ oc create -f <filename> 1

   1

   将 <filename> 替换为您在上一步中创建的文件的名称。

3. 可选：检查 PtpConfig 配置集是否应用到与 nodeLabel 或 nodeName 匹配的节点。

   $ oc get pods -n openshift-ptp -o wide

   输出示例

   NAME                            READY   STATUS    RESTARTS   AGE   IP               NODE           NOMINATED NODE   READINESS GATES
   linuxptp-daemon-4xkbb           1/1     Running   0          43m   192.168.111.15   dev-worker-0   <none>           <none>
   linuxptp-daemon-tdspf           1/1     Running   0          43m   192.168.111.11   dev-master-0   <none>           <none>
   ptp-operator-657bbb64c8-2f8sj   1/1     Running   0          43m   10.128.0.116     dev-master-0   <none>           <none>
   
   $ oc logs linuxptp-daemon-4xkbb -n openshift-ptp
   I1115 09:41:17.117596 4143292 daemon.go:107] in applyNodePTPProfile
   I1115 09:41:17.117604 4143292 daemon.go:109] updating NodePTPProfile to:
   I1115 09:41:17.117607 4143292 daemon.go:110] ------------------------------------
   I1115 09:41:17.117612 4143292 daemon.go:102] Profile Name: profile1 1
   I1115 09:41:17.117616 4143292 daemon.go:102] Interface: ens787f1    2
   I1115 09:41:17.117620 4143292 daemon.go:102] Ptp4lOpts: -s -2       3
   I1115 09:41:17.117623 4143292 daemon.go:102] Phc2sysOpts: -a -r     4
   I1115 09:41:17.117626 4143292 daemon.go:116] ------------------------------------
   I1115 09:41:18.117934 4143292 daemon.go:186] Starting phc2sys...
   I1115 09:41:18.117985 4143292 daemon.go:187] phc2sys cmd: &{Path:/usr/sbin/phc2sys Args:[/usr/sbin/phc2sys -a -r] Env:[] Dir: Stdin:<nil> Stdout:<nil> Stderr:<nil> ExtraFiles:[] SysProcAttr:<nil> Process:<nil> ProcessState:<nil> ctx:<nil> lookPathErr:<nil> finished:false childFiles:[] closeAfterStart:[] closeAfterWait:[] goroutine:[] errch:<nil> waitDone:<nil>}
   I1115 09:41:19.118175 4143292 daemon.go:186] Starting ptp4l...
   I1115 09:41:19.118209 4143292 daemon.go:187] ptp4l cmd: &{Path:/usr/sbin/ptp4l Args:[/usr/sbin/ptp4l -m -f /etc/ptp4l.conf -i ens787f1 -s -2] Env:[] Dir: Stdin:<nil> Stdout:<nil> Stderr:<nil> ExtraFiles:[] SysProcAttr:<nil> Process:<nil> ProcessState:<nil> ctx:<nil> lookPathErr:<nil> finished:false childFiles:[] closeAfterStart:[] closeAfterWait:[] goroutine:[] errch:<nil> waitDone:<nil>}
   ptp4l[102189.864]: selected /dev/ptp5 as PTP clock
   ptp4l[102189.886]: port 1: INITIALIZING to LISTENING on INIT_COMPLETE
   ptp4l[102189.886]: port 0: INITIALIZING to LISTENING on INIT_COMPLETE

   1

   Profile Name 是应用到 dev-worker-0 节点的名称。

   2

   Interface 是在 profile1 的 interface 项中指定的 PTP 设备。在这个接口中运行的 ptp4l 服务。

   3

   ptp4lOpts 是 profile1 中的 ptp4lOpts 项指定的 ptp4l sysconfig 选项。

   4

   Phc2sysOpts 是profile1 中的 Phc2sysOpts 项指定的 phc2sys sysconfig 选项。