14.3. 为 OpenShift 安装设置环境

流程

1. 为您的自定义 br-ex 网桥网络创建一个使用 base64 信息的 NMState 配置文件：

   自定义 br-ex 网桥网络的 NMState 配置示例

   interfaces:
   - name: enp2s0 1
     type: ethernet 2
     state: up 3
     ipv4:
       enabled: false 4
     ipv6:
       enabled: false
   - name: br-ex
     type: ovs-bridge
     state: up
     ipv4:
       enabled: false
       dhcp: false
     ipv6:
       enabled: false
       dhcp: false
     bridge:
       port:
       - name: enp2s0 5
       - name: br-ex
   - name: br-ex
     type: ovs-interface
     state: up
     copy-mac-from: enp2s0
     ipv4:
       enabled: true
       dhcp: true
     ipv6:
       enabled: false
       dhcp: false
   # ...

   1

   接口的名称。

   2

   以太网的类型。

   3

   创建后接口的请求状态。

   4

   在这个示例中禁用 IPv4 和 IPv6。

   5

   网桥附加到的节点 NIC。

2. 使用 cat 命令对 NMState 配置的内容进行 base64 编码：

   $ cat <nmstate_configuration>.yaml | base64 1

   1

   将 <nmstate_configuration> 替换为 NMState 资源 YAML 文件的名称。

3. 创建 MachineConfig 清单文件，并定义一个自定义 br-ex 网桥网络配置，如下例所示：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker 1
     name: 10-br-ex-worker 2
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,<base64_encoded_nmstate_configuration> 3
           mode: 0644
           overwrite: true
           path: /etc/nmstate/openshift/cluster.yml
   # ...

   1

   对于集群中的每个节点，指定节点的主机名路径以及机器类型的 base-64 编码 Ignition 配置文件数据。如果您在要应用到集群中的所有节点的 /etc/nmstate/openshift/cluster.yml 配置文件中指定了单个全局配置，则不需要为每个节点指定主机名路径。worker 角色是集群中节点的默认角色。当为每个节点，或 MachineConfig 清单文件中的所有节点指定主机名路径时，.yaml 扩展无法正常工作。

   2

   策略的名称。

   3

   将编码的 base64 信息写入指定路径。

流程

1. 输入以下命令编辑 MachineConfig CR：

   $ oc edit mc <machineconfig_custom_resource_name>

2. 将每个计算节点配置添加到 CR，以便 CR 可以管理集群中每个定义的计算节点的角色。
3. 创建名为 extraworker-secret 的 Secret 对象，该对象具有最小的静态 IP 配置。

4. 输入以下命令将 extraworker-secret secret 应用到集群中的每个节点。此步骤提供每个计算节点对 Ignition 配置文件的访问权限。

   $ oc apply -f ./extraworker-secret.yaml

5. 创建 BareMetalHost 资源并在 preprovisioningNetworkDataName 参数中指定网络 secret：

   带有附加网络 secret 的 BareMetalHost 资源示例

   apiVersion: metal3.io/v1alpha1
   kind: BareMetalHost
   spec:
   # ...
     preprovisioningNetworkDataName: ostest-extraworker-0-network-config-secret
   # ...

6. 要管理集群的 openshift-machine-api 命名空间中的 BareMetalHost 对象，请输入以下命令来更改命名空间：

   $ oc project openshift-machine-api

7. 获取机器集：

   $ oc get machinesets

8. 输入以下命令扩展每个机器集。您必须为每个机器集运行这个命令。

   $ oc scale machineset <machineset_name> --replicas=<n> 1

   1

   其中 <machineset_name> 是机器集的名称，<n> 是计算节点的数量。

流程

1. 配置 HAProxy Ingress Controller，以便您可以在端口 6443、22623、443 和 80 上从负载均衡器访问集群。根据您的需要，您可以在 HAProxy 配置中指定来自多个子网的单个子网或 IP 地址的 IP 地址。

   带有列出子网的 HAProxy 配置示例

   # ...
   listen my-cluster-api-6443
       bind 192.168.1.100:6443
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /readyz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:6443 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:6443 check inter 10s rise 2 fall 2
   
   listen my-cluster-machine-config-api-22623
       bind 192.168.1.100:22623
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /healthz
     http-check expect status 200
       server my-cluster-master-2 192.168.1.101:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-0 192.168.1.102:22623 check inter 10s rise 2 fall 2
       server my-cluster-master-1 192.168.1.103:22623 check inter 10s rise 2 fall 2
   
   listen my-cluster-apps-443
       bind 192.168.1.100:443
       mode tcp
       balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /healthz/ready
     http-check expect status 200
       server my-cluster-worker-0 192.168.1.111:443 check port 1936 inter 10s rise 2 fall 2
       server my-cluster-worker-1 192.168.1.112:443 check port 1936 inter 10s rise 2 fall 2
       server my-cluster-worker-2 192.168.1.113:443 check port 1936 inter 10s rise 2 fall 2
   
   listen my-cluster-apps-80
      bind 192.168.1.100:80
      mode tcp
      balance roundrobin
     option httpchk
     http-check connect
     http-check send meth GET uri /healthz/ready
     http-check expect status 200
       server my-cluster-worker-0 192.168.1.111:80 check port 1936 inter 10s rise 2 fall 2
       server my-cluster-worker-1 192.168.1.112:80 check port 1936 inter 10s rise 2 fall 2
       server my-cluster-worker-2 192.168.1.113:80 check port 1936 inter 10s rise 2 fall 2
   # ...

   带有多个列出子网的 HAProxy 配置示例

   # ...
   listen api-server-6443
       bind *:6443
       mode tcp
         server master-00 192.168.83.89:6443 check inter 1s
         server master-01 192.168.84.90:6443 check inter 1s
         server master-02 192.168.85.99:6443 check inter 1s
         server bootstrap 192.168.80.89:6443 check inter 1s
   
   listen machine-config-server-22623
       bind *:22623
       mode tcp
         server master-00 192.168.83.89:22623 check inter 1s
         server master-01 192.168.84.90:22623 check inter 1s
         server master-02 192.168.85.99:22623 check inter 1s
         server bootstrap 192.168.80.89:22623 check inter 1s
   
   listen ingress-router-80
       bind *:80
       mode tcp
       balance source
         server worker-00 192.168.83.100:80 check inter 1s
         server worker-01 192.168.83.101:80 check inter 1s
   
   listen ingress-router-443
       bind *:443
       mode tcp
       balance source
         server worker-00 192.168.83.100:443 check inter 1s
         server worker-01 192.168.83.101:443 check inter 1s
   
   listen ironic-api-6385
       bind *:6385
       mode tcp
       balance source
         server master-00 192.168.83.89:6385 check inter 1s
         server master-01 192.168.84.90:6385 check inter 1s
         server master-02 192.168.85.99:6385 check inter 1s
         server bootstrap 192.168.80.89:6385 check inter 1s
   
   listen inspector-api-5050
       bind *:5050
       mode tcp
       balance source
         server master-00 192.168.83.89:5050 check inter 1s
         server master-01 192.168.84.90:5050 check inter 1s
         server master-02 192.168.85.99:5050 check inter 1s
         server bootstrap 192.168.80.89:5050 check inter 1s
   # ...

2. 使用 curl CLI 命令验证用户管理的负载均衡器及其资源是否正常运行：

   1. 运行以下命令并查看响应，验证集群机器配置 API 是否可以被 Kubernetes API 服务器资源访问：

      $ curl https://<loadbalancer_ip_address>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
      }

   2. 运行以下命令并观察输出，验证集群机器配置 API 是否可以被 Machine 配置服务器资源访问：

      $ curl -v https://<loadbalancer_ip_address>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并观察输出，验证控制器是否可以被端口 80 上的 Ingress Controller 资源访问：

      $ curl -I -L -H "Host: console-openshift-console.apps.<cluster_name>.<base_domain>" http://<load_balancer_front_end_IP_address>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.ocp4.private.opequon.net/
      cache-control: no-cache

   4. 运行以下命令并观察输出，验证控制器是否可以被端口 443 上的 Ingress Controller 资源访问：

      $ curl -I -L --insecure --resolve console-openshift-console.apps.<cluster_name>.<base_domain>:443:<Load Balancer Front End IP Address> https://console-openshift-console.apps.<cluster_name>.<base_domain>

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

3. 配置集群的 DNS 记录，使其以用户管理的负载均衡器的前端 IP 地址为目标。您必须在负载均衡器上将记录更新为集群 API 和应用程序的 DNS 服务器。

   修改 DNS 记录示例

   <load_balancer_ip_address>  A  api.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   <load_balancer_ip_address>   A apps.<cluster_name>.<base_domain>
   A record pointing to Load Balancer Front End

   重要

   DNS 传播可能需要一些时间才能获得每个 DNS 记录。在验证每个记录前，请确保每个 DNS 记录传播。

4. 要使 OpenShift Container Platform 集群使用用户管理的负载均衡器，您必须在集群的 install-config.yaml 文件中指定以下配置：

   # ...
   platform:
     baremetal:
       loadBalancer:
         type: UserManaged 1
         apiVIPs:
         - <api_ip> 2
         ingressVIPs:
         - <ingress_ip> 3
   # ...

   1

   为 type 参数设置 UserManaged，为集群指定用户管理的负载均衡器。参数默认为 OpenShiftManagedDefault，它表示默认的内部负载均衡器。对于 openshift-kni-infra 命名空间中定义的服务，用户管理的负载均衡器可将 coredns 服务部署到集群中的 pod，但忽略 keepalived 和 haproxy 服务。

   2

   指定用户管理的负载均衡器时所需的参数。指定用户管理的负载均衡器的公共 IP 地址，以便 Kubernetes API 可以与用户管理的负载均衡器通信。

   3

   指定用户管理的负载均衡器时所需的参数。指定用户管理的负载均衡器的公共 IP 地址，以便用户管理的负载均衡器可以管理集群的入口流量。

验证

1. 使用 curl CLI 命令验证用户管理的负载均衡器和 DNS 记录配置是否正常工作：

   1. 运行以下命令并查看输出，验证您可以访问集群 API：

      $ curl https://api.<cluster_name>.<base_domain>:6443/version --insecure

      如果配置正确，您会收到 JSON 对象的响应：

      {
        "major": "1",
        "minor": "11+",
        "gitVersion": "v1.11.0+ad103ed",
        "gitCommit": "ad103ed",
        "gitTreeState": "clean",
        "buildDate": "2019-01-09T06:44:10Z",
        "goVersion": "go1.10.3",
        "compiler": "gc",
        "platform": "linux/amd64"
        }

   2. 运行以下命令并查看输出，验证您可以访问集群机器配置：

      $ curl -v https://api.<cluster_name>.<base_domain>:22623/healthz --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      Content-Length: 0

   3. 运行以下命令并查看输出，验证您可以在端口上访问每个集群应用程序：

      $ curl http://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 302 Found
      content-length: 0
      location: https://console-openshift-console.apps.<cluster-name>.<base domain>/
      cache-control: no-cacheHTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=39HoZgztDnzjJkq/JuLJMeoKNXlfiVv2YgZc09c3TBOBU4NI6kDXaJH1LdicNhN1UsQWzon4Dor9GWGfopaTEQ==; Path=/; Secure
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Tue, 17 Nov 2020 08:42:10 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=9b714eb87e93cf34853e87a92d6894be; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

   4. 运行以下命令并查看输出，验证您可以在端口 443 上访问每个集群应用程序：

      $ curl https://console-openshift-console.apps.<cluster_name>.<base_domain> -I -L --insecure

      如果配置正确，命令的输出会显示以下响应：

      HTTP/1.1 200 OK
      referrer-policy: strict-origin-when-cross-origin
      set-cookie: csrf-token=UlYWOyQ62LWjw2h003xtYSKlh1a0Py2hhctw0WmV2YEdhJjFyQwWcGBsja261dGLgaYO0nxzVErhiXt6QepA7g==; Path=/; Secure; SameSite=Lax
      x-content-type-options: nosniff
      x-dns-prefetch-control: off
      x-frame-options: DENY
      x-xss-protection: 1; mode=block
      date: Wed, 04 Oct 2023 16:29:38 GMT
      content-type: text/html; charset=utf-8
      set-cookie: 1e2670d92730b515ce3a1bb65da45062=1bf5e9573c9a2760c964ed1659cc1673; path=/; HttpOnly; Secure; SameSite=None
      cache-control: private

1. 配置 install-config.yaml。更改适当的变量以匹配环境，包括 pullSecret 和 sshKey ：

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public_cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 1
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIPs:
         - <api_ip>
       ingressVIPs:
         - <wildcard_ip>
       provisioningNetworkCIDR: <CIDR>
       bootstrapExternalStaticIP: <bootstrap_static_ip_address> 2
       bootstrapExternalStaticGateway: <bootstrap_static_gateway> 3
       bootstrapExternalStaticDNS: <bootstrap_static_dns> 4
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out_of_band_ip> 5
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>" 6
         - name: <openshift_master_1>
           role: master
           bmc:
             address: ipmi://<out_of_band_ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>"
         - name: <openshift_master_2>
           role: master
           bmc:
             address: ipmi://<out_of_band_ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>"
         - name: <openshift_worker_0>
           role: worker
           bmc:
             address: ipmi://<out_of_band_ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address>
         - name: <openshift_worker_1>
           role: worker
           bmc:
             address: ipmi://<out_of_band_ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1

   根据作为 OpenShift Container Platform 集群一部分的计算节点数量扩展计算机器。replicas 值可以是 0，以及大于或等于 2 的整数。将副本数设置为 0 以部署一个三节点集群，该集群仅包含三个 control plane 机器。三节点集群是一个较小的、效率更高的集群，可用于测试、开发和生产。您不能只使用一个计算节点安装集群。

   2

   当使用静态 IP 地址部署集群时，您必须设置 bootstrapExternalStaticIP 配置设置，以便在裸机网络上没有 DHCP 服务器时可以指定 bootstrap 虚拟机的静态 IP 地址。

   3

   当使用静态 IP 地址部署集群时，您必须设置 bootstrapExternalStaticGateway 配置设置，以便当裸机网络上没有 DHCP 服务器时可以为 bootstrap 虚拟机指定网关 IP 地址。

   4

   当使用静态 IP 地址部署集群时，您必须设置 bootstrapExternalStaticDNS 配置设置，以便在裸机网络上没有 DHCP 服务器时指定 bootstrap 虚拟机的 DNS 地址。

   5

   如需了解更多选项，请参阅 BMC 寻址部分。

   6

   要设置安装磁盘驱动器的路径，请输入磁盘的内核名称。例如：/dev/sda。

   重要

   由于磁盘发现顺序无法保证，因此磁盘的内核名称可以在具有多个磁盘的机器的引导选项之间更改。例如： /dev/sda 变为 /dev/sdb，反之亦然。要避免这个问题，您必须使用持久性磁盘属性，如 disk World Wide Name (WWN) 或 /dev/disk/by-path/。建议您使用 /dev/disk/by-path/<device_path> 链接到存储位置。要使用磁盘 WWN，请将 deviceName 参数替换为 wwnWithExtension 参数。根据您使用的参数，输入以下值之一：

   • 磁盘名称。例如： /dev/sda 或 /dev/disk/by-path/。
   • 磁盘 WWN。例如，"0x64cd98f04fde100024684cf3034da5c2"。确保您在引号中输入磁盘 WWN 值，使其用作字符串值，而不是十六进制值。

   无法满足 rootDeviceHints 参数的这些要求可能会导致以下错误：

   ironic-inspector inspection failed: No disks satisfied root device hints

   注意

   在 OpenShift Container Platform 4.12 之前，集群安装程序只接受 apiVIP 和 ingressVIP 配置设置的 IPv4 地址或 IPv6 地址。在 OpenShift Container Platform 4.12 及更新的版本中，这些配置设置已弃用。反之，使用 apiVIPs 和 ingressVIPs 配置设置中的列表格式来指定 IPv4 地址、IPv6 地址或两个 IP 地址格式。

2. 创建用于存储集群配置的目录：

   $ mkdir ~/clusterconfigs

3. 将 install-config.yaml 文件复制到新目录中：

   $ cp install-config.yaml ~/clusterconfigs

4. 在安装 OpenShift Container Platform 集群前，请确保关闭所有裸机节点：

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

5. 如果以前的部署尝试中保留了旧的 bootstrap 资源，请删除旧的 bootstrap 资源：

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

流程

1. 运行以下命令设置 BMC 的 IP 地址或主机名：

   $ export SERVER=<ip_address> 1

   1

   将 <ip_address> 替换为 BMC 的 IP 地址或主机名。

2. 运行以下命令设定系统的 ID：

   $ export SystemID=<system_id> 1

   1

   将 <system_id> 替换为系统 ID。例如：System.Embedded.1 或 1。详情请查看以下特定于供应商的 BMC 部分。

Redfish API 列表

1. 运行以下命令检查 power on 支持：

   $ curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "On"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.Reset

2. 运行以下命令检查 power off 支持：

   $ curl -u $USER:$PASS -X POST -H'Content-Type: application/json' -H'Accept: application/json' -d '{"ResetType": "ForceOff"}' https://$SERVER/redfish/v1/Systems/$SystemID/Actions/ComputerSystem.Reset

3. 运行以下命令，检查使用 pxe 的临时引导实现：

   $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json"  https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "pxe", "BootSourceOverrideEnabled": "Once"}}

4. 运行以下命令，检查使用 Legacy 或 UEFI 的 BIOS 引导模式的状态：

   $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json"  https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideMode":"UEFI"}}

Redfish 虚拟介质 API 列表

1. 运行以下命令，检查使用 cd 或 dvd 的临时引导设备的功能：

   $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" https://$Server/redfish/v1/Systems/$SystemID/ -d '{"Boot": {"BootSourceOverrideTarget": "cd", "BootSourceOverrideEnabled": "Once"}}'

2. 运行以下命令，检查挂载虚拟介质的功能：

   $ curl -u $USER:$PASS -X PATCH -H "Content-Type: application/json" -H "If-Match: *" https://$Server/redfish/v1/Managers/$ManagerID/VirtualMedia/$VmediaId -d '{"Image": "https://example.com/test.iso", "TransferProtocolType": "HTTPS", "UserName": "", "Password":""}'

流程

1. 可选：在 install-config.yaml 文件中包括 nmstatectl gc 前测试 NMState 语法，因为安装程序不会检查 NMState YAML 语法。

   注意

   YAML 语法中的错误可能会导致无法应用网络配置。另外，在部署后或在扩展集群时应用 Kubernetes NMState 更改时，维护所验证的 YAML 语法会很有用。

   1. 创建 NMState YAML 文件：

      interfaces:
      - name: <nic1_name> 1
        type: ethernet
        state: up
        ipv4:
          address:
          - ip: <ip_address> 2
            prefix-length: 24
          enabled: true
      dns-resolver:
        config:
          server:
          - <dns_ip_address> 3
      routes:
        config:
        - destination: 0.0.0.0/0
          next-hop-address: <next_hop_ip_address> 4
          next-hop-interface: <next_hop_nic1_name> 5

      1 2 3 4 5

      使用适当的值替换 <nic1_name>, <ip_address>, <dns_ip_address>, <next_hop_ip_address> 和 <next_hop_nic1_name>。

   2. 运行以下命令来测试配置文件：

      $ nmstatectl gc <nmstate_yaml_file>

      将 <nmstate_yaml_file> 替换为配置文件名称。

2. 通过在 install-config.yaml 文件中的主机中添加 NMState 配置，使用 networkConfig 配置设置：

       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
             username: <user>
             password: <password>
             disableCertificateVerification: null
           bootMACAddress: <NIC1_mac_address>
           bootMode: UEFI
           rootDeviceHints:
             deviceName: "/dev/sda"
           networkConfig: 1
             interfaces:
             - name: <nic1_name> 2
               type: ethernet
               state: up
               ipv4:
                 address:
                 - ip: <ip_address> 3
                   prefix-length: 24
                 enabled: true
             dns-resolver:
               config:
                 server:
                 - <dns_ip_address> 4
             routes:
               config:
               - destination: 0.0.0.0/0
                 next-hop-address: <next_hop_ip_address> 5
                 next-hop-interface: <next_hop_nic1_name> 6

   1

   添加 NMState YAML 语法来配置主机接口。

   2 3 4 5 6

   使用适当的值替换 <nic1_name>, <ip_address>, <dns_ip_address>, <next_hop_ip_address> 和 <next_hop_nic1_name>。

   重要

   部署集群后，您无法修改 install-config.yaml 文件的 networkConfig 配置设置，以更改主机网络接口。在部署后，使用 Kubernetes NMState Operator 更改主机网络接口。

流程

1. 在使用静态 IP 地址时，将子网添加到 install-config.yaml 文件中的 machineNetwork 中：

   networking:
     machineNetwork:
     - cidr: 10.0.0.0/24
     - cidr: 192.168.0.0/24
     networkType: OVNKubernetes

2. 在使用静态 IP 地址或高级网络（如绑定）时，使用 NMState 语法将网关和 DNS 配置添加到每个边缘计算节点的 networkConfig 参数中：

   networkConfig:
     interfaces:
     - name: <interface_name> 1
       type: ethernet
       state: up
       ipv4:
         enabled: true
         dhcp: false
         address:
         - ip: <node_ip> 2
           prefix-length: 24
         gateway: <gateway_ip> 3
     dns-resolver:
       config:
         server:
         - <dns_ip> 4

   1

   将 <interface_name> 替换为接口名称。

   2

   将 <node_ip> 替换为节点的 IP 地址。

   3

   使用网关的 IP 地址替换 <gateway_ip>。

   4

   将 <dns_ip> 替换为 DNS 服务器的 IP 地址。

流程

1. 可选：在 install-config.yaml 文件中包括 nmstatectl gc 命令前使用 nmstatectl gc 命令测试 NMState YAML 语法，因为安装程序不会检查 NMState YAML 语法。

   1. 创建 NMState YAML 文件：

      interfaces:
      - name: eth0
        ipv6:
          addr-gen-mode: <address_mode> 1

      1

      将 <address_mode> 替换为集群中 IPv6 地址所需的地址生成模式类型。有效值为 eui64、 stable-privacy 或 random。

   2. 运行以下命令来测试配置文件：

      $ nmstatectl gc <nmstate_yaml_file> 1

      1

      将 <nmstate_yaml_file> 替换为测试配置文件的名称。

2. 将 NMState 配置添加到 install-config.yaml 文件中的 hosts.networkConfig 部分：

       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
             username: <user>
             password: <password>
             disableCertificateVerification: null
           bootMACAddress: <NIC1_mac_address>
           bootMode: UEFI
           rootDeviceHints:
             deviceName: "/dev/sda"
           networkConfig:
             interfaces:
             - name: eth0
               ipv6:
                 addr-gen-mode: <address_mode> 1
   ...

   1

   将 <address_mode> 替换为集群中 IPv6 地址所需的地址生成模式类型。有效值为 eui64、 stable-privacy 或 random。

流程

1. 将 NMState 配置添加到 install-config.yaml 文件中的 networkConfig 主机中：

       hosts:
         - name: worker-0
           role: worker
           bmc:
             address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
             username: <user>
             password: <password>
             disableCertificateVerification: false
           bootMACAddress: <NIC1_mac_address>
           bootMode: UEFI
           networkConfig: 1
             interfaces: 2
              - name: eno1 3
                type: ethernet 4
                state: up
                mac-address: 0c:42:a1:55:f3:06
                ipv4:
                  enabled: true
                  dhcp: false 5
                ethernet:
                  sr-iov:
                    total-vfs: 2 6
                ipv6:
                  enabled: false
                  dhcp: false
              - name: sriov:eno1:0
                type: ethernet
                state: up 7
                ipv4:
                  enabled: false 8
                ipv6:
                  enabled: false
              - name: sriov:eno1:1
                type: ethernet
                state: down
              - name: eno2
                type: ethernet
                state: up
                mac-address: 0c:42:a1:55:f3:07
                ipv4:
                  enabled: true
                ethernet:
                  sr-iov:
                    total-vfs: 2
                ipv6:
                  enabled: false
              - name: sriov:eno2:0
                type: ethernet
                state: up
                ipv4:
                  enabled: false
                ipv6:
                  enabled: false
              - name: sriov:eno2:1
                type: ethernet
                state: down
              - name: bond0
                type: bond
                state: up
                min-tx-rate: 100 9
                max-tx-rate: 200 10
                link-aggregation:
                  mode: active-backup 11
                  options:
                    primary: sriov:eno1:0 12
                  port:
                    - sriov:eno1:0
                    - sriov:eno2:0
                ipv4:
                  address:
                    - ip: 10.19.16.57 13
                      prefix-length: 23
                  dhcp: false
                  enabled: true
                ipv6:
                  enabled: false
             dns-resolver:
               config:
                 server:
                   - 10.11.5.160
                   - 10.2.70.215
             routes:
               config:
                 - destination: 0.0.0.0/0
                   next-hop-address: 10.19.17.254
                   next-hop-interface: bond0 14
                   table-id: 254

   1

   networkConfig 字段包含主机的网络配置的信息，子字段包括 接口、dns-resolver 和 routes。

   2

   interfaces 字段是为主机定义的网络接口数组。

   3

   接口的名称。

   4

   接口的类型。这个示例创建了一个以太网接口。

   5

   如果物理功能 (PF) 没有被严格要求，则将其设置为 'false 以禁用 DHCP。

   6

   设置为要实例化的 SR-IOV 虚拟功能 (VF) 的数量。

   7

   把它设置为 up。

   8

   把它设置为 false，以禁用附加到绑定的 VF 的 IPv4 寻址。

   9

   为 VF 设置最小传输率（以 Mbps 为单位）。这个示例值设置 100 Mbps 的速度。

   • 这个值必须小于或等于最大传输率。
   • Intel NIC 不支持 min-tx-rate 参数。如需更多信息，请参阅 BZ#1772847。

   10

   为 VF 设置最大传输率（以 Mbps 为单位）。此示例值设置 200 Mbps 的速度。

   11

   设置所需的绑定模式。

   12

   设置绑定接口的首选端口。该绑定使用主设备作为绑定接口的第一个设备。这个绑定不会取消主设备接口，除非失败。当绑定接口中的一个 NIC 速度更快时，此设置特别有用，因此可以处理较大的负载。只有在绑定接口处于 active-backup 模式（模式 1）和 balance-tlb （模式 5）时，此设置才有效。

   13

   为绑定接口设置静态 IP 地址。这是节点 IP 地址。

   14

   将 bond0 设置为默认路由的网关。

   重要

   部署集群后，您无法更改 install-config.yaml 文件的 networkConfig 配置设置，以更改主机网络接口。在部署后，使用 Kubernetes NMState Operator 更改主机网络接口。

1. 创建 OpenShift Container Platform 清单。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

流程

1. 使用以下命令在安装主机上安装 Butane：

   $ sudo dnf -y install butane

2. 为 control plane 节点创建一个 Butane 配置 99-master-chrony-conf-override.bu，包括 chrony.conf 文件的内容。

   注意

   如需有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

   但ane 配置示例

   variant: openshift
   version: 4.16.0
   metadata:
     name: 99-master-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: master
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # Use public servers from the pool.ntp.org project.
             # Please consider joining the pool (https://www.pool.ntp.org/join.html).
   
             # The Machine Config Operator manages this file
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony
   
             # Configure the control plane nodes to serve as local NTP servers
             # for all compute nodes, even if they are not in sync with an
             # upstream NTP server.
   
             # Allow NTP client access from the local network.
             allow all
             # Serve time even if not synchronized to a time source.
             local stratum 3 orphan

   1

   您必须将 <cluster-name> 替换为集群名称，并将 <domain> 替换为完全限定域名。

3. 使用 Butane 生成 MachineConfig 对象文件 99-master-chrony-conf-override.yaml，其中包含要发送到 control plane 节点的配置：

   $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml

4. 为引用 control plane 节点上的 NTP 服务器的计算节点创建 Butane 配置 99-worker-chrony-conf-override.bu，包括 chrony.conf 文件的内容。

   但ane 配置示例

   variant: openshift
   version: 4.16.0
   metadata:
     name: 99-worker-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: worker
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # The Machine Config Operator manages this file.
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony

   1

   您必须将 <cluster-name> 替换为集群名称，并将 <domain> 替换为完全限定域名。

5. 使用 Butane 生成 MachineConfig 对象文件 99-worker-chrony-conf-override.yaml，其中包含要交付至 worker 节点的配置：

   $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml

流程

1. 进入存储 install-config.yaml 文件的目录：

   $ cd ~/clusterconfigs

2. 切换到 manifests 子目录：

   $ cd manifests

3. 创建名为 cluster-network-avoid-workers-99-config.yaml 的文件：

   $ touch cluster-network-avoid-workers-99-config.yaml

4. 在编辑器中打开 cluster-network-avoid-workers-99-config.yaml 文件，并输入描述 Operator 配置的自定义资源(CR)：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     name: 50-worker-fix-ipi-rwn
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/kubernetes/manifests/keepalived.yaml
             mode: 0644
             contents:
               source: data:,

   此清单将 ingressVIP 虚拟 IP 地址放在 control plane 节点上。另外，此清单仅在 control plane 节点上部署以下进程：

   • openshift-ingress-operator
   • keepalived
5. 保存 cluster-network-avoid-workers-99-config.yaml 文件。

6. 创建 manifests/cluster-ingress-default-ingresscontroller.yaml 文件：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/master: ""

7. 考虑备份 manifests 目录。在创建集群时，安装程序会删除 manifests/ 目录。

8. 通过将 mastersSchedulable 字段设置为 true 来修改 cluster-scheduler-02-config.yml 清单，使 control plane 节点可以调度。默认情况下，control plane 节点不可调度。例如：

   $ sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.yml

   注意

   如果在完成此步骤后 control plane 节点不可调度，则部署集群将失败。

流程

1. 创建 router-replicas.yaml 文件：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     replicas: <num-of-router-pods>
     endpointPublishingStrategy:
       type: HostNetwork
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/worker: ""

   注意

   将 <num-of-router-pods> 替换为适当的值。如果只使用一个计算节点，请将 replicas: 设置为 1。如果使用超过 3 个计算节点，您可以根据情况增加 replicas: 的值（默认值为 2）。

2. 将 router-replicas.yaml 文件复制到 clusterconfigs/openshift 目录中：

   $ cp ~/router-replicas.yaml clusterconfigs/openshift/99_router-replicas.yaml

流程

1. 创建清单。

2. 修改与节点对应的 BareMetalHost 资源文件：

   $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yaml

3. 将 BIOS 配置添加到 BareMetalHost 资源的 spec 部分：

   spec:
     firmware:
       simultaneousMultithreadingEnabled: true
       sriovEnabled: true
       virtualizationEnabled: true

   注意

   红帽支持三种 BIOS 配置：仅支持 BMC 类型 irmc 的服务器。目前不支持其他类型的服务器。

4. 创建集群。

流程

1. 创建清单。

2. 修改与节点对应的 BareMetalHost 资源：

   $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-*.yaml

   注意

   以下示例使用硬件 RAID 配置，因为 OpenShift Container Platform 4.16 不支持软件 RAID。

   1. 如果您在 spec 部分添加了特定的 RAID 配置，这会导致节点在 preparing 阶段删除原始 RAID 配置，并在 RAID 上执行指定的配置。例如：

      spec:
        raid:
          hardwareRAIDVolumes:
          - level: "0" 1
            name: "sda"
            numberOfPhysicalDisks: 1
            rotational: true
            sizeGibibytes: 0

      1

      level 是必填字段，另一个是可选字段。

   2. 如果您在 spec 部分添加了空的 RAID 配置，空配置会导致节点在 preparing 阶段删除原始 RAID 配置，但不执行新配置。例如：

      spec:
        raid:
          hardwareRAIDVolumes: []

   3. 如果您没有在 spec 部分添加 raid 字段，则原始 RAID 配置不会被删除，且不会执行新的配置。
3. 创建集群。

1. 创建 custom-partitions.yaml 文件，并包含一个包含分区布局的 MachineConfig 对象：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: primary
     name: 10_primary_storage_config
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         disks:
           - device: </dev/xxyN>
             partitions:
               - label: recovery
                 startMiB: 32768
                 sizeMiB: 16384
         filesystems:
           - device: /dev/disk/by-partlabel/recovery
             label: recovery
             format: xfs

2. 将 custom-partitions.yaml 文件复制到 clusterconfigs/openshift 目录中：

   $ cp ~/<MachineConfig_manifest> ~/clusterconfigs/openshift

流程

1. 打开 registry 节点上的防火墙端口：

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent

   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent

   $ sudo firewall-cmd --reload

2. 为 registry 节点安装所需的软件包：

   $ sudo yum -y install python3 podman httpd httpd-tools jq

3. 创建保存存储库信息的目录结构：

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

流程

1. 查看 OpenShift Container Platform 下载页面，以确定您要安装的 OpenShift Container Platform 版本，并决定 Repository Tags 页中的相应标签（tag）。

2. 设置所需的环境变量：

   1. 导出发行版本信息：

      $ OCP_RELEASE=<release_version>

      对于 <release_version>，请指定与 OpenShift Container Platform 版本对应的标签，用于您的架构，如 4.5.4。

   2. 导出本地 registry 名称和主机端口：

      $ LOCAL_REGISTRY='<local_registry_host_name>:<local_registry_host_port>'

      对于 <local_registry_host_name>，请指定镜像存储库的 registry 域名；对于 <local_registry_host_port>，请指定用于提供内容的端口。

   3. 导出本地存储库名称：

      $ LOCAL_REPOSITORY='<local_repository_name>'

      对于 <local_repository_name>，请指定要在 registry 中创建的仓库名称，如 ocp4/openshift4。

   4. 导出要进行镜像的存储库名称：

      $ PRODUCT_REPO='openshift-release-dev'

      对于生产环境版本，必须指定 openshift-release-dev。

   5. 导出 registry pull secret 的路径：

      $ LOCAL_SECRET_JSON='<path_to_pull_secret>'

      对于 <path_to_pull_secret>，请指定您创建的镜像 registry 的 pull secret 的绝对路径和文件名。

   6. 导出发行版本镜像：

      $ RELEASE_NAME="ocp-release"

      对于生产环境版本，您必须指定 ocp-release。

   7. 为您的集群导出构架类型：

      $ ARCHITECTURE=<cluster_architecture> 1

      1

      指定集群的构架，如 x86_64, aarch64, s390x, 获 ppc64le。

   8. 导出托管镜像的目录的路径：

      $ REMOVABLE_MEDIA_PATH=<path> 1

      1

      指定完整路径，包括开始的前斜杠(/)字符。

3. 将版本镜像(mirror)到镜像 registry：

   • 如果您的镜像主机无法访问互联网，请执行以下操作：

     1. 将可移动介质连接到连接到互联网的系统。

     2. 查看要镜像的镜像和配置清单：

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON}  \
             --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \
             --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \
             --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE} --dry-run

     3. 记录上一命令输出中的 imageContentSources 部分。您的镜像信息与您的镜像存储库相对应，您必须在安装过程中将 imageContentSources 部分添加到 install-config.yaml 文件中。

     4. 将镜像镜像到可移动介质的目录中：

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON} --to-dir=${REMOVABLE_MEDIA_PATH}/mirror quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE}

     5. 将介质上传到受限网络环境中，并将镜像上传到本地容器 registry。

        $ oc image mirror -a ${LOCAL_SECRET_JSON} --from-dir=${REMOVABLE_MEDIA_PATH}/mirror "file://openshift/release:${OCP_RELEASE}*" ${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} 1

        1

        对于 REMOVABLE_MEDIA_PATH，您必须使用与镜像镜像时指定的同一路径。

   • 如果本地容器 registry 连接到镜像主机，请执行以下操作：

     1. 使用以下命令直接将发行版镜像推送到本地 registry:

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON}  \
             --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \
             --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \
             --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}

        该命令将发行信息提取为摘要，其输出包括安装集群时所需的 imageContentSources 数据。

     2. 记录上一命令输出中的 imageContentSources 部分。您的镜像信息与您的镜像存储库相对应，您必须在安装过程中将 imageContentSources 部分添加到 install-config.yaml 文件中。

        注意

        镜像名称在镜像过程中被修补到 Quay.io， podman 镜像将在 bootstrap 虚拟机的 registry 中显示 Quay.io。

4. 要创建基于您镜像内容的安装程序，请提取内容并将其固定到发行版中：

   • 如果您的镜像主机无法访问互联网，请运行以下命令：

     $ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}"

   • 如果本地容器 registry 连接到镜像主机，请运行以下命令：

     $ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-baremetal-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}"

     重要

     要确保将正确的镜像用于您选择的 OpenShift Container Platform 版本，您必须从镜像内容中提取安装程序。

     您必须在有活跃互联网连接的机器上执行这个步骤。

     如果您位于断开连接的环境中,请使用 --image 标志作为 must-gather 的一部分，指向有效负载镜像。

5. 对于使用安装程序置备的基础架构的集群，运行以下命令：

   $ openshift-baremetal-install

流程

1. 将断开连接的 registry 节点的证书添加到 install-config.yaml 文件中：

   $ echo "additionalTrustBundle: |" >> install-config.yaml

   证书应跟在 "additionalTrustBundle: |" 行后面，并正确缩进（通常为两个空格）。

   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

2. 将 registry 的镜像信息添加到 install-config.yaml 文件中：

   $ echo "imageContentSources:" >> install-config.yaml

   $ echo "- mirrors:" >> install-config.yaml

   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml

   将 registry.example.com 替换为 registry 的完全限定域名。

   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml

   $ echo "- mirrors:" >> install-config.yaml

   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml

   将 registry.example.com 替换为 registry 的完全限定域名。

   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml