13.3. 为 OpenShift 安装设置环境

1. 配置 install-config.yaml。更改适当的变量以匹配环境，包括 pullSecret 和 sshKey。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster-name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 1
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api-ip>
       ingressVIP: <wildcard-ip>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 2
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>" 3
         - name: <openshift_master_1>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 4
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>" 5
         - name: <openshift_master_2>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 6
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>" 7
         - name: <openshift_worker_0>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip> 8
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
         - name: <openshift-worker-1>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           rootDeviceHints:
            deviceName: "<installation_disk_drive_path>" 9
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1

   根据作为 OpenShift Container Platform 集群一部分的 worker 节点数量，扩展 worker 机器。replicas 值可以是 0，以及大于或等于 2 的整数。将副本数设置为 0 以部署一个三节点集群，该集群仅包含三个 control plane 机器。三节点集群是一个较小的、效率更高的集群，可用于测试、开发和生产。您不能只使用一个 worker 安装集群。

   2 4 6 8

   如需了解更多选项，请参阅 BMC 寻址部分。

   3 5 7 9

   要设置安装磁盘驱动器的路径，请输入磁盘的内核名称。例如：/dev/sda。

   重要

   由于磁盘发现顺序无法保证，因此磁盘的内核名称可以在具有多个磁盘的机器的引导选项之间更改。例如，/dev/sda 变成 /dev/sdb，反之亦然。要避免这个问题，您必须使用持久性磁盘属性，如 disk World Wide Name (WWN)。要使用磁盘 WWN，请将 deviceName 参数替换为 wwnWithExtension 参数。根据您使用的参数，输入磁盘名称，如 /dev/sda 或磁盘 WWN，例如 "0x64cd98f04fde100024684cf3034da5c2"。确保您在引号中输入磁盘 WWN 值，使其用作字符串值，而不是十六进制值。

   无法满足 rootDeviceHints 参数的这些要求可能会导致以下错误：

   ironic-inspector inspection failed: No disks satisfied root device hints

2. 创建用于存储集群配置的目录：

   $ mkdir ~/clusterconfigs

3. 将 install-config.yaml 文件复制到新目录中：

   $ cp install-config.yaml ~/clusterconfigs

4. 在安装 OpenShift Container Platform 集群前，请确保关闭所有裸机节点：

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

5. 如果以前的部署尝试中保留了旧的 bootstrap 资源，请删除旧的 bootstrap 资源：

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

流程

1. 可选：在 install-config.yaml 文件中包括 nmstatectl gc 前测试 NMState 语法，因为安装程序不会检查 NMState YAML 语法。

   注意

   YAML 语法中的错误可能会导致无法应用网络配置。另外，在部署后或在扩展集群时应用 Kubernetes NMState 更改时，维护所验证的 YAML 语法会很有用。

   1. 创建 NMState YAML 文件：

      interfaces:
      - name: <nic1_name> 1
        type: ethernet
        state: up
        ipv4:
          address:
          - ip: <ip_address> 2
            prefix-length: 24
          enabled: true
      dns-resolver:
        config:
          server:
          - <dns_ip_address> 3
      routes:
        config:
        - destination: 0.0.0.0/0
          next-hop-address: <next_hop_ip_address> 4
          next-hop-interface: <next_hop_nic1_name> 5

      1 2 3 4 5

      使用适当的值替换 <nic1_name>, <ip_address>, <dns_ip_address>, <next_hop_ip_address> 和 <next_hop_nic1_name>。

   2. 运行以下命令来测试配置文件：

      $ nmstatectl gc <nmstate_yaml_file>

      将 <nmstate_yaml_file> 替换为配置文件名称。

2. 通过在 install-config.yaml 文件中的主机中添加 NMState 配置，使用 networkConfig 配置设置：

       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: redfish+http://<out_of_band_ip>/redfish/v1/Systems/
             username: <user>
             password: <password>
             disableCertificateVerification: null
           bootMACAddress: <NIC1_mac_address>
           bootMode: UEFI
           rootDeviceHints:
             deviceName: "/dev/sda"
           networkConfig: 1
             interfaces:
             - name: <nic1_name> 2
               type: ethernet
               state: up
               ipv4:
                 address:
                 - ip: <ip_address> 3
                   prefix-length: 24
                 enabled: true
             dns-resolver:
               config:
                 server:
                 - <dns_ip_address> 4
             routes:
               config:
               - destination: 0.0.0.0/0
                 next-hop-address: <next_hop_ip_address> 5
                 next-hop-interface: <next_hop_nic1_name> 6

   1

   添加 NMState YAML 语法来配置主机接口。

   2 3 4 5 6

   使用适当的值替换 <nic1_name>, <ip_address>, <dns_ip_address>, <next_hop_ip_address> 和 <next_hop_nic1_name>。

   重要

   部署集群后，您无法修改 install-config.yaml 文件的 networkConfig 配置设置，以更改主机网络接口。在部署后，使用 Kubernetes NMState Operator 更改主机网络接口。

流程

1. 在使用静态 IP 地址时，将子网添加到 install-config.yaml 文件中的 machineNetwork 中：

   networking:
     machineNetwork:
     - cidr: 10.0.0.0/24
     - cidr: 192.168.0.0/24
     networkType: OVNKubernetes

2. 在使用静态 IP 地址或高级网络（如绑定）时，使用 NMState 语法将网关和 DNS 配置添加到每个边缘 worker 节点的 networkConfig 参数中：

   networkConfig:
     nmstate:
       interfaces:
       - name: <interface_name> 1
         type: ethernet
         state: up
         ipv4:
           enabled: true
           dhcp: false
           address:
           - ip: <node_ip> 2
             prefix-length: 24
           gateway: <gateway_ip> 3
           dns-resolver:
             config:
               server:
               - <dns_ip> 4

   1

   将 <interface_name> 替换为接口名称。

   2

   将 <node_ip> 替换为节点的 IP 地址。

   3

   使用网关的 IP 地址替换 <gateway_ip>。

   4

   将 <dns_ip> 替换为 DNS 服务器的 IP 地址。

1. 创建 OpenShift Container Platform 清单。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

流程

1. 为 control plane 节点创建一个 Butane 配置 99-master-chrony-conf-override.bu，包括 chrony.conf 文件的内容。

   注意

   如需有关 Butane 的信息，请参阅"使用 Butane 创建机器配置"。

   但ane 配置示例

   variant: openshift
   version: 4.10.0
   metadata:
     name: 99-master-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: master
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # Use public servers from the pool.ntp.org project.
             # Please consider joining the pool (https://www.pool.ntp.org/join.html).
   
             # The Machine Config Operator manages this file
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony
   
             # Configure the control plane nodes to serve as local NTP servers
             # for all worker nodes, even if they are not in sync with an
             # upstream NTP server.
   
             # Allow NTP client access from the local network.
             allow all
             # Serve time even if not synchronized to a time source.
             local stratum 3 orphan

   1

   您必须将 <cluster-name> 替换为集群名称，并将 <domain> 替换为完全限定域名。

2. 使用 Butane 生成 MachineConfig 对象文件 99-master-chrony-conf-override.yaml，其中包含要发送到 control plane 节点的配置：

   $ butane 99-master-chrony-conf-override.bu -o 99-master-chrony-conf-override.yaml

3. 为引用 control plane 节点上的 NTP 服务器的 worker 节点创建 Butane 配置 99-worker-chrony-conf-override.bu，包括 chrony.conf 文件的内容。

   但ane 配置示例

   variant: openshift
   version: 4.10.0
   metadata:
     name: 99-worker-chrony-conf-override
     labels:
       machineconfiguration.openshift.io/role: worker
   storage:
     files:
       - path: /etc/chrony.conf
         mode: 0644
         overwrite: true
         contents:
           inline: |
             # The Machine Config Operator manages this file.
             server openshift-master-0.<cluster-name>.<domain> iburst 1
             server openshift-master-1.<cluster-name>.<domain> iburst
             server openshift-master-2.<cluster-name>.<domain> iburst
   
             stratumweight 0
             driftfile /var/lib/chrony/drift
             rtcsync
             makestep 10 3
             bindcmdaddress 127.0.0.1
             bindcmdaddress ::1
             keyfile /etc/chrony.keys
             commandkey 1
             generatecommandkey
             noclientlog
             logchange 0.5
             logdir /var/log/chrony

   1

   您必须将 <cluster-name> 替换为集群名称，并将 <domain> 替换为完全限定域名。

4. 使用 Butane 生成 MachineConfig 对象文件 99-worker-chrony-conf-override.yaml，其中包含要交付至 worker 节点的配置：

   $ butane 99-worker-chrony-conf-override.bu -o 99-worker-chrony-conf-override.yaml

流程

1. 进入存储 install-config.yaml 文件的目录：

   $ cd ~/clusterconfigs

2. 切换到 manifests 子目录：

   $ cd manifests

3. 创建名为 cluster-network-avoid-workers-99-config.yaml 的文件：

   $ touch cluster-network-avoid-workers-99-config.yaml

4. 在编辑器中打开 cluster-network-avoid-workers-99-config.yaml 文件，并输入描述 Operator 配置的自定义资源(CR)：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     name: 50-worker-fix-ipi-rwn
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
           - path: /etc/kubernetes/manifests/keepalived.yaml
             mode: 0644
             contents:
               source: data:,

   此清单将 ingressVIP 虚拟 IP 地址放在 control plane 节点上。另外，此清单仅在 control plane 节点上部署以下进程：

   • openshift-ingress-operator
   • keepalived
5. 保存 cluster-network-avoid-workers-99-config.yaml 文件。

6. 创建 manifests/cluster-ingress-default-ingresscontroller.yaml 文件：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/master: ""

7. 考虑备份 manifests 目录。在创建集群时，安装程序会删除 manifests/ 目录。

8. 通过将 mastersSchedulable 字段设置为 true 来修改 cluster-scheduler-02-config.yml 清单，使 control plane 节点可以调度。默认情况下，control plane 节点不可调度。例如：

   $ sed -i "s;mastersSchedulable: false;mastersSchedulable: true;g" clusterconfigs/manifests/cluster-scheduler-02-config.yml

   注意

   如果在完成此步骤后 control plane 节点不可调度，则部署集群将失败。

流程

1. 创建 router-replicas.yaml 文件：

   apiVersion: operator.openshift.io/v1
   kind: IngressController
   metadata:
     name: default
     namespace: openshift-ingress-operator
   spec:
     replicas: <num-of-router-pods>
     endpointPublishingStrategy:
       type: HostNetwork
     nodePlacement:
       nodeSelector:
         matchLabels:
           node-role.kubernetes.io/worker: ""

   注意

   将 <num-of-router-pods> 替换为适当的值。如果只使用一个 worker 节点，请将 replicas: 设置为 1。如果使用 3 个以上 worker 节点，您可以根据情况增加 replicas: 的默认值 2。

2. 将 router-replicas.yaml 文件复制到 clusterconfigs/openshift 目录中：

   $ cp ~/router-replicas.yaml clusterconfigs/openshift/99_router-replicas.yaml

流程

1. 创建清单。

2. 修改与 worker 对应的 BMH 文件：

   $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-3.yaml

3. 将 BIOS 配置添加到 BMH 文件的 spec 部分：

   spec:
     firmware:
       simultaneousMultithreadingEnabled: true
       sriovEnabled: true
       virtualizationEnabled: true

   注意
   1. 红帽支持三种 BIOS 配置：详情请查看 BMH 文档。仅支持 BMC 类型 irmc 的服务器。目前不支持其他类型的服务器。
4. 创建集群。

流程

1. 创建清单。

2. 修改与 worker 对应的 BMH(Bare Metal Host)文件：

   $ vim clusterconfigs/openshift/99_openshift-cluster-api_hosts-3.yaml

   注意

   以下示例使用硬件 RAID 配置，因为 OpenShift Container Platform 4.10 不支持软件 RAID。

   1. 如果您在 spec 部分添加了特定的 RAID 配置，这会导致 worker 节点在 preparing 阶段删除原始 RAID 配置，并在 RAID 上执行指定的配置。例如：

      spec:
        raid:
          hardwareRAIDVolumes:
          - level: "0" 1
            name: "sda"
            numberOfPhysicalDisks: 1
            rotational: true
            sizeGibibytes: 0

      1

      level 是必填字段，另一个是可选字段。

   2. 如果您在 spec 部分添加了空的 RAID 配置，这个空配置会导致 worker 节点在 preparing 阶段删除原始 RAID 配置，但不会执行新配置。例如：

      spec:
        raid:
          hardwareRAIDVolumes: []

   3. 如果您没有在 spec 部分添加 raid 字段，则原始 RAID 配置不会被删除，且不会执行新的配置。
3. 创建集群。

流程

1. 打开 registry 节点上的防火墙端口：

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent

   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent

   $ sudo firewall-cmd --reload

2. 为 registry 节点安装所需的软件包：

   $ sudo yum -y install python3 podman httpd httpd-tools jq

3. 创建保存存储库信息的目录结构：

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

流程

1. 查看 OpenShift Container Platform 下载页面，以确定您要安装的 OpenShift Container Platform 版本，并决定 Repository Tags 页中的相应标签（tag）。

2. 设置所需的环境变量：

   1. 导出发行版本信息：

      $ OCP_RELEASE=<release_version>

      对于 <release_version>，请指定与 OpenShift Container Platform 版本对应的标签，用于您的架构，如 4.5.4。

   2. 导出本地 registry 名称和主机端口：

      $ LOCAL_REGISTRY='<local_registry_host_name>:<local_registry_host_port>'

      对于 <local_registry_host_name>，请指定镜像存储库的 registry 域名；对于 <local_registry_host_port>，请指定用于提供内容的端口。

   3. 导出本地存储库名称：

      $ LOCAL_REPOSITORY='<local_repository_name>'

      对于 <local_repository_name>，请指定要在 registry 中创建的仓库名称，如 ocp4/openshift4。

   4. 导出要进行镜像的存储库名称：

      $ PRODUCT_REPO='openshift-release-dev'

      对于生产环境版本，必须指定 openshift-release-dev。

   5. 导出 registry pull secret 的路径：

      $ LOCAL_SECRET_JSON='<path_to_pull_secret>'

      对于 <path_to_pull_secret>，请指定您创建的镜像 registry 的 pull secret 的绝对路径和文件名。

   6. 导出发行版本镜像：

      $ RELEASE_NAME="ocp-release"

      对于生产环境版本，您必须指定 ocp-release。

   7. 为您的服务器导出构架类型，如 x86_64：

      $ ARCHITECTURE=<server_architecture>

   8. 导出托管镜像的目录的路径：

      $ REMOVABLE_MEDIA_PATH=<path> 1

      1

      指定完整路径，包括开始的前斜杠(/)字符。

3. 将版本镜像(mirror)到镜像 registry：

   • 如果您的镜像主机无法访问互联网，请执行以下操作：

     1. 将可移动介质连接到连接到互联网的系统。

     2. 查看要镜像的镜像和配置清单：

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON}  \
             --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \
             --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \
             --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE} --dry-run

     3. 记录上一命令输出中的 imageContentSources 部分。您的镜像信息与您的镜像存储库相对应，您必须在安装过程中将 imageContentSources 部分添加到 install-config.yaml 文件中。

     4. 将镜像镜像到可移动介质的目录中：

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON} --to-dir=${REMOVABLE_MEDIA_PATH}/mirror quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE}

     5. 将介质上传到受限网络环境中，并将镜像上传到本地容器 registry。

        $ oc image mirror -a ${LOCAL_SECRET_JSON} --from-dir=${REMOVABLE_MEDIA_PATH}/mirror "file://openshift/release:${OCP_RELEASE}*" ${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} 1

        1

        对于 REMOVABLE_MEDIA_PATH，您必须使用与镜像镜像时指定的同一路径。

   • 如果本地容器 registry 连接到镜像主机，请执行以下操作：

     1. 使用以下命令直接将发行版镜像推送到本地 registry:

        $ oc adm release mirror -a ${LOCAL_SECRET_JSON}  \
             --from=quay.io/${PRODUCT_REPO}/${RELEASE_NAME}:${OCP_RELEASE}-${ARCHITECTURE} \
             --to=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY} \
             --to-release-image=${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}

        该命令将发行信息提取为摘要，其输出包括安装集群时所需的 imageContentSources 数据。

     2. 记录上一命令输出中的 imageContentSources 部分。您的镜像信息与您的镜像存储库相对应，您必须在安装过程中将 imageContentSources 部分添加到 install-config.yaml 文件中。

        注意

        镜像名称在镜像过程中被修补到 Quay.io， podman 镜像将在 bootstrap 虚拟机的 registry 中显示 Quay.io。

4. 要创建基于您镜像内容的安装程序，请提取内容并将其固定到发行版中：

   • 如果您的镜像主机无法访问互联网，请运行以下命令：

     $ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}"

   • 如果本地容器 registry 连接到镜像主机，请运行以下命令：

     $ oc adm release extract -a ${LOCAL_SECRET_JSON} --command=openshift-install "${LOCAL_REGISTRY}/${LOCAL_REPOSITORY}:${OCP_RELEASE}-${ARCHITECTURE}"

     重要

     要确保将正确的镜像用于您选择的 OpenShift Container Platform 版本，您必须从镜像内容中提取安装程序。

     您必须在有活跃互联网连接的机器上执行这个步骤。

     如果您位于断开连接的环境中,请使用 --image 标志作为 must-gather 的一部分，指向有效负载镜像。

5. 对于使用安装程序置备的基础架构的集群，运行以下命令：

   $ openshift-install

流程

1. 将断开连接的 registry 节点的证书添加到 install-config.yaml 文件中：

   $ echo "additionalTrustBundle: |" >> install-config.yaml

   证书应跟在 "additionalTrustBundle: |" 行后面，并正确缩进（通常为两个空格）。

   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

2. 将 registry 的镜像信息添加到 install-config.yaml 文件中：

   $ echo "imageContentSources:" >> install-config.yaml

   $ echo "- mirrors:" >> install-config.yaml

   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml

   将 registry.example.com 替换为 registry 的完全限定域名。

   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml

   $ echo "- mirrors:" >> install-config.yaml

   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml

   将 registry.example.com 替换为 registry 的完全限定域名。

   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml