在裸机上部署安装程序置备的集群

1. 配置 install-config.yaml。更改适当的变量以匹配环境，包括 pullSecret 和 sshKey。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster-name>
   networking:
     machineCIDR: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 

   1

   
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api-ip>
       ingressVIP: <wildcard-ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 

   2

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-master-1>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 

   3

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-master-2>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 

   4

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-worker-0>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip> 

   5

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: unknown
         - name: <openshift-worker-1>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: unknown
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1

   根据作为 OpenShift Container Platform 集群一部分的 worker 节点数量来缩放 worker 机器。

   2 3 4 5

   如需了解更多选项，请参阅 BMC 寻址部分。

2. 创建用于存储集群配置的目录。

   $ mkdir ~/clusterconfigs
   $ cp install-config.yaml ~/clusterconfigs

3. 在安装 OpenShift Container Platform 集群前，请确保关闭所有裸机节点。

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

4. 如果以前的部署尝试中保留任何旧的 bootstrap 资源，则删除旧的 bootstrap 资源。

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. 创建 OpenShift Container Platform 清单。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

流程

1. 打开 registry 节点上的防火墙端口。

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent
   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent
   $ sudo firewall-cmd --reload

2. 为 registry 节点安装所需的软件包。

   $ sudo yum -y install python3 podman httpd httpd-tools jq

3. 创建保存存储库信息的目录结构。

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

流程

1. 根据情况调整证书信息。

   $ host_fqdn=$( hostname --long )
   $ cert_c="<Country Name>"   # Country Name (C, 2 letter code)
   $ cert_s="<State>"          # Certificate State (S)
   $ cert_l="<Locality>"       # Certificate Locality (L)
   $ cert_o="<Organization>"   # Certificate Organization (O)
   $ cert_ou="<Org Unit>"      # Certificate Organizational Unit (OU)
   $ cert_cn="${host_fqdn}"    # Certificate Common Name (CN)
   
   $ openssl req \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -keyout /opt/registry/certs/domain.key \
       -x509 \
       -days 365 \
       -out /opt/registry/certs/domain.crt \
       -addext "subjectAltName = DNS:${host_fqdn}" \
       -subj "/C=${cert_c}/ST=${cert_s}/L=${cert_l}/O=${cert_o}/OU=${cert_ou}/CN=${cert_cn}"

   注意

   当替换 <Country Name> 时，请确保它只包含两个字母。例如，US。

2. 使用新证书更新 registry 节点的 ca-trust。

   $ sudo cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
   $ sudo update-ca-trust extract

流程

1. 在 /opt/registry/auth 中创建一个 htpasswd 文件供容器使用。

   $ htpasswd -bBc /opt/registry/auth/htpasswd <user> <passwd>

   将 <user> 替换为用户名，将 <passwd> 替换为密码。

2. 创建并启动 registry 容器。

   $ podman create \
     --name ocpdiscon-registry \
     -p 5000:5000 \
     -e "REGISTRY_AUTH=htpasswd" \
     -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry" \
     -e "REGISTRY_HTTP_SECRET=ALongRandomSecretForRegistry" \
     -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" \
     -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
     -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
     -e "REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true" \
     -v /opt/registry/data:/var/lib/registry:z \
     -v /opt/registry/auth:/auth:z \
     -v /opt/registry/certs:/certs:z \
     docker.io/library/registry:2

   $ podman start ocpdiscon-registry

流程

1. 复制 pull-secret.txt 文件。

   $ scp kni@provisioner:/home/kni/pull-secret.txt pull-secret.txt

2. 使用 registry 节点的完全限定域名更新 host_fqdn 环境变量。

   $ host_fqdn=$( hostname --long )

3. 使用用于创建 htpasswd 文件的 http 凭证的 base64 编码来更新 b64auth 环境变量。

   $ b64auth=$( echo -n '<username>:<passwd>' | openssl base64 )

   将 <username> 替换为用户名，将 <passwd> 替换为密码。

4. 设置 AUTHSTRING 环境变量使用 base64 授权字符串。$USER 变量是包含当前用户名称的环境变量。

   $ AUTHSTRING="{\"$host_fqdn:5000\": {\"auth\": \"$b64auth\",\"email\": \"$USER@redhat.com\"}}"

5. 更新 pull-secret.txt 文件。

   $ jq ".auths += $AUTHSTRING" < pull-secret.txt > pull-secret-update.txt

流程

1. 将 provisioner 节点中的 oc 二进制文件复制到 registry 节点。

   $ sudo scp kni@provisioner:/usr/local/bin/oc /usr/local/bin

2. 设置所需的环境变量。

   1. 设置发行版本：

      $ VERSION=<release_version>

      对于 <release_version>，请指定与 OpenShift Container Platform 版本对应的标签，用于安装，如 4.6。

   2. 设置本地 registry 名称和主机端口：

      $ LOCAL_REG='<local_registry_host_name>:<local_registry_host_port>'

      对于 <local_registry_host_name>，请指定镜像存储库的 registry 域名；对于 <local_registry_host_port>，请指定用于提供内容的端口。

   3. 设置本地存储库名称：

      $ LOCAL_REPO='<local_repository_name>'

      对于 <local_repository_name>，请指定要在 registry 中创建的仓库名称，如 ocp4/openshift4。

3. 将远程安装镜像镜像(mirror)到本地存储库。

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.txt \
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

流程

1. 将断开连接的 registry 节点的证书添加到 install-config.yaml 文件中。证书应该跟着 "additionalTrustBundle: |" 行，并带有正确的缩进（通常是两个空格）。

   $ echo "additionalTrustBundle: |" >> install-config.yaml
   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

2. 将 registry 的镜像信息添加到 install-config.yaml 文件中。

   $ echo "imageContentSources:" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml

   注意

   将 registry.example.com 替换为 registry 的完全限定域名。

流程

1. 登录到 bootstrap 虚拟机：

   $ ssh core@172.22.0.2

2. 要检查容器日志，请执行以下操作：

   [core@localhost ~]$ sudo podman logs -f <container-name>

   将 <container-name> 替换为 ironic-api、ironic-conductor 或 ironic-inspector 之一。如果您遇到 control plane 节点没有通过 PXE 引导的问题，请检查 ironic-conductor pod。ironic-conductor pod 包含了有关尝试引导集群节点的最详细信息，因为它尝试通过 IPMI 登录该节点。

流程

1. 登录到 bootstrap 虚拟机：

   $ ssh core@172.22.0.2

2. 检查 bootstrap 虚拟机中的 ipa-downloader 和 coreos-downloader 容器的状态：

   [core@localhost ~]$ sudo podman logs -f ipa-downloader

   [core@localhost ~]$ sudo podman logs -f coreos-downloader

   如果 bootstrap 虚拟机无法访问镜像的 URL，使用 curl 命令验证虚拟机能否访问镜像。

3. 要检查 bootkube 日志以了解在部署阶段是否启动了所有容器，请执行以下操作：

   [core@localhost ~]$ journalctl -xe

   [core@localhost ~]$ journalctl -b -f -u bootkube.service

4. 验证所有 pod 都在运行，包括 dnsmasq、mariadb、httpd 和 ironic：

   [core@localhost ~]$ sudo podman ps

5. 如果 pod 存在问题，请检查相关的容器日志。要检查 ironic-api 的日志，请执行以下操作：

   [core@localhost ~]$ sudo podman logs <ironic-api>

流程

1. 检查 openshift-network-operator 命名空间中的 pod:

   $ oc get all -n openshift-network-operator

   NAME                                    READY STATUS            RESTARTS   AGE
   pod/network-operator-69dfd7b577-bg89v   0/1   ContainerCreating 0          149m

2. 在 provisioner 节点上，确定存在网络配置：

   $ kubectl get network.config.openshift.io cluster -oyaml

   apiVersion: config.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     serviceNetwork:
     - 172.30.0.0/16
     clusterNetwork:
     - cidr: 10.128.0.0/14
       hostPrefix: 23
     networkType: OpenShiftSDN

   如果不存在，代表安装程序没有创建它。要确定安装程序没有创建它的原因，请执行以下操作：

   $ openshift-install create manifests

3. 检查 network-operator 是否正在运行：

   $ kubectl -n openshift-network-operator get pods

4. 检索日志：

   $ kubectl -n openshift-network-operator logs -l "name=network-operator"

   在具有三个或更多 Control Plane(master)节点的高可用性集群上，Operator 将执行领导选举机制，所有其他 Operator 会休眠。如需了解更多详细信息，请参阅 故障排除。

1. 确定保留的 IPv6 地址不在 DHCP 范围之外。

2. 在 DHCP 服务器的 IP 地址保留中，确保保留指定了正确的 DHCP 唯一识别符（DUID）。例如：

   # This is a dnsmasq dhcp reservation, 'id:00:03:00:01' is the client id and '18:db:f2:8c:d5:9f' is the MAC Address for the NIC
   id:00:03:00:01:18:db:f2:8c:d5:9f,openshift-master-1,[2620:52:0:1302::6]

3. 确保路由声明（Route Announcement）正在正常工作。
4. 确定 DHCP 服务器正在侦听提供 IP 地址范围所需的接口。

流程

1. 检索 主机名:

   [core@master-X ~]$ hostname

   如果主机名是 localhost，请执行以下步骤。

   注意

   其中 X 是 control plane 节点（也称为 master 节点）号。

2. 强制集群节点续订 DHCP 租期：

   [core@master-X ~]$ sudo nmcli con up "<bare-metal-nic>"

   将 <bare-metal-nic> 替换为与 baremetal 网络对应的有线连接。

3. 再次检查 主机名:

   [core@master-X ~]$ hostname

4. 如果主机名仍然是 localhost.localdomain，重启 NetworkManager:

   [core@master-X ~]$ sudo systemctl restart NetworkManager

5. 如果主机名仍然是 localhost.localdomain，请等待几分钟并再次检查。如果主机名还是 localhost.localdomain，重复前面的步骤。

6. 重启 nodeip-configuration 服务：

   [core@master-X ~]$ sudo systemctl restart nodeip-configuration.service

   此服务将使用正确的主机名引用来重新配置 kubelet 服务。

7. 因为 kubelet 在上一步中有所改变，所以重新加载单元文件定义：

   [core@master-X ~]$ sudo systemctl daemon-reload

8. 重启 kubelet 服务：

   [core@master-X ~]$ sudo systemctl restart kubelet.service

9. 确保 kubelet 使用正确的主机名引导：

   [core@master-X ~]$ sudo journalctl -fu kubelet.service

处理 csr

1. 在集群上获取 CSR:

   $ oc get csr

2. 验证待处理的 csr 是否包含 Subject Name: localhost.localdomain:

   $ oc get csr <pending_csr> -o jsonpath='{.spec.request}' | base64 --decode | openssl req -noout -text

3. 删除包含 Subject Name: localhost.localdomain 的任何 csr:

   $ oc delete csr <wrong_csr>

1. 获取路由：

   $ oc get route oauth-openshift

2. 检查服务端点：

   $ oc get svc oauth-openshift

   NAME              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
   oauth-openshift   ClusterIP   172.30.19.162   <none>        443/TCP   59m

3. 尝试从 Control Plane（master）节点访问该服务：

   [core@master0 ~]$ curl -k https://172.30.19.162

   {
     "kind": "Status",
     "apiVersion": "v1",
     "metadata": {
     },
     "status": "Failure",
     "message": "forbidden: User \"system:anonymous\" cannot get path \"/\"",
     "reason": "Forbidden",
     "details": {
     },
     "code": 403

4. 找到 provisioner 节点的 authentication-operator 错误：

   $ oc logs deployment/authentication-operator -n openshift-authentication-operator

   Event(v1.ObjectReference{Kind:"Deployment", Namespace:"openshift-authentication-operator", Name:"authentication-operator", UID:"225c5bd5-b368-439b-9155-5fd3c0459d98", APIVersion:"apps/v1", ResourceVersion:"", FieldPath:""}): type: 'Normal' reason: 'OperatorStatusChanged' Status for clusteroperator/authentication changed: Degraded message changed from "IngressStateEndpointsDegraded: All 2 endpoints for oauth-server are reporting"

解决方案

1. 确保每个部署的集群名称都是唯一的，确保没有冲突。
2. 关闭所有不是使用相同集群名称的集群部署的一部分的节点。否则，OpenShift Container Platform 集群的身份验证 pod 可能无法成功启动。

流程

1. 连接到 Ignition 配置失败的节点：

   Failed Units: 1
     machine-config-daemon-firstboot.service

2. 重启 machine-config-daemon-firstboot 服务：

   [core@worker-X ~]$ sudo systemctl restart machine-config-daemon-firstboot.service

流程

1. 检查集群节点的 AGE 的不同。例如：

   $ oc get nodes

   NAME                         STATUS   ROLES    AGE   VERSION
   master-0.cloud.example.com   Ready    master   145m   v1.16.2
   master-1.cloud.example.com   Ready    master   135m   v1.16.2
   master-2.cloud.example.com   Ready    master   145m   v1.16.2
   worker-2.cloud.example.com   Ready    worker   100m   v1.16.2

2. 检查因为时钟偏移导致的时间延迟。例如：

   $ oc get bmh -n openshift-machine-api

   master-1   error registering master-1  ipmi://<out-of-band-ip>

   $ sudo timedatectl

                  Local time: Tue 2020-03-10 18:20:02 UTC
              Universal time: Tue 2020-03-10 18:20:02 UTC
                    RTC time: Tue 2020-03-10 18:36:53
                   Time zone: UTC (UTC, +0000)
   System clock synchronized: no
                 NTP service: active
             RTC in local TZ: no

处理现有集群中的时钟偏移

1. 创建 chrony.conf 文件并将其编码为 base64 字符串。例如：

   $ cat << EOF | base 64
   server <NTP-server> iburst

   1

   
   stratumweight 0
   driftfile /var/lib/chrony/drift
   rtcsync
   makestep 10 3
   bindcmdaddress 127.0.0.1
   bindcmdaddress ::1
   keyfile /etc/chrony.keys
   commandkey 1
   generatecommandkey
   noclientlog
   logchange 0.5
   logdir /var/log/chrony
   EOF

   1

   将 <NTP-server> 替换为 NTP 服务器的 IP 地址。复制输出。

   [text-in-base-64]

2. 创建 MachineConfig 对象，将 base64 字符串替换为上一步输出中生成的 [text-in-base-64] 字符串。以下示例将文件添加到 Control Plane（master）节点。您可以修改 worker 节点的文件，或为 worker 角色创建额外的机器配置。

   $ cat << EOF > ./99_masters-chrony-configuration.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     creationTimestamp: null
     labels:
       machineconfiguration.openshift.io/role: master
     name: 99-master-etc-chrony-conf
   spec:
     config:
       ignition:
         config: {}
         security:
           tls: {}
         timeouts: {}
         version: 3.1.0
       networkd: {}
       passwd: {}
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,[text-in-base-64]

   1

   
           group:
             name: root
           mode: 420
           overwrite: true
           path: /etc/chrony.conf
           user:
             name: root
     osImageURL: ""

   1

   将 [text-in-base-64] 替换为 base64 字符串。

3. 对配置文件做一个副本备份。例如：

   $ cp 99_masters-chrony-configuration.yaml 99_masters-chrony-configuration.yaml.backup

4. 应用配置文件：

   $ oc apply -f ./masters-chrony-configuration.yaml

5. 确定 System clock synchronized 的值为 yes：

   $ sudo timedatectl

                  Local time: Tue 2020-03-10 19:10:02 UTC
              Universal time: Tue 2020-03-10 19:10:02 UTC
                    RTC time: Tue 2020-03-10 19:36:53
                   Time zone: UTC (UTC, +0000)
   System clock synchronized: yes
                 NTP service: active
             RTC in local TZ: no

   要在部署前设置时钟同步，请生成清单文件并将该文件添加到 openshift 目录中。例如：

   $ cp chrony-masters.yaml ~/clusterconfigs/openshift/99_masters-chrony-configuration.yaml

   然后继续创建集群。