在裸机上部署安装程序置备的集群

1. 配置 install-config.yaml。更改适当的变量以匹配环境，包括 pullSecret 和 sshKey。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster-name>
   networking:
     machineCIDR: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 

   1

   
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api-ip>
       ingressVIP: <wildcard-ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 

   2

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-master-1>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 

   3

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-master-2>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 

   4

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-worker-0>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip> 

   5

   
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: unknown
         - name: <openshift-worker-1>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: unknown
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   Copy to Clipboard Toggle word wrap

   1

   根据作为 OpenShift Container Platform 集群一部分的 worker 节点数量来缩放 worker 机器。

   2 3 4 5

   如需了解更多选项，请参阅 BMC 寻址部分。

2. 创建用于存储集群配置的目录。

   $ mkdir ~/clusterconfigs
   $ cp install-config.yaml ~/clusterconfigs

   Copy to Clipboard Toggle word wrap

3. 在安装 OpenShift Container Platform 集群前，请确保关闭所有裸机节点。

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

   Copy to Clipboard Toggle word wrap

4. 如果以前的部署尝试中保留任何旧的 bootstrap 资源，则删除旧的 bootstrap 资源。

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

   Copy to Clipboard Toggle word wrap

1. 创建 OpenShift Container Platform 清单。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   Copy to Clipboard Toggle word wrap

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

   Copy to Clipboard Toggle word wrap

流程

1. 打开 registry 节点上的防火墙端口。

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent
   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent
   $ sudo firewall-cmd --reload

   Copy to Clipboard Toggle word wrap

2. 为 registry 节点安装所需的软件包。

   $ sudo yum -y install python3 podman httpd httpd-tools jq

   Copy to Clipboard Toggle word wrap

3. 创建保存存储库信息的目录结构。

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

   Copy to Clipboard Toggle word wrap

流程

1. 根据情况调整证书信息。

   $ host_fqdn=$( hostname --long )
   $ cert_c="<Country Name>"   # Country Name (C, 2 letter code)
   $ cert_s="<State>"          # Certificate State (S)
   $ cert_l="<Locality>"       # Certificate Locality (L)
   $ cert_o="<Organization>"   # Certificate Organization (O)
   $ cert_ou="<Org Unit>"      # Certificate Organizational Unit (OU)
   $ cert_cn="${host_fqdn}"    # Certificate Common Name (CN)
   
   $ openssl req \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -keyout /opt/registry/certs/domain.key \
       -x509 \
       -days 365 \
       -out /opt/registry/certs/domain.crt \
       -addext "subjectAltName = DNS:${host_fqdn}" \
       -subj "/C=${cert_c}/ST=${cert_s}/L=${cert_l}/O=${cert_o}/OU=${cert_ou}/CN=${cert_cn}"

   Copy to Clipboard Toggle word wrap
   注意

   当替换 <Country Name> 时，请确保它只包含两个字母。例如，US。

2. 使用新证书更新 registry 节点的 ca-trust。

   $ sudo cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
   $ sudo update-ca-trust extract

   Copy to Clipboard Toggle word wrap

流程

1. 在 /opt/registry/auth 中创建一个 htpasswd 文件供容器使用。

   $ htpasswd -bBc /opt/registry/auth/htpasswd <user> <passwd>

   Copy to Clipboard Toggle word wrap

   将 <user> 替换为用户名，将 <passwd> 替换为密码。

2. 创建并启动 registry 容器。

   $ podman create \
     --name ocpdiscon-registry \
     -p 5000:5000 \
     -e "REGISTRY_AUTH=htpasswd" \
     -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry" \
     -e "REGISTRY_HTTP_SECRET=ALongRandomSecretForRegistry" \
     -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" \
     -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
     -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
     -e "REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true" \
     -v /opt/registry/data:/var/lib/registry:z \
     -v /opt/registry/auth:/auth:z \
     -v /opt/registry/certs:/certs:z \
     docker.io/library/registry:2

   Copy to Clipboard Toggle word wrap

   $ podman start ocpdiscon-registry

   Copy to Clipboard Toggle word wrap

流程

1. 复制 pull-secret.txt 文件。

   $ scp kni@provisioner:/home/kni/pull-secret.txt pull-secret.txt

   Copy to Clipboard Toggle word wrap

2. 使用 registry 节点的完全限定域名更新 host_fqdn 环境变量。

   $ host_fqdn=$( hostname --long )

   Copy to Clipboard Toggle word wrap

3. 使用用于创建 htpasswd 文件的 http 凭证的 base64 编码来更新 b64auth 环境变量。

   $ b64auth=$( echo -n '<username>:<passwd>' | openssl base64 )

   Copy to Clipboard Toggle word wrap

   将 <username> 替换为用户名，将 <passwd> 替换为密码。

4. 设置 AUTHSTRING 环境变量使用 base64 授权字符串。$USER 变量是包含当前用户名称的环境变量。

   $ AUTHSTRING="{\"$host_fqdn:5000\": {\"auth\": \"$b64auth\",\"email\": \"$USER@redhat.com\"}}"

   Copy to Clipboard Toggle word wrap

5. 更新 pull-secret.txt 文件。

   $ jq ".auths += $AUTHSTRING" < pull-secret.txt > pull-secret-update.txt

   Copy to Clipboard Toggle word wrap

流程

1. 将 provisioner 节点中的 oc 二进制文件复制到 registry 节点。

   $ sudo scp kni@provisioner:/usr/local/bin/oc /usr/local/bin

   Copy to Clipboard Toggle word wrap

2. 设置所需的环境变量。

   1. 设置发行版本：

      $ VERSION=<release_version>

      Copy to Clipboard Toggle word wrap

      对于 <release_version>，请指定与 OpenShift Container Platform 版本对应的标签，用于安装，如 4.6。

   2. 设置本地 registry 名称和主机端口：

      $ LOCAL_REG='<local_registry_host_name>:<local_registry_host_port>'

      Copy to Clipboard Toggle word wrap

      对于 <local_registry_host_name>，请指定镜像存储库的 registry 域名；对于 <local_registry_host_port>，请指定用于提供内容的端口。

   3. 设置本地存储库名称：

      $ LOCAL_REPO='<local_repository_name>'

      Copy to Clipboard Toggle word wrap

      对于 <local_repository_name>，请指定要在 registry 中创建的仓库名称，如 ocp4/openshift4。

3. 将远程安装镜像镜像(mirror)到本地存储库。

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.txt \
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

   Copy to Clipboard Toggle word wrap

流程

1. 将断开连接的 registry 节点的证书添加到 install-config.yaml 文件中。证书应该跟着 "additionalTrustBundle: |" 行，并带有正确的缩进（通常是两个空格）。

   $ echo "additionalTrustBundle: |" >> install-config.yaml
   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

   Copy to Clipboard Toggle word wrap

2. 将 registry 的镜像信息添加到 install-config.yaml 文件中。

   $ echo "imageContentSources:" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml

   Copy to Clipboard Toggle word wrap
   注意

   将 registry.example.com 替换为 registry 的完全限定域名。

流程

1. 登录到 bootstrap 虚拟机：

   $ ssh core@172.22.0.2

   Copy to Clipboard Toggle word wrap

2. 要检查容器日志，请执行以下操作：

   [core@localhost ~]$ sudo podman logs -f <container-name>

   Copy to Clipboard Toggle word wrap

   将 <container-name> 替换为 ironic-api、ironic-conductor 或 ironic-inspector 之一。如果您遇到 control plane 节点没有通过 PXE 引导的问题，请检查 ironic-conductor pod。ironic-conductor pod 包含了有关尝试引导集群节点的最详细信息，因为它尝试通过 IPMI 登录该节点。

流程

1. 登录到 bootstrap 虚拟机：

   $ ssh core@172.22.0.2

   Copy to Clipboard Toggle word wrap

2. 检查 bootstrap 虚拟机中的 ipa-downloader 和 coreos-downloader 容器的状态：

   [core@localhost ~]$ sudo podman logs -f ipa-downloader

   Copy to Clipboard Toggle word wrap

   [core@localhost ~]$ sudo podman logs -f coreos-downloader

   Copy to Clipboard Toggle word wrap

   如果 bootstrap 虚拟机无法访问镜像的 URL，使用 curl 命令验证虚拟机能否访问镜像。

3. 要检查 bootkube 日志以了解在部署阶段是否启动了所有容器，请执行以下操作：

   [core@localhost ~]$ journalctl -xe

   Copy to Clipboard Toggle word wrap

   [core@localhost ~]$ journalctl -b -f -u bootkube.service

   Copy to Clipboard Toggle word wrap

4. 验证所有 pod 都在运行，包括 dnsmasq、mariadb、httpd 和 ironic：

   [core@localhost ~]$ sudo podman ps

   Copy to Clipboard Toggle word wrap

5. 如果 pod 存在问题，请检查相关的容器日志。要检查 ironic-api 的日志，请执行以下操作：

   [core@localhost ~]$ sudo podman logs <ironic-api>

   Copy to Clipboard Toggle word wrap

流程

1. 检查 openshift-network-operator 命名空间中的 pod:

   $ oc get all -n openshift-network-operator

   Copy to Clipboard Toggle word wrap

   NAME                                    READY STATUS            RESTARTS   AGE
   pod/network-operator-69dfd7b577-bg89v   0/1   ContainerCreating 0          149m

   Copy to Clipboard Toggle word wrap

2. 在 provisioner 节点上，确定存在网络配置：

   $ kubectl get network.config.openshift.io cluster -oyaml

   Copy to Clipboard Toggle word wrap

   apiVersion: config.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     serviceNetwork:
     - 172.30.0.0/16
     clusterNetwork:
     - cidr: 10.128.0.0/14
       hostPrefix: 23
     networkType: OpenShiftSDN

   Copy to Clipboard Toggle word wrap

   如果不存在，代表安装程序没有创建它。要确定安装程序没有创建它的原因，请执行以下操作：

   $ openshift-install create manifests

   Copy to Clipboard Toggle word wrap

3. 检查 network-operator 是否正在运行：

   $ kubectl -n openshift-network-operator get pods

   Copy to Clipboard Toggle word wrap

4. 检索日志：

   $ kubectl -n openshift-network-operator logs -l "name=network-operator"

   Copy to Clipboard Toggle word wrap

   在具有三个或更多 Control Plane(master)节点的高可用性集群上，Operator 将执行领导选举机制，所有其他 Operator 会休眠。如需了解更多详细信息，请参阅 故障排除。

1. 确定保留的 IPv6 地址不在 DHCP 范围之外。

2. 在 DHCP 服务器的 IP 地址保留中，确保保留指定了正确的 DHCP 唯一识别符（DUID）。例如：

   # This is a dnsmasq dhcp reservation, 'id:00:03:00:01' is the client id and '18:db:f2:8c:d5:9f' is the MAC Address for the NIC
   id:00:03:00:01:18:db:f2:8c:d5:9f,openshift-master-1,[2620:52:0:1302::6]

   Copy to Clipboard Toggle word wrap
3. 确保路由声明（Route Announcement）正在正常工作。
4. 确定 DHCP 服务器正在侦听提供 IP 地址范围所需的接口。

流程

1. 检索 主机名:

   [core@master-X ~]$ hostname

   Copy to Clipboard Toggle word wrap

   如果主机名是 localhost，请执行以下步骤。

   注意

   其中 X 是 control plane 节点（也称为 master 节点）号。

2. 强制集群节点续订 DHCP 租期：

   [core@master-X ~]$ sudo nmcli con up "<bare-metal-nic>"

   Copy to Clipboard Toggle word wrap

   将 <bare-metal-nic> 替换为与 baremetal 网络对应的有线连接。

3. 再次检查 主机名:

   [core@master-X ~]$ hostname

   Copy to Clipboard Toggle word wrap

4. 如果主机名仍然是 localhost.localdomain，重启 NetworkManager:

   [core@master-X ~]$ sudo systemctl restart NetworkManager

   Copy to Clipboard Toggle word wrap
5. 如果主机名仍然是 localhost.localdomain，请等待几分钟并再次检查。如果主机名还是 localhost.localdomain，重复前面的步骤。

6. 重启 nodeip-configuration 服务：

   [core@master-X ~]$ sudo systemctl restart nodeip-configuration.service

   Copy to Clipboard Toggle word wrap

   此服务将使用正确的主机名引用来重新配置 kubelet 服务。

7. 因为 kubelet 在上一步中有所改变，所以重新加载单元文件定义：

   [core@master-X ~]$ sudo systemctl daemon-reload

   Copy to Clipboard Toggle word wrap

8. 重启 kubelet 服务：

   [core@master-X ~]$ sudo systemctl restart kubelet.service

   Copy to Clipboard Toggle word wrap

9. 确保 kubelet 使用正确的主机名引导：

   [core@master-X ~]$ sudo journalctl -fu kubelet.service

   Copy to Clipboard Toggle word wrap

处理 csr

1. 在集群上获取 CSR:

   $ oc get csr

   Copy to Clipboard Toggle word wrap

2. 验证待处理的 csr 是否包含 Subject Name: localhost.localdomain:

   $ oc get csr <pending_csr> -o jsonpath='{.spec.request}' | base64 --decode | openssl req -noout -text

   Copy to Clipboard Toggle word wrap

3. 删除包含 Subject Name: localhost.localdomain 的任何 csr:

   $ oc delete csr <wrong_csr>

   Copy to Clipboard Toggle word wrap

1. 获取路由：

   $ oc get route oauth-openshift

   Copy to Clipboard Toggle word wrap

2. 检查服务端点：

   $ oc get svc oauth-openshift

   Copy to Clipboard Toggle word wrap

   NAME              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
   oauth-openshift   ClusterIP   172.30.19.162   <none>        443/TCP   59m

   Copy to Clipboard Toggle word wrap

3. 尝试从 Control Plane（master）节点访问该服务：

   [core@master0 ~]$ curl -k https://172.30.19.162

   Copy to Clipboard Toggle word wrap

   {
     "kind": "Status",
     "apiVersion": "v1",
     "metadata": {
     },
     "status": "Failure",
     "message": "forbidden: User \"system:anonymous\" cannot get path \"/\"",
     "reason": "Forbidden",
     "details": {
     },
     "code": 403

   Copy to Clipboard Toggle word wrap

4. 找到 provisioner 节点的 authentication-operator 错误：

   $ oc logs deployment/authentication-operator -n openshift-authentication-operator

   Copy to Clipboard Toggle word wrap

   Event(v1.ObjectReference{Kind:"Deployment", Namespace:"openshift-authentication-operator", Name:"authentication-operator", UID:"225c5bd5-b368-439b-9155-5fd3c0459d98", APIVersion:"apps/v1", ResourceVersion:"", FieldPath:""}): type: 'Normal' reason: 'OperatorStatusChanged' Status for clusteroperator/authentication changed: Degraded message changed from "IngressStateEndpointsDegraded: All 2 endpoints for oauth-server are reporting"

   Copy to Clipboard Toggle word wrap

解决方案

1. 确保每个部署的集群名称都是唯一的，确保没有冲突。
2. 关闭所有不是使用相同集群名称的集群部署的一部分的节点。否则，OpenShift Container Platform 集群的身份验证 pod 可能无法成功启动。

流程

1. 连接到 Ignition 配置失败的节点：

   Failed Units: 1
     machine-config-daemon-firstboot.service

   Copy to Clipboard Toggle word wrap

2. 重启 machine-config-daemon-firstboot 服务：

   [core@worker-X ~]$ sudo systemctl restart machine-config-daemon-firstboot.service

   Copy to Clipboard Toggle word wrap