14.5. 安装故障排除

流程

1. 使用 YAML-tips 中的指南。
2. 使用 syntax-check 验证 YAML 语法是否正确。

3. 验证 Red Hat Enterprise Linux CoreOS(RHCOS)QEMU 镜像是否已正确定义，并可通过 install-config.yaml 提供的 URL 访问。例如：

   $ curl -s -o /dev/null -I -w "%{http_code}\n" http://webserver.example.com:8080/rhcos-44.81.202004250133-0-qemu.<architecture>.qcow2.gz?sha256=7d884b46ee54fe87bbc3893bf2aa99af3b2d31f2e19ab5529c60636fbd0f1ce7

   Copy to Clipboard Toggle word wrap

   如果输出为 200，则会从存储 bootstrap 虚拟机镜像的 webserver 获得有效的响应。

流程

1. 触发安装程序后大约 10 到 15 分钟，使用 virsh 命令检查 bootstrap 虚拟机是否正常工作：

   $ sudo virsh list

   Copy to Clipboard Toggle word wrap

    Id    Name                           State
    --------------------------------------------
    12    openshift-xf6fq-bootstrap      running

   Copy to Clipboard Toggle word wrap
   注意

   bootstrap 虚拟机的名称始终是集群名称，后跟一组随机字符，并以"bootstrap"结尾。

2. 如果 bootstrap 虚拟机在 10-15 分钟后没有运行，请执行以下命令来验证 libvirtd 是否在系统中运行：

   $ systemctl status libvirtd

   Copy to Clipboard Toggle word wrap

   ● libvirtd.service - Virtualization daemon
      Loaded: loaded (/usr/lib/systemd/system/libvirtd.service; enabled; vendor preset: enabled)
      Active: active (running) since Tue 2020-03-03 21:21:07 UTC; 3 weeks 5 days ago
        Docs: man:libvirtd(8)
              https://libvirt.org
    Main PID: 9850 (libvirtd)
       Tasks: 20 (limit: 32768)
      Memory: 74.8M
      CGroup: /system.slice/libvirtd.service
              ├─ 9850 /usr/sbin/libvirtd

   Copy to Clipboard Toggle word wrap

   如果 bootstrap 虚拟机可以正常工作，请登录它。

3. 使用 virsh console 命令查找 bootstrap 虚拟机的 IP 地址：

   $ sudo virsh console example.com

   Copy to Clipboard Toggle word wrap

   Connected to domain example.com
   Escape character is ^]
   Red Hat Enterprise Linux CoreOS 43.81.202001142154.0 (Ootpa) 4.3
   SSH host key: SHA256:BRWJktXZgQQRY5zjuAV0IKZ4WM7i4TiUyMVanqu9Pqg (ED25519)
   SSH host key: SHA256:7+iKGA7VtG5szmk2jB5gl/5EZ+SNcJ3a2g23o0lnIio (ECDSA)
   SSH host key: SHA256:DH5VWhvhvagOTaLsYiVNse9ca+ZSW/30OOMed8rIGOc (RSA)
   ens3:  fd35:919d:4042:2:c7ed:9a9f:a9ec:7
   ens4: 172.22.0.2 fe80::1d05:e52e:be5d:263f
   localhost login:

   Copy to Clipboard Toggle word wrap
   重要

   当在没有 provisioning 网络的情况下部署 OpenShift Container Platform 集群时，您必须使用公共 IP 地址，而不是专用 IP 地址，如 172.22.0.2。

4. 获取 IP 地址后，使用 ssh 命令登录到 bootstrap 虚拟机：

   注意

   在上一步的控制台输出中，您可以使用 ens3 提供的 IPv6 IP 地址或 ens 4 提供的 IPv4 IP 地址 。

   $ ssh core@172.22.0.2

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，确保 etcd 在每个 control plane 节点上运行：

   $ sudo crictl logs $(sudo crictl ps --pod=$(sudo crictl pods --name=etcd-member --quiet) --quiet)

   Copy to Clipboard Toggle word wrap

2. 如果上一命令失败，请运行以下命令确保 Kubelet 创建 etcd pod：

   $ sudo crictl pods --name=etcd-member

   Copy to Clipboard Toggle word wrap

   如果没有 pod，请调查 etcd。

3. 使用以下命令检查集群节点，以确保它们具有完全限定域名，而不只是 localhost.localdomain ：

   $ hostname

   Copy to Clipboard Toggle word wrap

   如果没有设置主机名，请设置正确的主机名。例如：

   $ sudo hostnamectl set-hostname <hostname>

   Copy to Clipboard Toggle word wrap

4. 使用 dig 命令，确保每个节点在 DNS 服务器中具有正确的名称解析：

   $ dig api.<cluster_name>.example.com

   Copy to Clipboard Toggle word wrap

   ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el8 <<>> api.<cluster_name>.example.com
   ;; global options: +cmd
   ;; Got answer:
   ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 37551
   ;; flags: qr aa rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 1, ADDITIONAL: 2
   
   ;; OPT PSEUDOSECTION:
   ; EDNS: version: 0, flags:; udp: 4096
   ; COOKIE: 866929d2f8e8563582af23f05ec44203d313e50948d43f60 (good)
   ;; QUESTION SECTION:
   ;api.<cluster_name>.example.com. IN A
   
   ;; ANSWER SECTION:
   api.<cluster_name>.example.com. 10800 IN	A 10.19.13.86
   
   ;; AUTHORITY SECTION:
   <cluster_name>.example.com. 10800 IN NS	<cluster_name>.example.com.
   
   ;; ADDITIONAL SECTION:
   <cluster_name>.example.com. 10800 IN A	10.19.14.247
   
   ;; Query time: 0 msec
   ;; SERVER: 10.19.14.247#53(10.19.14.247)
   ;; WHEN: Tue May 19 20:30:59 UTC 2020
   ;; MSG SIZE  rcvd: 140

   Copy to Clipboard Toggle word wrap

   示例中的输出显示 api.<cluster_name>.example.com VIP 的适当 IP 地址为 10.19.13.86。此 IP 地址应当位于 baremetal 网络中。

流程

1. 运行以下命令检查 ClusterVersion 对象：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion -o yaml

   Copy to Clipboard Toggle word wrap

   输出示例

   apiVersion: config.openshift.io/v1
   kind: ClusterVersion
   metadata:
     creationTimestamp: 2019-02-27T22:24:21Z
     generation: 1
     name: version
     resourceVersion: "19927"
     selfLink: /apis/config.openshift.io/v1/clusterversions/version
     uid: 6e0f4cf8-3ade-11e9-9034-0a923b47ded4
   spec:
     channel: stable-4.1
     clusterID: 5ec312f9-f729-429d-a454-61d4906896ca
   status:
     availableUpdates: null
     conditions:
     - lastTransitionTime: 2019-02-27T22:50:30Z
       message: Done applying 4.1.1
       status: "True"
       type: Available
     - lastTransitionTime: 2019-02-27T22:50:30Z
       status: "False"
       type: Failing
     - lastTransitionTime: 2019-02-27T22:50:30Z
       message: Cluster version is 4.1.1
       status: "False"
       type: Progressing
     - lastTransitionTime: 2019-02-27T22:24:31Z
       message: 'Unable to retrieve available updates: unknown version 4.1.1
       reason: RemoteFailed
       status: "False"
       type: RetrievedUpdates
     desired:
       image: registry.svc.ci.openshift.org/openshift/origin-release@sha256:91e6f754975963e7db1a9958075eb609ad226968623939d262d1cf45e9dbc39a
       version: 4.1.1
     history:
     - completionTime: 2019-02-27T22:50:30Z
       image: registry.svc.ci.openshift.org/openshift/origin-release@sha256:91e6f754975963e7db1a9958075eb609ad226968623939d262d1cf45e9dbc39a
       startedTime: 2019-02-27T22:24:31Z
       state: Completed
       version: 4.1.1
     observedGeneration: 1
     versionHash: Wa7as_ik1qE=

   Copy to Clipboard Toggle word wrap

2. 运行以下命令来查看条件：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusterversion version \
        -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'

   Copy to Clipboard Toggle word wrap

   某些最重要的条件包括 Failing、Available 和 Progressing。

   输出示例

   Available True Done applying 4.1.1
   Failing False
   Progressing False Cluster version is 4.0.0-0.alpha-2019-02-26-194020
   RetrievedUpdates False Unable to retrieve available updates: unknown version 4.1.1

   Copy to Clipboard Toggle word wrap

3. 运行以下命令检查 ClusterOperator 对象：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator

   Copy to Clipboard Toggle word wrap

   该命令返回集群 Operator 的状态。

   输出示例

   NAME                                  VERSION   AVAILABLE   PROGRESSING   FAILING   SINCE
   cluster-baremetal-operator                      True        False         False     17m
   cluster-autoscaler                              True        False         False     17m
   cluster-storage-operator                        True        False         False     10m
   console                                         True        False         False     7m21s
   dns                                             True        False         False     31m
   image-registry                                  True        False         False     9m58s
   ingress                                         True        False         False     10m
   kube-apiserver                                  True        False         False     28m
   kube-controller-manager                         True        False         False     21m
   kube-scheduler                                  True        False         False     25m
   machine-api                                     True        False         False     17m
   machine-config                                  True        False         False     17m
   marketplace-operator                            True        False         False     10m
   monitoring                                      True        False         False     8m23s
   network                                         True        False         False     13m
   node-tuning                                     True        False         False     11m
   openshift-apiserver                             True        False         False     15m
   openshift-authentication                        True        False         False     20m
   openshift-cloud-credential-operator             True        False         False     18m
   openshift-controller-manager                    True        False         False     10m
   openshift-samples                               True        False         False     8m42s
   operator-lifecycle-manager                      True        False         False     17m
   service-ca                                      True        False         False     30m

   Copy to Clipboard Toggle word wrap

4. 运行以下命令检查单个集群 Operator：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> -oyaml 

   1

   Copy to Clipboard Toggle word wrap

   1

   将 <operator> 替换为集群 Operator 的名称。此命令可用于识别集群 Operator 没有达到 Available 状态的原因或处于 Failed 状态。

   输出示例

   apiVersion: config.openshift.io/v1
   kind: ClusterOperator
   metadata:
     creationTimestamp: 2019-02-27T22:47:04Z
     generation: 1
     name: monitoring
     resourceVersion: "24677"
     selfLink: /apis/config.openshift.io/v1/clusteroperators/monitoring
     uid: 9a6a5ef9-3ae1-11e9-bad4-0a97b6ba9358
   spec: {}
   status:
     conditions:
     - lastTransitionTime: 2019-02-27T22:49:10Z
       message: Successfully rolled out the stack.
       status: "True"
       type: Available
     - lastTransitionTime: 2019-02-27T22:49:10Z
       status: "False"
       type: Progressing
     - lastTransitionTime: 2019-02-27T22:49:10Z
       status: "False"
       type: Failing
     extension: null
     relatedObjects: null
     version: ""

   Copy to Clipboard Toggle word wrap

5. 要获取集群 Operator 的状态条件，请运行以下命令：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator <operator> \
        -o=jsonpath='{range .status.conditions[*]}{.type}{" "}{.status}{" "}{.message}{"\n"}{end}'

   Copy to Clipboard Toggle word wrap

   将 <operator> 替换为以上其中一个 Operator 的名称。

   输出示例

   Available True Successfully rolled out the stack
   Progressing False
   Failing False

   Copy to Clipboard Toggle word wrap

6. 要检索集群 Operator 拥有的对象列表，请执行以下命令：

   oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator kube-apiserver \
      -o=jsonpath='{.status.relatedObjects}'

   Copy to Clipboard Toggle word wrap

   输出示例

   [map[resource:kubeapiservers group:operator.openshift.io name:cluster] map[group: name:openshift-config resource:namespaces] map[group: name:openshift-config-managed resource:namespaces] map[group: name:openshift-kube-apiserver-operator resource:namespaces] map[group: name:openshift-kube-apiserver resource:namespaces]]

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令，检查控制台路由器是否处于 Available 或 Failing 状态：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get clusteroperator console -oyaml

   Copy to Clipboard Toggle word wrap

   apiVersion: config.openshift.io/v1
   kind: ClusterOperator
   metadata:
     creationTimestamp: 2019-02-27T22:46:57Z
     generation: 1
     name: console
     resourceVersion: "19682"
     selfLink: /apis/config.openshift.io/v1/clusteroperators/console
     uid: 960364aa-3ae1-11e9-bad4-0a97b6ba9358
   spec: {}
   status:
     conditions:
     - lastTransitionTime: 2019-02-27T22:46:58Z
       status: "False"
       type: Failing
     - lastTransitionTime: 2019-02-27T22:50:12Z
       status: "False"
       type: Progressing
     - lastTransitionTime: 2019-02-27T22:50:12Z
       status: "True"
       type: Available
     - lastTransitionTime: 2019-02-27T22:46:57Z
       status: "True"
       type: Upgradeable
     extension: null
     relatedObjects:
     - group: operator.openshift.io
       name: cluster
       resource: consoles
     - group: config.openshift.io
       name: cluster
       resource: consoles
     - group: oauth.openshift.io
       name: console
       resource: oauthclients
     - group: ""
       name: openshift-console-operator
       resource: namespaces
     - group: ""
       name: openshift-console
       resource: namespaces
     versions: null

   Copy to Clipboard Toggle word wrap

2. 执行以下命令手动检索控制台 URL：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get route console -n openshift-console \
        -o=jsonpath='{.spec.host}' console-openshift-console.apps.adahiya-1.devcluster.openshift.com

   Copy to Clipboard Toggle word wrap

流程

1. 使用以下命令从集群中删除证书：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig get configmaps default-ingress-cert \
        -n openshift-config-managed -o=jsonpath='{.data.ca-bundle\.crt}'

   Copy to Clipboard Toggle word wrap

   -----BEGIN CERTIFICATE-----
   MIIC/TCCAeWgAwIBAgIBATANBgkqhkiG9w0BAQsFADAuMSwwKgYDVQQDDCNjbHVz
   dGVyLWluZ3Jlc3Mtb3BlcmF0b3JAMTU1MTMwNzU4OTAeFw0xOTAyMjcyMjQ2Mjha
   Fw0yMTAyMjYyMjQ2MjlaMC4xLDAqBgNVBAMMI2NsdXN0ZXItaW5ncmVzcy1vcGVy
   YXRvckAxNTUxMzA3NTg5MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEA
   uCA4fQ+2YXoXSUL4h/mcvJfrgpBfKBW5hfB8NcgXeCYiQPnCKblH1sEQnI3VC5Pk
   2OfNCF3PUlfm4i8CHC95a7nCkRjmJNg1gVrWCvS/ohLgnO0BvszSiRLxIpuo3C4S
   EVqqvxValHcbdAXWgZLQoYZXV7RMz8yZjl5CfhDaaItyBFj3GtIJkXgUwp/5sUfI
   LDXW8MM6AXfuG+kweLdLCMm3g8WLLfLBLvVBKB+4IhIH7ll0buOz04RKhnYN+Ebw
   tcvFi55vwuUCWMnGhWHGEQ8sWm/wLnNlOwsUz7S1/sW8nj87GFHzgkaVM9EOnoNI
   gKhMBK9ItNzjrP6dgiKBCQIDAQABoyYwJDAOBgNVHQ8BAf8EBAMCAqQwEgYDVR0T
   AQH/BAgwBgEB/wIBADANBgkqhkiG9w0BAQsFAAOCAQEAq+vi0sFKudaZ9aUQMMha
   CeWx9CZvZBblnAWT/61UdpZKpFi4eJ2d33lGcfKwHOi2NP/iSKQBebfG0iNLVVPz
   vwLbSG1i9R9GLdAbnHpPT9UG6fLaDIoKpnKiBfGENfxeiq5vTln2bAgivxrVlyiq
   +MdDXFAWb6V4u2xh6RChI7akNsS3oU9PZ9YOs5e8vJp2YAEphht05X0swA+X8V8T
   C278FFifpo0h3Q0Dbv8Rfn4UpBEtN4KkLeS+JeT+0o2XOsFZp7Uhr9yFIodRsnNo
   H/Uwmab28ocNrGNiEVaVH6eTTQeeZuOdoQzUbClElpVmkrNGY0M42K0PvOQ/e7+y
   AQ==
   -----END CERTIFICATE-----

   Copy to Clipboard Toggle word wrap
2. 将证书添加到 ${INSTALL_DIR}/auth/kubeconfig 文件中的 client-certificate-authority-data 字段中。

流程

1. 如果您有对节点的物理访问权限，请检查其控制台输出以确定它们是否已成功引导。如果节点仍然检索其引导配置，则 bootstrap 虚拟机可能会出现问题。
2. 确保您在 install-config.yaml 文件中配置了 sshKey: '<ssh_pub_key>' 设置，其中 <ssh_pub_key> 是 provisioner 节点上的 kni 用户的公钥。

流程

1. 检查与 provisioning 网络的网络连接。
2. 确保 provisioning 网络的 NIC 上启用了 PXE，并为所有其他 NIC 禁用 PXE。

3. 验证 install-config.yaml 配置文件是否包含 rootDeviceHints 参数，以及连接到 provisioning 网络的 NIC 的引导 MAC 地址。例如：

   control plane 节点设置

   bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC

   Copy to Clipboard Toggle word wrap

   Worker 节点设置

   bootMACAddress: 24:6E:96:1B:96:90 # MAC of bootable provisioning NIC

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令检查 Machine API Operator：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \
      --namespace=openshift-machine-api get deployments

   Copy to Clipboard Toggle word wrap

   如果环境中没有设置 ${INSTALL_DIR}，请将该值替换为安装目录的名称。

   输出示例

   NAME                          READY   UP-TO-DATE   AVAILABLE   AGE
   cluster-autoscaler-operator   1/1     1            1           86m
   cluster-baremetal-operator    1/1     1            1           86m
   machine-api-controllers       1/1     1            1           85m
   machine-api-operator          1/1     1            1           86m

   Copy to Clipboard Toggle word wrap

2. 运行以下命令检查机器控制器日志：

   $ oc --kubeconfig=${INSTALL_DIR}/auth/kubeconfig \
        --namespace=openshift-machine-api logs deployments/machine-api-controllers \
        --container=machine-controller

   Copy to Clipboard Toggle word wrap

流程

1. 运行以下命令确保网络配置存在：

   $ oc get network -o yaml cluster

   Copy to Clipboard Toggle word wrap

   如果不存在，安装程序不会创建它。要找出原因，请运行以下命令：

   $ openshift-install create manifests

   Copy to Clipboard Toggle word wrap

   查看清单，以确定安装程序没有创建网络配置的原因。

2. 输入以下命令来确保网络正在运行：

   $ oc get po -n openshift-network-operator

   Copy to Clipboard Toggle word wrap

流程

1. 添加 DNS A/AAAA 或 CNAME 记录，以内部标识 API 负载均衡器。例如，在使用 dnsmasq 时，修改 dnsmasq.conf 配置文件：

   $ sudo nano /etc/dnsmasq.conf

   Copy to Clipboard Toggle word wrap

   address=/api-int.<cluster_name>.<base_domain>/<IP_address>
   address=/api-int.mycluster.example.com/192.168.1.10
   address=/api-int.mycluster.example.com/2001:0db8:85a3:0000:0000:8a2e:0370:7334

   Copy to Clipboard Toggle word wrap

2. 添加 DNS PTR 记录以内部标识 API 负载均衡器。例如，在使用 dnsmasq 时，修改 dnsmasq.conf 配置文件：

   $ sudo nano /etc/dnsmasq.conf

   Copy to Clipboard Toggle word wrap

   ptr-record=<IP_address>.in-addr.arpa,api-int.<cluster_name>.<base_domain>
   ptr-record=10.1.168.192.in-addr.arpa,api-int.mycluster.example.com

   Copy to Clipboard Toggle word wrap

3. 重启 DNS 服务器。例如，在使用 dnsmasq 时执行以下命令：

   $ sudo systemctl restart dnsmasq

   Copy to Clipboard Toggle word wrap

流程

1. 使用以下命令安装 OpenShift Container Platform 集群前关闭所有裸机节点：

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

   Copy to Clipboard Toggle word wrap

2. 使用以下脚本，删除所有旧的 bootstrap 资源：

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

   Copy to Clipboard Toggle word wrap

3. 使用以下命令删除早期安装生成的工件：

   $ cd ; /bin/rm -rf auth/ bootstrap.ign master.ign worker.ign metadata.json \
   .openshift_install.log .openshift_install_state.json

   Copy to Clipboard Toggle word wrap

4. 使用以下命令重新创建 OpenShift Container Platform 清单：

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   Copy to Clipboard Toggle word wrap

流程

1. 检查以确保身份验证成功：

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.json
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

   Copy to Clipboard Toggle word wrap
   注意

   用于镜像安装镜像的变量输出示例：

   UPSTREAM_REPO=${RELEASE_IMAGE}
   LOCAL_REG=<registry_FQDN>:<registry_port>
   LOCAL_REPO='ocp4/openshift4'

   Copy to Clipboard Toggle word wrap

   在为 OpenShift 安装设置环境 部分的 获取 OpenShift 安装程序 步骤中，设置了 RELEASE_IMAGE 和 VERSION 的值。

2. 镜像 registry 后，确认您可以在断开连接的环境中访问它：

   $ curl -k -u <user>:<password> https://registry.example.com:<registry_port>/v2/_catalog
   {"repositories":["<Repo_Name>"]}

   Copy to Clipboard Toggle word wrap

流程

1. 当正确安装 OpenShift Container Platform 集群节点时，在 STATUS 列中会显示以下 Ready 状态 ：

   $ oc get nodes

   Copy to Clipboard Toggle word wrap

   NAME                   STATUS   ROLES           AGE  VERSION
   master-0.example.com   Ready    master,worker   4h   v1.29.4
   master-1.example.com   Ready    master,worker   4h   v1.29.4
   master-2.example.com   Ready    master,worker   4h   v1.29.4

   Copy to Clipboard Toggle word wrap

2. 确认安装程序成功部署了所有 pod。以下命令将移除仍在运行或已完成的 pod 作为输出的一部分。

   $ oc get pods --all-namespaces | grep -iv running | grep -iv complete

   Copy to Clipboard Toggle word wrap