19.5. 在受限网络中的 RHV 上安装集群

流程

1. 检查 RHV 版本是否支持安装 OpenShift Container Platform 版本 4.10。

   1. 在 RHV 管理门户中，单击右上角的 ? 帮助图标，然后选择 About。
   2. 在打开的窗口中，记下 RHV 软件版本。
   3. 确认 RHV 版本为 4.4。如需有关支持的版本组合的更多信息，请参阅 RHV 上的 OpenShift Container Platform 支持列表。

2. 检查数据中心、集群和存储。

   1. 在 RHV 管理门户中，点击 Compute Data Centers。
   2. 确认可以访问您要安装 OpenShift Container Platform 的数据中心。
   3. 单击该数据中心的名称。
   4. 在数据中心详情中，Storage 选项卡中确认您要安装 OpenShift Container Platform 的存储域是 Active。
   5. 记录下 域名 以供稍后使用。
   6. 确认 Free Space 至少为 230 GiB。
   7. 确认存储域满足 etcd 后端性能要求，您可以使用 fio 性能基准工具进行测量。
   8. 在数据中心详情中点击 Clusters 选项卡。
   9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称以供稍后使用。

3. 检查 RHV 主机资源。

   1. 在 RHV 管理门户中，点击 Compute > Clusters。
   2. 点击您要安装 OpenShift Container Platform 的集群。
   3. 在集群详情中点击 Hosts 选项卡。
   4. 检查主机，并确认它们有至少 28 个 逻辑 CPU 内核， 专门用于 OpenShift Container Platform 集群。
   5. 记录 逻辑 CPU 内核数 以便稍后使用。
   6. 确认这些 CPU 内核被分配，在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。

   7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new virtual machines，以满足以下每个 OpenShift Container Platform 机器的要求：

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器都需要 16 GiB
      • 三个计算机器各自都需要 16 GiB
   8. 记录下 Max free Memory for scheduling new virtual machine 的数量， 以便稍后使用。

4. 验证安装 OpenShift Container Platform 的虚拟网络是否可以访问 RHV Manager 的 REST API。在这个网络上的虚拟机中，使用 curl 访问 RHV Manager 的 REST API:

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   对于 <username>，请指定具有在 RHV 上创建和管理 OpenShift Container Platform 集群的 RHV 帐户的用户名。对于 <profile>， 请指定登录配置集，您可以进入 RHV 管理门户登录页面并查看 Profile 下拉列表。对于 <password>，指定该用户名的密码。

   2

   对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

   例如：

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

流程

1. 更新或安装 Python3 和 Ansible。例如：

   # dnf update python3 ansible

2. 安装 python3-ovirt-engine-sdk4 软件包，以获取 Python 软件开发套件。

3. 安装 ovirt.image-template Ansible 角色。在 RHV Manager 和其他 Red Hat Enterprise Linux(RHEL)机器上，这个角色作为 ovirt-ansible-image-template 软件包发布。例如，输入：

   # dnf install ovirt-ansible-image-template

4. 安装 ovirt.vm-infra Ansible 角色。在 RHV Manager 和其他 RHEL 机器上，此角色作为 ovirt-ansible-vm-infra 软件包发布。

   # dnf install ovirt-ansible-vm-infra

5. 创建环境变量并为其分配绝对或相对路径。例如，输入：

   $ export ASSETS_DIR=./wrk

   注意

   安装程序使用此变量创建保存重要安装相关文件的目录。之后，安装过程会重复使用此变量来定位这些资产文件。避免删除此资产目录 ; 卸载集群时需要该目录。

流程

1. 使用这两种方法之一下载 CA 证书：

   • 进入 Manager 的网页 https://<engine-fqdn>/ovirt-engine/。然后，在 下载下， 单击 CA 证书 链接。

   • 运行以下命令：

     $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1

     1

     对于 <engine-fqdn>，请指定 RHV Manager 的完全限定域名，如 rhv-env.virtlab.example.com。

2. 配置 CA 文件，为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 （symbolic 值： -rw-r-​r--）：

   $ sudo chmod 0644 /tmp/ca.pem

3. 对于 Linux，将 CA 证书复制到服务器证书目录中。使用 -p 保留权限：

   $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem

4. 将证书添加到您的操作系统的证书管理器：

   • 对于 macOS，双击证书文件并使用 Keychain Access 实用程序将文件添加到 System 密钥链中。

   • 对于 Linux，更新 CA 信任：

     $ sudo update-ca-trust

     注意

     如果您使用您自己的证书颁发机构，请确保系统信任它。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构上安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 找到您要安装的 OpenShift Container Platform 版本的 RHCOS 镜像下载页面，如 /pub/openshift-v4/dependencies/rhcos/latest/latest/latest/latest/latest。
2. 在该下载页面中复制 OpenStack qcow2 镜像的 URL，如 https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.10/latest/rhcos-openstack.x86_64.qcow2.gz。

3. 编辑之前下载的 inventory.yml playbook。在其中包含，将 URL 粘贴为 image_url 的值。例如：

   rhcos:
     "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.10/latest/rhcos-openstack.x86_64.qcow2.gz"

流程

1. 运行安装程序：

   $ openshift-install create install-config --dir $ASSETS_DIR

2. 根据安装程序的提示输入您的系统信息。

   输出示例

   ? SSH Public Key /home/user/.ssh/id_dsa.pub
   ? Platform <ovirt>
   ? Engine FQDN[:PORT] [? for help] <engine.fqdn>
   ? Enter ovirt-engine username <ocpadmin@internal>
   ? Enter password <******>
   ? oVirt cluster <cluster>
   ? oVirt storage <storage>
   ? oVirt network <net>
   ? Internal API virtual IP <172.16.0.252>
   ? Ingress virtual IP <172.16.0.251>
   ? Base Domain <example.org>
   ? Cluster Name <ocp4>
   ? Pull Secret [? for help] <********>

流程

1. 将计算节点数量设置为零副本：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["compute"][0]["replicas"] = 0
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

2. 设置机器网络的 IP 范围。例如，要将范围设置为 172.16.0.0/16，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["networking"]["machineNetwork"][0]["cidr"] = "172.16.0.0/16"
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

3. 删除 ovirt 部分，并将平台改为 none ：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   platform = conf["platform"]
   del platform["ovirt"]
   platform["none"] = {}
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

   警告

   Red Hat Virtualization 目前不支持使用 oVirt 平台的用户置备的基础架构进行安装。因此，您必须将平台设置为 none，允许 OpenShift Container Platform 将每个节点识别为裸机节点，并将集群识别为裸机集群。这与 在任何平台上安装集群 相同，并有以下限制：

   1. 没有集群供应商，因此您必须手动添加每台机器，且没有节点扩展功能。
   2. 不会安装 oVirt CSI 驱动程序，且没有 CSI 功能。

流程

1. 可选：创建 install-config.yaml 文件的备份副本：

   $ cp install-config.yaml install-config.yaml.backup

2. 在资产目录中生成一组清单：

   $ openshift-install create manifests --dir $ASSETS_DIR

   此命令显示以下消息：

   输出示例

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   该命令生成以下清单文件：

   输出示例

   $ tree
   .
   └── wrk
       ├── manifests
       │   ├── 04-openshift-machine-config-operator.yaml
       │   ├── cluster-config.yaml
       │   ├── cluster-dns-02-config.yml
       │   ├── cluster-infrastructure-02-config.yml
       │   ├── cluster-ingress-02-config.yml
       │   ├── cluster-network-01-crd.yml
       │   ├── cluster-network-02-config.yml
       │   ├── cluster-proxy-01-config.yaml
       │   ├── cluster-scheduler-02-config.yml
       │   ├── cvo-overrides.yaml
       │   ├── etcd-ca-bundle-configmap.yaml
       │   ├── etcd-client-secret.yaml
       │   ├── etcd-host-service-endpoints.yaml
       │   ├── etcd-host-service.yaml
       │   ├── etcd-metric-client-secret.yaml
       │   ├── etcd-metric-serving-ca-configmap.yaml
       │   ├── etcd-metric-signer-secret.yaml
       │   ├── etcd-namespace.yaml
       │   ├── etcd-service.yaml
       │   ├── etcd-serving-ca-configmap.yaml
       │   ├── etcd-signer-secret.yaml
       │   ├── kube-cloud-config.yaml
       │   ├── kube-system-configmap-root-ca.yaml
       │   ├── machine-config-server-tls-secret.yaml
       │   └── openshift-config-secret-pull-secret.yaml
       └── openshift
           ├── 99_kubeadmin-password-secret.yaml
           ├── 99_openshift-cluster-api_master-user-data-secret.yaml
           ├── 99_openshift-cluster-api_worker-user-data-secret.yaml
           ├── 99_openshift-machineconfig_99-master-ssh.yaml
           ├── 99_openshift-machineconfig_99-worker-ssh.yaml
           └── openshift-install-manifests.yaml

流程

1. 要使 control plane 节点不可调度，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/manifests/cluster-scheduler-02-config.yml" % os.environ["ASSETS_DIR"]
   data = yaml.safe_load(open(path))
   data["spec"]["mastersSchedulable"] = False
   open(path, "w").write(yaml.dump(data, default_flow_style=False))'

流程

1. 要构建 Ignition 文件，请输入：

   $ openshift-install create ignition-configs --dir $ASSETS_DIR

   输出示例

   $ tree
   .
   └── wrk
       ├── auth
       │   ├── kubeadmin-password
       │   └── kubeconfig
       ├── bootstrap.ign
       ├── master.ign
       ├── metadata.json
       └── worker.ign

流程

1. 在 inventory.yml 中，在 control_plane 和 compute 变量下，将 type: high_performance 的两个实例更改为 type: server。

2. 可选： 如果您计划在同一集群中执行多个安装，请为每个 OpenShift Container Platform 安装创建不同的模板。在 inventory.yml 文件中，使用 infraID 预先 填充 模板 的值。例如：

     control_plane:
       cluster: "{{ ovirt_cluster }}"
       memory: 16GiB
       sockets: 4
       cores: 1
       template: "{{ metadata.infraID }}-rhcos_tpl"
       operating_system: "rhcos_x64"
       ...

3. 创建模板和虚拟机：

   $ ansible-playbook -i inventory.yml create-templates-and-vms.yml

流程

1. 创建 bootstrap 机器：

   $ ansible-playbook -i inventory.yml bootstrap.yml

2. 使用管理门户或 SSH 中的控制台连接到 bootstrap 机器。将 <bootstrap_ip> 替换为 bootstrap 节点 IP 地址。要使用 SSH，请输入：

   $ ssh core@<boostrap.ip>

3. 从 bootstrap 节点收集发行镜像服务的 bootkube.service journald 单元日志：

   [core@ocp4-lk6b4-bootstrap ~]$ journalctl -b -f -u release-image.service -u bootkube.service

   注意

   bootstrap 节点上的 bootkube.service 日志输出 etcd 连接被拒绝 的错误，这表示 bootstrap 服务器无法在 control plane 节点上连接到 etcd。在每个 control plane 节点上启动 etcd 且节点已加入集群后，错误应该会停止。

流程

1. 创建 control plane 节点：

   $ ansible-playbook -i inventory.yml masters.yml

2. 在 playbook 创建 control plane 时，监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete --dir $ASSETS_DIR

   输出示例

   INFO API v1.23.0 up
   INFO Waiting up to 40m0s for bootstrapping to complete...

3. 当 control plane 节点上的所有 pod 都启动并运行 etcd 时，安装程序会显示以下输出。

   输出示例

   INFO It is now safe to remove the bootstrap resources

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=$ASSETS_DIR/auth/kubeconfig

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 要从集群中删除 bootstrap 机器，请输入：

   $ ansible-playbook -i inventory.yml retire-bootstrap.yml

2. 从负载均衡器指令中删除 bootstrap 机器的设置。

流程

1. 创建 worker 节点：

   $ ansible-playbook -i inventory.yml workers.yml

2. 要列出所有 CSR，请输入：

   $ oc get csr -A

   最后，这个命令会显示每个节点的一个 CSR。例如：

   输出示例

   NAME        AGE    SIGNERNAME                                    REQUESTOR                                                                   CONDITION
   csr-2lnxd   63m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master0.ocp4.example.org                             Approved,Issued
   csr-hff4q   64m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-hsn96   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master2.ocp4.example.org                             Approved,Issued
   csr-m724n   6m2s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-p4dz2   60m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-t9vfj   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master1.ocp4.example.org                             Approved,Issued
   csr-tggtr   61m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-wcbrf   7m6s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

3. 要过滤列表并只查看待处理的 CSR，请输入：

   $ watch "oc get csr -A | grep pending -i"

   此命令每两秒钟刷新输出一次，仅显示待处理的 CSR。例如：

   输出示例

   Every 2.0s: oc get csr -A | grep pending -i
   
   csr-m724n   10m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-wcbrf   11m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

4. 检查每个待处理的请求。例如：

   输出示例

   $ oc describe csr csr-m724n

   输出示例

   Name:               csr-m724n
   Labels:             <none>
   Annotations:        <none>
   CreationTimestamp:  Sun, 19 Jul 2020 15:59:37 +0200
   Requesting User:    system:serviceaccount:openshift-machine-config-operator:node-bootstrapper
   Signer:             kubernetes.io/kube-apiserver-client-kubelet
   Status:             Pending
   Subject:
            Common Name:    system:node:ocp4-lk6b4-worker1.ocp4.example.org
            Serial Number:
            Organization:   system:nodes
   Events:  <none>

5. 如果 CSR 信息正确，则批准请求：

   $ oc adm certificate approve csr-m724n

6. 等待安装过程完成：

   $ openshift-install wait-for install-complete --dir $ASSETS_DIR --log-level debug

   安装完成后，命令行会显示 OpenShift Container Platform Web 控制台的 URL，以及管理员用户名和密码。