13.5. 在受限网络中在 RHV 上安装集群

流程

1. 检查 RHV 版本是否支持安装 OpenShift Container Platform 版本 4.8。

   1. 在 RHV 管理门户中，点右上角的 ? 帮助图表，选 About。
   2. 在打开的窗口中，记录下 RHV 软件版本。
   3. 确认 RHV 版本为 4.4。如需有关支持的版本组合的更多信息，请参阅 RHV 上的 OpenShift Container Platform 支持列表。

2. 检查数据中心、集群和存储。

   1. 在 RHV 管理门户中，点 Compute Data Centers。
   2. 确认可以访问您要安装 OpenShift Container Platform 的数据中心。
   3. 点击该数据中心的名称。
   4. 在数据中心详情中，存储 标签中确认您要安装 OpenShift Container Platform 的存储域是 Active。
   5. 记录下域名以供以后使用。
   6. 确认 Free Space 至少为 230 GiB。
   7. 确认存储域满足 etcd 后端性能要求，可以使用 fio 性能基准工具来评测。
   8. 在数据中心详情中点击 Clusters 选项卡。
   9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称，以供稍后使用。

3. 检查 RHV 主机资源。

   1. 在 RHV 管理门户中，点 Compute > Clusters。
   2. 点击要安装 OpenShift Container Platform 的集群。
   3. 在集群详情中点击 Hosts 标签页。
   4. 检查主机，确认这些主机有至少 28 个 逻辑 CPU 内核，专门 用于 OpenShift Container Platform 集群。
   5. 记录逻辑 CPU 内核数以供稍后使用。
   6. 请确认这些 CPU 内核被正确分配，在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。

   7. 确认主机总共有 112 GiB 的Max free Memory for scheduling new virtual machines，以满足以下每个 OpenShift Container Platform 机器的要求：

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器每个机器都需要 16 GiB
      • 三个计算机器每个机器都需要 16 GiB
   8. 记录下 Max free Memory for scheduling new virtual machine 的值以便稍后使用。

4. 验证安装 OpenShift Container Platform 的虚拟网络能否访问 RHV Manager 的 REST API。在这个网络的虚拟机上，使用 curl 来访问 RHV Manager 的 REST API:

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   对于 <username>，指定具有在 RHV 上创建和管理 OpenShift Container Platform 集群的 RHV 帐户的用户名。对于 <profile>，请指定登录配置集，您可以登陆到 RHV 管理门户查看 Profile 下拉列表。对于 <password>，指定该用户的密码。

   2

   对于 <engine-fqdn>，请指定 RHV 环境的完全限定域名。

   例如：

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

流程

1. 更新或安装 Python3 和 Ansible。例如：

   # dnf update python3 ansible

2. 安装 python3-ovirt-engine-sdk4 软件包 来获取 Python 软件开发组件。

3. 安装 ovirt.image-template Ansible 角色。在 RHV Manager 和其他 Red Hat Enterprise Linux (RHEL) 机器上，这个角色作为 ovirt-ansible-image-template 软件包发布。例如，输入：

   # dnf install ovirt-ansible-image-template

4. 安装 ovirt.vm-infra Ansible 角色。在 RHV Manager 和其他 RHEL 机器上，此角色作为 ovirt-ansible-vm-infra 软件包发布。

   # dnf install ovirt-ansible-vm-infra

5. 创建环境变量并为其分配绝对或相对路径。例如，输入：

   $ export ASSETS_DIR=./wrk

   注意

   安装程序使用这个变量创建保存重要安装相关文件的目录。之后，安装过程会重复使用此变量来定位这些资产文件。避免删除这个资产目录 ; 卸载集群时需要此目录。

流程

1. 使用这两个方法之一下载 CA 证书：

   • 进入 Manager 的网页 https://<engine-fqdn>/ovirt-engine/。然后在 下载 中点击 CA 证书 链接。

   • 运行以下命令：

     $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1

     1

     对于 <engine-fqdn>，请指定 RHV Manager 的全限定域名，如 rhv-env.virtlab.example.com。

2. 配置 CA 文件，为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 （symbolic 值： -rw-r—​r--）:

   $ sudo chmod 0644 /tmp/ca.pem

3. 对于 Linux，将 CA 证书复制到服务器证书目录中。使用 -p 保留权限：

   $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem

4. 将证书添加到您操作系统的证书管理器：

   • 对于 macOS，请双击这个证书文件，并使用 Keychain Access 程序将该文件添加到 System 密钥链中。

   • 对于 Linux，更新 CA 信任：

     $ sudo update-ca-trust

     注意

     如果使用您自己的证书认证机构，请确定系统信任它。

流程

1. 如果您的本地机器上没有用于在集群节点上进行身份验证 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构中安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，不要创建使用 ed25519 算法的密钥。反之，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到您本地用户的 SSH 代理（如果尚未添加）。在集群节点上进行免密码 SSH 身份验证，或者您想要使用 ./openshift-install gather 命令，则需要使用 SSH 代理进行管理。

   注意

   在某些发行版中，会自动管理默认 SSH 私钥（如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa）。

   1. 如果 ssh-agent 进程还没有针对您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果您的集群采用 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 找到您要安装的 OpenShift Container Platform 版本的 RHCOS 镜像下载页面，如 /pub/openshift-v4/dependencies/rhcos/latest/latest/latest/latest/latest。
2. 在该下载页面中复制 OpenStack qcow2 镜像的 URL，如 https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.8/latest/rhcos-openstack.x86_64.qcow2.gz。

3. 编辑之前下载的 inventory.yml playbook。此时会粘贴 URL 作为 image_url 的值。例如：

   rhcos:
     "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.8/latest/rhcos-openstack.x86_64.qcow2.gz"

流程

1. 运行安装程序：

   $ openshift-install create install-config --dir $ASSETS_DIR

2. 根据安装程序的提示输入您系统的信息。

   输出示例

   ? SSH Public Key /home/user/.ssh/id_dsa.pub
   ? Platform <ovirt>
   ? Engine FQDN[:PORT] [? for help] <engine.fqdn>
   ? Enter ovirt-engine username <ocpadmin@internal>
   ? Enter password <******>
   ? oVirt cluster <cluster>
   ? oVirt storage <storage>
   ? oVirt network <net>
   ? Internal API virtual IP <172.16.0.252>
   ? Ingress virtual IP <172.16.0.251>
   ? Base Domain <example.org>
   ? Cluster Name <ocp4>
   ? Pull Secret [? for help] <********>

流程

1. 将计算节点数量设置为零副本：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["compute"][0]["replicas"] = 0
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

2. 设置机器网络的 IP 范围。例如，要将范围设置为 172.16.0.0/16，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["networking"]["machineNetwork"][0]["cidr"] = "172.16.0.0/16"
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

3. 删除 ovirt 部分，把平台改为 none:

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   platform = conf["platform"]
   del platform["ovirt"]
   platform["none"] = {}
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

   警告

   Red Hat Virtualization 目前不支持使用 oVirt 平台的用户置备的基础架构进行安装。因此，您必须将平台设置为 none，允许 OpenShift Container Platform 将每个节点识别为裸机节点，并将集群识别为裸机集群。这与 在任何平台上安装集群 相同，并有以下限制：

   1. 没有集群供应商，因此您必须手动添加每台机器，且没有节点扩展功能。
   2. 不会安装 oVirt CSI 驱动程序，且没有 CSI 功能。

流程

1. 可选：创建 install-config.yaml 文件的备份副本：

   $ cp install-config.yaml install-config.yaml.backup

2. 在资产目录中生成一组清单：

   $ openshift-install create manifests --dir $ASSETS_DIR

   该命令显示以下信息。

   输出示例

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   该命令生成以下清单文件：

   输出示例

   $ tree
   .
   └── wrk
       ├── manifests
       │   ├── 04-openshift-machine-config-operator.yaml
       │   ├── cluster-config.yaml
       │   ├── cluster-dns-02-config.yml
       │   ├── cluster-infrastructure-02-config.yml
       │   ├── cluster-ingress-02-config.yml
       │   ├── cluster-network-01-crd.yml
       │   ├── cluster-network-02-config.yml
       │   ├── cluster-proxy-01-config.yaml
       │   ├── cluster-scheduler-02-config.yml
       │   ├── cvo-overrides.yaml
       │   ├── etcd-ca-bundle-configmap.yaml
       │   ├── etcd-client-secret.yaml
       │   ├── etcd-host-service-endpoints.yaml
       │   ├── etcd-host-service.yaml
       │   ├── etcd-metric-client-secret.yaml
       │   ├── etcd-metric-serving-ca-configmap.yaml
       │   ├── etcd-metric-signer-secret.yaml
       │   ├── etcd-namespace.yaml
       │   ├── etcd-service.yaml
       │   ├── etcd-serving-ca-configmap.yaml
       │   ├── etcd-signer-secret.yaml
       │   ├── kube-cloud-config.yaml
       │   ├── kube-system-configmap-root-ca.yaml
       │   ├── machine-config-server-tls-secret.yaml
       │   └── openshift-config-secret-pull-secret.yaml
       └── openshift
           ├── 99_kubeadmin-password-secret.yaml
           ├── 99_openshift-cluster-api_master-user-data-secret.yaml
           ├── 99_openshift-cluster-api_worker-user-data-secret.yaml
           ├── 99_openshift-machineconfig_99-master-ssh.yaml
           ├── 99_openshift-machineconfig_99-worker-ssh.yaml
           └── openshift-install-manifests.yaml

流程

1. 要使 control-plane 节点不可调度，请输入：

   $ python3 -c 'import os, yaml
   path = "%s/manifests/cluster-scheduler-02-config.yml" % os.environ["ASSETS_DIR"]
   data = yaml.safe_load(open(path))
   data["spec"]["mastersSchedulable"] = False
   open(path, "w").write(yaml.dump(data, default_flow_style=False))'

流程

1. 要构建 Ignition 文件，请输入：

   $ openshift-install create ignition-configs --dir $ASSETS_DIR

   输出示例

   $ tree
   .
   └── wrk
       ├── auth
       │   ├── kubeadmin-password
       │   └── kubeconfig
       ├── bootstrap.ign
       ├── master.ign
       ├── metadata.json
       └── worker.ign

流程

1. 在 inventory.yml 中，在 control_plane 和 compute 变量下，将 type: high_performance 的两个实例更改为 type: server。

2. 可选： 如果您计划在同一集群中执行多个安装，请为每个 OpenShift Container Platform 安装创建不同的模板。在 inventory.yml 文件中，使用 infraID 预先填充 模板 值。例如：

     control_plane:
       cluster: "{{ ovirt_cluster }}"
       memory: 16GiB
       sockets: 4
       cores: 1
       template: "{{ metadata.infraID }}-rhcos_tpl"
       operating_system: "rhcos_x64"
       ...

3. 创建模板和虚拟机：

   $ ansible-playbook -i inventory.yml create-templates-and-vms.yml

流程

1. 创建 bootstrap 机器：

   $ ansible-playbook -i inventory.yml bootstrap.yml

2. 使用管理入口或 SSH 中的控制台连接到 bootstrap 机器。将 <bootstrap_ip> 替换为 bootstrap 节点的 IP 地址。要使用 SSH，请输入：

   $ ssh core@<boostrap.ip>

3. 从 bootstrap 节点收集发行镜像服务的 bootkube.service journald 单元日志：

   [core@ocp4-lk6b4-bootstrap ~]$ journalctl -b -f -u release-image.service -u bootkube.service

   注意

   bootstrap 节点上的 bootkube.service 日志会输出 etcd connection refused 错误，这表示 bootstrap 服务器无法在 control plane 节点（也称为 master 节点）上连接到 etcd。在各个 control plane 节点上启动 etcd 且节点已加入集群后，这个错误应该会停止。

流程

1. 创建 control plane 节点：

   $ ansible-playbook -i inventory.yml masters.yml

2. 在 playbook 创建 control plane 时，监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete --dir $ASSETS_DIR

   输出示例

   INFO API v1.18.3+b74c5ed up
   INFO Waiting up to 40m0s for bootstrapping to complete...

3. 当 control plane 节点上所有 pod 都启动并运行 etcd 时，安装程序会显示以下输出。

   输出示例

   INFO It is now safe to remove the bootstrap resources

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=$ASSETS_DIR/auth/kubeconfig

   kubeconfig 文件包含关于集群的信息，供 CLI 用于将客户端连接到正确集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 要从集群中删除 bootstrap 机器，请输入：

   $ ansible-playbook -i inventory.yml retire-bootstrap.yml

2. 从负载均衡器指令中删除 bootstrap 机器的设置。

流程

1. 创建 worker 节点：

   $ ansible-playbook -i inventory.yml workers.yml

2. 要列出所有 CSR，请输入：

   $ oc get csr -A

   最后，这个命令会显示每个节点的一个 CSR。例如：

   输出示例

   NAME        AGE    SIGNERNAME                                    REQUESTOR                                                                   CONDITION
   csr-2lnxd   63m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master0.ocp4.example.org                             Approved,Issued
   csr-hff4q   64m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-hsn96   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master2.ocp4.example.org                             Approved,Issued
   csr-m724n   6m2s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-p4dz2   60m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-t9vfj   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master1.ocp4.example.org                             Approved,Issued
   csr-tggtr   61m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-wcbrf   7m6s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

3. 要过滤列表并只查看待处理的 CSR，请输入：

   $ watch "oc get csr -A | grep pending -i"

   此命令每两秒钟刷新输出一次，仅显示待处理的 CSR。例如：

   输出示例

   Every 2.0s: oc get csr -A | grep pending -i
   
   csr-m724n   10m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-wcbrf   11m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

4. 检查每个待处理的请求。例如：

   输出示例

   $ oc describe csr csr-m724n

   输出示例

   Name:               csr-m724n
   Labels:             <none>
   Annotations:        <none>
   CreationTimestamp:  Sun, 19 Jul 2020 15:59:37 +0200
   Requesting User:    system:serviceaccount:openshift-machine-config-operator:node-bootstrapper
   Signer:             kubernetes.io/kube-apiserver-client-kubelet
   Status:             Pending
   Subject:
            Common Name:    system:node:ocp4-lk6b4-worker1.ocp4.example.org
            Serial Number:
            Organization:   system:nodes
   Events:  <none>

5. 如果 CSR 信息正确，则批准请求：

   $ oc adm certificate approve csr-m724n

6. 等待安装过程完成：

   $ openshift-install wait-for install-complete --dir $ASSETS_DIR --log-level debug

   安装完成后，命令行会显示 OpenShift Container Platform Web 控制台以及管理员用户名和密码的 URL。