1.2. 使用网络自定义在 vSphere 上安装集群

流程

1. 配置 DHCP。
2. 提供所需的负载均衡器。
3. 配置机器的端口。
4. 配置 DNS。
5. 确保网络可以正常工作。

流程

1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t rsa -b 4096 -N '' \
       -f <path>/<file_name> 1

   1

   指定 SSH 密钥的路径和文件名，如 ~/.ssh/id_rsa。

   运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

2. 作为后台任务启动 ssh-agent 进程：

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_rsa

流程

1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号，请使用自己的凭证登录。如果没有，请创建一个帐户。

2. 进入适用于您的安装类型的页面，下载您的操作系统的安装程序，并将文件放在要保存安装配置文件的目录中。。

   重要

   安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。

3. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar xvf <installation_program>.tar.gz

4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中，下载您的安装 pull secret 的 .txt 文件。通过此 pull secret，您可以进行所含授权机构提供的服务的身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 创建用来存储您所需的安装资产的安装目录：

   $ mkdir <installation_directory>

   重要

   您必须创建目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

2. 自定义以下 install-config.yaml 文件模板，并将它保存到 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步骤中消耗掉。现在必须备份它。

流程

1. 使用以下命令来创建清单：

   $ ./openshift-install create manifests --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定含有集群的 install-config.yaml 文件的目录的名称。

2. 修改 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件，以防止在 control plane 机器上调度 Pod：

   1. 打开 manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并将其值设为 False。
   3. 保存并退出文件。
   注意

   目前，由于 Kubernetes 限制，入口负载均衡器将无法访问在 control plane 机器上运行的路由器 Pod。

3. 在 <installation_directory>/manifests/ 目录下，创建一个名为 cluster-network-03-config.yml 的文件：

   $ touch <installation_directory>/manifests/cluster-network-03-config.yml 1

   1

   对于 <installation_directory>，请指定包含集群的 manifests/ 目录的目录名称。

   创建该文件后，manifests/ 目录中会包含多个网络配置文件，如下所示：

   $ ls <installation_directory>/manifests/cluster-network-*
   cluster-network-01-crd.yml
   cluster-network-02-config.yml
   cluster-network-03-config.yml

4. 在编辑器中打开 cluster-network-03-config.yml 文件，然后输入描述您想要的 Operator 配置的 CR：

   apiVersion: operator.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec: 1
     clusterNetwork:
     - cidr: 10.128.0.0/14
       hostPrefix: 23
     serviceNetwork:
     - 172.30.0.0/16
     defaultNetwork:
       type: OpenShiftSDN
       openshiftSDNConfig:
         mode: NetworkPolicy
         mtu: 1450
         vxlanPort: 4789

   1

   spec 参数的参数仅作示例。在 CR 中为 Cluster Network Operator 指定配置。

   CNO 为 CR 中的参数提供默认值，因此您必须只指定要更改的参数。

5. 保存 cluster-network-03-config.yml 文件，再退出文本编辑器。
6. 可选：备份 manifests/cluster-network-03-config.yml 文件。创建集群时，安装程序会删除 manifests/ 目录。

流程

1. 获取 Ignition 配置文件：

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定用于保存安装程序所创建的文件的目录名称。

   重要

   如果您创建了 install-config.yaml 文件，请指定包含该文件的目录。否则，指定一个空目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

   该目录中将生成以下文件：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

流程

1. 将名为 <installation_directory>/bootstrap.ign 的 bootstrap Ignition 配置文件上传到 HTTP 服务器，该配置文件是由安装程序创建的。记下此文件的 URL。

   您必须托管 bootstrap Ignition 配置文件，因为它太大而无法放在 vApp 属性中。

2. 将 bootstrap 节点的以下辅助 Ignition 配置文件保存到计算机中，存为 <installation_directory>/append-bootstrap.ign。

   {
     "ignition": {
       "config": {
         "append": [
           {
             "source": "<bootstrap_ignition_config_url>", 1
             "verification": {}
           }
         ]
       },
       "timeouts": {},
       "version": "2.1.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   指定您托管的 bootstrap Ignition 配置文件的 URL。

   为 bootstrap 机器创建虚拟机 (VM) 时，您要使用此 Ignition 配置文件。

3. 将 master、worker 和辅助 Bootstrap Ignition 配置文件转换为 Base64 编码。

   例如，如果您使用 Linux 操作系统，可以使用 base64 命令来编码这些文件。

   $ base64 -w0 <installation_directory>/master.ign > <installation_directory>/master.64
   $ base64 -w0 <installation_directory>/worker.ign > <installation_directory>/worker.64
   $ base64 -w0 <installation_directory>/append-bootstrap.ign > <installation_directory>/append-bootstrap.64

4. 从红帽客户门户上的产品下载页面或 RHCOS 镜像页面，获取 RHCOS OVA 镜像。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每一发行版本都有改变。您必须下载一个最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

   文件名包含 OpenShift Container Platform 版本号，格式为 rhcos-<version>-<architecture>-vmware.ova。

5. 在 vSphere 客户端中，在数据中心中创建一个文件夹来存储您的虚拟机。

   1. 点击 VMs and Templates 视图。
   2. 右键点击您的数据中心名称。
   3. 点击 New Folder New VM and Template Folder。
   4. 在显示的窗口中输入文件夹名称。文件夹名称必须与您在 install-config.yaml 文件中指定的集群名称匹配。

6. 在 vSphere 客户端中，为 OVA 镜像创建一个模板。

   注意

   在以下步骤中，您要将同一模板用于所有集群机器，并针对您在置备虚拟机时指定的机器类型提供 Ignition 配置文件的位置。

   1. 在 Hosts and Clusters 选项卡中，右键点击集群名称并点击 Deploy OVF Template。
   2. 在 Select an OVF 选项卡中，指定您下载的 RHCOS OVA 文件的名称。
   3. 在 Select a name and folder 选项卡中，设置 Virtual machine name，如 RHCOS，再点击 vSphere 集群的名称，然后选择您在上一步中创建的文件夹。
   4. 在 Select a compute resource 选项卡中，点击您的 vSphere 集群名称。

   5. 在 Select storage 选项卡中，配置虚拟机的存储选项。

      • 选择 Thin Provision。
      • 选择您在 install-config.yaml 文件中指定的数据存储。
   6. 在 Select network 选项卡中，指定您为集群配置的网络（如果可用）。
   7. 如果您计划将同一模板用于所有集群机器类型，请不要在 Customize template 选项卡中指定值。

7. 部署模板后，为集群中的机器部署虚拟机。

   1. 右键点击模板的名称，再点击 Clone Clone to Virtual Machine。
   2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。名称中可以包括机器类型，如 control-plane-0 或 compute-1。
   3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
   4. 在 Select a compute resource 选项卡中，选择数据中心中的主机名称。
   5. 可选：在 Select storage 选项卡中，自定义存储选项。
   6. 在 Select clone options 中，选择 Customize this virtual machine’s hardware。

   7. 在 Customize hardware 选项卡中，点击 VM Options Advanced。

      • 可选：在出现集群性能问题时，从 Latency Sensitivity 列表中选择 High。

      • 点击 Edit Configuration，然后在 Configuration Parameters 窗口中点击 Add Configuration Params。定义以下参数名称和值：

        • guestinfo.ignition.config.data：粘贴此机器类型的 base64 编码 Ignition 配置文件的内容。
        • guestinfo.ignition.config.data.encoding：指定 base64。
        • disk.EnableUUID：指定 TRUE。

      • 另外，也在打开虚拟机电源前通过 vApp 属性添加：

        • 导航到 vCenter 服务器清单中的某一虚拟机。
        • 在 Configure 选项卡中，展开 Settings 并选择 vApp options。
        • 向下滚动，并在 Properties 下应用上述配置。
   8. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。
   9. 完成配置并打开虚拟机电源。

8. 对于每台机器，按照前面的步骤为集群创建其余的机器。

   重要

   此刻您必须创建 bootstrap 和 control plane 机器。由于计算机器上已默认部署了一些 Pod，因此在安装集群前，还要创建至少两台计算机器。

流程

1. 在 Red Hat OpenShift Cluster Manager 站点的 Infrastructure Provider 页面中导航至您的安装类型页面，并点击 Download Command-line Tools。

2. 点您的操作系统和系统架构的文件夹，然后点压缩文件。

   注意

   您可在 Linux 、Windows 或 macOS 上安装 oc。

3. 将文件保存到文件系统。
4. 展开压缩文件。
5. 把它放到 PATH 中的一个目录下。

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir=<installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2
   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
   INFO API v1.14.6+c4799753c up
   INFO Waiting up to 30m0s for the bootstrap-complete event...

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   Kubernetes API 服务器提示已在 control plane 机器上完成 bootstrap 时，命令运行成功。

2. bootstrap 过程完成后，请从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami
   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes
   
   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.14.6+c4799753c
   master-1  Ready     master  63m  v1.14.6+c4799753c
   master-2  Ready     master  64m  v1.14.6+c4799753c
   worker-0  NotReady  worker  76s  v1.14.6+c4799753c
   worker-1  NotReady  worker  70s  v1.14.6+c4799753c

   输出将列出您创建的所有机器。

2. 检查待处理证书签名请求 (CSR)，并确保您添加到集群中的每一机器都有状态为 Pending 或 Approved 的客户端和服务器请求：

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending 1
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending 2
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

   1

   客户端请求 CSR。

   2

   服务器请求 CSR。

   在本例中，两台机器加入了集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准初始 CSR 后，集群的 kube-controller-manager 会自动批准后续的节点客户端 CSR。您必须实施一个方法来自动批准 kubelet 提供的证书请求。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

流程

1. 观察集群组件上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.2.0     True        False         False      69s
   cloud-credential                     4.2.0     True        False         False      12m
   cluster-autoscaler                   4.2.0     True        False         False      11m
   console                              4.2.0     True        False         False      46s
   dns                                  4.2.0     True        False         False      11m
   image-registry                       4.2.0     False       True          False      5m26s
   ingress                              4.2.0     True        False         False      5m36s
   kube-apiserver                       4.2.0     True        False         False      8m53s
   kube-controller-manager              4.2.0     True        False         False      7m24s
   kube-scheduler                       4.2.0     True        False         False      12m
   machine-api                          4.2.0     True        False         False      12m
   machine-config                       4.2.0     True        False         False      7m36s
   marketplace                          4.2.0     True        False         False      7m54m
   monitoring                           4.2.0     True        False         False      7h54s
   network                              4.2.0     True        False         False      5m9s
   node-tuning                          4.2.0     True        False         False      11m
   openshift-apiserver                  4.2.0     True        False         False      11m
   openshift-controller-manager         4.2.0     True        False         False      5m943s
   openshift-samples                    4.2.0     True        False         False      3m55s
   operator-lifecycle-manager           4.2.0     True        False         False      11m
   operator-lifecycle-manager-catalog   4.2.0     True        False         False      11m
   service-ca                           4.2.0     True        False         False      11m
   service-catalog-apiserver            4.2.0     True        False         False      5m26s
   service-catalog-controller-manager   4.2.0     True        False         False      5m25s
   storage                              4.2.0     True        False         False      5m30s

2. 配置不可用的 Operator。

流程

1. 确认所有集群组件都已上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.2.0     True        False         False      10m
   cloud-credential                     4.2.0     True        False         False      22m
   cluster-autoscaler                   4.2.0     True        False         False      21m
   console                              4.2.0     True        False         False      10m
   dns                                  4.2.0     True        False         False      21m
   image-registry                       4.2.0     True        False         False      16m
   ingress                              4.2.0     True        False         False      16m
   kube-apiserver                       4.2.0     True        False         False      19m
   kube-controller-manager              4.2.0     True        False         False      18m
   kube-scheduler                       4.2.0     True        False         False      22m
   machine-api                          4.2.0     True        False         False      22m
   machine-config                       4.2.0     True        False         False      18m
   marketplace                          4.2.0     True        False         False      18m
   monitoring                           4.2.0     True        False         False      18m
   network                              4.2.0     True        False         False      16m
   node-tuning                          4.2.0     True        False         False      21m
   openshift-apiserver                  4.2.0     True        False         False      21m
   openshift-controller-manager         4.2.0     True        False         False      17m
   openshift-samples                    4.2.0     True        False         False      14m
   operator-lifecycle-manager           4.2.0     True        False         False      21m
   operator-lifecycle-manager-catalog   4.2.0     True        False         False      21m
   service-ca                           4.2.0     True        False         False      21m
   service-catalog-apiserver            4.2.0     True        False         False      16m
   service-catalog-controller-manager   4.2.0     True        False         False      16m
   storage                              4.2.0     True        False         False      16m

   当所有集群 Operator 状态都是 AVAILABLE 时，您可以完成安装。

2. 监控集群完成：

   $ ./openshift-install --dir=<installation_directory> wait-for install-complete 1
   INFO Waiting up to 30m0s for the cluster to initialize...

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，命令运行成功。

   重要

   安装程序生成的 Ignition 配置文件中所含的证书会在 24 小时后过期。您必须以非降级状态持续运行集群 24 小时，以确保完成第一次证书轮转。

3. 确认 Kubernetes API 服务器正在与 Pod 通信。

   1. 要查看所有 Pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces
      
      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 Pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 Pod 名称和命名空间，如上一命令的输出中所示。

      如果 Pod 日志显示，Kubernetes API 服务器可以与集群机器通信。