第 1 章 在 vSphere 上安装

流程

1. 在每个节点上配置 DHCP 或设置静态 IP 地址。
2. 提供所需的负载均衡器。
3. 配置机器的端口。
4. 配置 DNS。
5. 确保网络可以正常工作。

流程

1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   指定 SSH 密钥的路径和文件名，如 ~/.ssh/id_rsa。不要指定已存在的 SSH 密钥，因为它会被覆盖。

   运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

2. 作为后台任务启动 ssh-agent 进程：

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_rsa

流程

1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号，请使用自己的凭证登录。如果没有，请创建一个帐户。

2. 进入适用于您的安装类型的页面，下载您的操作系统的安装程序，并将文件放在要保存安装配置文件的目录中。。

   重要

   安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。您必须完成针对特定云供应商的 OpenShift Container Platform 卸载流程，才能完全删除您的集群。

3. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar xvf <installation_program>.tar.gz

4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中，下载您的安装 pull secret 的 .txt 文件。通过此 pull secret，您可以进行所含授权机构提供的服务的身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 创建用来存储您所需的安装资产的安装目录：

   $ mkdir <installation_directory>

   重要

   您必须创建目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

2. 自定义以下 install-config.yaml 文件模板，并将它保存到 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步骤中消耗掉。现在必须备份它。

流程

1. 为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

   由于您稍后会在安装过程中自行创建计算机器，因此可以忽略这个警告。

2. 修改 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件，以防止在 control plane 机器上调度 Ppd：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并将其值设为 False。
   3. 保存并退出文件。
   注意

   目前，由于 Kubernetes 限制，入口负载均衡器将无法访问在 control plane 机器上运行的路由器 Pod。以后的 OpenShift Container Platform 次要版本中可能不需要这一步骤。

3. 获取 Ignition 配置文件：

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   该目录中将生成以下文件：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

流程

1. 将名为 <installation_directory>/bootstrap.ign 的 bootstrap Ignition 配置文件上传到 HTTP 服务器，该配置文件是由安装程序创建的。记下此文件的 URL。

   您必须托管 bootstrap Ignition 配置文件，因为它太大而无法放在 vApp 属性中。

2. 将 bootstrap 节点的以下辅助 Ignition 配置文件保存到计算机中，存为 <installation_directory>/append-bootstrap.ign。

   {
     "ignition": {
       "config": {
         "append": [
           {
             "source": "<bootstrap_ignition_config_url>", 1
             "verification": {}
           }
         ]
       },
       "timeouts": {},
       "version": "2.2.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   指定您托管的 bootstrap Ignition 配置文件的 URL。

   为 bootstrap 机器创建虚拟机 (VM) 时，您要使用此 Ignition 配置文件。

3. 将 master、worker 和辅助 Bootstrap Ignition 配置文件转换为 Base64 编码。

   例如，如果您使用 Linux 操作系统，可以使用 base64 命令来编码这些文件。

   $ base64 -w0 <installation_directory>/master.ign > <installation_directory>/master.64
   $ base64 -w0 <installation_directory>/worker.ign > <installation_directory>/worker.64
   $ base64 -w0 <installation_directory>/append-bootstrap.ign > <installation_directory>/append-bootstrap.64

   重要

   如果您计划在安装完成后在集群中添加更多计算机器，请不要删除这些文件。

4. 从红帽客户门户上的产品下载页面或 RHCOS 镜像页面，获取 RHCOS OVA 镜像。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每一发行版本都有改变。您必须下载一个最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

   文件名包含 OpenShift Container Platform 版本号，格式为 rhcos-<version>-vmware.<architecture>.ova。

5. 在 vSphere 客户端中，在数据中心中创建一个文件夹来存储您的虚拟机。

   1. 点击 VMs and Templates 视图。
   2. 右键点击您的数据中心名称。
   3. 点击 New Folder New VM and Template Folder。
   4. 在显示的窗口中输入文件夹名称。文件夹名称必须与您在 install-config.yaml 文件中指定的集群名称匹配。

6. 在 vSphere 客户端中，为 OVA 镜像创建一个模板。

   注意

   在以下步骤中，您要将同一模板用于所有集群机器，并针对您在置备虚拟机时指定的机器类型提供 Ignition 配置文件的位置。

   1. 在 Hosts and Clusters 选项卡中，右键点击集群名称并点击 Deploy OVF Template。
   2. 在 Select an OVF 选项卡中，指定您下载的 RHCOS OVA 文件的名称。
   3. 在 Select a name and folder 选项卡中，设置 Virtual machine name，如 RHCOS，再点击 vSphere 集群的名称，然后选择您在上一步中创建的文件夹。
   4. 在 Select a compute resource 选项卡中，点击您的 vSphere 集群名称。

   5. 在 Select storage 选项卡中，配置虚拟机的存储选项。

      • 根据您的存储要求，选择Thin Provision 或 Thick Provision。
      • 选择您在 install-config.yaml 文件中指定的数据存储。
   6. 在 Select network 选项卡中，指定您为集群配置的网络（如果可用）。

   7. 如果您计划将同一模板用于所有集群机器类型，请不要在 Customize template 选项卡中指定值。

      重要

      如果您计划在安装完成后在集群中添加更多计算机器，请不要删除此模板。

7. 部署模板后，为集群中的机器部署虚拟机。

   1. 右键点击模板的名称，再点击 Clone Clone to Virtual Machine。
   2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。名称中可以包括机器类型，如 control-plane-0 或 compute-1。
   3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
   4. 在 Select a compute resource 选项卡中，选择数据中心中的主机名称。
   5. 可选：在 Select storage 选项卡中，自定义存储选项。
   6. 在 Select clone options 中，选择 Customize this virtual machine’s hardware。

   7. 在 Customize hardware 选项卡中，点击 VM Options Advanced。

      • 可选：在出现集群性能问题时，从 Latency Sensitivity 列表中选择 High。

      • 点击 Edit Configuration，然后在 Configuration Parameters 窗口中点击 Add Configuration Params。定义以下参数名称和值：

        • guestinfo.ignition.config.data：粘贴此机器类型的 base64 编码 Ignition 配置文件的内容。
        • guestinfo.ignition.config.data.encoding：指定 base64。
        • disk.EnableUUID：指定 TRUE。

      • 另外，也在打开虚拟机电源前通过 vApp 属性添加：

        • 导航到 vCenter 服务器清单中的某一虚拟机。
        • 在 Configure 选项卡中，展开 Settings 并选择 vApp options。
        • 向下滚动，并在 Properties 下应用上述配置。
   8. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。
   9. 完成配置并打开虚拟机电源。

8. 对于每台机器，按照前面的步骤为集群创建其余的机器。

   重要

   此刻您必须创建 bootstrap 和 control plane 机器。由于计算机器上已默认部署了一些 Pod，因此在安装集群前，还要创建至少两台计算机器。

流程

1. 部署模板后，为集群中的机器部署虚拟机。

   1. 右键点击模板的名称，再点击 Clone Clone to Virtual Machine。
   2. 在 Select a name and folder 选项卡中，指定虚拟机的名称。您可以在名称中包含机器类型，如 compute-1。
   3. 在 Select a name and folder 选项卡中，选择您为集群创建的文件夹名称。
   4. 在 Select a compute resource 选项卡中，选择数据中心中的主机名称。
   5. 可选：在 Select storage 选项卡中，自定义存储选项。
   6. 在 Select clone options 中，选择 Customize this virtual machine’s hardware。

   7. 在 Customize hardware 选项卡中，点击 VM Options Advanced。

      • 从 Latency Sensitivity 列表中选择 High。

      • 点击 Edit Configuration，然后在 Configuration Parameters 窗口中点击 Add Configuration Params。定义以下参数名称和值：

        • guestinfo.ignition.config.data：粘贴此机器类型的 Base64 编码计算 Ignition 配置文件的内容。
        • guestinfo.ignition.config.data.encoding：指定 base64。
        • disk.EnableUUID：指定 TRUE。
   8. 在 Customize hardware 选项卡的 Virtual Hardware 面板中，根据需要修改指定的值。确保 RAM、CPU 和磁盘存储的数量满足机器类型的最低要求。另外，如果有多个可用的网络，请确定在 Add network adapter 中 选择正确的网络。
   9. 完成配置并打开虚拟机电源。
2. 继续为集群创建更多计算机器。

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir=<installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2
   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com...
   INFO API v1.17.1 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   INFO It is now safe to remove the bootstrap resources

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   Kubernetes API 服务器提示已在 control plane 机器上完成 bootstrap 时，命令运行成功。

2. bootstrap 过程完成后，请从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami
   system:admin

流程

1. 确认集群可以识别这些机器：

   # oc get nodes
   
   NAME                    STATUS   ROLES    AGE   VERSION
   master-01.example.com   Ready    master   40d   v1.17.1
   master-02.example.com   Ready    master   40d   v1.17.1
   master-03.example.com   Ready    master   40d   v1.17.1
   worker-01.example.com   Ready    worker   40d   v1.17.1
   worker-02.example.com   Ready    worker   40d   v1.17.1

   输出将列出您创建的所有机器。

2. 检查待处理的 CSR，并确保可以看到添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入了集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准初始 CSR 后，集群的 kube-controller-manager 会自动批准后续的节点客户端 CSR。您必须实施一个方法来自动批准 kubelet 提供的证书请求。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，器将处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.20.0
   master-1  Ready     master  73m  v1.20.0
   master-2  Ready     master  74m  v1.20.0
   worker-0  Ready     worker  11m  v1.20.0
   worker-1  Ready     worker  11m  v1.20.0

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器转换为 Ready 状态。

流程

1. 观察集群组件上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.4.0     True        False         False      69s
   cloud-credential                     4.4.0     True        False         False      12m
   cluster-autoscaler                   4.4.0     True        False         False      11m
   console                              4.4.0     True        False         False      46s
   dns                                  4.4.0     True        False         False      11m
   image-registry                       4.4.0     True        False         False      5m26s
   ingress                              4.4.0     True        False         False      5m36s
   kube-apiserver                       4.4.0     True        False         False      8m53s
   kube-controller-manager              4.4.0     True        False         False      7m24s
   kube-scheduler                       4.4.0     True        False         False      12m
   machine-api                          4.4.0     True        False         False      12m
   machine-config                       4.4.0     True        False         False      7m36s
   marketplace                          4.4.0     True        False         False      7m54m
   monitoring                           4.4.0     True        False         False      7h54s
   network                              4.4.0     True        False         False      5m9s
   node-tuning                          4.4.0     True        False         False      11m
   openshift-apiserver                  4.4.0     True        False         False      11m
   openshift-controller-manager         4.4.0     True        False         False      5m943s
   openshift-samples                    4.4.0     True        False         False      3m55s
   operator-lifecycle-manager           4.4.0     True        False         False      11m
   operator-lifecycle-manager-catalog   4.4.0     True        False         False      11m
   service-ca                           4.4.0     True        False         False      11m
   service-catalog-apiserver            4.4.0     True        False         False      5m26s
   service-catalog-controller-manager   4.4.0     True        False         False      5m25s
   storage                              4.4.0     True        False         False      5m30s

2. 配置不可用的 Operator。

流程

1. 确认所有集群组件都已上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                             4.4.3     True        False         False      7m56s
   cloud-credential                           4.4.3     True        False         False      31m
   cluster-autoscaler                         4.4.3     True        False         False      16m
   console                                    4.4.3     True        False         False      10m
   csi-snapshot-controller                    4.4.3     True        False         False      16m
   dns                                        4.4.3     True        False         False      22m
   etcd                                       4.4.3     False       False         False      25s
   image-registry                             4.4.3     True        False         False      16m
   ingress                                    4.4.3     True        False         False      16m
   insights                                   4.4.3     True        False         False      17m
   kube-apiserver                             4.4.3     True        False         False      19m
   kube-controller-manager                    4.4.3     True        False         False      20m
   kube-scheduler                             4.4.3     True        False         False      20m
   kube-storage-version-migrator              4.4.3     True        False         False      16m
   machine-api                                4.4.3     True        False         False      22m
   machine-config                             4.4.3     True        False         False      22m
   marketplace                                4.4.3     True        False         False      16m
   monitoring                                 4.4.3     True        False         False      10m
   network                                    4.4.3     True        False         False      23m
   node-tuning                                4.4.3     True        False         False      23m
   openshift-apiserver                        4.4.3     True        False         False      17m
   openshift-controller-manager               4.4.3     True        False         False      15m
   openshift-samples                          4.4.3     True        False         False      16m
   operator-lifecycle-manager                 4.4.3     True        False         False      22m
   operator-lifecycle-manager-catalog         4.4.3     True        False         False      22m
   operator-lifecycle-manager-packageserver   4.4.3     True        False         False      18m
   service-ca                                 4.4.3     True        False         False      23m
   service-catalog-apiserver                  4.4.3     True        False         False      23m
   service-catalog-controller-manager         4.4.3     True        False         False      23m
   storage                                    4.4.3     True        False         False      17m

   当所有集群 Operator 状态都是 AVAILABLE 时，您可以完成安装。

2. 监控集群完成：

   $ ./openshift-install --dir=<installation_directory> wait-for install-complete 1
   INFO Waiting up to 30m0s for the cluster to initialize...

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，命令运行成功。

   重要

   安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后在过期时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外情况是，您需要手动批准待处理的 node-bootstrapper 证书签名请求（CSR）来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书中恢复的文档。

3. 确认 Kubernetes API 服务器正在与 pod 通信。

   1. 要查看所有 pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces
      
      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 pod 名称和命名空间，如上一命令的输出中所示。

      如果 pod 日志显示，Kubernetes API 服务器可以与集群机器通信。

1. 停止使用持久性卷的应用程序。
2. 克隆持久性卷。
3. 重启应用程序。
4. 创建克隆的卷的备份。
5. 删除克隆的卷。