1.2. 在受限网络中的 IBM Power 上安装集群

流程

1. 在每个节点上配置 DHCP 或设置静态 IP 地址。
2. 提供所需的负载均衡器。
3. 配置机器的端口。
4. 配置 DNS。
5. 确保网络可以正常工作。

流程

1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   指定 SSH 密钥的路径和文件名，如 ~/.ssh/id_rsa。不要指定已存在的 SSH 密钥，因为它会被覆盖。

   运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

2. 作为后台任务启动 ssh-agent 进程：

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_rsa

流程

1. 创建用来存储您所需的安装资产的安装目录：

   $ mkdir <installation_directory>

   重要

   您必须创建目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

2. 自定义以下 install-config.yaml 文件模板，并将它保存到 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步骤中消耗掉。现在必须备份它。

流程

1. 为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

   由于您稍后会在安装过程中自行创建计算机器，因此可以忽略这个警告。

2. 修改 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件，以防止在 control plane 机器上调度 Ppd：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并将其值设为 False。
   3. 保存并退出文件。
   注意

   目前，由于 Kubernetes 限制，入口负载均衡器将无法访问在 control plane 机器上运行的路由器 Pod。以后的 OpenShift Container Platform 次要版本中可能不需要这一步骤。

3. 获取 Ignition 配置文件：

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   该目录中将生成以下文件：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir=<installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2
   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com...
   INFO API v1.17.1 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   INFO It is now safe to remove the bootstrap resources

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   Kubernetes API 服务器提示已在 control plane 机器上完成 bootstrap 时，命令运行成功。

2. bootstrap 过程完成后，请从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami
   system:admin

流程

1. 确认集群可以识别这些机器：

   # oc get nodes
   
   NAME                    STATUS   ROLES    AGE   VERSION
   master-01.example.com   Ready    master   40d   v1.17.1
   master-02.example.com   Ready    master   40d   v1.17.1
   master-03.example.com   Ready    master   40d   v1.17.1
   worker-01.example.com   Ready    worker   40d   v1.17.1
   worker-02.example.com   Ready    worker   40d   v1.17.1

   输出将列出您创建的所有机器。

2. 检查待处理的 CSR，并确保可以看到添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入了集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准初始 CSR 后，集群的 kube-controller-manager 会自动批准后续的节点客户端 CSR。您必须实施一个方法来自动批准 kubelet 提供的证书请求。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，器将处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.20.0
   master-1  Ready     master  73m  v1.20.0
   master-2  Ready     master  74m  v1.20.0
   worker-0  Ready     worker  11m  v1.20.0
   worker-1  Ready     worker  11m  v1.20.0

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器转换为 Ready 状态。

流程

1. 观察集群组件上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.4.0     True        False         False      69s
   cloud-credential                     4.4.0     True        False         False      12m
   cluster-autoscaler                   4.4.0     True        False         False      11m
   console                              4.4.0     True        False         False      46s
   dns                                  4.4.0     True        False         False      11m
   image-registry                       4.4.0     True        False         False      5m26s
   ingress                              4.4.0     True        False         False      5m36s
   kube-apiserver                       4.4.0     True        False         False      8m53s
   kube-controller-manager              4.4.0     True        False         False      7m24s
   kube-scheduler                       4.4.0     True        False         False      12m
   machine-api                          4.4.0     True        False         False      12m
   machine-config                       4.4.0     True        False         False      7m36s
   marketplace                          4.4.0     True        False         False      7m54m
   monitoring                           4.4.0     True        False         False      7h54s
   network                              4.4.0     True        False         False      5m9s
   node-tuning                          4.4.0     True        False         False      11m
   openshift-apiserver                  4.4.0     True        False         False      11m
   openshift-controller-manager         4.4.0     True        False         False      5m943s
   openshift-samples                    4.4.0     True        False         False      3m55s
   operator-lifecycle-manager           4.4.0     True        False         False      11m
   operator-lifecycle-manager-catalog   4.4.0     True        False         False      11m
   service-ca                           4.4.0     True        False         False      11m
   service-catalog-apiserver            4.4.0     True        False         False      5m26s
   service-catalog-controller-manager   4.4.0     True        False         False      5m25s
   storage                              4.4.0     True        False         False      5m30s

2. 配置不可用的 Operator。

流程

1. 确认所有集群组件都已上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                             4.4.3     True        False         False      7m56s
   cloud-credential                           4.4.3     True        False         False      31m
   cluster-autoscaler                         4.4.3     True        False         False      16m
   console                                    4.4.3     True        False         False      10m
   csi-snapshot-controller                    4.4.3     True        False         False      16m
   dns                                        4.4.3     True        False         False      22m
   etcd                                       4.4.3     False       False         False      25s
   image-registry                             4.4.3     True        False         False      16m
   ingress                                    4.4.3     True        False         False      16m
   insights                                   4.4.3     True        False         False      17m
   kube-apiserver                             4.4.3     True        False         False      19m
   kube-controller-manager                    4.4.3     True        False         False      20m
   kube-scheduler                             4.4.3     True        False         False      20m
   kube-storage-version-migrator              4.4.3     True        False         False      16m
   machine-api                                4.4.3     True        False         False      22m
   machine-config                             4.4.3     True        False         False      22m
   marketplace                                4.4.3     True        False         False      16m
   monitoring                                 4.4.3     True        False         False      10m
   network                                    4.4.3     True        False         False      23m
   node-tuning                                4.4.3     True        False         False      23m
   openshift-apiserver                        4.4.3     True        False         False      17m
   openshift-controller-manager               4.4.3     True        False         False      15m
   openshift-samples                          4.4.3     True        False         False      16m
   operator-lifecycle-manager                 4.4.3     True        False         False      22m
   operator-lifecycle-manager-catalog         4.4.3     True        False         False      22m
   operator-lifecycle-manager-packageserver   4.4.3     True        False         False      18m
   service-ca                                 4.4.3     True        False         False      23m
   service-catalog-apiserver                  4.4.3     True        False         False      23m
   service-catalog-controller-manager         4.4.3     True        False         False      23m
   storage                                    4.4.3     True        False         False      17m

   当所有集群 Operator 状态都是 AVAILABLE 时，您可以完成安装。

2. 监控集群完成：

   $ ./openshift-install --dir=<installation_directory> wait-for install-complete 1
   INFO Waiting up to 30m0s for the cluster to initialize...

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，命令运行成功。

   重要

   安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后在过期时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外情况是，您需要手动批准待处理的 node-bootstrapper 证书签名请求（CSR）来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书中恢复的文档。

3. 确认 Kubernetes API 服务器正在与 pod 通信。

   1. 要查看所有 pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces
      
      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 pod 名称和命名空间，如上一命令的输出中所示。

      如果 pod 日志显示，Kubernetes API 服务器可以与集群机器通信。