第 1 章 在 IBM Z 上安装

流程

1. 设置静态 IP 地址
2. 设置一个 FTP 服务器。
3. 提供所需的负载均衡器。
4. 配置机器的端口。
5. 配置 DNS。
6. 确保网络可以正常工作。

流程

1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t rsa -b 4096 -N '' \
       -f <path>/<file_name> 1

   1

   指定 SSH 密钥的路径和文件名，如 ~/.ssh/id_rsa。

   运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

2. 作为后台任务启动 ssh-agent 进程：

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_rsa

流程

1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号，请使用自己的凭证登录。如果没有，请创建一个帐户。

2. 进入适用于您的安装类型的页面，下载您的操作系统的安装程序，并将文件放在要保存安装配置文件的目录中。。

   重要

   安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。

3. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar xvf <installation_program>.tar.gz

4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中，下载您的安装 pull secret 的 .txt 文件。通过此 pull secret，您可以进行所含授权机构提供的服务的身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 在 Red Hat OpenShift Cluster Manager 站点的 Infrastructure Provider 页面中导航至您的安装类型页面，并点击 Download Command-line Tools。

2. 点您的操作系统和系统架构的文件夹，然后点压缩文件。

   注意

   您可在 Linux 、Windows 或 macOS 上安装 oc。

3. 将文件保存到文件系统。
4. 展开压缩文件。
5. 把它放到 PATH 中的一个目录下。

流程

1. 创建用来存储您所需的安装资产的安装目录：

   $ mkdir <installation_directory>

   重要

   您必须创建目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

2. 自定义以下 install-config.yaml 文件模板，并将它保存到 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步骤中消耗掉。现在必须备份它。

流程

1. 为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   WARNING There are no compute nodes specified. The cluster will not fully initialize without compute nodes.
   INFO Consuming "Install Config" from target directory

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

   由于您稍后会在安装过程中自行创建计算机器，因此可以忽略这个警告。

2. 修改 manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件，以防止在 control plane 机器上调度 Pod：

   1. 打开 manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并将其值设为 False。
   3. 保存并退出文件。
   注意

   目前，由于 Kubernetes 限制，入口负载均衡器将无法访问在 control plane 机器上运行的路由器 Pod。以后的 OpenShift Container Platform 次要版本中可能不需要这一步骤。

3. 获取 Ignition 配置文件：

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   该目录中将生成以下文件：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

流程

1. 在您置备的机器上登录到 Linux。

2. 从 RHCOS image mirror 上下载 Red Hat Enterprise Linux CoreOS 安装文件。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每一发行版本都有改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

   下载以下文件：

   • initramfs: rhcos-<version>-installer-initramfs.img
   • kernel：rhcos-<version>-installer-kernel

   • 要安装 RHCOS 的磁盘的操作系统镜像。这种类型可能因虚拟机而异：

     rhcos<version>-dasd.s390x.raw.gz（DASD）

     rhcos<version>-metal.s390x.raw.gz（FCP）

3. 创建参数文件。以下参数特定于特定虚拟机：

   • 对于 coreos.inst.install_dev=，请为 DASD 安装指定 dasda ，或者为 FCP 指定 sda 。请注意 FCP 需要 zfcp.allow_lun_scan=0。
   • 对于 rd.dasd=，请指定要安装 RHCOS 的 DASD。
   • rd.zfcp=<adapter>,<wwpn>,<lun> 指定要在其中安装 RHCOS 的 FCP 磁盘。

   • 对于 ip=，请指定以下七项：

     1. 机器的 IP 地址。
     2. 一个空字符串。
     3. 网关
     4. 子网掩码。
     5. hostname.domainname格式的机器主机和域名。如果省略此值，RHCOS 会决定其设定。
     6. 网络接口名称。如果省略此值，RHCOS 会决定其设定。
     7. 如果使用静态 IP 地址，则为一个空字符串。
   • 对于 coreos.inst.ignition_url=，为机器角色指定 Ignition 文件。使用 bootstrap.ign、master.ign 或 worker.ign。

   • 所有其他参数都可以保留。

     bootstrap 机器的实例参数文件（bootstrap-0.parm）如下：

     rd.neednet=1 coreos.inst=yes coreos.inst.install_dev=dasda coreos.inst.image_url=ftp://
     cl1.provide.example.com:8080/assets/rhcos-42.80.20191105.0-metal-dasd.raw.gz
     coreos.inst.ignition_url=ftp://cl1.provide.example.com:8080/ignition-bootstrap-0
     ip=172.18.78.2::172.18.78.1:255.255.255.0:::none nameserver=172.18.78.1
     rd.znet=qeth,0.0.bdf0,0.0.bdf1,0.0.bdf2,layer2=1,portno=0 zfcp.allow_lun_scan=0 cio_ignore=all,
     !condev rd.dasd=0.0.3490

4. 将 initramfs 、内核、参数文件和 RHCOS 镜像传送到 z/VM 中，例如使用 FTP。有关如何使用 FTP 传输文件并从虚拟 reader 引导的详情，请参考 在 Z/VM 中安装。

5. 将文件 punch 到 z/VM 虚拟机的虚拟 reader，即成为 bootstrap 节点。

   请参阅 IBM 知识库中的 PUNCH 。

   提示

   您可以使用 CP PUNCH 命令（如果是 Linux，使用 vmur 命令）在两个 z/VM 虚拟机间传输文件。

6. 在 bootstrap 机器中登录到 CMS。

7. 从 reader IPL bootstrap 机器：

   $ ipl c

   请参阅 IBM 知识库中的 IPL 。

8. 对集群中的其他机器重复此步骤。

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir=<installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2
   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
   INFO API v1.14.6+c4799753c up
   INFO Waiting up to 30m0s for the bootstrap-complete event...

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   Kubernetes API 服务器提示已在 control plane 机器上完成 bootstrap 时，命令运行成功。

2. bootstrap 过程完成后，请从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami
   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes
   
   NAME 			        STATUS  ROLES    AGE   VERSION
   master-0.cl1mstr0.example.com   Ready   master   20h   v1.14.6+888f9c630
   master-1.cl1mstr1.example.com   Ready   master   20h   v1.14.6+888f9c630
   master-2.cl1mstr2.example.com   Ready   master   20h   v1.14.6+888f9c630
   worker-0.cl1wrk00.example.com   Ready   worker   20h   v1.14.6+888f9c630
   worker-1.cl1wrk01.example.com   Ready   worker   20h   v1.14.6+888f9c630

   输出将列出您创建的所有机器。

2. 检查待处理证书签名请求 (CSR)，并确保您添加到集群中的每一机器都有状态为 Pending 或 Approved 的客户端和服务器请求：

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending 1
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending 2
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

   1

   客户端请求 CSR。

   2

   服务器请求 CSR。

   在本例中，两台机器加入了集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准初始 CSR 后，集群的 kube-controller-manager 会自动批准后续的节点客户端 CSR。您必须实施一个方法来自动批准 kubelet 提供的证书请求。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

流程

1. 观察集群组件上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.2.0     True        False         False      69s
   cloud-credential                     4.2.0     True        False         False      12m
   cluster-autoscaler                   4.2.0     True        False         False      11m
   console                              4.2.0     True        False         False      46s
   dns                                  4.2.0     True        False         False      11m
   image-registry                       4.2.0     False       True          False      5m26s
   ingress                              4.2.0     True        False         False      5m36s
   kube-apiserver                       4.2.0     True        False         False      8m53s
   kube-controller-manager              4.2.0     True        False         False      7m24s
   kube-scheduler                       4.2.0     True        False         False      12m
   machine-api                          4.2.0     True        False         False      12m
   machine-config                       4.2.0     True        False         False      7m36s
   marketplace                          4.2.0     True        False         False      7m54m
   monitoring                           4.2.0     True        False         False      7h54s
   network                              4.2.0     True        False         False      5m9s
   node-tuning                          4.2.0     True        False         False      11m
   openshift-apiserver                  4.2.0     True        False         False      11m
   openshift-controller-manager         4.2.0     True        False         False      5m943s
   openshift-samples                    4.2.0     True        False         False      3m55s
   operator-lifecycle-manager           4.2.0     True        False         False      11m
   operator-lifecycle-manager-catalog   4.2.0     True        False         False      11m
   service-ca                           4.2.0     True        False         False      11m
   service-catalog-apiserver            4.2.0     True        False         False      5m26s
   service-catalog-controller-manager   4.2.0     True        False         False      5m25s
   storage                              4.2.0     True        False         False      5m30s

2. 配置不可用的 Operator。

流程

1. 确认所有集群组件都已上线：

   $ watch -n5 oc get clusteroperators
   
   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.2.0     True        False         False      10m
   cloud-credential                     4.2.0     True        False         False      22m
   cluster-autoscaler                   4.2.0     True        False         False      21m
   console                              4.2.0     True        False         False      10m
   dns                                  4.2.0     True        False         False      21m
   image-registry                       4.2.0     True        False         False      16m
   ingress                              4.2.0     True        False         False      16m
   kube-apiserver                       4.2.0     True        False         False      19m
   kube-controller-manager              4.2.0     True        False         False      18m
   kube-scheduler                       4.2.0     True        False         False      22m
   machine-api                          4.2.0     True        False         False      22m
   machine-config                       4.2.0     True        False         False      18m
   marketplace                          4.2.0     True        False         False      18m
   monitoring                           4.2.0     True        False         False      18m
   network                              4.2.0     True        False         False      16m
   node-tuning                          4.2.0     True        False         False      21m
   openshift-apiserver                  4.2.0     True        False         False      21m
   openshift-controller-manager         4.2.0     True        False         False      17m
   openshift-samples                    4.2.0     True        False         False      14m
   operator-lifecycle-manager           4.2.0     True        False         False      21m
   operator-lifecycle-manager-catalog   4.2.0     True        False         False      21m
   service-ca                           4.2.0     True        False         False      21m
   service-catalog-apiserver            4.2.0     True        False         False      16m
   service-catalog-controller-manager   4.2.0     True        False         False      16m
   storage                              4.2.0     True        False         False      16m

   当所有集群 Operator 状态都是 AVAILABLE 时，您可以完成安装。

2. 监控集群完成：

   $ ./openshift-install --dir=<installation_directory> wait-for install-complete 1
   INFO Waiting up to 30m0s for the cluster to initialize...

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，命令运行成功。

   重要

   安装程序生成的 Ignition 配置文件中所含的证书会在 24 小时后过期。您必须以非降级状态持续运行集群 24 小时，以确保完成第一次证书轮转。

3. 确认 Kubernetes API 服务器正在与 Pod 通信。

   1. 要查看所有 Pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces
      
      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 Pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 Pod 名称和命名空间，如上一命令的输出中所示。

      如果 Pod 日志显示，Kubernetes API 服务器可以与集群机器通信。

流程

1. 登录到集群：

   $ oc login

2. 在您要收集硬件信息的节点中，启动一个调试容器：

   $ oc debug node/<nodename>

3. 进入 /host 文件系统并启动 toolbox:

   $ chroot /host
   $ toolbox

4. 收集 dbginfo 数据：

   $ dbginfo.sh

5. 然后可以使用 scp来获取数据。