1.4. 在您自己的基础架构上带有 Kuryr 的 OpenStack 上安装集群

流程

1. 在命令行中添加软件仓库：

   $ sudo subscription-manager register # If not done already
   $ sudo subscription-manager attach --pool=$YOUR_POOLID # If not done already
   $ sudo subscription-manager repos --disable=* # If not done already
   
   $ sudo subscription-manager repos \
     --enable=rhel-8-for-x86_64-baseos-rpms \
     --enable=openstack-16-tools-for-rhel-8-x86_64-rpms \
     --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
     --enable=rhel-8-for-x86_64-appstream-rpms

2. 安装模块：

   $ sudo yum install python3-openstackclient ansible python3-openstacksdk python3-netaddr

3. 确保 python 命令指向 python3:

   $ sudo alternatives --set python /usr/bin/python3

流程

1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号，请使用自己的凭证登录。如果没有，请创建一个帐户。

2. 进入适用于您的安装类型的页面，下载您的操作系统的安装程序，并将文件放在要保存安装配置文件的目录中。。

   重要

   安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。您必须完成针对特定云供应商的 OpenShift Container Platform 卸载流程，才能完全删除您的集群。

3. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar xvf <installation_program>.tar.gz

4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中，下载您的安装 pull secret 的 .txt 文件。通过此 pull secret，您可以进行所含授权机构提供的服务的身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   指定 SSH 密钥的路径和文件名，如 ~/.ssh/id_rsa。不要指定已存在的 SSH 密钥，因为它会被覆盖。

   运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

2. 作为后台任务启动 ssh-agent 进程：

   $ eval "$(ssh-agent -s)"
   
   Agent pid 31874

3. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1
   
   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_rsa

流程

1. 登录到红帽客户门户网站的产品下载页。

2. 在 Version 下，为 Red Hat Enterprise Linux（RHEL）8 选择 OpenShift Container Platform 4.4 的最新发行版本。

   重要

   RHCOS 镜像可能不会随着 OpenShift Container Platform 的每一发行版本都有改变。您必须下载最高版本的镜像，其版本号应小于或等于您安装的 OpenShift Container Platform 版本。如果可用，请使用与 OpenShift Container Platform 版本匹配的镜像版本。

3. 下载 Red Hat Enterprise Linux CoreOS - OpenStack Image (QCOW)。

4. 解压镜像。

   注意

   您必须解压 RHOSP 镜像，然后集群才能使用它。下载的文件名可能不包含压缩扩展名，如 .gz 或 .tgz。要找出是否或者如何压缩文件，请在命令行中输入：

   $ file <name_of_downloaded_file>

5. 从您下载的镜像，使用 RHOSP CLI 在集群中创建名为 rhcos 的镜像：

   $ openstack image create --container-format=bare --disk-format=qcow2 --file rhcos-${RHCOS_VERSION}-openstack.qcow2 rhcos

   重要

   根据您的 RHOSP 环境，可能需要使用 .raw 或 .qcow2 格式下载镜像。如果使用 Ceph，则必须使用 .raw 格式。

   警告

   如果安装程序发现多个同名的镜像，它会随机选择其中之一。为避免这种行为，请在 RHOSP 中为资源创建唯一名称。

流程

1. 使用 RHOSP CLI 验证“外部”网络的名称和 ID：

   $ openstack network list --long -c ID -c Name -c "Router Type"
   
   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     请记住在 auth 字段中添加密码。您也可以把 secret 保存在 clouds.yaml 以外的一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: shiftstack_user
           password: XXX
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: 'devuser'
           password: XXX
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构 (CA) 证书进行端点身份验证：

   1. 将 CA 文件复制到您的机器中。

   2. 在命令行中，运行以下命令将机器添加到 CA 信任捆绑包中：

      $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
      $ sudo update-ca-trust extract

   3. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对路径，则其可以被非根用户访问：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按照以上顺序搜索 clouds.yaml。

流程

1. 创建 install-config.yaml 文件。

   1. 运行以下命令：

      $ ./openshift-install create install-config --dir=<installation_directory> 1

      1

      对于 <installation_directory>，请指定用于保存安装程序所创建的文件的目录名称。

      重要

      指定一个空目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

   2. 在提示符处，提供您的云的配置详情：

      1. 可选：选择用来访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 选择 openstack 作为目标平台。
      3. 指定用于安装集群的 Red Hat OpenStack Platform (RHOSP) 外部网络名称。
      4. 指定用于从外部访问 OpenShift API 的浮动 IP 地址。
      5. 指定至少有 16 GB RAM 用于 control plane 和计算节点的 RHOSP 类别。
      6. 选择集群要部署到的基域。所有 DNS 记录都将是这个基域的子域，并包含集群名称。
      7. 为集群输入一个名称。名称不能多于 14 个字符。
      8. 粘贴从 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中获取的 pull secret。
2. 修改 install-config.yaml 文件。您可以在安装配置参数部分中找到有关可用参数的更多信息。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用此文件，必须现在备份。

流程

1. 为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir=<installation_directory> 1
   
   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

   由于您稍后会在安装过程中自行创建计算机器，因此可以忽略这个警告。

2. 删除定义 control plane 机器的 Kubernetes 清单文件以及计算机器集：

   $ rm -f openshift/99_openshift-cluster-api_master-machines-*.yaml openshift/99_openshift-cluster-api_worker-machineset-*.yaml

   由于您要自行创建和管理这些资源，因此不必初始化这些资源。

   • 您可以使用机器 API 来保留机器集文件来创建计算机器，但您必须更新对其的引用，以匹配您的环境。

3. 修改 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件，以防止在 control plane 机器上调度 Ppd：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并将其值设为 False。
   3. 保存并退出文件。
   注意

   目前，由于 Kubernetes 限制，入口负载均衡器将无法访问在 control plane 机器上运行的路由器 Pod。以后的 OpenShift Container Platform 次要版本中可能不需要这一步骤。

4. 获取 Ignition 配置文件：

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   该目录中将生成以下文件：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

5. 将元数据文件的 infraID 键导出为环境变量：

   $ export INFRA_ID=$(jq -r .infraID metadata.json)

流程

1. 运行以下 Python 脚本。该脚本修改 bootstrap Ignition 文件，以设置主机名，并在运行时设置 CA 证书文件：

   import base64
   import json
   import os
   
   with open('bootstrap.ign', 'r') as f:
       ignition = json.load(f)
   
   files = ignition['storage'].get('files', [])
   
   infra_id = os.environ.get('INFRA_ID', 'openshift').encode()
   hostname_b64 = base64.standard_b64encode(infra_id + b'-bootstrap\n').decode().strip()
   files.append(
   {
       'path': '/etc/hostname',
       'mode': 420,
       'contents': {
           'source': 'data:text/plain;charset=utf-8;base64,' + hostname_b64,
           'verification': {}
       },
       'filesystem': 'root',
   })
   
   ca_cert_path = os.environ.get('OS_CACERT', '')
   if ca_cert_path:
       with open(ca_cert_path, 'r') as f:
           ca_cert = f.read().encode()
           ca_cert_b64 = base64.standard_b64encode(ca_cert).decode().strip()
   
       files.append(
       {
           'path': '/opt/openshift/tls/cloud-ca-cert.pem',
           'mode': 420,
           'contents': {
               'source': 'data:text/plain;charset=utf-8;base64,' + ca_cert_b64,
               'verification': {}
           },
           'filesystem': 'root',
       })
   
   ignition['storage']['files'] = files;
   
   with open('bootstrap.ign', 'w') as f:
       json.dump(ignition, f)

2. 使用 RHOSP CLI，创建使用 bootstrap Ignition 文件的镜像：

   $ openstack image create --disk-format=raw --container-format=bare --file bootstrap.ign <image_name>

3. 获取镜像的详情：

   $ openstack image show <image_name>

   请记录 file 值 ; 它需要遵循 v2/images/<image_ID>/file 格式。

   注意

   验证您创建的镜像是否活跃。

4. 检索镜像服务的公共地址：

   $ openstack catalog show image

5. 将公共地址与镜像的 file 值合并，并在存储位置保存结果。位置遵循 <image_service_public_URL>/v2/images/<image_ID>/file 格式。

6. 生成身份验证令牌并保存令牌 ID:

   $ openstack token issue -c id -f value

7. 将以下内容插入到名为 $INFRA_ID-bootstrap-ignition.json 的文件中，并编辑位置拥有者以匹配您自己的值：

   {
     "ignition": {
       "config": {
         "append": [{
           "source": "<storage_url>", 1
           "verification": {},
           "httpHeaders": [{
             "name": "X-Auth-Token", 2
             "value": "<token_ID>" 3
           }]
         }]
       },
       "security": {
         "tls": {
           "certificateAuthorities": [{
             "source": "data:text/plain;charset=utf-8;base64,<base64_encoded_certificate>", 4
             "verification": {}
           }]
         }
       },
       "timeouts": {},
       "version": "2.4.0"
     },
     "networkd": {},
     "passwd": {},
     "storage": {},
     "systemd": {}
   }

   1

   将 ignition.config.append.source 值替换为 bootstrap Ignition 文件存储 URL。

   2

   在 httpHeaders 中将 name 设置为 "X-Auth-Token"。

   3

   在 httpHeaders 中将 value 设为您的令牌 ID。

   4

   如果 bootstrap Ignition 文件服务器使用自签名证书,请包括以 base64 编码的证书。

8. 保存二级 Ignition 配置文件。

流程

1. 将以下内容插入到名为 common.yaml 的本地文件中：

   例 1.9. common.yaml Ansible playbook

   - hosts: localhost
     gather_facts: no
   
     vars_files:
     - metadata.json
   
     tasks:
     - name: 'Compute resource names'
       set_fact:
         cluster_id_tag: "openshiftClusterID={{ infraID }}"
         os_network: "{{ infraID }}-network"
         os_subnet: "{{ infraID }}-nodes"
         os_router: "{{ infraID }}-external-router"
         # Port names
         os_port_api: "{{ infraID }}-api-port"
         os_port_ingress: "{{ infraID }}-ingress-port"
         os_port_bootstrap: "{{ infraID }}-bootstrap-port"
         os_port_master: "{{ infraID }}-master-port"
         os_port_worker: "{{ infraID }}-worker-port"
         # Security groups names
         os_sg_master: "{{ infraID }}-master"
         os_sg_worker: "{{ infraID }}-worker"
         # Server names
         os_bootstrap_server_name: "{{ infraID }}-bootstrap"
         os_cp_server_name: "{{ infraID }}-master"
         os_compute_server_name: "{{ infraID }}-worker"
         # Trunk names
         os_cp_trunk_name: "{{ infraID }}-master-trunk"
         os_compute_trunk_name: "{{ infraID }}-worker-trunk"
         # Subnet pool name
         subnet_pool: "{{ infraID }}-kuryr-pod-subnetpool"
         # Service network name
         os_svc_network: "{{ infraID }}-kuryr-service-network"
         # Service subnet name
         os_svc_subnet: "{{ infraID }}-kuryr-service-subnet"
         # Ignition files
         os_bootstrap_ignition: "{{ infraID }}-bootstrap-ignition.json"

2. 将以下内容插入到名为 inventory.yaml 的本地文件中：

   例 1.10. inventory.yaml Ansible playbook

   all:
     hosts:
       localhost:
         ansible_connection: local
         ansible_python_interpreter: "{{ansible_playbook_python}}"
   
         # User-provided values
         os_subnet_range: '10.0.0.0/16'
         os_flavor_master: 'm1.xlarge'
         os_flavor_worker: 'm1.large'
         os_image_rhcos: 'rhcos'
         os_external_network: 'external'
         # OpenShift API floating IP address
         os_api_fip: '203.0.113.23'
         # OpenShift Ingress floating IP address
         os_ingress_fip: '203.0.113.19'
         # Service subnet cidr
         svc_subnet_range: '172.30.0.0/16'
         os_svc_network_range: '172.30.0.0/15'
         # Subnet pool prefixes
         cluster_network_cidrs: '10.128.0.0/14'
         # Subnet pool prefix length
         host_prefix: '23'
         # Name of the SDN.
         # Possible values are OpenshiftSDN or Kuryr.
         os_networking_type: 'OpenshiftSDN'
   
         # Number of provisioned Control Plane nodes
         # 3 is the minimum number for a fully-functional cluster.
         os_cp_nodes_number: 3
   
         # Number of provisioned Compute nodes.
         # 3 is the minimum number for a fully-functional cluster.
         os_compute_nodes_number: 3

3. 将以下内容插入到名为 01_security-groups.yaml 的本地文件中

   例 1.11. 01_security-groups.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the master security group'
       os_security_group:
         name: "{{ os_sg_master }}"
   
     - name: 'Set master security group tag'
       command:
         cmd: "openstack security group set --tag {{ cluster_id_tag }} {{ os_sg_master }} "
   
     - name: 'Create the worker security group'
       os_security_group:
         name: "{{ os_sg_worker }}"
   
     - name: 'Set worker security group tag'
       command:
         cmd: "openstack security group set --tag {{ cluster_id_tag }} {{ os_sg_worker }} "
   
     - name: 'Create master-sg rule "ICMP"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: icmp
   
     - name: 'Create master-sg rule "machine config server"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 22623
         port_range_max: 22623
   
     - name: 'Create master-sg rule "SSH"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         port_range_min: 22
         port_range_max: 22
   
     - name: 'Create master-sg rule "DNS (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: tcp
         port_range_min: 53
         port_range_max: 53
   
     - name: 'Create master-sg rule "DNS (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: udp
         port_range_min: 53
         port_range_max: 53
   
     - name: 'Create master-sg rule "mDNS"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         remote_ip_prefix: "{{ os_subnet_range }}"
         protocol: udp
         port_range_min: 5353
         port_range_max: 5353
   
     - name: 'Create master-sg rule "OpenShift API"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         port_range_min: 6443
         port_range_max: 6443
   
     - name: 'Create master-sg rule "VXLAN"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 4789
         port_range_max: 4789
   
     - name: 'Create master-sg rule "Geneve"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6081
         port_range_max: 6081
   
     - name: 'Create master-sg rule "ovndb"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6641
         port_range_max: 6642
   
     - name: 'Create master-sg rule "master ingress internal (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create master-sg rule "master ingress internal (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create master-sg rule "kube scheduler"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10259
         port_range_max: 10259
   
     - name: 'Create master-sg rule "kube controller manager"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10257
         port_range_max: 10257
   
     - name: 'Create master-sg rule "master ingress kubelet secure"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10250
         port_range_max: 10250
   
     - name: 'Create master-sg rule "etcd"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 2379
         port_range_max: 2380
   
     - name: 'Create master-sg rule "master ingress services (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create master-sg rule "master ingress services (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create master-sg rule "VRRP"'
       os_security_group_rule:
         security_group: "{{ os_sg_master }}"
         protocol: '112'
         remote_ip_prefix: "{{ os_subnet_range }}"
   
   
     - name: 'Create worker-sg rule "ICMP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: icmp
   
     - name: 'Create worker-sg rule "SSH"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 22
         port_range_max: 22
   
     - name: 'Create worker-sg rule "mDNS"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 5353
         port_range_max: 5353
   
     - name: 'Create worker-sg rule "Ingress HTTP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 80
         port_range_max: 80
   
     - name: 'Create worker-sg rule "Ingress HTTPS"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         port_range_min: 443
         port_range_max: 443
   
     - name: 'Create worker-sg rule "router"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 1936
         port_range_max: 1936
   
     - name: 'Create worker-sg rule "VXLAN"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 4789
         port_range_max: 4789
   
     - name: 'Create worker-sg rule "Geneve"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 6081
         port_range_max: 6081
   
     - name: 'Create worker-sg rule "worker ingress internal (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create worker-sg rule "worker ingress internal (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 9000
         port_range_max: 9999
   
     - name: 'Create worker-sg rule "worker ingress kubelet insecure"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 10250
         port_range_max: 10250
   
     - name: 'Create worker-sg rule "worker ingress services (TCP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: tcp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create worker-sg rule "worker ingress services (UDP)"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: udp
         remote_ip_prefix: "{{ os_subnet_range }}"
         port_range_min: 30000
         port_range_max: 32767
   
     - name: 'Create worker-sg rule "VRRP"'
       os_security_group_rule:
         security_group: "{{ os_sg_worker }}"
         protocol: '112'
         remote_ip_prefix: "{{ os_subnet_range }}"

4. 将以下内容插入到名为 02_network.yaml 的本地文件中：

   例 1.12. 02_network.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the cluster network'
       os_network:
         name: "{{ os_network }}"
   
     - name: 'Set the cluster network tag'
       command:
         cmd: "openstack network set --tag {{ cluster_id_tag }} {{ os_network }}"
   
     - name: 'Create a subnet'
       os_subnet:
         name: "{{ os_subnet }}"
         network_name: "{{ os_network }}"
         cidr: "{{ os_subnet_range }}"
         allocation_pool_start: "{{ os_subnet_range | next_nth_usable(10) }}"
         allocation_pool_end: "{{ os_subnet_range | ipaddr('last_usable') }}"
   
     - name: 'Set the cluster subnet tag'
       command:
         cmd: "openstack subnet set --tag {{ cluster_id_tag }} {{ os_subnet }}"
   
     - name: 'Create the service network'
       os_network:
         name: "{{ os_svc_network }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Set the service network tag'
       command:
         cmd: "openstack network set --tag {{ cluster_id_tag }} {{ os_svc_network }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Computing facts for service subnet'
       set_fact:
         first_ip_svc_subnet_range: "{{ svc_subnet_range | ipv4('network') }}"
         last_ip_svc_subnet_range: "{{ svc_subnet_range | ipaddr('last_usable') |ipmath(1) }}"
         first_ip_os_svc_network_range: "{{ os_svc_network_range | ipv4('network') }}"
         last_ip_os_svc_network_range: "{{ os_svc_network_range | ipaddr('last_usable') |ipmath(1) }}"
         allocation_pool: ""
       when: os_networking_type == "Kuryr"
   
     - name: 'Get first part of OpenStack network'
       set_fact:
         allocation_pool: "{{ allocation_pool + '--allocation-pool start={{ first_ip_os_svc_network_range | ipmath(1) }},end={{ first_ip_svc_subnet_range |ipmath(-1) }}' }}"
       when:
       - os_networking_type == "Kuryr"
       - first_ip_svc_subnet_range != first_ip_os_svc_network_range
   
     - name: 'Get last part of OpenStack network'
       set_fact:
         allocation_pool: "{{ allocation_pool + ' --allocation-pool start={{ last_ip_svc_subnet_range | ipmath(1) }},end={{ last_ip_os_svc_network_range |ipmath(-1) }}' }}"
       when:
       - os_networking_type == "Kuryr"
       - last_ip_svc_subnet_range != last_ip_os_svc_network_range
   
     - name: 'Get end of allocation'
       set_fact:
         gateway_ip: "{{ allocation_pool.split('=')[-1] }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'replace last IP'
       set_fact:
         allocation_pool: "{{ allocation_pool | replace(gateway_ip, gateway_ip | ipmath(-1))}}"
       when: os_networking_type == "Kuryr"
   
     - name: 'list service subnet'
       command:
         cmd: "openstack subnet list --name {{ os_svc_subnet }} --tag {{ cluster_id_tag }}"
       when: os_networking_type == "Kuryr"
       register: svc_subnet
   
     - name: 'Create the service subnet'
       command:
         cmd: "openstack subnet create --ip-version 4 --gateway {{ gateway_ip }} --subnet-range {{ os_svc_network_range }} {{ allocation_pool }} --no-dhcp --network {{ os_svc_network }} --tag {{ cluster_id_tag }} {{ os_svc_subnet }}"
       when:
       - os_networking_type == "Kuryr"
       - svc_subnet.stdout == ""
   
     - name: 'list subnet pool'
       command:
         cmd: "openstack subnet pool list --name {{ subnet_pool }} --tags {{ cluster_id_tag }}"
       when: os_networking_type == "Kuryr"
       register: pods_subnet_pool
   
     - name: 'Create pods subnet pool'
       command:
         cmd: "openstack subnet pool create --default-prefix-length {{ host_prefix }} --pool-prefix {{ cluster_network_cidrs }} --tag {{ cluster_id_tag }} {{ subnet_pool }}"
       when:
       - os_networking_type == "Kuryr"
       - pods_subnet_pool.stdout == ""
   
     - name: 'Create external router'
       os_router:
         name: "{{ os_router }}"
         network: "{{ os_external_network }}"
         interfaces:
         - "{{ os_subnet }}"
   
     - name: 'Set external router tag'
       command:
         cmd: "openstack router set --tag {{ cluster_id_tag }} {{ os_router }}"
       when: os_networking_type == "Kuryr"
   
     - name: 'Create the API port'
       os_port:
         name: "{{ os_port_api }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         fixed_ips:
         - subnet: "{{ os_subnet }}"
           ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
   
     - name: 'Set API port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_api }}"
   
     - name: 'Create the Ingress port'
       os_port:
         name: "{{ os_port_ingress }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         fixed_ips:
         - subnet: "{{ os_subnet }}"
           ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
   
     - name: 'Set the Ingress port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_ingress }}"
   
     # NOTE: openstack ansible module doesn't allow attaching Floating IPs to
     # ports, let's use the CLI instead
     - name: 'Attach the API floating IP to API port'
       command:
         cmd: "openstack floating ip set --port {{ os_port_api }} {{ os_api_fip }}"
   
     # NOTE: openstack ansible module doesn't allow attaching Floating IPs to
     # ports, let's use the CLI instead
     - name: 'Attach the Ingress floating IP to Ingress port'
       command:
         cmd: "openstack floating ip set --port {{ os_port_ingress }} {{ os_ingress_fip }}"

5. 在命令行中，通过运行第一个数字的 playbook 来创建安全组：

   $ ansible-playbook -i inventory.yaml 01_security-groups.yaml

6. 在命令行上，通过运行第二个数字的 playbook 来创建一个网络、子网和路由器：

   $ ansible-playbook -i inventory.yaml 02_network.yaml

7. 可选：如果要控制 Nova 服务器使用的默认解析程序，请运行 RHOSP CLI 命令：

   $ openstack subnet set --dns-nameserver <server_1> --dns-nameserver <server_2> "$INFRA_ID-nodes"

流程

1. 在命令行中，将工作目录改为 inventory.yaml 和 common.yaml 文件的位置。

2. 将以下内容插入到名为 03_bootstrap.yaml 的本地文件中：

   例 1.13. 03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(6) }}"
   
     - name: 'Set bootstrap port tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ os_port_bootstrap }}"
   
     - name: 'Create the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_master }}"
         userdata: "{{ lookup('file', os_bootstrap_ignition) | string }}"
         auto_ip: no
         nics:
         - port-name: "{{ os_port_bootstrap }}"
   
     - name: 'Create the bootstrap floating IP'
       os_floating_ip:
         state: present
         network: "{{ os_external_network }}"
         server: "{{ os_bootstrap_server_name }}"

3. 在命令行中运行 playbook:

   $ ansible-playbook -i inventory.yaml 03_bootstrap.yaml

4. bootstrap 服务器可用后，查看日志以验证是否收到 Ignition 文件：

   $ openstack console log show "$INFRA_ID-bootstrap"

流程

1. 在命令行中，将工作目录改为 inventory.yaml 和 common.yaml 文件的位置。
2. 如果 control plane Ignition 配置文件尚未位于工作目录中，将其复制到其中。

3. 将以下内容插入到名为 04_control-plane.yaml 的本地文件中：

   例 1.14. 04_control-plane.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the Control Plane ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_master }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(5) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(6) }}"
         - ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"
       register: ports
   
     - name: 'Set Control Plane ports tag'
       command:
         cmd: "openstack port set --tag {{ cluster_id_tag }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_master] * os_cp_nodes_number }}"
   
     - name: 'List the Control Plane Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: control_plane_trunks
   
     - name: 'Create the Control Plane trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_cp_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_cp_trunk_name|string not in control_plane_trunks.stdout"
   
     - name: 'Create the Control Plane servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_master }}"
         auto_ip: no
         # The ignition filename will be concatenated with the Control Plane node
         # name and its 0-indexed serial number.
         # In this case, the first node will look for this filename:
         #    "{{ infraID }}-master-0-ignition.json"
         userdata: "{{ lookup('file', [item.1, item.0, 'ignition.json'] | join('-')) | string }}"
         nics:
         - port-name: "{{ os_port_master }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_cp_server_name] * os_cp_nodes_number }}"

4. 在命令行中运行 playbook:

   $ ansible-playbook -i inventory.yaml 04_control-plane.yaml

5. 运行以下命令来监控 bootstrap 过程：

   $ openshift-install wait-for bootstrap-complete

   您会看到确认 control plane 机器正在运行并加入集群的消息：

   INFO API v1.14.6+f9b5405 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   ...
   INFO It is now safe to remove the bootstrap resources

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami
   system:admin

流程

1. 将以下内容插入到名为 down-03_bootstrap.yaml 的本地文件中：

   例 1.15. down-03_bootstrap.yaml

   # Required Python packages:
   #
   # ansible
   # openstacksdk
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Remove the bootstrap server'
       os_server:
         name: "{{ os_bootstrap_server_name }}"
         state: absent
         delete_fip: yes
   
     - name: 'Remove the bootstrap server port'
       os_port:
         name: "{{ os_port_bootstrap }}"
         state: absent

2. 在命令行中运行 playbook:

   $ ansible-playbook -i inventory.yaml down-03_bootstrap.yaml

流程

1. 在命令行中，将工作目录改为 inventory.yaml 和 common.yaml 文件的位置。

2. 将以下内容插入到名为 05_compute-nodes.yaml 的本地文件中：

   例 1.16. 05_compute-nodes.yaml

   # Required Python packages:
   #
   # ansible
   # openstackclient
   # openstacksdk
   # netaddr
   
   - import_playbook: common.yaml
   
   - hosts: all
     gather_facts: no
   
     tasks:
     - name: 'Create the Compute ports'
       os_port:
         name: "{{ item.1 }}-{{ item.0 }}"
         network: "{{ os_network }}"
         security_groups:
         - "{{ os_sg_worker }}"
         allowed_address_pairs:
         - ip_address: "{{ os_subnet_range | next_nth_usable(7) }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
       register: ports
   
     - name: 'Set Compute ports tag'
       command:
         cmd: "openstack port set --tag {{ [cluster_id_tag] }} {{ item.1 }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_port_worker] * os_compute_nodes_number }}"
   
     - name: 'List the Compute Trunks'
       command:
         cmd: "openstack network trunk list"
       when: os_networking_type == "Kuryr"
       register: compute_trunks
   
     - name: 'Create the Compute trunks'
       command:
         cmd: "openstack network trunk create --parent-port {{ item.1.id }} {{ os_compute_trunk_name }}-{{ item.0 }}"
       with_indexed_items: "{{ ports.results }}"
       when:
       - os_networking_type == "Kuryr"
       - "os_compute_trunk_name|string not in compute_trunks.stdout"
   
     - name: 'Create the Compute servers'
       os_server:
         name: "{{ item.1 }}-{{ item.0 }}"
         image: "{{ os_image_rhcos }}"
         flavor: "{{ os_flavor_worker }}"
         auto_ip: no
         userdata: "{{ lookup('file', 'worker.ign') | string }}"
         nics:
         - port-name: "{{ os_port_worker }}-{{ item.0 }}"
       with_indexed_items: "{{ [os_compute_server_name] * os_compute_nodes_number }}"

3. 在命令行中运行 playbook:

   $ ansible-playbook -i inventory.yaml 05_compute-nodes.yaml

流程

1. 确认集群可以识别这些机器：

   # oc get nodes
   
   NAME                    STATUS   ROLES    AGE   VERSION
   master-01.example.com   Ready    master   40d   v1.17.1
   master-02.example.com   Ready    master   40d   v1.17.1
   master-03.example.com   Ready    master   40d   v1.17.1
   worker-01.example.com   Ready    worker   40d   v1.17.1
   worker-02.example.com   Ready    worker   40d   v1.17.1

   输出将列出您创建的所有机器。

2. 检查待处理的 CSR，并确保可以看到添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr
   
   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入了集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准初始 CSR 后，集群的 kube-controller-manager 会自动批准后续的节点客户端 CSR。您必须实施一个方法来自动批准 kubelet 提供的证书请求。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，器将处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.20.0
   master-1  Ready     master  73m  v1.20.0
   master-2  Ready     master  74m  v1.20.0
   worker-0  Ready     worker  11m  v1.20.0
   worker-1  Ready     worker  11m  v1.20.0

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器转换为 Ready 状态。

1. 显示端口：

   $ openstack port show <cluster name>-<clusterID>-ingress-port

2. 将端口附加到 IP 地址：

   $ openstack floating ip set --port <ingress port ID> <apps FIP>

3. 在您的 DNS 文件中，为 *apps. 添加一条通配符 A 记录。

   *.apps.<cluster name>.<base domain>  IN  A  <apps FIP>