5.4. 使用预置备节点创建 OpenStackDataPlaneNodeSet CR

流程

1. 在工作站上创建一个名为 openstack_preprovisioned_node_set.yaml 的文件，以定义 OpenStackDataPlaneNodeSet CR：

   apiVersion: dataplane.openstack.org/v1beta1
   kind: OpenStackDataPlaneNodeSet
   metadata:
     name: openstack-data-plane
     namespace: openstack
   spec:
     env:
       - name: ANSIBLE_FORCE_COLOR
         value: "True"

   • metadata.name: OpenStackDataPlaneNodeSet CR 名称必须是唯一的，仅包含小写字母数字字符和 - (hyphens)或 . (periods)，并以字母数字字符开头和结尾。将本例中的名称更新为反映集合中节点的名称。

     重要

     您提供的 OpenStackDataPlaneNodeSet CR 名称应该最多有 28 个字符。虽然为 CR 名称分配 63 个字符，但此字符数包括保存后附加到名称的系统标识符。当保存 CR 时，63 个字符限制以上额外字符会被截断，这会导致系统进程出现错误。

   • spec.env ：传递给 pod 的可选环境变量列表。

2. 将数据平面连接到 control plane 网络：

   spec:
     ...
     networkAttachments:
       - ctlplane

3. 指定此集合中的节点是预置备：

     preProvisioned: true

4. 添加您创建的 SSH 密钥 secret，以便 Ansible 连接到 data plane 节点：

     nodeTemplate:
       ansibleSSHPrivateKeySecret: <secret-key>

   • 将 <secret-key > 替换为您在创建 data plane secret 中设置的此节点的 SSH 密钥 Secret CR 的名称，如 dataplane-ansible-ssh-private-key-secret。
5. 在 Red Hat OpenShift Container Platform (RHOCP)集群上的 openstack 命名空间中创建持久性卷声明(PVC)以存储日志。将 volumeMode 设置为 Filesystem，将 accessModes 设置为 ReadWriteOnce。不要为使用 NFS 卷插件的 PersistentVolume (PV)的日志请求存储。NFS 与 FIFO 不兼容，ansible-runner 创建一个 FIFO 文件来存储日志。有关 PVC 的详情，请参考 RHOCP Storage 指南中的 了解持久性存储 和 规划部署 中的 Red Hat OpenShift Container Platform 集群要求。

6. 为 data plane 节点启用持久性日志记录：

     nodeTemplate:
       ...
       extraMounts:
         - extraVolType: Logs
           volumes:
           - name: ansible-logs
             persistentVolumeClaim:
               claimName: <pvc_name>
           mounts:
           - name: ansible-logs
             mountPath: "/runner/artifacts"

   • 将 <pvc_name > 替换为 RHOCP 集群中的 PVC 存储名称。

7. 指定管理网络：

     nodeTemplate:
       ...
       managementNetwork: ctlplane

8. 指定用于提供用户名和密码的 Secret CR，以注册节点的操作系统并启用存储库。以下示例演示了如何将节点注册到 Red Hat Content Delivery Network (CDN)。有关如何在 Red Hat Satellite 6.13 中注册节点的详情，请参阅管理主机。

     nodeTemplate:
       ...
       ansible:
         ansibleUser: cloud-admin
         ansiblePort: 22
         ansibleVarsFrom:
           - secretRef:
               name: subscription-manager
           - secretRef:
               name: redhat-registry
         ansibleVars:
           rhc_release: 9.4
           rhc_repositories:
               - {name: "*", state: disabled}
               - {name: "<repository_name1>", state: enabled}
               - {name: "<repository_name2>", state: enabled}
               - {name: "<repository_name3>", state: enabled}
               - {name: "<repository_name4>", state: enabled}
               - {name: "<repository_name5>", state: enabled}
               - {name: "<repository_name6>", state: enabled}
           edpm_bootstrap_release_version_package: []

   • ansibleuser ：与您在创建数据平面 secret 中创建的 secret 关联的用户。
   • ansibleVars ：自定义节点集合的 Ansible 变量。有关可以使用的 Ansible 变量的列表，请参阅 https://openstack-k8s-operators.github.io/edpm-ansible/。有关红帽客户门户网站注册命令的完整列表，请参阅 https://access.redhat.com/solutions/253273。有关如何登录到 registry.redhat.io 的详情，请参考 https://access.redhat.com/RegistryAuthentication#creating-registry-service-accounts-6。
   • <repository_name1>, <repository_name2&gt; , <repository_name3 &gt ; , <repository_name 4& gt; , < repository_name5 > , <repository_name6 > : 要启用的存储库的名称。如需有关需要哪些软件仓库的更多信息，请参阅 OpenShift 18.0 上 Red Hat OpenStack Services 所需的软件仓库。

9. 添加网络配置模板以应用到您的数据平面节点。以下示例将网络配置应用到 data plane 节点：

     nodeTemplate:
       ...
       ansible:
         ...
         ansibleVars:
           ...
           edpm_network_config_os_net_config_mappings:
             edpm-compute-0:
               nic1: 52:54:04:60:55:22
               nic2: 53:13:10:33:24:61
           neutron_physical_bridge_name: br-ex
           edpm_network_config_nmstate: true
           edpm_network_config_update: false
           edpm_network_config_template: |
             ---
             {% set mtu_list = [ctlplane_mtu] %}
             {% for network in nodeset_networks %}
             {{ mtu_list.append(lookup('vars', networks_lower[network] ~ '_mtu')) }}
             {%- endfor %}
             {% set min_viable_mtu = mtu_list | max %}
             network_config:
             - type: ovs_bridge
               name: {{ neutron_physical_bridge_name }}
               mtu: {{ min_viable_mtu }}
               use_dhcp: false
               dns_servers: {{ ctlplane_dns_nameservers }}
               domain: {{ dns_search_domains }}
               addresses:
               - ip_netmask: {{ ctlplane_ip }}/{{ ctlplane_cidr }}
               routes: {{ ctlplane_host_routes }}
               members:
               - type: linux_bond
                 name: bond0
                 mtu: {{ min_viable_mtu }}
                 bonding_options: "mode=802.3ad lacp_rate=fast updelay=1000 miimon=100 xmit_hash_policy=layer3+4"
                 members:
                 - type: interface
                   name: nic1
                   mtu: {{ min_viable_mtu }}
                   primary: true
                 - type: interface
                   name: nic2
                   mtu: {{ min_viable_mtu }}
             {% for network in nodeset_networks %}
               - type: vlan
                 mtu: {{ lookup('vars', networks_lower[network] ~ '_mtu') }}
                 vlan_id: {{ lookup('vars', networks_lower[network] ~ '_vlan_id') }}
                 addresses:
                 - ip_netmask:
                     {{ lookup('vars', networks_lower[network] ~ '_ip') }}/{{ lookup('vars', networks_lower[network] ~ '_cidr') }}
                 routes: {{ lookup('vars', networks_lower[network] ~ '_host_routes') }}
             {% endfor %}

   • nic1 和 nic2 ：分配给 NIC 的 MAC 地址，用于 Compute 节点上的网络配置。
   • neutron_physical_bridge_name ：要在 Compute 节点上设置的 OVS 网桥的名称。
   • edpm_network_config_nmstate ：将 os-net-config 供应商设置为 nmstate。默认值为 true。只有在 nmstate 供应商的特定限制需要您现在使用 ifcfg 供应商时，才会将其更改为 false。在以后的 nmstate 限制后，ifcfg 供应商将被弃用并删除。在此 RHOSO 发行版本中，不支持使用带有 nmstate 供应商的 RHOSP 17.1 部署。有关 RHOSO nmstate 支持的限制和其他限制，请参阅 https://issues.redhat.com/browse/OSPRH-11309。

   • edpm_network_config_update ：在第一次部署设置节点时，请确保 edpm_network_config_update 变量设置为 false。如果您稍后更新 edpm_network_config_template，则首先将 edpm_network_config_update 设置为 true。完成更新后，将它重置为 false。

     重要

     在 edpm_network_config_template 更新后，您必须将 edpm_network_config_update 重置为 false。否则，节点可能会丢失网络访问。每当 edpm_network_config_update 为 true 时，每次创建 OpenStackDataPlaneDeployment CR 时，都会重新应用更新的网络配置，其中包括作为 servicesOverride 列表成员的 configure-network 服务。

   • dns_servers ：从 IPAM 和 DNS 自动生成，不需要用户输入。
   • 域 ：从 IPAM 和 DNS 自动生成，不需要用户输入。
   • 路由 ：从 IPAM 和 DNS 自动生成，不需要用户输入。
10. 在 nodeTemplate 部分下，添加此组中节点集合的通用配置。此 OpenStackDataPlaneNodeSet 中的每个节点都会继承此配置。有关可用于配置通用节点属性的属性的信息，请参阅 OpenStackDataPlaneNodeSet CR spec 属性。

11. 添加时间同步配置，使节点时间与中央源保持一致。可以在此配置中定义多个 NTP 服务器。时间同步由 chrony 服务提供。以下示例为 nodeset 中使用的所有节点创建一个时间同步配置：

      nodeTemplate:
            ...
        ansible:
            ...
          ansibleVars:
            timesync_ntp_servers:
              - hostname: <ntp_server>
                iburst: <burst_value>

    • 将 <ntp_server > 替换为 NTP 服务器的主机名或 IP 地址。

    • 将 <burst_value& gt; 替换为 true 或 false。这会配置与 NTP 服务器的快速初始同步。默认值为 false。

      注意

      通过在单个节点的 ansibleVars 部分中添加它，在节点一级配置时间同步。

12. 在此节点集中定义每个节点：

      nodes:
        edpm-compute-0:
          hostName: edpm-compute-0
          networks:
          - name: ctlplane
            subnetName: subnet1
            defaultRoute: true
            fixedIP: 192.168.122.100
          - name: internalapi
            subnetName: subnet1
            fixedIP: 172.17.0.100
          - name: storage
            subnetName: subnet1
            fixedIP: 172.18.0.100
          - name: tenant
            subnetName: subnet1
            fixedIP: 172.19.0.100
          ansible:
            ansibleHost: 192.168.122.100
            ansibleUser: cloud-admin
            ansibleVars:
              fqdn_internal_api: edpm-compute-0.example.com
        edpm-compute-1:
          hostName: edpm-compute-1
          networks:
          - name: ctlplane
            subnetName: subnet1
            defaultRoute: true
            fixedIP: 192.168.122.101
          - name: internalapi
            subnetName: subnet1
            fixedIP: 172.17.0.101
          - name: storage
            subnetName: subnet1
            fixedIP: 172.18.0.101
          - name: tenant
            subnetName: subnet1
            fixedIP: 172.19.0.101
          ansible:
            ansibleHost: 192.168.122.101
            ansibleUser: cloud-admin
            ansibleVars:
              fqdn_internal_api: edpm-compute-1.example.com

    • edpm-compute-0 ：节点定义参考，如 edpm-compute-0。节点集中的每个节点都必须有一个节点定义。
    • 网络 ：定义节点的 IPAM 和 DNS 记录。
    • fixedIP: 可选：指定网络的可预测 IP 地址，该地址必须在 NetConfig CR 中为网络定义的分配范围中。
    • networkData ：包含特定于节点的网络配置的 Secret。
    • userData.name ：包含特定于节点的用户数据的 Secret。
    • ansibleHost:覆盖 Ansible 用于连接到节点的主机名或 IP 地址。默认值是为节点或节点定义引用设置的值，如 edpm-compute-0。设置为与预置备节点中配置的 IP 地址相同的 IP 地址。

    • ansibleVars ：用于自定义节点的特定于节点的 Ansible 变量。

      注意
      • 在 nodes 部分中定义的节点可以配置 nodeTemplate 部分中配置的同一 Ansible 变量。其中，为特定节点和 nodeTemplate 部分配置了 Ansible 变量，则特定于节点的值会覆盖 nodeTemplate 部分中的值。
      • 您不需要为节点复制所有 nodeTemplate Ansible 变量，以覆盖默认值并设置一些特定于节点的值。您只需要配置您要为节点覆盖的 Ansible 变量。

      • 许多 ansibleVars 在名称中包含 edpm，它代表 "External Data Plane Management"。

        有关可用于配置节点属性的属性的信息，请参阅 OpenStackDataPlaneNodeSet CR 属性。

13. 保存 openstack_preprovisioned_node_set.yaml 定义文件。

14. 创建 data plane 资源：

    $ oc create --save-config -f openstack_preprovisioned_node_set.yaml -n openstack

验证

1. 通过确认状态为 SetupReady 来验证 data plane 资源是否已创建：

   $ oc wait openstackdataplanenodeset openstack-data-plane --for condition=SetupReady --timeout=10m

   当状态为 SetupReady 时，命令会返回一个 condition met 信息，否则会返回超时错误。

   有关 data plane 条件和状态的详情，请参考 Data plane 条件和状态。

2. 验证是否为节点集合创建了 Secret 资源：

   $ oc get secret | grep openstack-data-plane
   dataplanenodeset-openstack-data-plane Opaque 1 3m50s

3. 验证是否已创建服务：

   $ oc get openstackdataplaneservice -n openstack
   NAME                AGE
   bootstrap           46m
   ceph-client         46m
   ceph-hci-pre        46m
   configure-network   46m
   configure-os        46m
   ...