spine Leaf Networking

流程

1. 以 stack 用户的身份登录 undercloud。

2. 如果您还没有 undercloud.conf，请复制示例模板文件：

   [stack@director ~]$ cp /usr/share/instack-undercloud/undercloud.conf.sample ~/undercloud.conf

   Copy to Clipboard Toggle word wrap
3. 编辑 undercloud.conf。

4. 在 [DEFAULT] 部分中：

   1. 将 local_ip 设置为 leaf0 上的 undercloud IP：

      local_ip = 192.168.10.1/24

      Copy to Clipboard Toggle word wrap

   2. 将 undercloud_public_vip 设置为 undercloud 的外 IP 地址：

      undercloud_public_vip = 10.1.1.1

      Copy to Clipboard Toggle word wrap

   3. 将 undercloud_admin_vip 设置为 undercloud 的管理 IP 地址。这个 IP 地址通常位于 leaf0 中：

      undercloud_admin_vip = 192.168.10.2

      Copy to Clipboard Toggle word wrap

   4. 将 local_interface 设置为为本地网络桥接的接口：

      local_interface = eth1

      Copy to Clipboard Toggle word wrap

   5. 将 enable_routed_networks 设置为 true ：

      enable_routed_networks = true

      Copy to Clipboard Toggle word wrap

   6. 使用 subnets 参数定义子网列表。在路由的 spine 和 leafe 中为每个第 2 层段定义一个子网：

      subnets = leaf0,leaf1,leaf2

      Copy to Clipboard Toggle word wrap

   7. 使用 local_subnet 参数指定与物理层 2 段本地关联的子网：

      local_subnet = leaf0

      Copy to Clipboard Toggle word wrap

5. 为每个使用 subnets 参数定义的子网创建一个新部分：

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   [leaf1]
   cidr = 192.168.11.0/24
   dhcp_start = 192.168.11.10
   dhcp_end = 192.168.11.90
   inspection_iprange = 192.168.11.100,192.168.11.190
   gateway = 192.168.11.1
   masquerade = False
   
   [leaf2]
   cidr = 192.168.12.0/24
   dhcp_start = 192.168.12.10
   dhcp_end = 192.168.12.90
   inspection_iprange = 192.168.12.100,192.168.12.190
   gateway = 192.168.12.1
   masquerade = False

   Copy to Clipboard Toggle word wrap
6. 保存 undercloud.conf 文件。

7. 运行 undercloud 安装命令：

   [stack@director ~]$ openstack undercloud install

   Copy to Clipboard Toggle word wrap

流程

1. Source stackrc 文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

2. 为每个自定义角色创建类别：

   $ ROLES="control0 compute_leaf0 compute_leaf1 compute_leaf2 ceph-storage_leaf0 ceph-storage_leaf1 ceph-storage_leaf2"
   $ for ROLE in $ROLES; do openstack flavor create --id auto --ram 4096 --disk 40 --vcpus 1 $ROLE ; done
   $ for ROLE in $ROLES; do openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="$ROLE" $ROLE ; done

   Copy to Clipboard Toggle word wrap

3. 将节点标记为其对应的 leaf network。例如，运行以下命令，将具有 UUID 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13 的节点标记到 Leaf2 上的计算角色：

   $ openstack baremetal node set --property capabilities='profile:compute_leaf2,boot_option:local' 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13

   Copy to Clipboard Toggle word wrap

4. 创建一个环境文件(~/templates/node-data.yaml)，其中包含类别到角色的映射：

   parameter_defaults:
     OvercloudController0Flavor: control0
     Controller0Count: 3
     OvercloudCompute0Flavor: compute_leaf0
     Compute0Count: 3
     OvercloudCompute1Flavor: compute_leaf1
     Compute1Count: 3
     OvercloudCompute2Flavor: compute_leaf2
     Compute2Count: 3
     OvercloudCephStorage0Flavor: ceph-storage_leaf0
     CephStorage0Count: 3
     OvercloudCephStorage1Flavor: ceph-storage_leaf1
     CephStorage1Count: 3
     OvercloudCephStorage2Flavor: ceph-storage_leaf2
     CephStorage2Count: 3

   Copy to Clipboard Toggle word wrap

   您还可以使用每个对应的 *Count' 参数设置要在 overcloud 中部署的节点数量。

流程

1. Source stackrc 文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

2. 检查裸机节点：

   $ openstack baremetal node list

   Copy to Clipboard Toggle word wrap

3. 确保裸机节点是 注册 或 manageable 状态。如果裸机节点不在这些状态之一，则用于在 baremetal 端口上设置 physical_network 属性的命令将失败。要将所有节点设置为 manageable 状态，请运行以下命令：

   $ for node in $(openstack baremetal node list -f value -c Name); do openstack baremetal node manage $node --wait; done

   Copy to Clipboard Toggle word wrap

4. 检查哪些裸机端口与哪个裸机恢复节点关联。例如：

   $ openstack baremetal port list --node <node-uuid>

   Copy to Clipboard Toggle word wrap

5. 为端口设置 physical-network 参数。在以下示例中，在配置中定义三个子网： leaf0、leaf 1 和 leaf2。local_subnet 是 leaf0。由于 local_subnet 的物理网络始终为 ctlplane，因此连接到 leaf0 的 baremetal 端口使用 ctlplane。其余端口使用其他 leaf 名称：

   $ openstack baremetal port set --physical-network ctlplane <port-uuid>
   $ openstack baremetal port set --physical-network leaf1 <port-uuid>
   $ openstack baremetal port set --physical-network leaf2 <port-uuid>
   $ openstack baremetal port set --physical-network leaf2 <port-uuid>

   Copy to Clipboard Toggle word wrap

6. 在部署 overcloud 前，确保节点处于 available 状态：

   $ openstack overcloud node provide --all-manageable

   Copy to Clipboard Toggle word wrap

流程

1. 在 stack 用户的本地目录中创建一个新的 network_data_spine_leaf.yaml 文件。使用默认 network_data 文件：

   $ cp /usr/share/openstack-tripleo-heat-templates/network_data.yaml /home/stack/network_data_spine_leaf.yaml

   Copy to Clipboard Toggle word wrap

2. 在 network_data_spine_leaf.yaml 文件中，创建一个 YAML 列表，用于将每个网络和 leaf 网络定义为可组合网络项。例如，内部 API 网络及其 leaf 网络使用以下语法定义：

   # Internal API
   - name: InternalApi
     name_lower: internal_api
     vip: true
     ip_subnet: '172.18.0.0/24'
     allocation_pools: [{'start': '172.18.0.4', 'end': '172.18.0.250'}]
   - name: InternalApi1
     name_lower: internal_api1
     vip: false
     ip_subnet: '172.18.1.0/24'
     allocation_pools: [{'start': '172.18.1.4', 'end': '172.18.1.250'}]
   - name: InternalApi2
     name_lower: internal_api2
     vip: false
     ip_subnet: '172.18.2.0/24'
     allocation_pools: [{'start': '172.18.2.4', 'end': '172.18.2.250'}]

   Copy to Clipboard Toggle word wrap

流程

1. 在 stack 用户本地目录中创建 自定义角色 director：

   $ mkdir ~/roles

   Copy to Clipboard Toggle word wrap

2. 将默认 Controller、Compute 和 Ceph Storage 角色从 director 的核心模板集合复制到 ~/roles 目录。重命名 Leaf 1 的文件：

   $ cp /usr/share/openstack-tripleo-heat-templates/roles/Controller.yaml ~/roles/Controller.yaml
   $ cp /usr/share/openstack-tripleo-heat-templates/roles/Compute.yaml ~/roles/Compute1.yaml
   $ cp /usr/share/openstack-tripleo-heat-templates/roles/CephStorage.yaml ~/roles/CephStorage1.yaml

   Copy to Clipboard Toggle word wrap

3. 编辑 Compute1.yaml 文件：

   $ vi ~/roles/Compute1.yaml

   Copy to Clipboard Toggle word wrap

4. 编辑此文件中 的名称、网络 和 HostnameFormatDefault 参数，以便它们与 Leaf 1 特定参数一致。例如：

   - name: Compute1
     ...
     networks:
       - InternalApi1
       - Tenant1
       - Storage1
     HostnameFormatDefault: '%stackname%-compute1-%index%'

   Copy to Clipboard Toggle word wrap

   保存这个文件。

5. 编辑 CephStorage1.yaml 文件：

   $ vi ~/roles/CephStorage1.yaml

   Copy to Clipboard Toggle word wrap

6. 编辑此文件中的 名称和 网络参数，以便它们与 Leaf 1 特定参数一致。另外，添加 HostnameFormatDefault 参数，再定义 Ceph Storage 节点的 Leaf 1 主机名。例如：

   - name: CephStorage1
     ...
     networks:
       - Storage1
       - StorageMgmt1
     HostnameFormatDefault: '%stackname%-cephstorage1-%index%'

   Copy to Clipboard Toggle word wrap

   保存这个文件。

7. 复制 Leaf 1 Compute 和 Ceph Storage 文件，作为您的 Leaf 2 和 Leaf 3 文件的基础：

   $ cp ~/roles/Compute1.yaml ~/roles/Compute2.yaml
   $ cp ~/roles/Compute1.yaml ~/roles/Compute3.yaml
   $ cp ~/roles/CephStorage1.yaml ~/roles/CephStorage2.yaml
   $ cp ~/roles/CephStorage1.yaml ~/roles/CephStorage3.yaml

   Copy to Clipboard Toggle word wrap

8. 编辑 Leaf 2 和 Leaf 3 文件中的 名称、network 和 HostnameFormatDefault 参数，以便它们与对应的 Leaf 网络参数一致。例如，Leaf 2 Compute 文件中的参数具有以下值：

   - name: Compute2
     ...
     networks:
       - InternalApi2
       - Tenant2
       - Storage2
     HostnameFormatDefault: '%stackname%-compute2-%index%'

   Copy to Clipboard Toggle word wrap

   Leaf 2 Ceph Storage 参数具有以下值：

   - name: CephStorage2
     ...
     networks:
       - Storage2
       - StorageMgmt2
     HostnameFormatDefault: '%stackname%-cephstorage2-%index%'

   Copy to Clipboard Toggle word wrap

9. 当角色就绪时，使用以下命令生成完整角色数据文件：

   $ openstack overcloud roles generate --roles-path ~/roles -o roles_data_spine_leaf.yaml Controller Compute1 Compute2 Compute3 CephStorage1 CephStorage2 CephStorage3

   Copy to Clipboard Toggle word wrap

   这会创建一个完整的 roles_data_spine_leaf.yaml 文件，其中包含每个对应 leaf 网络的所有自定义角色。

流程

1. 进入核心 Heat 模板目录：

   $ cd /usr/share/openstack-tripleo-heat-templates

   Copy to Clipboard Toggle word wrap

2. 使用 tools/process-templates.py 脚本、自定义 network_data 文件和自定义 roles_data 文件呈现 Jinja2 模板：

   $ tools/process-templates.py -n /home/stack/network_data_spine_leaf.yaml \
       -r /home/stack/roles_data_spine_leaf.yaml \
       -o /home/stack/openstack-tripleo-heat-templates-spine-leaf

   Copy to Clipboard Toggle word wrap

3. 进入主目录：

   $ cd /home/stack

   Copy to Clipboard Toggle word wrap

4. 复制其中一个默认 NIC 模板的内容，以用作自旋模板的基础。例如，复制 single-nic-vlans ：

   $ cp -r openstack-tripleo-heat-templates-spine-leaf/network/config/single-nic-vlans/* \
       /home/stack/templates/spine-leaf-nics/.

   Copy to Clipboard Toggle word wrap

5. 删除渲染的模板目录：

   $ rm -rf openstack-tripleo-heat-templates-spine-leaf

   Copy to Clipboard Toggle word wrap

流程

1. 进入您的自定义 NIC 目录：

   $ cd ~/templates/spine-leaf-nics/

   Copy to Clipboard Toggle word wrap
2. 编辑 controller0.yaml 的模板。

3. 滚动到 parameters 部分中的 ControlPlaneSubnetCidr 和 ControlPlaneDefaultRoute 参数。这些参数类似于以下片断：

     ControlPlaneSubnetCidr: # Override this via parameter_defaults
       default: '24'
       description: The subnet CIDR of the control plane network.
       type: string
     ControlPlaneDefaultRoute: # Override this via parameter_defaults
       description: The default route of the control plane network.
       type: string

   Copy to Clipboard Toggle word wrap

   修改这些参数以适合 Leaf0：

     ControlPlane0SubnetCidr: # Override this via parameter_defaults
       default: '24'
       description: The subnet CIDR of the control plane network.
       type: string
     ControlPlane0DefaultRoute: # Override this via parameter_defaults
       description: The default route of the control plane network.
       type: string

   Copy to Clipboard Toggle word wrap

4. 滚动到 parameters 部分中的 EC2MetadataIp 参数。这个参数类似以下片断：

     EC2MetadataIp: # Override this via parameter_defaults
       description: The IP address of the EC2 metadata server.
       type: string

   Copy to Clipboard Toggle word wrap

   修改此参数以适合 Leaf0：

     Leaf0EC2MetadataIp: # Override this via parameter_defaults
       description: The IP address of the EC2 metadata server.
       type: string

   Copy to Clipboard Toggle word wrap

5. 滚动到网络配置部分。本节类似以下示例：

   resources:
     OsNetConfigImpl:
       type: OS::Heat::SoftwareConfig
       properties:
         group: script
         config:
           str_replace:
             template:
               get_file: ../../scripts/run-os-net-config.sh
             params:
               $network_config:
                 network_config:

   Copy to Clipboard Toggle word wrap

   将脚本的位置改为绝对路径：

   resources:
     OsNetConfigImpl:
       type: OS::Heat::SoftwareConfig
       properties:
         group: script
         config:
           str_replace:
             template:
               get_file: /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh
             params:
               $network_config:
                 network_config:

   Copy to Clipboard Toggle word wrap

6. 在 network_config 部分，定义 control plane / provisioning 接口。例如：

                 network_config:
                 - type: ovs_bridge
                   name: bridge_name
                   use_dhcp: false
                   dns_servers:
                     get_param: DnsServers
                   addresses:
                   - ip_netmask:
                       list_join:
                       - /
                       - - get_param: ControlPlaneIp
                         - get_param: ControlPlane0SubnetCidr
                   routes:
                   - ip_netmask: 169.254.169.254/32
                     next_hop:
                       get_param: Leaf0EC2MetadataIp
                   - ip_netmask: 192.168.10.0/24
                     next_hop:
                       get_param: ControlPlane0DefaultRoute

   Copy to Clipboard Toggle word wrap

   请注意，本例中使用的参数特定于 Leaf0: ControlPlane0SubnetCidr、Leaf0EC2MetadataIp 和 ControlPlane0DefaultRoute。还请注意，在 provisioning 网络(192.168.10.0/24)上用于 Leaf0 的 CIDR，它用作路由。

7. members 部分中的每个 VLAN 包含相关的 Leaf0 参数。例如，存储网络 VLAN 信息应类似于以下代码片段：

                   - type: vlan
                     vlan_id:
                       get_param: Storage0NetworkVlanID
                     addresses:
                     - ip_netmask:
                         get_param: Storage0IpSubnet

   Copy to Clipboard Toggle word wrap

   添加一个部分来为路由定义参数。这包括 supernet 路由（本例中为StorageSupernet ）和 leaf default 路由（本例中为Storage0InterfaceDefaultRoute ）：

                   - type: vlan
                     vlan_id:
                       get_param: Storage0NetworkVlanID
                     addresses:
                     - ip_netmask:
                         get_param: Storage0IpSubnet
                     routes:
                     - ip_netmask:
                         get_param: StorageSupernet
                       next_hop:
                         get_param: Storage0InterfaceDefaultRoute

   Copy to Clipboard Toggle word wrap

   为以下 Controller 网络添加 VLAN 结构的路由： 存储、StorageMgmt、InternalApi 和 Tenant。

8. 保存这个文件。

流程

1. 进入您的自定义 NIC 目录：

   $ cd ~/templates/spine-leaf-nics/

   Copy to Clipboard Toggle word wrap
2. 编辑 compute0.yaml 的模板。

3. 滚动到 parameters 部分中的 ControlPlaneSubnetCidr 和 ControlPlaneDefaultRoute 参数。这些参数类似于以下片断：

     ControlPlaneSubnetCidr: # Override this via parameter_defaults
       default: '24'
       description: The subnet CIDR of the control plane network.
       type: string
     ControlPlaneDefaultRoute: # Override this via parameter_defaults
       description: The default route of the control plane network.
       type: string

   Copy to Clipboard Toggle word wrap

   修改这些参数以适合 Leaf0：

     ControlPlane0SubnetCidr: # Override this via parameter_defaults
       default: '24'
       description: The subnet CIDR of the control plane network.
       type: string
     ControlPlane0DefaultRoute: # Override this via parameter_defaults
       description: The default route of the control plane network.
       type: string

   Copy to Clipboard Toggle word wrap

4. 滚动到 parameters 部分中的 EC2MetadataIp 参数。这个参数类似以下片断：

     EC2MetadataIp: # Override this via parameter_defaults
       description: The IP address of the EC2 metadata server.
       type: string

   Copy to Clipboard Toggle word wrap

   修改此参数以适合 Leaf0：

     Leaf0EC2MetadataIp: # Override this via parameter_defaults
       description: The IP address of the EC2 metadata server.
       type: string

   Copy to Clipboard Toggle word wrap

5. 滚动到网络配置部分。本节类似以下片断：

   resources:
     OsNetConfigImpl:
       type: OS::Heat::SoftwareConfig
       properties:
         group: script
         config:
           str_replace:
             template:
               get_file: ../../scripts/run-os-net-config.sh
             params:
               $network_config:
                 network_config:

   Copy to Clipboard Toggle word wrap

   将脚本的位置改为绝对路径：

   resources:
     OsNetConfigImpl:
       type: OS::Heat::SoftwareConfig
       properties:
         group: script
         config:
           str_replace:
             template:
               get_file: /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh
             params:
               $network_config:
                 network_config:

   Copy to Clipboard Toggle word wrap

6. 在 network_config 部分，定义 control plane / provisioning 接口。例如：

                 network_config:
                 - type: interface
                   name: nic1
                   use_dhcp: false
                   dns_servers:
                     get_param: DnsServers
                   addresses:
                   - ip_netmask:
                       list_join:
                       - /
                       - - get_param: ControlPlaneIp
                         - get_param: ControlPlane0SubnetCidr
                   routes:
                   - ip_netmask: 169.254.169.254/32
                     next_hop:
                       get_param: Leaf0EC2MetadataIp
                   - ip_netmask: 192.168.10.0/24
                     next_hop:
                       get_param: ControlPlane0DefaultRoute

   Copy to Clipboard Toggle word wrap

   请注意，本例中使用的参数特定于 Leaf0: ControlPlane0SubnetCidr、Leaf0EC2MetadataIp 和 ControlPlane0DefaultRoute。还请注意，在 provisioning 网络(192.168.10.0/24)上用于 Leaf0 的 CIDR，它用作路由。

7. members 部分中的每个 VLAN 应包含相关的 Leaf0 参数。例如，存储网络 VLAN 信息应类似于以下代码片段：

                   - type: vlan
                     vlan_id:
                       get_param: Storage0NetworkVlanID
                     addresses:
                     - ip_netmask:
                         get_param: Storage0IpSubnet

   Copy to Clipboard Toggle word wrap

   添加一个部分来为路由定义参数。这包括 supernet 路由（本例中为StorageSupernet ）和 leaf default 路由（本例中为Storage0InterfaceDefaultRoute ）：

                   - type: vlan
                     vlan_id:
                       get_param: Storage0NetworkVlanID
                     addresses:
                     - ip_netmask:
                         get_param: Storage0IpSubnet
                     routes:
                     - ip_netmask:
                         get_param: StorageSupernet
                       next_hop:
                         get_param: Storage0InterfaceDefaultRoute

   Copy to Clipboard Toggle word wrap

   为以下控制器网络添加 VLAN 结构： 存储、InternalApi 和 Tenant。

8. 保存这个文件。

9. 编辑 compute1.yaml 并执行相同的步骤。以下是更改列表：

   • 将 ControlPlaneSubnetCidr 更改为 ControlPlane1SubnetCidr。
   • 将 ControlPlaneDefaultRoute 更改为 ControlPlane1DefaultRoute。
   • 将 EC2MetadataIp 更改为 Leaf1EC2MetadataIp。
   • 将网络配置脚本从 ../. /scripts/run-os-net-config.sh 改为 /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh。
   • 修改 control plane / provisioning 接口以使用 Leaf1 参数。
   • 修改每个 VLAN，使其包含 Leaf1 路由。

   完成后保存这个文件。

10. 编辑 compute2.yaml 并执行相同的步骤。以下是更改列表：

    • 将 ControlPlaneSubnetCidr 更改为 ControlPlane2SubnetCidr。
    • 将 ControlPlaneDefaultRoute 更改为 ControlPlane2DefaultRoute。
    • 将 EC2MetadataIp 更改为 Leaf2EC2MetadataIp。
    • 将网络配置脚本从 ../. /scripts/run-os-net-config.sh 改为 /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh。
    • 修改 control plane / provisioning 接口，以使用 Leaf2 参数。
    • 修改每个 VLAN，使其包含 Leaf2 路由。

    完成后保存这个文件。

流程

1. 进入您的自定义 NIC 目录：

   $ cd ~/templates/spine-leaf-nics/

   Copy to Clipboard Toggle word wrap

2. 滚动到 parameters 部分中的 ControlPlaneSubnetCidr 和 ControlPlaneDefaultRoute 参数。这些参数类似于以下片断：

     ControlPlaneSubnetCidr: # Override this via parameter_defaults
       default: '24'
       description: The subnet CIDR of the control plane network.
       type: string
     ControlPlaneDefaultRoute: # Override this via parameter_defaults
       description: The default route of the control plane network.
       type: string

   Copy to Clipboard Toggle word wrap

   修改这些参数以适合 Leaf0：

     ControlPlane0SubnetCidr: # Override this via parameter_defaults
       default: '24'
       description: The subnet CIDR of the control plane network.
       type: string
     ControlPlane0DefaultRoute: # Override this via parameter_defaults
       description: The default route of the control plane network.
       type: string

   Copy to Clipboard Toggle word wrap

3. 滚动到 parameters 部分中的 EC2MetadataIp 参数。这个参数类似以下片断：

     EC2MetadataIp: # Override this via parameter_defaults
       description: The IP address of the EC2 metadata server.
       type: string

   Copy to Clipboard Toggle word wrap

   修改此参数以适合 Leaf0：

     Leaf0EC2MetadataIp: # Override this via parameter_defaults
       description: The IP address of the EC2 metadata server.
       type: string

   Copy to Clipboard Toggle word wrap

4. 滚动到网络配置部分。本节类似以下片断：

   resources:
     OsNetConfigImpl:
       type: OS::Heat::SoftwareConfig
       properties:
         group: script
         config:
           str_replace:
             template:
               get_file: ../../scripts/run-os-net-config.sh
             params:
               $network_config:
                 network_config:

   Copy to Clipboard Toggle word wrap

   将脚本的位置改为绝对路径：

   resources:
     OsNetConfigImpl:
       type: OS::Heat::SoftwareConfig
       properties:
         group: script
         config:
           str_replace:
             template:
               get_file: /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh
             params:
               $network_config:
                 network_config:

   Copy to Clipboard Toggle word wrap

5. 在 network_config 部分，定义 control plane / provisioning 接口。例如：

                 network_config:
                 - type: interface
                   name: nic1
                   use_dhcp: false
                   dns_servers:
                     get_param: DnsServers
                   addresses:
                   - ip_netmask:
                       list_join:
                       - /
                       - - get_param: ControlPlaneIp
                         - get_param: ControlPlane0SubnetCidr
                   routes:
                   - ip_netmask: 169.254.169.254/32
                     next_hop:
                       get_param: Leaf0EC2MetadataIp
                   - ip_netmask: 192.168.10.0/24
                     next_hop:
                       get_param: ControlPlane0DefaultRoute

   Copy to Clipboard Toggle word wrap

   请注意，本例中使用的参数特定于 Leaf0: ControlPlane0SubnetCidr、Leaf0EC2MetadataIp 和 ControlPlane0DefaultRoute。还请注意，在 provisioning 网络(192.168.10.0/24)上用于 Leaf0 的 CIDR，它用作路由。

6. members 部分中的每个 VLAN 都包含相关的 Leaf0 参数。例如，存储网络 VLAN 信息应类似于以下代码片段：

                   - type: vlan
                     vlan_id:
                       get_param: Storage0NetworkVlanID
                     addresses:
                     - ip_netmask:
                         get_param: Storage0IpSubnet

   Copy to Clipboard Toggle word wrap

   添加一个部分来为路由定义参数。这包括 supernet 路由（本例中为StorageSupernet ）和 leaf default 路由（本例中为Storage0InterfaceDefaultRoute ）：

                   - type: vlan
                     vlan_id:
                       get_param: Storage0NetworkVlanID
                     addresses:
                     - ip_netmask:
                         get_param: Storage0IpSubnet
                     routes:
                     - ip_netmask:
                         get_param: StorageSupernet
                       next_hop:
                         get_param: Storage0InterfaceDefaultRoute

   Copy to Clipboard Toggle word wrap

   为以下 Controller 网络添加 VLAN 结构： 存储、StorageMgmt。

7. 保存这个文件。

8. 编辑 ceph-storage1.yaml 并执行相同的步骤。以下是更改列表：

   • 将 ControlPlaneSubnetCidr 更改为 ControlPlane1SubnetCidr。
   • 将 ControlPlaneDefaultRoute 更改为 ControlPlane1DefaultRoute。
   • 将 EC2MetadataIp 更改为 Leaf1EC2MetadataIp。
   • 将网络配置脚本从 ../. /scripts/run-os-net-config.sh 改为 /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh。
   • 修改 control plane / provisioning 接口，以使用 Leaf1 参数。
   • 修改每个 VLAN，使其包含 Leaf1 路由。

   完成后保存这个文件。

9. 编辑 ceph-storage2.yaml 并执行相同的步骤。以下是更改列表：

   • 将 ControlPlaneSubnetCidr 更改为 ControlPlane2SubnetCidr。
   • 将 ControlPlaneDefaultRoute 更改为 ControlPlane2DefaultRoute。
   • 将 EC2MetadataIp 更改为 Leaf2EC2MetadataIp。
   • 将网络配置脚本从 ../. /scripts/run-os-net-config.sh 改为 /usr/share/openstack-tripleo-heat-templates/network/scripts/run-os-net-config.sh。
   • 修改 control plane / provisioning 接口，以使用 Leaf2 参数。
   • 修改每个 VLAN，使其包含 Leaf2 路由。

   完成后保存这个文件。

流程

1. 在 stack 用户的 templates 目录中创建 network-environment.yaml 文件。

2. 在环境文件中添加以下部分：

   resource_registry:
   
   parameter_defaults:

   Copy to Clipboard Toggle word wrap

   注意以下几点：

   • resource_registry 会将网络资源映射到对应的 NIC 模板。
   • parameter_defaults 将定义与配置相关的其他网络参数。

流程

1. 编辑 network-environment.yaml 文件。

2. 将资源映射添加到您的 resource_registry。资源名称采用以下格式：

   OS::TripleO::[ROLE]::Net::SoftwareConfig: [NIC TEMPLATE]

   Copy to Clipboard Toggle word wrap

   对于本指南的场景，resource_registry 包含以下资源映射：

   resource_registry:
     OS::TripleO::Controller0::Net::SoftwareConfig: ./spine-leaf-nics/controller0.yaml
     OS::TripleO::Compute0::Net::SoftwareConfig: ./spine-leaf-nics/compute0.yaml
     OS::TripleO::Compute1::Net::SoftwareConfig: ./spine-leaf-nics/compute1.yaml
     OS::TripleO::Compute2::Net::SoftwareConfig: ./spine-leaf-nics/compute2.yaml
     OS::TripleO::CephStorage0::Net::SoftwareConfig: ./spine-leaf-nics/cephstorage0.yaml
     OS::TripleO::CephStorage1::Net::SoftwareConfig: ./spine-leaf-nics/cephstorage1.yaml
     OS::TripleO::CephStorage2::Net::SoftwareConfig: ./spine-leaf-nics/cephstorage2.yaml

   Copy to Clipboard Toggle word wrap
3. 保存 network-environment.yaml 文件。

流程

1. 编辑 network-environment.yaml 文件。

2. 将 supernet 路由参数添加到 parameter_defaults 部分。每个隔离的网络都应该应用一个 supernet 路由。例如：

   parameter_defaults:
     StorageSupernet: 172.16.0.0/16
     StorageMgmtSupernet: 172.17.0.0/16
     InternalApiSupernet: 172.18.0.0/16
     TenantSupernet: 172.19.0.0/16

   Copy to Clipboard Toggle word wrap
   注意

   网络接口模板应包含每个网络的 supernet 参数。例如：

   - type: vlan
     vlan_id:
       get_param: Storage0NetworkVlanID
     addresses:
     - ip_netmask:
         get_param: Storage0IpSubnet
     routes:
     - ip_netmask:
         get_param: StorageSupernet
       next_hop:
         get_param: Storage0InterfaceDefaultRoute

   Copy to Clipboard Toggle word wrap

3. 将 ServiceNetMap HostnameResolveNetwork 参数添加到 parameter_defaults 部分，为该部分提供叶有主机名列表，用于解析其他 leaf 节点。例如：

   parameter_defaults:
     ...
     ServiceNetMap:
       Compute1HostnameResolveNetwork: internal_api1
       Compute2HostnameResolveNetwork: internal_api2
       Compute3HostnameResolveNetwork: internal_api3
       CephStorage1HostnameResolveNetwork: storage1
       CephStorage2HostnameResolveNetwork: storage2
       CephStorage3HostnameResolveNetwork: storage3

   Copy to Clipboard Toggle word wrap

   Compute 节点使用 leaf's 内部 API 网络和 Ceph Storage 节点使用leaf 的 Storage 网络。

4. 将以下 ExtraConfig 设置添加到 parameter_defaults 部分，以解决计算和 Ceph Storage 节点上特定组件的路由：

   Expand

   表 4.1. compute ExtraConfig 参数

   参数	设置为该值
   nova::compute::libvirt::vncserver_listen	VNC 服务器侦听的 IP 地址。
   nova::compute::vncserver_proxyclient_address	运行 VNC 代理客户端的服务器 IP 地址。
   neutron::agents::ml2::ovs::local_ip	OpenStack Networking (neutron)隧道端点的 IP 地址。
   cold_migration_ssh_inbound_addr	用于冷迁移 SSH 连接的本地 IP 地址。
   live_migration_ssh_inbound_addr	用于实时迁移 SSH 连接的本地 IP 地址。
   nova::migration::libvirt::live_migration_inbound_addr	用于实时迁移流量的 IP 地址。 注意 如果使用 SSL/TLS，请将网络名称加上 "fqdn_" 的前面，以确保根据 FQDN 检查证书。
   nova::my_ip	主机上计算(nova)服务的 IP 地址。
   tripleo::profile::base::database::mysql::client::mysql_client_bind_address	数据库客户端的 IP 地址。在本例中，它是 Compute 节点上的 mysql 客户端。

   Show more
   Expand

   表 4.2. CephAnsibleExtraConfig 参数

   参数	设置为该值
   public_network	包含 Ceph 节点（每个叶一个）的所有存储网络的逗号分隔列表，如 172.16.0.0/24,172.16.1.0/24,172.16.2.0/24
   cluster_network	包含 Ceph 节点的存储管理网络（每个叶一个）的逗号分隔列表，例如 172.17.0.0/24,172.17.1.0/24,172.17.2.0/24,172.17.2.0/24

   Show more

   例如：

   parameter_defaults:
     ...
     Compute1ExtraConfig:
       nova::compute::libvirt::vncserver_listen: "%{hiera('internal_api1')}"
       nova::compute::vncserver_proxyclient_address: "%{hiera('internal_api1')}"
       neutron::agents::ml2::ovs::local_ip: "%{hiera('tenant1')}"
       cold_migration_ssh_inbound_addr: "%{hiera('internal_api1')}"
       live_migration_ssh_inbound_addr: "%{hiera('internal_api1')}"
       nova::migration::libvirt::live_migration_inbound_addr: "%{hiera('internal_api1')}"
       nova::my_ip: "%{hiera('internal_api1')}"
       tripleo::profile::base::database::mysql::client::mysql_client_bind_address: "%{hiera('internal_api1')}"
   
     Compute2ExtraConfig:
       nova::compute::libvirt::vncserver_listen: "%{hiera('internal_api2')}"
       nova::compute::vncserver_proxyclient_address: "%{hiera('internal_api2')}"
       neutron::agents::ml2::ovs::local_ip: "%{hiera('tenant2')}"
       cold_migration_ssh_inbound_addr: "%{hiera('internal_api2')}"
       live_migration_ssh_inbound_addr: "%{hiera('internal_api2')}"
       nova::migration::libvirt::live_migration_inbound_addr: "%{hiera('internal_api2')}"
       nova::my_ip: "%{hiera('internal_api2')}"
       tripleo::profile::base::database::mysql::client::mysql_client_bind_address: "%{hiera('internal_api2')}"
   
     Compute3ExtraConfig:
       nova::compute::libvirt::vncserver_listen: "%{hiera('internal_api3')}"
       nova::compute::vncserver_proxyclient_address: "%{hiera('internal_api3')}"
       neutron::agents::ml2::ovs::local_ip: "%{hiera('tenant3')}"
       cold_migration_ssh_inbound_addr: "%{hiera('internal_api3')}"
       live_migration_ssh_inbound_addr: "%{hiera('internal_api3')}"
       nova::migration::libvirt::live_migration_inbound_addr: "%{hiera('internal_api3')}"
       nova::my_ip: "%{hiera('internal_api3')}"
       tripleo::profile::base::database::mysql::client::mysql_client_bind_address: "%{hiera('internal_api3')}"
   
     CephAnsibleExtraConfig:
       public_network: '172.16.0.0/24,172.16.1.0/24,172.16.2.0/24'
       cluster_network: '172.17.0.0/24,172.17.1.0/24,172.17.2.0/24'

   Copy to Clipboard Toggle word wrap

流程

1. 编辑 network-environment.yaml 文件。

2. 在 parameter_defaults 部分中：

   1. 将映射添加到主 control plane 子网：

      parameter_defaults:
        ...
        ControlPlaneSubnet: leaf0

      Copy to Clipboard Toggle word wrap

   2. 为每个 spine-leaf 网络添加 control plane 子网映射：

      parameter_defaults:
        ...
        Controller0ControlPlaneSubnet: leaf0
        Compute0ControlPlaneSubnet: leaf0
        Compute1ControlPlaneSubnet: leaf1
        Compute2ControlPlaneSubnet: leaf2
        CephStorage0ControlPlaneSubnet: leaf0
        CephStorage1ControlPlaneSubnet: leaf1
        CephStorage2ControlPlaneSubnet: leaf2

      Copy to Clipboard Toggle word wrap

   3. 为每个 leaf 添加 control plane 路由：

      parameter_defaults:
        ...
        ControlPlane0DefaultRoute: 192.168.10.1
        ControlPlane0SubnetCidr: '24'
        ControlPlane1DefaultRoute: 192.168.11.1
        ControlPlane1SubnetCidr: '24'
        ControlPlane2DefaultRoute: 192.168.12.1
        ControlPlane2SubnetCidr: '24'

      Copy to Clipboard Toggle word wrap

      默认路由参数通常是为每个置备子网的网关设置的 IP 地址。如需更多信息，请参阅 undercloud.conf 文件。

   4. 为 EC2 元数据 IP 添加参数：

      parameter_defaults:
        ...
        Leaf0EC2MetadataIp: 192.168.10.1
        Leaf1EC2MetadataIp: 192.168.11.1
        Leaf2EC2MetadataIp: 192.168.12.1

      Copy to Clipboard Toggle word wrap

      它们作为 EC2 元数据服务的 control plane (169.254.169.254/32)的路由，您应该在 provisioning 网络中的每个叶都设置为对应的 网关。

3. 保存 network-environment.yaml 文件。

流程

1. 检查 /home/stack/template/network_data_spine_leaf.yaml 文件，并确保该文件包含每个 leaf 的每个网络。

   注意

   目前没有为网络子网和 allocation_pools 值执行验证。请确定您一致地定义这些，并且现有网络不会有冲突。

2. 检查 ~/templates/spine-leaf-nics/ 中包含的 NIC 模板，并确保每个叶上每个角色的接口已正确定义。
3. 检查 network-environment.yaml 环境文件，并确保它包含不超出网络数据文件控制的所有自定义参数。这包括引用每个角色的自定义 NIC 模板的路由、control plane 参数和 resource_registry 部分。
4. 检查 /home/stack/templates/roles_data_spine_leaf.yaml 值，并确保为每个叶都定义了角色。
5. 检查 '/home/stack/templates/nodes_data.yaml 文件，确保所有角色都具有分配的类别和节点数。也请检查每个 leaf 的所有节点都已正确标记。

6. 运行 openstack overcloud deploy 命令，以应用 spine leaf 配置。例如：

   openstack overcloud deploy --templates \
   -n /home/stack/template/network_data_spine_leaf.yaml \
   -r /home/stack/templates/roles_data_spine_leaf.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
   -e /home/stack/templates/network-environment.yaml \
   -e /home/stack/templates/nodes_data.yaml \
   -e [OTHER ENVIRONMENT FILES]

   Copy to Clipboard Toggle word wrap
   • network-isolation.yaml 是同一位置(network-isolation.j2.yaml)中的 Jinja2 文件内容。包含此文件，以确保 director 将每个网络与其正确的树叶隔离开来。这可确保在 overcloud 创建过程中动态创建网络。
   • 在 network-isolation.yaml 和其他基于网络的环境文件后面包括 network-environment.yaml 文件。这样可确保 network-environment.yaml 中定义的任何参数和资源覆盖之前在其他环境文件中定义的相同的参数和资源。
   • 添加额外的环境文件。例如，包含容器镜像位置或 Ceph 集群配置的环境文件。
7. 等待 spine-leaf enabled overcloud 部署完毕。