8.2. 自定义 overcloud 网络

流程

1. 将您需要的示例网络配置模板从 /usr/share/ansible/roles/tripleo_network_config/templates/ 复制到环境文件目录中：

   $ cp /usr/share/ansible/roles/tripleo_network_config/templates/<sample_NIC_template> /home/stack/templates/<NIC_template>

   • 将 <sample_NIC_template > 替换为您要复制的示例 NIC 模板的名称，如 single_nic_vlans/single_nic_vlans.j2。
   • 将 <NIC_template > 替换为自定义 NIC 模板文件的名称，如 single_nic_vlans.j2。
2. 更新自定义 NIC 模板中的网络配置，以匹配 overcloud 网络环境的要求。有关可用于配置 NIC 模板的属性的详情，请参考 网络接口配置选项。有关 NIC 模板示例，请参阅自定义 网络接口示例。

3. 创建或更新现有环境文件以启用自定义 NIC 配置模板：

   parameter_defaults:
     ControllerNetworkConfigTemplate: '/home/stack/templates/single_nic_vlans.j2'
     CephStorageNetworkConfigTemplate: '/home/stack/templates/single_nic_vlans_storage.j2'
     ComputeNetworkConfigTemplate: '/home/stack/templates/single_nic_vlans.j2'

4. 如果您的 overcloud 使用默认的内部负载均衡，请在环境文件中添加以下配置来为 Redis 和 OVNDB 分配可预测的虚拟 IP：

   parameter_defaults:
     RedisVirtualFixedIPs: [{'ip_address':'<vip_address>'}]
     OVNDBsVirtualFixedIPs: [{'ip_address':'<vip_address>'}]

   • 将 <vip_address > 替换为分配池范围之外的 IP 地址。

流程

1. 列出可用的网络配置文件示例：

   $ ll /usr/share/openstack-tripleo-heat-templates/network-data-samples/
   -rw-r--r--. 1 root root 1554 May 11 23:04 default-network-isolation-ipv6.yaml
   -rw-r--r--. 1 root root 1181 May 11 23:04 default-network-isolation.yaml
   -rw-r--r--. 1 root root 1126 May 11 23:04 ganesha-ipv6.yaml
   -rw-r--r--. 1 root root 1100 May 11 23:04 ganesha.yaml
   -rw-r--r--. 1 root root 3556 May 11 23:04 legacy-routed-networks-ipv6.yaml
   -rw-r--r--. 1 root root 2929 May 11 23:04 legacy-routed-networks.yaml
   -rw-r--r--. 1 root root  383 May 11 23:04 management-ipv6.yaml
   -rw-r--r--. 1 root root  290 May 11 23:04 management.yaml
   -rw-r--r--. 1 root root  136 May 11 23:04 no-networks.yaml
   -rw-r--r--. 1 root root 2725 May 11 23:04 routed-networks-ipv6.yaml
   -rw-r--r--. 1 root root 2033 May 11 23:04 routed-networks.yaml
   -rw-r--r--. 1 root root  943 May 11 23:04 vip-data-default-network-isolation.yaml
   -rw-r--r--. 1 root root  848 May 11 23:04 vip-data-fixed-ip.yaml
   -rw-r--r--. 1 root root 1050 May 11 23:04 vip-data-routed-networks.yaml

2. 将您需要的示例网络配置文件从 /usr/share/openstack-tripleo-heat-templates/network-data-samples 复制到环境文件目录中：

   $ cp /usr/share/openstack-tripleo-heat-templates/network-data-samples/default-network-isolation.yaml /home/stack/templates/network_data.yaml

3. 编辑 network_data.yaml 配置文件并为新网络添加一个部分：

   - name: StorageBackup
     vip: false
     name_lower: storage_backup
     subnets:
       storage_backup_subnet:
         ip_subnet: 172.16.6.0/24
         allocation_pools:
           - start: 172.16.6.4
           - end: 172.16.6.250
         gateway_ip: 172.16.6.1

   为您的环境配置任何其他网络属性。有关可用于配置网络属性的属性的更多信息，请参阅 网络定义文件配置选项。

4. 如果您要部署 Red Hat Ceph Storage 并使用 NFS，请确保包含一个隔离的 StorageNFS 网络。这些文件中存在以下示例：

   • /usr/share/openstack-tripleo-heat-templates/network-data-samples/ganesha.yaml

   • /usr/share/openstack-tripleo-heat-templates/network-data-samples/ganesha-ipv6.yaml

     自定义这些网络设置，包括 VLAN ID 和子网范围。如果不需要 IPv4 或 IPv6，您可以省略对应的子网：

     Example:

     - name: StorageNFS
       enabled: true
       vip: true
       name_lower: storage_nfs
       subnets:
         storage_nfs_subnet:
           vlan: 70
           ip_subnet: 172.17.0.0/20
           allocation_pools:
             - start: 172.17.0.4
             - end: 172.17.0.250
         storage_nfs_ipv6_subnet:
           ipv6_subnet: fd00:fd00:fd00:7000::/64
           ipv6_allocation_pools:
             - start: fd00:fd00:fd00:7000::4
             - end: fd00:fd00:fd00:7000::fffe

   • 此网络将由 overcloud 部署和网络服务(neutron)提供商网络共享，后者为消费者（如计算服务(nova)虚拟机）用于挂载共享的用户设置 post-overcloud 部署。
   • 将 sizable 范围保留在此示例中指定的分配池之外，以便在 overcloud 网络服务存储NFS 提供商网络的子网定义中使用 sizable 范围。

5. 当您添加包含虚拟 IP 的额外可组合网络并希望将一些 API 服务映射到此网络时，请使用 CloudName{network.name} 定义来为 API 端点设置 DNS 名称：

   CloudName{{network.name}}

   Example:

   parameter_defaults:
     ...
     CloudNameOcProvisioning: baremetal-vip.example.com

6. 将您需要的示例网络 VIP 定义模板从 /usr/share/openstack-tripleo-heat-templates/network-data-samples 复制到环境文件目录中。以下示例将 vip-data-default-network-isolation.yaml 复制到名为 vip_data.yaml 的本地环境文件：

   $ cp /usr/share/openstack-tripleo-heat-templates/network-data-samples/vip-data-default-network-isolation.yaml  /home/stack/templates/vip_data.yaml

7. 编辑 vip_data.yaml 配置文件。虚拟 IP 数据是虚拟 IP 地址定义列表，各自包含分配 IP 地址的网络的名称：

   - network: storage_mgmt
     dns_name: overcloud
   - network: internal_api
     dns_name: overcloud
   - network: storage
     dns_name: overcloud
   - network: external
     dns_name: overcloud
     ip_address: <vip_address>
   - network: ctlplane
     dns_name: overcloud
   - network: storage_nfs
     dns_name: overcloud
     ip_address: <vip_address>

   • 将 <vip_address > 替换为所需的虚拟 IP 地址。

   有关您可以在 VIP 定义文件中配置网络 VIP 属性的属性的更多信息，请参阅 Network VIP 属性属性。

8. 复制示例网络配置模板。Jinja2 模板用于定义 NIC 配置模板。如果其中一个示例与您的要求匹配，浏览 /usr/share/ansible/roles/tripleo_network_config/templates/ 目录中提供的示例。如果示例与您的要求不匹配，请复制示例配置文件，并根据您的需要进行修改：

   $ cp /usr/share/ansible/roles/tripleo_network_config/templates/single_nic_vlans/single_nic_vlans.j2 /home/stack/templates/

9. 编辑 single_nic_vlans.j2 配置文件：

   ---
   {% set mtu_list = [ctlplane_mtu] %}
   {% for network in role_networks %}
   {{ mtu_list.append(lookup('vars', networks_lower[network] ~ '_mtu')) }}
   {%- endfor %}
   {% set min_viable_mtu = mtu_list | max %}
   network_config:
   - type: ovs_bridge
     name: {{ neutron_physical_bridge_name }}
     mtu: {{ min_viable_mtu }}
     use_dhcp: false
     dns_servers: {{ ctlplane_dns_nameservers }}
     domain: {{ dns_search_domains }}
     addresses:
     - ip_netmask: {{ ctlplane_ip }}/{{ ctlplane_subnet_cidr }}
     routes: {{ ctlplane_host_routes }}
     members:
     - type: interface
       name: nic1
       mtu: {{ min_viable_mtu }}
       # force the MAC address of the bridge to this interface
       primary: true
   {% for network in role_networks %}
     - type: vlan
       mtu: {{ lookup('vars', networks_lower[network] ~ '_mtu') }}
       vlan_id: {{ lookup('vars', networks_lower[network] ~ '_vlan_id') }}
       addresses:
       - ip_netmask:
           {{ lookup('vars', networks_lower[network] ~ '_ip') }}/{{ lookup('vars', networks_lower[network] ~ '_cidr') }}
       routes: {{ lookup('vars', networks_lower[network] ~ '_host_routes') }}
   {% endfor %}

10. 在 overcloud-baremetal-deploy.yaml 配置文件中设置 network_config 模板：

    - name: CephStorage
      count: 3
      defaults:
        networks:
        - network: storage
        - network: storage_mgmt
        - network: storage_backup
        network_config:
          template: /home/stack/templates/single_nic_vlans.j2

    如果您要为将 CephFS-NFS 后端与共享文件系统服务(manila)一起使用存储NFS 网络，请编辑 Controller 或 ControllerStorageNfs 部分，而不是 network_config 部分，因为 StorageNFS 网络及其 VIP 连接到 Controller 节点：

    - name: ControllerStorageNfs
      count: 3
      hostname_format: controller-%index%
      instances:
      - hostname: controller-0
        name: controller-0
      - hostname: controller-1
        name: controller-1
      - hostname: controller-2
        name: controller-2
      defaults:
        profile: control
        network_config:
          template: /home/stack/templates/single_nic_vlans.j2
        networks:
        - network: ctlplane
          vif: true
        - network: external
        - network: internal_api
        - network: storage
        - network: storage_mgmt
        - network: tenant
        - network: storage_nfs

11. 调配 overcloud 网络。此操作会生成一个输出文件，它将在部署 overcloud 时使用环境文件：

    (undercloud)$ openstack overcloud network provision \
    --output <deployment_file> /home/stack/templates/<networks_definition_file>.yaml

    • 将 <networks_definition_file > 替换为网络定义文件的名称，如 network_data.yaml 或 StorageNFS 网络文件的名称，如 network_data_ganesha.yaml。
    • 将 <deployment_file > 替换为用于部署命令生成的 heat 环境文件的名称，如 /home/stack/templates/overcloud-networks-deployed.yaml。

12. 置备网络 VIP 并生成 vip-deployed-environment.yaml 文件。在部署 overcloud 时，您可以使用此文件：

    (overcloud)$ openstack overcloud network vip provision  --stack <stack> --output <deployment_file> /home/stack/templates/vip_data.yaml

    • 将 & lt;stack > 替换为置备网络 VIP 的堆栈名称。如果未指定，则默认为 overcloud。
    • 将 <deployment_file > 替换为用于部署命令生成的 heat 环境文件的名称，如 /home/stack/templates/overcloud-vip-deployed.yaml。

流程

1. 如果您还没有自定义 roles_data.yaml 文件，请将默认值复制到您的主目录中：

   $ cp /usr/share/openstack-tripleo-heat-templates/roles_data.yaml /home/stack/templates/roles_data.yaml

2. 编辑自定义 roles_data.yaml 文件。

3. 在网络列表中包含您要添加 网络 的角色的网络名称。

   • 在本例中，您要将 StorageBackup 网络添加到 Ceph Storage 角色中：

     - name: CephStorage
       description: |
         Ceph OSD Storage node role
       networks:
         Storage
           subnet: storage_subnet
         StorageMgmt
           subnet: storage_mgmt_subnet
         StorageBackup
           subnet: storage_backup_subnet

   • 在本例中，您要将 StorageNFS 网络添加到 Controller 节点：

     - name: Controller
       description: |
         Controller role that has all the controller services loaded, handles
         Database, Messaging and Network functions, and additionally runs a ganesha
         service as a CephFS to NFS gateway.  The gateway serves NFS exports via a
         VIP on a new isolated StorageNFS network.
       # ganesha service should always be deployed in HA configuration.
       CountDefault: 3
       tags:
         - primary
         - controller
       networks:
         External:
           subnet: external_subnet
         InternalApi:
           subnet: internal_api_subnet
         Storage:
           subnet: storage_subnet
         StorageMgmt:
           subnet: storage_mgmt_subnet
         Tenant:
           subnet: tenant_subnet
         StorageNFS:
           subnet: storage_nfs_subnet

4. 将自定义网络添加到对应的角色后，保存文件。

流程

1. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

2. 置备 overcloud 网络：

   $ openstack overcloud network provision \
     --output overcloud-networks-deployed.yaml \
     custom_network_data.yaml

3. 置备网络 VIP：

   $ openstack overcloud network vip provision \
       --stack overcloud \
       --output overcloud-networks-vips-deployed.yaml \
        custom_vip_data.yaml

4. 置备 overcloud 节点：

   $ openstack overcloud node provision \
       --stack overcloud \
       --output overcloud-baremetal-deployed.yaml \
       overcloud-baremetal-deploy.yaml

5. 构建 openstack overcloud deploy 命令，按所需顺序指定配置文件和模板，例如：

   $ openstack overcloud deploy --templates \
     --networks-file network_data_v2.yaml \
     -e overcloud-networks-deployed.yaml \
     -e overcloud-networks-vips-deployed.yaml \
     -e overcloud-baremetal-deployed.yaml
     -e custom-net-single-nic-with-vlans.yaml

流程

1. 在 network_data.yaml 文件中，为每个您要重命名的网络在 name_lower 参数中输入新名称：

   - name: InternalApi
     name_lower: MyCustomInternalApi

2. 在 service_net_map_replace 参数中包含 name_lower 参数的默认值：

   - name: InternalApi
     name_lower: MyCustomInternalApi
     service_net_map_replace: internal_api

流程

1. 从 /home/stack/templates/custom-nics 目录创建自定义 NIC 模板中的 接口 条目，为接口定义路由，并定义与部署相关的规则：

     network_config:
     - type: interface
       name: em1
       use_dhcp: false
       addresses:
         - ip_netmask: {{ external_ip }}/{{ external_cidr}}
       routes:
         - default: true
           next_hop: {{ external_gateway_ip }}
         - ip_netmask: {{ external_ip }}/{{ external_cidr}}
           next_hop: {{ external_gateway_ip }}
           table: 2
           route_options: metric 100
       rules:
         - rule: "iif em1 table 200"
           comment: "Route incoming traffic to em1 with table 200"
         - rule: "from 192.0.2.0/24 table 200"
           comment: "Route all traffic from 192.0.2.0/24 with table 200"
         - rule: "add blackhole from 172.19.40.0/24 table 200"
         - rule: "add unreachable iif em1 from 192.168.1.0/24"

2. 在部署命令中包含您的自定义 NIC 配置和网络环境文件，以及与部署相关的任何其他环境文件：

   $ openstack overcloud deploy --templates \
   -e /home/stack/templates/<custom-nic-template>
   -e <OTHER_ENVIRONMENT_FILES>

流程

1. 在 ml2_conf.ini 的 [ovn] 部分中设置以下值：

   ovn_emit_need_to_frag = True

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 提供 undercloud 凭证文件：

   $ source ~/stackrc

3. 创建自定义 YAML 环境文件。

   示例

   $ vi /home/stack/templates/custom-environment.yaml

4. 您的环境文件必须包含关键字 parameter_defaults 和 ExtraSysctlSettings。为 netfilter 可在变量 net.nf_conntrack_max 中跟踪的最大连接数输入新值。

   示例

   在本例中，您可以在 RHOSP 部署中的所有主机中设置 conntrack 限制：

   parameter_defaults:
     ExtraSysctlSettings:
       net.nf_conntrack_max:
         value: 500000

   使用 & lt;role>Parameter 参数为特定角色设置 conntrack 限制：

   parameter_defaults:
     <role>Parameters:
       ExtraSysctlSettings:
         net.nf_conntrack_max:
           value: <simultaneous_connections>

   • 将 <role > 替换为角色的名称。

     例如，使用 ControllerParameters 为 Controller 角色设置 conntrack 限制，或 ComputeParameters 为 Compute 角色设置 conntrack 限制。

   • 将 < simultaneous_connections > 替换为您要允许的同时连接数量。

     示例

     在本例中，您只能在 RHOSP 部署中为 Controller 角色设置 conntrack 限制：

     parameter_defaults:
       ControllerParameters:
         ExtraSysctlSettings:
           net.nf_conntrack_max:
             value: 500000

     注意

     net.nf_conntrack_max 的默认值为 500000 连接。最大值为： 4294967295。

5. 运行部署命令，并包含核心 heat 模板、环境文件以及新的自定义环境文件。

   重要

   环境文件的顺序非常重要，因为后续环境文件中定义的参数和资源更为优先。

   示例

   $ openstack overcloud deploy --templates \
   -e /home/stack/templates/custom-environment.yaml

流程

1. 下载转换工具：

   • /usr/share/openstack-tripleo-heat-templates/tools/convert_v1_net_data.py

2. 将 RHOSP 16+ 网络配置文件转换为 RHOSP 17+ 格式：

   $ python3 convert_v1_net_data.py <network_config>.yaml

   • 将 < network_config > 替换为您要转换的现有配置文件的名称，如 network_data.yaml。

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 将转换工具复制到 undercloud 上的当前目录：

   $ cp /usr/share/openstack-tripleo-heat-templates/tools/convert_heat_nic_config_to_ansible_j2.py .

4. 将计算和控制器 NIC 模板文件以及任何其他自定义网络文件转换为 Jinja2 Ansible 格式：

   $ python3 convert_heat_nic_config_to_ansible_j2.py \
    [--stack <overcloud> | --standalone] --networks_file <network_config.yaml> \
    <network_template>.yaml

   • 将 <overcloud> 替换为 overcloud 堆栈的名称或 UUID。如果未指定 --stack，堆栈默认为 overcloud。

     注意

     您只能在 RHOSP 16 部署中使用 --stack 选项，因为它需要在 undercloud 节点上运行编排服务(heat)。从 RHOSP 17 开始，RHOSP 部署使用临时 heat，它会在容器中运行编排服务。如果编排服务不可用，或者没有堆栈，则使用 --standalone 选项而不是 --stack。

   • 将 <network_config.yaml > 替换为描述网络部署的配置文件的名称，如 network_data.yaml。
   • 将 < network_template > 替换为您要转换的网络配置文件的名称。

   重复此命令，直到您转换了所有自定义网络配置文件。convert_heat_nic_config_to_ansible_j2.py 脚本为您传递给它的每个 yaml 文件生成一个 .j2 文件，以进行转换。

5. 检查每个生成的 .j2 文件，以确保配置正确并完成您的环境，并手动处理工具生成的注释，以突出显示无法转换配置的位置。有关手动将 NIC 配置转换为 Jinja2 格式的更多信息，请参阅 Heat 参数到 Ansible 变量映射。

6. 配置 network-environment.yaml 文件中的 *NetworkConfigTemplate 参数，使其指向生成的 .j2 文件：

   parameter_defaults:
     ControllerNetworkConfigTemplate: '/home/stack/templates/custom-nics/controller.j2'
     ComputeNetworkConfigTemplate: '/home/stack/templates/custom-nics/compute.j2'

7. 从您的 network-environment.yaml 文件中删除旧网络配置文件的 resource_registry 映射：

   resource_registry:
     OS::TripleO::Compute::Net::SoftwareConfig: /home/stack/templates/nic-configs/compute.yaml
     OS::TripleO::Controller::Net::SoftwareConfig: /home/stack/templates/nic-configs/controller.yaml

流程

1. 创建 Jinja2 模板。您可以通过从 undercloud 节点上的 /usr/share/ansible/roles/tripleo_network_config/templates/ 目录中复制示例模板来创建新模板。

2. 将 heat 内部函数替换为 Jinja2 过滤器。例如，使用以下过滤器来计算 min_viable_mtu ：

   {% set mtu_list = [ctlplane_mtu] %}
   {% for network in role_networks %}
   {{ mtu_list.append(lookup('vars', networks_lower[network] ~ '_mtu')) }}
   {%- endfor %}
   {% set min_viable_mtu = mtu_list | max %}

3. 使用 Ansible 变量为您的部署配置网络属性。您可以手动配置每个网络，或通过迭代 role_networks 来配置每个网络：

   • 要手动配置每个网络，请将每个 get_param 函数替换为对应的 Ansible 变量。例如，如果您当前的部署使用 get_param: InternalApiNetworkVlanID 配置 vlan_id，然后将以下配置添加到您的模板中：

     vlan_id: {{ internal_api_vlan_id }}

     表 8.9. 从 heat 参数映射到 Ansible vars的网络属性示例

     yaml 文件格式	Jinja2 ansible 格式，j2
     - type: vlan device: nic2 vlan_id: get_param: InternalApiNetworkVlanID addresses: - ip_netmask: get_param: InternalApiIpSubnet	- type: vlan device: nic2 vlan_id: {{ internal_api_vlan_id }} addresses: - ip_netmask: {{ internal_api_ip }}/{{ internal_api_cidr }}

   • 要编程地配置每个网络，请将 Jinja2 for-loop 结构添加到您的模板，该模板使用 role_networks 通过其角色名称检索可用的网络。

     示例

     {% for network in role_networks %}
       - type: vlan
         mtu: {{ lookup('vars', networks_lower[network] ~ '_mtu') }}
         vlan_id: {{ lookup('vars', networks_lower[network] ~ '_vlan_id') }}
         addresses:
         - ip_netmask: {{ lookup('vars', networks_lower[network] ~ '_ip') }}/{{ lookup('vars', networks_lower[network] ~ '_cidr') }}
         routes: {{ lookup('vars', networks_lower[network] ~ '_host_routes') }}
     {%- endfor %}

   有关 heat 参数与 Ansible 变量等效的映射的完整列表，请参阅 Heat 参数到 Ansible 变量映射。

4. 配置 network-environment.yaml 文件中的 *NetworkConfigTemplate 参数，使其指向生成的 .j2 文件：

   parameter_defaults:
     ControllerNetworkConfigTemplate: '/home/stack/templates/custom-nics/controller.j2'
     ComputeNetworkConfigTemplate: '/home/stack/templates/custom-nics/compute.j2'

5. 从您的 network-environment.yaml 文件中删除旧网络配置文件的 resource_registry 映射：

   resource_registry:
     OS::TripleO::Compute::Net::SoftwareConfig: /home/stack/templates/nic-configs/compute.yaml
     OS::TripleO::Controller::Net::SoftwareConfig: /home/stack/templates/nic-configs/controller.yaml