使用 Compute Cells 扩展部署

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 将 overcloud 堆栈中的 default 单元中的单元格配置和密钥信息导出到多单元部署的一个新的通用环境文件：

   (undercloud)$ sudo --preserve-env openstack overcloud cell export \
    --output-file common/default_cell_export.yaml

   此命令将 EndpointMap、HostsEntry、AllNodesConfig、GlobalConfig 参数以及密码信息导出到常见的环境文件。

   提示

   如果环境文件已存在，请输入带 --force-overwrite 或 -f 选项的命令。

流程

1. 为单元格控制器节点创建 cellcontroller overcloud 类别：

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> cellcontroller

   • 将 <ram_size_mb> 替换为裸机节点的 RAM，以 MB 为单位。
   • 将 <disk_size_gb> 替换为裸机节点中的磁盘大小（以 GB 为单位）。

   • 将 <no_vcpus> 替换为裸机节点中的 CPU 数量。

     注意

     这些属性不可用于调度实例。但是，计算调度程序使用磁盘大小来确定根分区大小。

2. 检索节点列表来识别它们的 UUID：

   (undercloud)$ openstack baremetal node list

3. 标记您要指定为单元控制器的每个裸机节点，并带有自定义单元控制器资源类：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CELL-CONTROLLER <node>

   将 <node> 替换为裸机节点的 ID。

4. 将 cellcontroller 类别与自定义单元控制器资源类关联：

   (undercloud)$ openstack flavor set \
    --property resources:CUSTOM_BAREMETAL_CELL_CONTROLLER=1 \
     cellcontroller

   要确定与 Bare Metal 服务节点的资源类型对应的自定义资源类的名称，请将资源类转换为大写，将每个 punctuation 标记替换为下划线，并使用 CUSTOM_ 前缀。

   注意

   类别只能请求一个裸机资源类实例。

5. 设置以下类别属性，以防止计算调度程序使用裸机类别属性来调度实例：

   (undercloud)$ openstack flavor set \
    --property resources:VCPU=0 --property resources:MEMORY_MB=0 \
    --property resources:DISK_GB=0 cellcontroller

流程

1. 为新单元创建一个新目录：

   (undercloud)$ mkdir cells

2. 为单元目录（cells）中每个额外单元创建一个新的环境文件，用于特定于单元的参数，例如 /cells/cell1.yaml。

3. 为每个环境文件添加以下参数，更新部署中每个单元的参数值：

   resource_registry:
     OS::TripleO::Network::Ports::OVNDBsVipPort: /usr/share/openstack-tripleo-heat-templates/network/ports/noop.yaml
     OS::TripleO::Network::Ports::RedisVipPort: /usr/share/openstack-tripleo-heat-templates/network/ports/noop.yaml
   
   parameter_defaults:
     # Disable network creation in order to use the `network_data.yaml` file from the overcloud stack,
     # and create ports for the nodes in the separate stacks on the existing networks.
     ManageNetworks: false
   
     # Specify that this is an additional cell
     NovaAdditionalCell: True
   
     # The DNS names for the VIPs for the cell
     CloudName: cell1.ooo.test
     CloudNameInternal: cell1.internalapi.ooo.test
     CloudNameStorage: cell1.storage.ooo.test
     CloudNameStorageManagement: cell1.storagemgmt.ooo.test
     CloudNameCtlplane: cell1.ctlplane.ooo.test
   
     # Map the flavors to use for the CellController and Compute roles
     OvercloudCellControllerFlavor: cellcontroller
     OvercloudComputeFlavor: compute
   
     # Number of controllers/computes in the cell
     CellControllerCount: 3
     ComputeCount: 1
   
     # Node names must be unique across all cells
     ComputeHostnameFormat: 'cell1-compute-%index%'
     CellControllerHostnameFormat: 'cell1-cellcontroller-%index%'

4. 要将网络资源分配给单元格，并在网络中注册单元，请在各个环境文件中添加以下参数：

   resource_registry:
     OS::TripleO::CellController::Net::SoftwareConfig: /home/stack/templates/nic-configs/cellcontroller.yaml
     OS::TripleO::Compute::Net::SoftwareConfig: /home/stack/templates/nic-configs/compute.yaml

5. 使用其他环境文件将环境文件添加到堆栈中，并部署单元堆栈：

   (undercloud)$ openstack overcloud deploy --templates \
    --stack cell1 \
    -e [your environment files] \
    -r $HOME/common/cell_roles_data.yaml \
    -e $HOME/common/default_cell_export.yaml \
    -e $HOME/cells/cell1.yaml

   为每个单元堆栈重复此步骤，直到部署所有单元堆栈。

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 为通用堆栈配置创建新目录：

   (undercloud)$ mkdir common

4. 将默认 network_data_subnets_routed.yaml 文件复制到您的 common 目录中，为您的 overcloud 堆栈添加可组合网络：

   (undercloud)$ cp /usr/share/openstack-tripleo-heat-templates/network_data_subnets_routed.yaml ~/common/network_data_routed_multi_cell.yaml

   有关可组合网络的更多信息，请参阅高级 Overcloud 自定义指南中的 自定义可组合网络。

5. 更新您网络的 /common/network_data_routed_multi_cell.yaml 中的配置，并更新单元子网名称以方便识别，例如，将 internal_api_leaf1 改为 internal_api_cell1。

6. 确保每个角色的 NIC 模板中的接口包括 <network_name>InterfaceRoutes，例如：

               -
                  type: vlan
                  vlan_id:
                      get_param: InternalApiNetworkVlanID
                  addresses:
                  -
                    ip_netmask:
                        get_param: InternalApiIpSubnet
                  routes:
                    get_param: InternalApiInterfaceRoutes

7. 使用其他环境文件，将 network_data_routed_multi_cell.yaml 文件添加到 overcloud 栈，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    --stack overcloud \
    -n /home/stack/common/network_data_routed_multi_cell.yaml \
    -e [your environment files]

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 将 overcloud 堆栈中的 default 单元中的单元格配置和密钥信息导出到多单元部署的一个新的通用环境文件：

   (undercloud)$ sudo --preserve-env openstack overcloud cell export \
    --output-file common/default_cell_export.yaml

   此命令将 EndpointMap、HostsEntry、AllNodesConfig、GlobalConfig 参数以及密码信息导出到常见的环境文件。

   提示

   如果环境文件已存在，请输入带 --force-overwrite 或 -f 选项的命令。

流程

1. 生成包含 CellController 角色的新角色数据文件，以及您在单元堆栈所需的其他角色。以下示例生成角色数据文件 cell1_roles_data.yaml，其中包括角色 CellController 和 Compute ：

   (undercloud)$ openstack overcloud roles generate \
     --roles-path /usr/share/openstack-tripleo-heat-templates/roles \
     -o cell1/cell1_roles_data.yaml \
     Compute:ComputeCell1 \
     CellController:CellControllerCell1

2. 将 HostnameFormatDefault 添加到新单元角色文件中的每个角色定义中：

   - name: ComputeCell1
     ...
     HostnameFormatDefault: '%stackname%-compute-cell1-%index%'
     ServicesDefault:
     ...
     networks:
     ...
   - name: CellControllerCell1
     ...
     HostnameFormatDefault: '%stackname%-cellcontrol-cell1-%index%'
     ServicesDefault:
     ...
     networks:
     ...

3. 将网络服务(neutron) DHCP 和元数据代理添加到 ComputeCell1 和 CellControllerCell1 角色（如果它们尚不存在）：

   - name: ComputeCell1
     ...
     HostnameFormatDefault: '%stackname%-compute-cell1-%index%'
     ServicesDefault:
     - OS::TripleO::Services::NeutronDhcpAgent
     - OS::TripleO::Services::NeutronMetadataAgent
     ...
     networks:
     ...
   - name: CellControllerCell1
     ...
     HostnameFormatDefault: '%stackname%-cellcontrol-cell1-%index%'
     ServicesDefault:
     - OS::TripleO::Services::NeutronDhcpAgent
     - OS::TripleO::Services::NeutronMetadataAgent
     ...
     networks:
     ...

4. 将您在 network_data_routed_multi_cell.yaml 中配置的子网添加到 ComputeCell1 和 CellControllerCell1 角色中：

   - name: ComputeCell1
     ...
     networks:
       InternalApi:
         subnet: internal_api_subnet_cell1
       Tenant:
         subnet: tenant_subnet_cell1
       Storage:
         subnet: storage_subnet_cell1
   ...
   - name: CellControllerCell1
     ...
     networks:
       External:
         subnet: external_subnet
       InternalApi:
         subnet: internal_api_subnet_cell1
       Storage:
         subnet: storage_subnet_cell1
       StorageMgmt:
         subnet: storage_mgmt_subnet_cell1
       Tenant:
         subnet: tenant_subnet_cell1

流程

1. 为 cell1 控制器节点创建 cellcontrollercell1 overcloud 类别：

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> cellcontrollercell1

   • 将 <ram_size_mb> 替换为裸机节点的 RAM，以 MB 为单位。
   • 将 <disk_size_gb> 替换为裸机节点中的磁盘大小（以 GB 为单位）。

   • 将 <no_vcpus> 替换为裸机节点中的 CPU 数量。

     注意

     这些属性不可用于调度实例。但是，计算调度程序使用磁盘大小来确定根分区大小。

2. 检索节点列表来识别它们的 UUID：

   (undercloud)$ openstack baremetal node list

3. 标记您要指定为单元控制器的每个裸机节点，并带有自定义单元控制器资源类：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CELL-CONTROLLER <node>

   将 <node> 替换为裸机节点的 ID。

4. 将 cellcontrollercell1 类别与自定义单元控制器资源类关联：

   (undercloud)$ openstack flavor set \
    --property resources:CUSTOM_BAREMETAL_CELL_CONTROLLER=1 \
     cellcontrollercell1

   要确定与 Bare Metal 服务节点的资源类型对应的自定义资源类的名称，请将资源类转换为大写，将每个 punctuation 标记替换为下划线，并使用 CUSTOM_ 前缀。

   注意

   类别只能请求一个裸机资源类实例。

5. 设置以下类别属性，以防止计算调度程序使用裸机类别属性来调度实例：

   (undercloud)$ openstack flavor set \
    --property resources:VCPU=0 --property resources:MEMORY_MB=0 \
    --property resources:DISK_GB=0 cellcontrollercell1

流程

1. 为单元目录中的额外单元格创建一个新的环境文件，以用于特定于单元的参数，例如： /home/stack/cell1/cell1.yaml。

2. 在环境文件中添加以下参数：

   resource_registry:
     OS::TripleO::CellControllerCell1::Net::SoftwareConfig: /home/stack/templates/nic-configs/cellcontroller.yaml
     OS::TripleO::ComputeCell1::Net::SoftwareConfig: /home/stack/templates/nic-configs/compute.yaml
     OS::TripleO::Network::Ports::OVNDBsVipPort: /usr/share/openstack-tripleo-heat-templates/network/ports/noop.yaml
     OS::TripleO::Network::Ports::RedisVipPort: /usr/share/openstack-tripleo-heat-templates/network/ports/noop.yaml
   
   parameter_defaults:
     #Disable network creation in order to use the `network_data.yaml` file from the overcloud stack,
     # and create ports for the nodes in the separate stacks on the existing networks.
     ManageNetworks: false
   
     # Specify that this is an additional cell
     NovaAdditionalCell: True
   
     # The DNS names for the VIPs for the cell
     CloudName: cell1.ooo.test
     CloudNameInternal: cell1.internalapi.ooo.test
     CloudNameStorage: cell1.storage.ooo.test
     CloudNameStorageManagement: cell1.storagemgmt.ooo.test
     CloudNameCtlplane: cell1.ctlplane.ooo.test
   
     # Map the flavors to use for the CellController and Compute roles
     OvercloudCellControllerCell1Flavor: cellcontrollercell1
     OvercloudComputeCell1Flavor: computecell1
   
     # Number of controllers/computes in the cell
     CellControllerCell1Count: 3
     ComputeCell1Count: 1

3. 要在每个单元格而不是全局 Controller 中运行 Compute 元数据 API，请在单元环境文件中添加以下参数：

   parameter_defaults:
     NovaLocalMetadataPerCell: True

4. 在单元环境文件中添加单元的虚拟 IP 地址(VIP)信息：

   parameter_defaults:
     ...
     VipSubnetMap:
       InternalApi: internal_api_cell1
       Storage: storage_cell1
       StorageMgmt: storage_mgmt_cell1
       External: external_subnet

   这会在与 L2 网络段关联的子网中创建虚拟 IP 地址，这个单元格 Controller 节点已连接到这个地址。

5. 使用其他环境文件将环境文件添加到堆栈中，并部署单元堆栈：

   (undercloud)$ openstack overcloud deploy --templates \
    --stack cell1 \
    -e [your environment files] \
    -r /home/stack/cell1/cell1_roles_data.yaml \
    -n /home/stack/common/network_data_spine_leaf.yaml \
    -e /home/stack/common/default_cell_export.yaml \
    -e /home/stack/cell1/cell1.yaml

流程

1. 将以下配置添加到 overcloud 堆栈的环境文件，以使用新的单元子网更新网络配置：

   parameter_defaults:
     NetworkDeploymentActions: ['CREATE','UPDATE']

2. 将新单元子网的配置添加到 /common/network_data_routed_multi_cell.yaml 中。

3. 部署 overcloud 堆栈：

   (undercloud)$ openstack overcloud deploy --templates \
    --stack overcloud \
    -n /home/stack/common/network_data_routed_multi_cell.yaml \
    -e [your environment files]

4. 可选：将 NetworkDeploymentActions 重置为下一个部署的默认值：

   parameter_defaults:
     NetworkDeploymentActions: ['CREATE']

流程

1. 获取 control plane 和单元控制器的 IP 地址：

   $ CTRL_IP=$(openstack server list -f value -c Networks --name overcloud-controller-0 | sed 's/ctlplane=//')
   $ CELL_CTRL_IP=$(openstack server list -f value -c Networks --name cell1-cellcontroller-0 | sed 's/ctlplane=//')

2. 在所有 Controller 节点中添加单元信息。此信息用于从 undercloud 连接到单元端点。以下示例使用前缀 cell1 来只指定单元系统并排除控制器系统：

   (undercloud)$ CELL_INTERNALAPI_INFO=$(ssh heat-admin@${CELL_CTRL_IP} \
    egrep cell1.*\.internalapi /etc/hosts)
   (undercloud)$ ansible -i /usr/bin/tripleo-ansible-inventory \
    Controller -b -m lineinfile -a "dest=/etc/hosts line=\"$CELL_INTERNALAPI_INFO\""

3. 从 transport_url 参数获取控制器单元的消息队列端点，以及来自 database.connection 参数的控制器单元的数据库连接：

   (undercloud)$ CELL_TRANSPORT_URL=$(ssh tripleo-admin@${CELL_CTRL_IP} \
    sudo crudini --get /var/lib/config-data/puppet-generated/nova/etc/nova/nova.conf \
    DEFAULT transport_url)
   (undercloud)$ CELL_MYSQL_VIP=$(ssh tripleo-admin@${CELL_CTRL_IP} \
    sudo crudini --get /var/lib/config-data/puppet-generated/nova/etc/nova/nova.conf \
    database connection | awk -F[@/] '{print $4}')

4. 登录到其中一个全局 Controller 节点并创建单元：

   $ ssh heat-admin@${CTRL_IP} sudo podman \
    exec -i -u root nova_api \
    nova-manage cell_v2 create_cell --name cell1 \
    --database_connection "{scheme}://{username}:{password}@$CELL_MYSQL_VIP/nova?{query}" \
    --transport-url "$CELL_TRANSPORT_URL"

5. 检查单元是否已创建并出现在单元列表中：

   $ ssh heat-admin@${CTRL_IP} sudo podman \
    exec -i -u root nova_api \
    nova-manage cell_v2 list_cells --verbose

6. 重启 Controller 节点上的 Compute 服务：

   $ ansible -i /usr/bin/tripleo-ansible-inventory Controller -b -a \
   "systemctl restart tripleo_nova_api tripleo_nova_conductor tripleo_nova_scheduler"

7. 检查单元控制器服务是否已置备：

   (overcloud)$ openstack compute service list -c Binary -c Host -c Status -c State
   +----------------+-------------------------+---------+-------+
   | Binary         | Host                    | Status  | State |
   +----------------+-------------------------+---------+-------+
   | nova-conductor | controller-0.ostest     | enabled | up    |
   | nova-scheduler | controller-0.ostest     | enabled | up    |
   | nova-conductor | cellcontroller-0.ostest | enabled | up    |
   | nova-compute   | compute-0.ostest        | enabled | up    |
   | nova-compute   | compute-1.ostest        | enabled | up    |
   +----------------+-------------------------+---------+-------+

流程

1. 以 stack 用户的身份登录 undercloud。

2. 获取用于单元的 control plane 的 IP 地址，并输入主机发现命令来公开和分配 Compute 主机到单元：

   $ CTRL_IP=$(openstack server list -f value -c Networks --name overcloud-controller-0 | sed 's/ctlplane=//')
   
   $ ssh heat-admin@${CTRL_IP} sudo podman exec -i -u root nova_api \
     nova-manage cell_v2 discover_hosts --by-service --verbose

3. 验证 Compute 主机是否已分配给这个单元：

   $ ssh heat-admin@${CTRL_IP} sudo podman exec -i -u root nova_api \
     nova-manage cell_v2 list_hosts

流程

1. 获取 overcloudrc 文件：

   (undercloud)$ source ~/overcloudrc

2. 为单元创建 AZ：

   (overcloud)# openstack aggregate create \
    --zone <availability_zone> \
    <aggregate_name>

   • 将 <availability_zone> 替换为您要分配给可用区的名称。
   • 将 <aggregate_name> 替换为您要分配给主机聚合的名称。

3. 可选：在可用区中添加元数据：

   (overcloud)# openstack aggregate set --property <key=value> \
     <aggregate_name>

   • 将 <key=value> 替换为您的原始键值对。您可以根据需要添加任意数量的键值属性。
   • 将 <aggregate_name> 替换为可用区主机聚合的名称。

4. 检索分配给该单元的 Compute 节点列表：

   $ ssh heat-admin@${CTRL_IP} sudo podman exec -i -u root nova_api \
     nova-manage cell_v2 list_hosts

5. 将分配给单元格的 Compute 节点添加到单元可用区：

   (overcloud)# openstack aggregate add host <aggregate_name> \
     <host_name>

   • 将 <aggregate_name> 替换为可用区主机聚合的名称，以将 Compute 节点添加到其中。
   • 将 <host_name> 替换为添加到可用区的 Compute 节点的名称。

流程

1. 从单元格中的 Compute 节点删除所有实例。

   注意

   不支持在单元格之间迁移实例。您必须删除实例并在另一个单元中创建它们。

2. 在其中一个全局 Controller 上，从单元中删除所有 Compute 节点。

   $ CTRL_IP=$(openstack server list -f value -c Networks --name overcloud-controller-0 | sed 's/ctlplane=//')
   
   $ ssh heat-admin@${CTRL_IP} sudo podman  \
    exec -i -u root nova_api \
    nova-manage cell_v2 list_hosts
   
   $ ssh heat-admin@${CTRL_IP} sudo podman  \
    exec -i -u root nova_api \
    nova-manage cell_v2 delete_host --cell_uuid <uuid> --host <compute>

3. 从放置服务中删除单元格的资源供应商，以确保在稍后将具有相同主机名的 Compute 节点添加到另一个单元时可以使用主机名：

   (undercloud)$ source ~/overcloudrc
   
   (overcloud)$ openstack resource provider list
   +--------------------------------------+---------------------------------------+------------+
   | uuid                                 | name                                  | generation |
   +--------------------------------------+---------------------------------------+------------+
   | 9cd04a8b-5e6c-428e-a643-397c9bebcc16 | computecell1-novacompute-0.site1.test |         11 |
   +--------------------------------------+---------------------------------------+------------+
   
   (overcloud)$ openstack resource provider  \
    delete 9cd04a8b-5e6c-428e-a643-397c9bebcc16

流程

1. 在其中一个全局控制器上，删除该单元。

   $ CTRL_IP=$(openstack server list -f value -c Networks --name overcloud-controller-0 | sed 's/ctlplane=//')
   
   $ ssh heat-admin@${CTRL_IP} sudo podman  \
    exec -i -u root nova_api \
    nova-manage cell_v2 list_cells
   
   $ ssh heat-admin@${CTRL_IP} sudo podman  \
    exec -i -u root nova_api \
    nova-manage cell_v2 delete_cell --cell_uuid <uuid>

2. 从 overcloud 删除单元堆栈。

   $ openstack stack delete <stack name> --wait --yes && openstack  \
    overcloud plan delete <stack_name>

   注意

   如果您为控制器和计算单元部署了独立的单元堆栈，请先删除计算单元堆栈，然后删除控制器单元堆栈。