超融合基础架构指南

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   Copy to Clipboard Toggle word wrap

   [stack@director ~]$ source ~/stackrc

3. 生成包含 ComputeHCI 角色的新自定义角色数据文件，以及您要用于 overcloud 的其他角色。以下示例生成角色数据文件 roles_data_hci.yaml，其中包括角色 Controller, ComputeHCI, Compute, 和 CephStorage：

   Copy to Clipboard Toggle word wrap

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_hci.yaml \
     Controller ComputeHCI Compute CephStorage

   注意

   在生成的自定义角色数据文件中为 ComputeHCI 角色列出的网络包括 Compute 和 Storage 服务所需的网络，例如：

   Copy to Clipboard Toggle word wrap

   - name: ComputeHCI
     description: |
       Compute node role hosting Ceph OSD
     tags:
       - compute
     networks:
       InternalApi:
         subnet: internal_api_subnet
       Tenant:
         subnet: tenant_subnet
       Storage:
         subnet: storage_subnet
       StorageMgmt:
         subnet: storage_mgmt_subnet

4. 创建 network_data.yaml 文件的本地副本，将可组合网络添加到 overcloud 中。network_data.yaml 文件与默认网络环境文件 /usr/share/openstack-tripleo-heat-templates/environments/* 交互，将您为 ComputeHCI 角色定义的网络与超融合节点关联。有关更多信息，请参阅高级 Overcloud 自定义指南中的 添加可组合网络。
5. 要提高 Red Hat Ceph Storage 的性能，请将 Storage 和 StorageMgmt 网络的 MTU 设置更新为 9000 （用于巨型帧），位于 network_data.yaml 的本地副本中。如需更多信息，请参阅 Director 中配置 MTU 设置，并配置巨型帧。

6. 为超融合节点创建 计算HCI overcloud 类别：

   Copy to Clipboard Toggle word wrap

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> computeHCI

   • 将 <ram_size_mb> 替换为裸机节点的 RAM，以 MB 为单位。
   • 将 <disk_size_gb> 替换为裸机节点中的磁盘大小（以 GB 为单位）。
   • 将 <no_vcpus> 替换为裸机节点中的 CPU 数量。
   注意

   这些属性不可用于调度实例。但是，计算调度程序使用磁盘大小来确定根分区大小。

7. 检索节点列表来识别它们的 UUID：

   Copy to Clipboard Toggle word wrap

   (undercloud)$ openstack baremetal node list

8. 使用自定义 HCI 资源对象标记您要指定为超融合的每个裸机节点：

   Copy to Clipboard Toggle word wrap

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.HCI <node>

   将 <node> 替换为裸机节点的 ID。

9. 将 computeHCI 类别与自定义 HCI 资源类型关联：

   Copy to Clipboard Toggle word wrap

   (undercloud)$ openstack flavor set \
   --property resources:CUSTOM_BAREMETAL_HCI=1 \
   computeHCI

   要确定与 Bare Metal 服务节点的资源类对应的自定义资源类的名称，请将资源类转换为大写，用下划线替换所有 punctuation，并使用 CUSTOM_ 前缀。

   注意

   类别只能请求一个裸机资源类实例。

10. 设置以下类别属性，以防止计算调度程序使用裸机类别属性来调度实例：

    Copy to Clipboard Toggle word wrap

    (undercloud)$ openstack flavor set \
     --property resources:VCPU=0 \
     --property resources:MEMORY_MB=0 \
     --property resources:DISK_GB=0 computeHCI

11. 在 node-info.yaml 文件中添加以下参数，以指定超融合和 Controller 节点的数量，以及用于超融合和控制器指定的节点的类别：

    Copy to Clipboard Toggle word wrap

    parameter_defaults:
      OvercloudComputeHCIFlavor: computeHCI
      ComputeHCICount: 3
      OvercloudControlFlavor: baremetal
      ControllerCount: 3

流程

1. 可选：通过在 Compute 环境文件中添加以下参数来覆盖自动生成的 Compute 设置：

   Copy to Clipboard Toggle word wrap

   parameter_defaults:
     ComputeHCIParameters:
       NovaReservedHostMemory: <ram>
       NovaCPUAllocationRatio: <ratio>

   • 将 <ram > 替换为为超融合节点上的 Ceph OSD 服务和实例开销（以 MB 为单位）保留的 RAM 量。

   • 将 &lt;ratio> 替换为计算调度程序在选择在其上部署实例的计算节点时应使用的比率。

     如需有关自动生成的计算设置的更多信息，请参阅 自动生成的计算设置的过程，以获取为计算服务保留的 CPU 和内存资源。

2. 要为 Red Hat Ceph Storage 保留内存资源，请在 /home/stack/templates/storage-container-config.yaml 中将参数 is_hci 设置为 true ：

   Copy to Clipboard Toggle word wrap

   parameter_defaults:
     CephAnsibleExtraConfig:
       is_hci: true

   这允许 ceph-ansible 为 Red Hat Ceph Storage 保留内存资源，并通过为 HCI 部署自动调整 osd_memory_target 参数设置来减少 Ceph OSD 的内存增长。

   警告

   红帽不推荐直接覆盖 ceph_osd_docker_memory_limit 参数。

   注意

   从 ceph-ansible 3.2 开始，无论使用了 FileStore 还是 BlueStore 后端，ceph_osd_docker_memory_limit 会自动被设置为主机的最大内存。

3. 可选： 默认情况下，ceph-ansible 为每个 Ceph OSD 预留一个 vCPU。如果每个 Ceph OSD 需要多个 CPU，请将以下配置添加到 /home/stack/templates/storage-container-config.yaml 中：

   Copy to Clipboard Toggle word wrap

   parameter_defaults:
     CephAnsibleExtraConfig:
       ceph_osd_docker_cpu_limit: <cpu_limit>

   将 <cpu_limit > 替换为为每个 Ceph OSD 保留的 CPU 数量。

   有关如何根据您的硬件和工作负载调整 CPU 资源的更多信息，请参阅 Red Hat Ceph Storage 硬件选择指南。

4. 可选：通过在 Ceph 环境中添加以下参数来移除 Ceph OSD 时，红帽 Ceph 存储回填和恢复操作的优先级如下：

   Copy to Clipboard Toggle word wrap

   parameter_defaults:
     CephConfigOverrides:
       osd_recovery_op_priority: <priority_value>
       osd_recovery_max_active: <no_active_recovery_requests>
       osd_max_backfills: <max_no_backfills>

   • 将 <priority_value> 替换为与 OSD 客户端 OP 优先级相关的恢复操作的优先级。
   • 将 <no_active_recovery_requests > 替换为每个 OSD 的活动恢复请求数。

   • 将 <max_no_backfills > 替换为允许或从一个 OSD 中允许的最大回填数量。

     有关默认 Red Hat Ceph Storage 回填和恢复选项的更多信息，请参阅 Red Hat Ceph Storage回填和恢复操作。

流程

1. 在 HCI 节点上禁用和重新平衡 Ceph OSD 服务。这一步是必需的，因为当您删除 HCI 或 Red Hat Ceph Storage 节点时，director 不会自动重新平衡 Red Hat Ceph Storage 集群。
2. 从 HCI 节点迁移实例。如需更多信息，请参阅 为实例创建指南中的配置 Compute 服务间迁移虚拟机。
3. 从 overcloud 移除 Compute 节点。如需更多信息，请参阅 删除 Compute 节点。