超融合基础架构指南

流程

1. 打开 /home/stack/undercloud.conf 并添加以下参数：

   clean_nodes=true

   Copy to Clipboard Toggle word wrap
2. 保存 /home/stack/undercloud.conf。

3. 更新 undercloud 配置。

   openstack undercloud install

   Copy to Clipboard Toggle word wrap

流程

1. 在 /home/stack 中创建节点清单 JSON 文件。

2. 输入每个节点的硬件和电源管理详情。

   例如：

   {
       "nodes":[
           {
               "mac":[
                   "b1:b1:b1:b1:b1:b1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.205"
           },
           {
               "mac":[
                   "b2:b2:b2:b2:b2:b2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.206"
           },
           {
               "mac":[
                   "b3:b3:b3:b3:b3:b3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.207"
           },
           {
               "mac":[
                   "c1:c1:c1:c1:c1:c1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.208"
           },
           {
               "mac":[
                   "c2:c2:c2:c2:c2:c2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.209"
           },
           {
               "mac":[
                   "c3:c3:c3:c3:c3:c3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.210"
           },
           {
               "mac":[
                   "d1:d1:d1:d1:d1:d1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.211"
           },
           {
               "mac":[
                   "d2:d2:d2:d2:d2:d2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.212"
           },
           {
               "mac":[
                   "d3:d3:d3:d3:d3:d3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.213"
           }
       ]
   }

   Copy to Clipboard Toggle word wrap
3. 保存新文件。

4. 初始化 stack 用户：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

5. 将 JSON 清单文件导入到 director 中并注册节点

   $ openstack overcloud node import <inventory_file>

   Copy to Clipboard Toggle word wrap

   将 <inventory_file> 替换为第一步中创建的文件的名称。

6. 将内核和 ramdisk 镜像分配给每个节点：

   $ openstack overcloud node configure <node>

   Copy to Clipboard Toggle word wrap

流程

1. 打开 /home/stack/templates/overcloud-baremetal-deploy.yaml 文件。

2. 为需要 overcloud-hardened-uefi-full 镜像的节点添加或更新 image 属性。您可以将镜像设置为在特定节点上，或设置为使用特定角色的所有节点：

   特定节点

   - name: Ceph
     count: 3
     instances:
     - hostname: overcloud-ceph-0
       name: node00
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.qcow2
     - hostname: overcloud-ceph-1
       name: node01
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     - hostname: overcloud-ceph-2
       name: node02
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2

   Copy to Clipboard Toggle word wrap

   为特定角色配置的所有节点

   - name: ComputeHCI
     count: 3
     defaults:
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     instances:
     - hostname: overcloud-ceph-0
       name: node00
     - hostname: overcloud-ceph-1
       name: node01
     - hostname: overcloud-ceph-2
       name: node02

   Copy to Clipboard Toggle word wrap

3. 在 roles_data.yaml 角色定义文件中，将 rhsm_enforce 参数设置为 False。

   rhsm_enforce: False

   Copy to Clipboard Toggle word wrap

4. 运行 provisioning 命令：

   (undercloud)$ openstack overcloud node provision \
   --stack overcloud \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap
5. 将 overcloud-baremetal-deployed.yaml 环境文件传递给 openstack overcloud deploy 命令。

步骤

1. 以 stack 用户的身份登录 undercloud。

2. 查找 stackrc 凭证文件：

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成一个名为 roles_data.yaml 的新角色数据文件，其中包含 Controller 和 ComputeHCI 角色：

   (undercloud)$ openstack overcloud roles generate Controller ComputeHCI -o ~/roles_data.yaml

   Copy to Clipboard Toggle word wrap

4. 打开 roles_data.yaml，并确保它有以下参数和部分：

   Expand

   section/Parameter	值
   角色评论	Role: ComputeHCI
   角色名称	名称：ComputeHCI
   description	HCI 角色
   HostnameFormatDefault	%stackname%-novaceph-%index%
   deprecated_nic_config_name	ceph.yaml

   Show more
5. 将 overcloud 的 ComputeHCI 节点添加到节点定义模板 node.json 或 node.yaml 中，为 overcloud 注册。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

   Copy to Clipboard Toggle word wrap

7. 使用自定义 HCI 资源类标记您要为 HCI 指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.HCI <node>

   Copy to Clipboard Toggle word wrap

   将 <node> 替换为裸机节点的 ID。

8. 将 ComputeHCI 角色添加到 /home/stack/templates/overcloud-baremetal-deploy.yaml 文件中，并定义您要分配给节点的预测节点放置、资源类或其他属性：

   - name: Controller
      count: 3
   - name: ComputeHCI
   	 count: 1
      defaults:
   	   resource_class: baremetal.HCI

   Copy to Clipboard Toggle word wrap

9. 打开 baremetal.yaml 文件，并确保该文件包含 HCI 所需的网络配置。以下是一个配置示例：

   - name: ComputeHCI
     count: 3
     hostname_format: compute-hci-%index%
     defaults:
       profile: ComputeHCI
       network_config:
         template: /home/stack/templates/three-nics-vlans/compute-hci.j2
       networks:
       - network: ctlplane
         vif: true
       - network: external
         subnet: external_subnet
       - network: internalapi
         subnet: internal_api_subnet01
       - network: storage
         subnet: storage_subnet01
       - network: storage_mgmt
         subnet: storage_mgmt_subnet01
       - network: tenant
         subnet: tenant_subnet01

   Copy to Clipboard Toggle word wrap
   注意

   ComputeHCI 角色中的网络配置包含 storage_mgmt 网络。CephOSD 节点使用此网络生成冗余数据副本。Compute 角色的网络配置不包含此网络。

   如需更多信息，请参阅 裸机置备。

10. 运行 provisioning 命令：

    (undercloud)$ openstack overcloud node provision \
    --stack overcloud \
    --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
    /home/stack/templates/overcloud-baremetal-deploy.yaml

    Copy to Clipboard Toggle word wrap

11. 在单独的终端中监控调配进度。

    (undercloud)$ watch openstack baremetal node list

    Copy to Clipboard Toggle word wrap
    注意

    watch 命令默认每 2 秒更新一次。-n 选项将续订计时器设置为不同的值。

12. 要停止 监视 过程，请输入 Ctrl-c。
13. 验证：在置备成功后，节点状态从 available 变为 active。

流程

1. 从每个节点的硬件内省验证磁盘信息：

   (undercloud)$ openstack baremetal introspection data save <node_uuid> | --file <output_file_name>

   Copy to Clipboard Toggle word wrap
   • 将 <node_uuid > 替换为节点的 UUID。

   • 将 < output_file_name > 替换为包含节点内省输出的文件名称。

     例如，一个节点的数据可能会显示 3 个磁盘：

     [
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sda",
         "wwn_vendor_extension": "0x1ea4dcc412a9632b",
         "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380700",
         "serial": "61866da04f3807001ea4dcc412a9632b"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdb",
         "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
         "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380d00",
         "serial": "61866da04f380d001ea4e13c12e36ad6"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdc",
         "wwn_vendor_extension": "0x1ea4e31e121cfb45",
         "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f37fc00",
         "serial": "61866da04f37fc001ea4e31e121cfb45"
       }
     ]

     Copy to Clipboard Toggle word wrap

2. 使用唯一硬件属性为节点设置根磁盘：

   (undercloud)$ openstack baremetal node set --property root_device='{<property_value>}' <node-uuid>

   • 将 < property_value > 替换为内省数据中的唯一硬件属性值，以设置根磁盘。

   • 将 <node_uuid > 替换为节点的 UUID。

     注意

     唯一的硬件属性是硬件内省步骤中唯一标识磁盘的任何属性。例如，以下命令使用磁盘序列号来设置根磁盘：

     (undercloud)$ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

3. 将每个节点的 BIOS 配置为首先从网络引导，然后配置根磁盘。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 使用以下命令配置 Ceph Storage 集群的名称：

   OpenStack overcloud ceph deploy \ --cluster <cluster_name>

   $ OpenStack overcloud ceph deploy \ --cluster central \

1. 以 stack 用户身份登录 undercloud 节点。

2. 创建一个 YAML 格式文件，该文件定义名为 network_data.yaml 的自定义网络属性。

   重要

   使用网络隔离，标准网络部署由两个存储网络组成，它们映射到两个 Ceph 网络：

   • 存储网络 storage 映射到 Ceph network, 网络 public_network。此网络处理存储流量，如从 Compute 节点到 Ceph 集群的 RBD 流量。
   • 存储网络 storage_mgmt 映射到 Ceph 网络 cluster_network。此网络处理存储管理流量，如 Ceph OSD 之间的数据复制。

3. 使用 openstack overcloud ceph deploy 命令和 --crush-hierarchy 选项来部署配置。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --network-data network_data.yaml

   Copy to Clipboard Toggle word wrap
   重要

   openstack overcloud ceph deploy 命令使用由 -network-data 选项指定的网络数据文件来确定要用作 public_network 和 cluster_network 的网络。命令假定这些网络在网络数据文件中命名为 storage 和 storage_mgmt，除非使用不同的名称由 --public-network-name 和-- cluster-network-name 选项指定。

   在使用网络隔离部署时，您必须使用 the -network-data 选项。如果没有使用这个选项，则默认 undercloud (192.168.24.0/24)将用于 public_network 和 cluster_network。

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建标准格式初始化文件来配置 Ceph 集群。如果您已经创建了包含其他配置选项的文件，可以向其中添加网络配置。

3. 在文件的 [global] 部分中添加以下参数：

   • public_network
   • cluster_network

   • ms_bind_ipv4

     重要

     确保 public_network 和 cluster_network 映射到与 storage 和 storage_mgmt 相同的网络。

     以下是具有多个子网和自定义网络名称的网络配置的配置文件条目示例：

     [global]
     public_network = 172.16.14.0/24,172.16.15.0/24
     cluster_network = 172.16.12.0/24,172.16.13.0/24
     ms_bind_ipv4 = True
     ms_bind_ipv6 = False

     Copy to Clipboard Toggle word wrap

4. 使用命令 openstack overcloud ceph deploy 和 use-config 选项来部署配置文件。

   $ openstack overcloud ceph deploy \
     --config initial-ceph.conf --network-data network_data.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 创建配置文件以定义自定义 CRUSH 层次结构，如 crush_hierarchy.yaml。

4. 在文件中添加以下配置：

   ceph_crush_hierarchy:
     <osd_host>:
       root: default
       rack: <rack_num>
     <osd_host>:
       root: default
       rack: <rack_num>
     <osd_host>:
       root: default
       rack: <rack_num>

   Copy to Clipboard Toggle word wrap
   • 将 <osd_host > 替换为部署 OSD 的节点的主机名，如 ceph-0。
   • 将 <rack_num > 替换为部署 OSD 的机架数量，如 r0。

5. 使用自定义 OSD 布局部署 Ceph 集群：

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --osd-spec osd_spec.yaml \
           --crush-hierarchy crush_hierarchy.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建定义自定义角色的 YAML 格式文件。

3. 部署配置文件：

   $ openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --roles-data custom_roles.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 可选：使用标准格式初始化(ini)文件来配置 Ceph 集群。

   1. 使用配置选项创建 文件。

      以下是简单配置文件的示例：

      [global]
      osd crush chooseleaf type = 0
      log_file = /var/log/ceph/$cluster-$type.$id.log
      
      [mon]
      mon_cluster_log_to_syslog = true

      Copy to Clipboard Toggle word wrap
   2. 保存配置文件。

   3. 使用 openstack overcloud ceph deploy --config <configuration_file_name > 命令来部署配置。

      将 <configuration_file_name > 替换为您创建的文件的名称。

      $ openstack overcloud ceph deploy --config initial-ceph.conf

      Copy to Clipboard Toggle word wrap

3. 可选：将配置值发送到 cephadm bootstrap 命令：

   OpenStack overcloud ceph deploy --force \ --cephadm-extra-args '<optional_arguments>' \

   将 <optional_arguments > 替换为提供给底层命令的配置值。

   注意

   使用 parameters --log-to-file and- -skip-prepare-host 时，使用命令 openstack overcloud ceph deploy --force \ --cephadm-extra-args '--log-to-file --skip-prepare-host' \。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 生成规格文件：

   OpenStack overcloud ceph spec -o '<specification_file>'

   将 <specification_file > 替换为要生成的文件的名称，使用当前的服务规格。

   OpenStack overcloud ceph spec -o '~/ceph_spec.yaml'

3. 使用所需配置编辑生成的文件。

4. 部署自定义服务规格：

   OpenStack overcloud ceph deploy \ deployed_metal.yaml \ -o deployed_ceph.yaml \ --ceph-spec <specification_file>

   将 <specification_file> 替换为自定义服务规格文件的名称。

   OpenStack overcloud ceph deploy \ deployed_metal.yaml \ -o deployed_ceph.yaml \ --ceph-spec ~/ceph_spec.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 创建定义高级 OSD 规格的 YAML 格式文件。

   以下是自定义 OSD 规格的示例。

   data_devices:
     rotational: 1
   db_devices:
     rotational: 0

   Copy to Clipboard Toggle word wrap

   本例会创建一个 OSD 规格，其中所有轮转设备都是数据设备，所有非轮转设备都将用作共享设备。当构建动态 Ceph 服务规格时，如果 service_type 是 osd，则规格文件中的任何内容都会附加到规范的部分中。

3. 保存规格文件。

4. 部署规格：

   openstack overcloud ceph deploy \ --osd-spec <osd_specification_file>

   将 <osd_specification_file > 替换为您创建的规格文件的名称。

   $ openstack overcloud ceph deploy \ --osd-spec osd_spec.yaml \

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 将 NovaReservedHostMemory 参数添加到 ceph-overrides.yaml 文件中。以下是用法示例。

   parameter_defaults:
     ComputeHCIParameters:
       NovaReservedHostMemory: 75000

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud。

2. 创建用于定义自定义配置的文件。

   vi /home/stack/templates/storage-config.yaml

3. 向文件中添加 parameter_defaults 部分。

4. 添加自定义配置参数。有关参数定义的更多信息，请参阅 Overcloud 参数。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderBackupBackend: ceph
       NovaEnableRbdBackend: true
       GlanceBackend: rbd

   Copy to Clipboard Toggle word wrap
   注意

   自定义配置文件中定义的参数覆盖 /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml 中的任何相应的默认设置。

5. 保存该文件。

流程

1. 启动 ceph shell。

2. 确认 NUMA 和内存目标配置：

   [ceph: root@oc0-controller-0 /]# ceph config dump | grep numa
     osd                                             advanced  osd_numa_auto_affinity                 true
   [ceph: root@oc0-controller-0 /]# ceph config dump | grep autotune
     osd                                             advanced  osd_memory_target_autotune             true
   [ceph: root@oc0-controller-0 /]# ceph config get mgr mgr/cephadm/autotune_memory_target_ratio
   0.200000

   Copy to Clipboard Toggle word wrap

3. 确认特定的 OSD 配置：

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target
   4294967296
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target_autotune
   true
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_numa_auto_affinity
   true

   Copy to Clipboard Toggle word wrap

4. 确认特定的 OSD 回填配置：

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_op_priority
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_max_backfills
   1
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_hdd
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_ssd
   10

   Copy to Clipboard Toggle word wrap

5. 确认 Compute 节点上的 reserved_host_memory_mb 配置。

   $ sudo podman exec -ti nova_compute /bin/bash
   bash-5.1$ grep reserved_host_memory_mb /etc/nova/nova.conf

   Copy to Clipboard Toggle word wrap

流程

1. 在 HCI 节点上禁用和重新平衡 Ceph OSD 服务。此步骤是必需的，因为 director 在删除 HCI 或 Red Hat Ceph Storage 节点时不会自动重新平衡 Red Hat Ceph Storage 集群。有关更多信息，请参阅 Deploying Red Hat Ceph Storage and Red Hat OpenStack Platform with director 中的扩展 Ceph Storage 集群。
2. 从 HCI 节点迁移实例。如需更多信息，请参阅配置 实例创建指南中的在 Compute 节点间迁移虚拟机。
3. 从 overcloud 移除 Compute 节点。如需更多信息，请参阅 删除计算节点。