部署超融合基础架构

流程

1. 打开 /home/stack/undercloud.conf 并添加以下参数：

   clean_nodes=true

2. 保存 /home/stack/undercloud.conf。

3. 更新 undercloud 配置。

   openstack undercloud install

流程

1. 在 /home/stack 中创建节点清单 JSON 文件。

2. 输入每个节点的硬件和电源管理详情。

   例如：

   {
       "nodes":[
           {
               "mac":[
                   "b1:b1:b1:b1:b1:b1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.205"
           },
           {
               "mac":[
                   "b2:b2:b2:b2:b2:b2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.206"
           },
           {
               "mac":[
                   "b3:b3:b3:b3:b3:b3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.207"
           },
           {
               "mac":[
                   "c1:c1:c1:c1:c1:c1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.208"
           },
           {
               "mac":[
                   "c2:c2:c2:c2:c2:c2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.209"
           },
           {
               "mac":[
                   "c3:c3:c3:c3:c3:c3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.210"
           },
           {
               "mac":[
                   "d1:d1:d1:d1:d1:d1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.211"
           },
           {
               "mac":[
                   "d2:d2:d2:d2:d2:d2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.212"
           },
           {
               "mac":[
                   "d3:d3:d3:d3:d3:d3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.213"
           }
       ]
   }

3. 保存新文件。

4. 初始化 stack 用户：

   $ source ~/stackrc

5. 将 JSON 清单文件导入到 director 并注册节点

   $ openstack overcloud node import <inventory_file>

   将 <inventory_file> 替换为第一步中创建的文件的名称。

6. 将内核和 ramdisk 镜像分配给每个节点：

   $ openstack overcloud node configure <node>

流程

1. 打开 /home/stack/templates/overcloud-baremetal-deploy.yaml 文件。

2. 为需要 overcloud-hardened-uefi-full 镜像的节点添加或更新 image 属性。您可以将镜像设置为在特定节点上使用，或设置为使用特定角色的所有节点：

   特定节点

   - name: Ceph
     count: 3
     instances:
     - hostname: overcloud-ceph-0
       name: node00
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.qcow2
     - hostname: overcloud-ceph-1
       name: node01
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     - hostname: overcloud-ceph-2
       name: node02
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2

   为特定角色配置所有节点

   - name: ComputeHCI
     count: 3
     defaults:
       image:
         href: file:///var/lib/ironic/images/overcloud-hardened-uefi-full.qcow2
     instances:
     - hostname: overcloud-ceph-0
       name: node00
     - hostname: overcloud-ceph-1
       name: node01
     - hostname: overcloud-ceph-2
       name: node02

3. 在 roles_data.yaml 角色定义文件中，将 rhsm_enforce 参数设置为 False。

   rhsm_enforce: False

4. 运行 provisioning 命令：

   (undercloud)$ openstack overcloud node provision \
   --stack overcloud \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

5. 将 overcloud-baremetal-deployed.yaml 环境文件传递给 openstack overcloud deploy 命令。

步骤

1. 以 stack 用户的身份登录 undercloud。

2. 查找 stackrc 凭证文件：

   [stack@director ~]$ source ~/stackrc

3. 生成一个名为 roles_data.yaml 的新角色数据文件，其中包含 Controller 和 ComputeHCI 角色：

   (undercloud)$ openstack overcloud roles generate Controller ComputeHCI -o ~/roles_data.yaml

4. 打开 roles_data.yaml，并确保它有以下参数和部分：

   section/Parameter	值
   role 注释	Role: ComputeHCI
   角色名称	Name: ComputeHCI
   description	HCI 角色
   HostnameFormatDefault	%stackname%-novaceph-%index%
   deprecated_nic_config_name	ceph.yaml

5. 将 overcloud 的 ComputeHCI 节点添加到节点定义模板 node.json 或 node.yaml 中，以注册它们。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

7. 使用自定义 HCI 资源类标记您要为 HCI 指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.HCI <node>

   将 <node> 替换为裸机节点的 ID。

8. 将 ComputeHCI 角色添加到您的 /home/stack/templates/overcloud-baremetal-deploy.yaml 文件中，并定义您要分配给节点的任何预先节点放置、资源类或其他属性：

   - name: Controller
     count: 3
   - name: ComputeHCI
     count: 1
     defaults:
       resource_class: baremetal.HCI

9. 打开 baremetal.yaml 文件，并确保它包含 HCI 所需的网络配置。以下是配置示例：

   - name: ComputeHCI
     count: 3
     hostname_format: compute-hci-%index%
     defaults:
       profile: ComputeHCI
       network_config:
         template: /home/stack/templates/three-nics-vlans/compute-hci.j2
       networks:
       - network: ctlplane
         vif: true
       - network: external
         subnet: external_subnet
       - network: internalapi
         subnet: internal_api_subnet01
       - network: storage
         subnet: storage_subnet01
       - network: storage_mgmt
         subnet: storage_mgmt_subnet01
       - network: tenant
         subnet: tenant_subnet01

   注意

   ComputeHCI 角色中的网络配置包含 storage_mgmt 网络。CephOSD 节点使用此网络进行冗余数据副本。Compute 角色的网络配置不包含此网络。

   如需更多信息 ，请参阅配置 裸机置备服务。

10. 运行 provisioning 命令：

    (undercloud)$ openstack overcloud node provision \
    --stack overcloud \
    --network_config \
    --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
    /home/stack/templates/overcloud-baremetal-deploy.yaml

11. 在一个单独的终端中监控置备进度。

    (undercloud)$ watch openstack baremetal node list

    注意

    默认情况下，watch 命令每 2 秒续订一次。n 选项将续订计时器设置为不同的值。

12. 要停止 监视 进程，请输入 Ctrl-c。
13. 验证 ：置备成功后，节点状态从 available 变为 active。

流程

1. 从每个节点的硬件内省验证磁盘信息：

   (undercloud)$ openstack baremetal introspection data save <node_uuid> --file <output_file_name>

   • 将 <node_uuid > 替换为节点的 UUID。

   • 将 < output_file_name > 替换为包含节点内省输出的文件的名称。

     例如，一个节点的数据可能会显示 3 个磁盘：

     [
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sda",
         "wwn_vendor_extension": "0x1ea4dcc412a9632b",
         "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380700",
         "serial": "61866da04f3807001ea4dcc412a9632b"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdb",
         "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
         "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380d00",
         "serial": "61866da04f380d001ea4e13c12e36ad6"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdc",
         "wwn_vendor_extension": "0x1ea4e31e121cfb45",
         "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f37fc00",
         "serial": "61866da04f37fc001ea4e31e121cfb45"
       }
     ]

2. 使用唯一硬件属性为节点设置根磁盘：

   (undercloud)$ openstack baremetal node set --property root_device='{<property_value>}' <node-uuid>

   • 将 < property_value > 替换为来自内省数据的唯一硬件属性值，以设置根磁盘。

   • 将 <node_uuid > 替换为节点的 UUID。

     注意

     唯一的硬件属性是硬件内省步骤中唯一标识磁盘的任何属性。例如，以下命令使用磁盘序列号来设置根磁盘：

     (undercloud)$ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

3. 将每个节点的 BIOS 配置为从网络首次引导，然后是根磁盘。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 配置顶级域后缀：

     openstack overcloud ceph deploy \
             --tld "<domain_name>"

   将 <domain_name > 替换为所需的域名。

     openstack overcloud ceph deploy \
             --tld "example.local"

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 使用以下命令配置 Ceph Storage 集群的名称：

   openstack overcloud ceph deploy \ --cluster <cluster_name>

   $ OpenStack overcloud ceph deploy \ --cluster central \

1. 以 stack 用户身份登录 undercloud 节点。

2. 创建一个 YAML 格式文件，用于定义名为 network_data.yaml 的自定义网络属性。

   重要

   使用网络隔离，标准网络部署由两个存储网络组成，它们映射到两个 Ceph 网络：

   • 存储网络 storage 映射到 Ceph network, 网络 public_network。此网络处理存储流量，如从 Compute 节点到 Ceph 集群的 RBD 流量。
   • 存储网络 storage_mgmt 映射到 Ceph 网络 cluster_network。此网络处理存储管理流量，如 Ceph OSD 之间的数据复制。

3. 使用 openstack overcloud ceph deploy 命令和 --crush-hierarchy 选项来部署配置。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --network-data network_data.yaml

   重要

   openstack overcloud ceph deploy 命令使用 --network-data 选项指定的网络数据文件来确定要用作 public_network 和 cluster_network 的网络。该命令假设这些网络在网络数据文件中名为 storage 和 storage_mgmt，除非由 --public-network-name 和 --cluster-network-name 选项指定不同的名称。

   在使用网络隔离部署时，您必须使用 --network-data 选项。如果没有使用这个选项，默认的 undercloud (192.168.24.0/24)将同时用于 public_network 和 cluster_network。

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建标准格式初始化文件来配置 Ceph 集群。如果您已经创建了一个文件来包含其他配置选项，您可以将网络配置添加到其中。

3. 在文件的 [global] 部分添加以下参数：

   • public_network
   • cluster_network

   • ms_bind_ipv4

     重要

     确保 public_network 和 cluster_network 映射到与 storage 和 storage_mgmt 相同的网络。

     以下是具有多个子网和自定义网络名称的网络配置的配置文件条目示例：

     [global]
     public_network = 172.16.14.0/24,172.16.15.0/24
     cluster_network = 172.16.12.0/24,172.16.13.0/24
     ms_bind_ipv4 = True
     ms_bind_ipv6 = False

4. 使用命令 openstack overcloud ceph deploy 和 --config 选项来部署配置文件。

   $ openstack overcloud ceph deploy \
     --config initial-ceph.conf --network-data network_data.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 创建配置文件以定义自定义 CRUSH 层次结构，如 crush_hierarchy.yaml。

4. 在文件中添加以下配置：

   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>

   • 将 <osd_host > 替换为部署 OSD 的节点的主机名，如 ceph-0。
   • 将 <rack_num > 替换为部署 OSD 的机架数量，如 r0。

5. 使用自定义 OSD 布局部署 Ceph 集群：

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --osd-spec osd_spec.yaml \
           --crush-hierarchy crush_hierarchy.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建定义自定义角色的 YAML 格式文件。

3. 部署配置文件：

   $ openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --roles-data custom_roles.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 可选：使用标准格式初始化(ini)文件来配置 Ceph 集群。

   1. 使用配置选项创建 文件。

      以下是简单配置文件的示例：

      [global]
      osd_crush_chooseleaf type = 0
      log_file = /var/log/ceph/$cluster-$type.$id.log
      
      [mon]
      mon_cluster_log_to_syslog = true

   2. 保存配置文件。

   3. 使用 openstack overcloud ceph deploy --config <configuration_file_name > 命令来部署配置。

      将 <configuration_file_name > 替换为您创建的文件的名称。

      $ openstack overcloud ceph deploy --config initial-ceph.conf

3. 可选：向 cephadm bootstrap 命令发送配置值：

   openstack overcloud ceph deploy --force \ --cephadm-extra-args '<optional_arguments>' \

   将 <optional_arguments > 替换为提供给底层命令的配置值。

   注意

   在使用参数 --log-to-file 和 --skip-prepare-host 时，使用 openstack overcloud ceph deploy --force \ --cephadm-extra-args '--log-to-file --skip-prepare-host' \。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 生成规格文件：

   openstack overcloud ceph spec deployed_metal.yaml -o <specification_file>

   • 将 <specification_file > 替换为要使用当前服务规格生成的文件的名称。

     注意

     deployed_metal.yaml 来自 openstack overcloud node provision 命令的输出。

3. 使用所需的配置编辑生成的文件。

4. 部署自定义服务规格：

   openstack overcloud ceph deploy \
      deployed_metal.yaml \
      -o deployed_ceph.yaml \
      --ceph-spec <specification_file>

   • 将 <specification_file> 替换为自定义服务规格文件的名称。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 创建定义高级 OSD 规格的 YAML 格式文件。

   以下是自定义 OSD 规范的示例。

   data_devices:
     rotational: 1
   db_devices:
     rotational: 0

   本例将创建一个 OSD 规格，所有轮转设备将是数据设备，并且所有非轮转设备都将用作共享设备。构建动态 Ceph 服务规格时，如果 service_type 是 osd，则规格文件中的任何内容都会附加到规格的部分中。

   注意

   自定义 OSD 规格文件不应具有完整的 OSD 规格。

   以下是完整 OSD 规格的示例：

   service_type: osd
   service_id: osd_spec_hdd
   placement:
     host_pattern: 'storage-*'
   data_devices:
     paths:
       - /dev/sda
       - /dev/sdb

   自定义 OSD 规格文件不应在同一文件中有多个 YAML 文档。

   以下是同一文件中的多个 YAML 文档的示例：

   data_devices:
     paths:
     - /dev/sda
     - /dev/sdb
     - /dev/sdc
   ---
   data_devices:
     paths:
     - /dev/sdk
     - /dev/sdl
     - /dev/sdm

   在环境初始部署后，使用 Red Hat Ceph Storage 命令行工具配置 OSD 规格。有关更多信息，请参阅 Red Hat Ceph Storage Operations 指南中的使用高级服务规格部署 Ceph OSD。

3. 保存规格文件。

4. 部署规格：

   OpenStack overcloud ceph deploy \ --osd-spec <osd_specification_file>

   将 <osd_specification_file > 替换为您创建的规格文件的名称。

   $ openstack overcloud ceph deploy \ --osd-spec osd_spec.yaml \

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 将 NovaReservedHostMemory 参数添加到 ceph-overrides.yaml 文件。以下是用法示例。

   parameter_defaults:
     ComputeHCIParameters:
       NovaReservedHostMemory: 75000

流程

1. 以 stack 用户身份登录 undercloud。

2. 创建用于定义自定义配置的文件。

   vi /home/stack/templates/storage-config.yaml

3. 在文件中添加 parameter_defaults 部分。

4. 添加自定义配置参数。有关参数定义的更多信息，请参阅 Overcloud 参数。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderBackupBackend: ceph
       NovaEnableRbdBackend: true
       GlanceBackend: rbd

   注意

   自定义配置文件中定义的参数覆盖 /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml 中任何对应的默认设置。

5. 保存该文件。

流程

1. 启动 ceph shell。

2. 确认 NUMA 和内存目标配置：

   [ceph: root@oc0-controller-0 /]# ceph config dump | grep numa
     osd                                             advanced  osd_numa_auto_affinity                 true
   [ceph: root@oc0-controller-0 /]# ceph config dump | grep autotune
     osd                                             advanced  osd_memory_target_autotune             true
   [ceph: root@oc0-controller-0 /]# ceph config get mgr mgr/cephadm/autotune_memory_target_ratio
   0.200000

3. 确认特定的 OSD 配置：

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target
   4294967296
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_memory_target_autotune
   true
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_numa_auto_affinity
   true

4. 确认特定的 OSD 回填配置：

   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_op_priority
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_max_backfills
   1
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_hdd
   3
   [ceph: root@oc0-controller-0 /]# ceph config get osd.11 osd_recovery_max_active_ssd
   10

5. 确认 Compute 节点上的 reserved_host_memory_mb 配置。

   $ sudo podman exec -ti nova_compute /bin/bash
   bash-5.1$ grep reserved_host_memory_mb /etc/nova/nova.conf

流程

1. 在 HCI 节点上禁用并重新平衡 Ceph OSD 服务。此步骤是必需的，因为当您删除 HCI 或 Red Hat Ceph Storage 节点时，director 不会自动重新平衡 Red Hat Ceph Storage 集群。有关更多信息，请参阅部署 Red Hat Ceph Storage 和 Red Hat OpenStack Platform 中的扩展 Ceph Storage 集群以了解更多信息。
2. 从 HCI 节点迁移实例。如需更多信息，请参阅配置 计算服务创建指南中的在 Compute 节点之间迁移虚拟机。
3. 从 overcloud 移除 Compute 节点。如需更多信息，请参阅 删除 Compute 节点。