将 Red Hat Ceph Storage 和 Red Hat OpenStack Platform 与 director 一起部署

流程

1. 打开 /home/stack/undercloud.conf 并添加以下参数：

   clean_nodes=true

2. 保存 /home/stack/undercloud.conf。

3. 更新 undercloud 配置。

   openstack undercloud install

流程

1. 在 /home/stack 中创建节点清单 JSON 文件。

2. 输入每个节点的硬件和电源管理详情。

   例如：

   {
       "nodes":[
           {
               "mac":[
                   "b1:b1:b1:b1:b1:b1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.205"
           },
           {
               "mac":[
                   "b2:b2:b2:b2:b2:b2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.206"
           },
           {
               "mac":[
                   "b3:b3:b3:b3:b3:b3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.207"
           },
           {
               "mac":[
                   "c1:c1:c1:c1:c1:c1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.208"
           },
           {
               "mac":[
                   "c2:c2:c2:c2:c2:c2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.209"
           },
           {
               "mac":[
                   "c3:c3:c3:c3:c3:c3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.210"
           },
           {
               "mac":[
                   "d1:d1:d1:d1:d1:d1"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.211"
           },
           {
               "mac":[
                   "d2:d2:d2:d2:d2:d2"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.212"
           },
           {
               "mac":[
                   "d3:d3:d3:d3:d3:d3"
               ],
               "cpu":"4",
               "memory":"6144",
               "disk":"40",
               "arch":"x86_64",
               "pm_type":"ipmi",
               "pm_user":"admin",
               "pm_password":"p@55w0rd!",
               "pm_addr":"192.0.2.213"
           }
       ]
   }

3. 保存新文件。

4. 初始化 stack 用户：

   $ source ~/stackrc

5. 将 JSON 清单文件导入到 director 并注册节点

   $ openstack overcloud node import <inventory_file>

   将 <inventory_file> 替换为第一步中创建的文件的名称。

6. 将内核和 ramdisk 镜像分配给每个节点：

   $ openstack overcloud node configure <node>

流程

1. 从每个节点的硬件内省验证磁盘信息：

   (undercloud)$ openstack baremetal introspection data save <node_uuid> --file <output_file_name>

   • 将 <node_uuid > 替换为节点的 UUID。

   • 将 < output_file_name > 替换为包含节点内省输出的文件的名称。

     例如，一个节点的数据可能会显示 3 个磁盘：

     [
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sda",
         "wwn_vendor_extension": "0x1ea4dcc412a9632b",
         "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380700",
         "serial": "61866da04f3807001ea4dcc412a9632b"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdb",
         "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
         "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f380d00",
         "serial": "61866da04f380d001ea4e13c12e36ad6"
       }
       {
         "size": 299439751168,
         "rotational": true,
         "vendor": "DELL",
         "name": "/dev/sdc",
         "wwn_vendor_extension": "0x1ea4e31e121cfb45",
         "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
         "model": "PERC H330 Mini",
         "wwn": "0x61866da04f37fc00",
         "serial": "61866da04f37fc001ea4e31e121cfb45"
       }
     ]

2. 使用唯一硬件属性为节点设置根磁盘：

   (undercloud)$ openstack baremetal node set --property root_device='{<property_value>}' <node-uuid>

   • 将 < property_value > 替换为来自内省数据的唯一硬件属性值，以设置根磁盘。

   • 将 <node_uuid > 替换为节点的 UUID。

     注意

     唯一的硬件属性是硬件内省步骤中唯一标识磁盘的任何属性。例如，以下命令使用磁盘序列号来设置根磁盘：

     (undercloud)$ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

3. 将每个节点的 BIOS 配置为从网络首次引导，然后是根磁盘。

流程

1. 打开 /home/stack/templates/overcloud-baremetal-deploy.yaml 文件。

2. 为您要使用 overcloud-minimal 镜像的节点添加或更新 image 属性。您可以将特定节点上的镜像设置为 overcloud-minimal，或将角色的所有节点设置为 overcloud-minimal。

   注意

   overcloud 最小镜像不是整个磁盘镜像。内核和 ramdisk 必须在 /home/stack/templates/overcloud-baremetal-deploy.yaml 文件中指定。

   特定节点

   - name: Ceph
     count: 3
     instances:
     - hostname: overcloud-ceph-0
       name: node00
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd
     - hostname: overcloud-ceph-1
       name: node01
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd
     - hostname: overcloud-ceph-2
       name: node02
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd

   特定角色的所有节点

   - name: Ceph
     count: 3
     defaults:
       image:
         href: file:///var/lib/ironic/images/overcloud-minimal.raw
         kernel: file://var/lib/ironic/images/overcloud-minimal.vmlinuz
         ramdisk: file://var/lib/ironic/images/overcloud-minimal.initrd
     instances:
     - hostname: overcloud-ceph-0
       name: node00
     - hostname: overcloud-ceph-1
       name: node01
     - hostname: overcloud-ceph-2
       name: node02

3. 在 roles_data.yaml 角色定义文件中，将 rhsm_enforce 参数设置为 False。

   rhsm_enforce: False

4. 运行 provisioning 命令：

   (undercloud)$ openstack overcloud node provision \
   --stack overcloud \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

5. 将 overcloud-baremetal-deployed.yaml 环境文件传递给 openstack overcloud ceph deploy 命令。

步骤

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成一个名为 roles_data.yaml 的新角色数据文件，其中包含 Controller、Compute 和 CephStorage 角色：

   (undercloud)$ openstack overcloud roles \
    generate Controller Compute CephStorage -o /home/stack/templates/roles_data.yaml \

4. 打开 roles_data.yaml，并确保它有以下参数和部分：

   section/Parameter	值
   role 注释	Role: CephStorage
   角色名称	名称 ：CephStorage
   description	Ceph 节点角色
   HostnameFormatDefault	%stackname%-novaceph-%index%
   deprecated_nic_config_name	ceph.yaml

5. 将 overcloud 的 Ceph 节点添加到节点定义模板中，以注册它们。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

7. 使用自定义 Ceph 资源类标记您要为 Ceph 指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.CEPH <node>

   将 <node> 替换为裸机节点的 ID。

8. 将 CephStorage 角色添加到 overcloud-baremetal-deploy.yaml 文件中，并定义您要分配给节点的任何预先节点放置、资源类或其他属性：

   - name: Controller
     	  count: 3
   - name: Compute
    	  count: 3
   - name: CephStorage
   	  count: 5
       defaults:
   	    resource_class: baremetal.CEPH

9. 运行 provisioning 命令：

   (undercloud)$ openstack overcloud node provision \
   --stack stack \
   --output /home/stack/templates/overcloud-baremetal-deployed.yaml \
   /home/stack/templates/overcloud-baremetal-deploy.yaml

10. 在一个单独的终端中监控置备进度。当置备成功时，节点状态将从 available 变为 active ：

    (undercloud)$ watch openstack baremetal node list

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 配置顶级域后缀：

     openstack overcloud ceph deploy \
             --tld "<domain_name>"

   将 <domain_name > 替换为所需的域名。

     openstack overcloud ceph deploy \
             --tld "example.local"

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 使用以下命令配置 Ceph Storage 集群的名称：

   openstack overcloud ceph deploy \ --cluster <cluster_name>

   $ OpenStack overcloud ceph deploy \ --cluster central \

1. 以 stack 用户身份登录 undercloud 节点。

2. 创建一个 YAML 格式文件，用于定义名为 network_data.yaml 的自定义网络属性。

   重要

   使用网络隔离，标准网络部署由两个存储网络组成，它们映射到两个 Ceph 网络：

   • 存储网络 storage 映射到 Ceph network, 网络 public_network。此网络处理存储流量，如从 Compute 节点到 Ceph 集群的 RBD 流量。
   • 存储网络 storage_mgmt 映射到 Ceph 网络 cluster_network。此网络处理存储管理流量，如 Ceph OSD 之间的数据复制。

3. 使用 openstack overcloud ceph deploy 命令和 --crush-hierarchy 选项来部署配置。

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --network-data network_data.yaml

   重要

   openstack overcloud ceph deploy 命令使用 --network-data 选项指定的网络数据文件来确定要用作 public_network 和 cluster_network 的网络。该命令假设这些网络在网络数据文件中名为 storage 和 storage_mgmt，除非由 --public-network-name 和 --cluster-network-name 选项指定不同的名称。

   在使用网络隔离部署时，您必须使用 --network-data 选项。如果没有使用这个选项，默认的 undercloud (192.168.24.0/24)将同时用于 public_network 和 cluster_network。

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建标准格式初始化文件来配置 Ceph 集群。如果您已经创建了一个文件来包含其他配置选项，您可以将网络配置添加到其中。

3. 在文件的 [global] 部分添加以下参数：

   • public_network
   • cluster_network

   • ms_bind_ipv4

     重要

     确保 public_network 和 cluster_network 映射到与 storage 和 storage_mgmt 相同的网络。

     以下是具有多个子网和自定义网络名称的网络配置的配置文件条目示例：

     [global]
     public_network = 172.16.14.0/24,172.16.15.0/24
     cluster_network = 172.16.12.0/24,172.16.13.0/24
     ms_bind_ipv4 = True
     ms_bind_ipv6 = False

4. 使用命令 openstack overcloud ceph deploy 和 --config 选项来部署配置文件。

   $ openstack overcloud ceph deploy \
     --config initial-ceph.conf --network-data network_data.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 创建配置文件以定义自定义 CRUSH 层次结构，如 crush_hierarchy.yaml。

4. 在文件中添加以下配置：

   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>
   <osd_host>:
     root: default
     rack: <rack_num>

   • 将 <osd_host > 替换为部署 OSD 的节点的主机名，如 ceph-0。
   • 将 <rack_num > 替换为部署 OSD 的机架数量，如 r0。

5. 使用自定义 OSD 布局部署 Ceph 集群：

   openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --osd-spec osd_spec.yaml \
           --crush-hierarchy crush_hierarchy.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建定义自定义角色的 YAML 格式文件。

3. 部署配置文件：

   $ openstack overcloud ceph deploy \
           deployed_metal.yaml \
           -o deployed_ceph.yaml \
           --roles-data custom_roles.yaml

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 可选：使用标准格式初始化(ini)文件来配置 Ceph 集群。

   1. 使用配置选项创建 文件。

      以下是简单配置文件的示例：

      [global]
      osd_crush_chooseleaf type = 0
      log_file = /var/log/ceph/$cluster-$type.$id.log
      
      [mon]
      mon_cluster_log_to_syslog = true

   2. 保存配置文件。

   3. 使用 openstack overcloud ceph deploy --config <configuration_file_name > 命令来部署配置。

      将 <configuration_file_name > 替换为您创建的文件的名称。

      $ openstack overcloud ceph deploy --config initial-ceph.conf

3. 可选：向 cephadm bootstrap 命令发送配置值：

   openstack overcloud ceph deploy --force \ --cephadm-extra-args '<optional_arguments>' \

   将 <optional_arguments > 替换为提供给底层命令的配置值。

   注意

   在使用参数 --log-to-file 和 --skip-prepare-host 时，使用 openstack overcloud ceph deploy --force \ --cephadm-extra-args '--log-to-file --skip-prepare-host' \。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 生成规格文件：

   openstack overcloud ceph spec deployed_metal.yaml -o <specification_file>

   • 将 <specification_file > 替换为要使用当前服务规格生成的文件的名称。

     注意

     deployed_metal.yaml 来自 openstack overcloud node provision 命令的输出。

3. 使用所需的配置编辑生成的文件。

4. 部署自定义服务规格：

   openstack overcloud ceph deploy \
      deployed_metal.yaml \
      -o deployed_ceph.yaml \
      --ceph-spec <specification_file>

   • 将 <specification_file> 替换为自定义服务规格文件的名称。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 创建定义高级 OSD 规格的 YAML 格式文件。

   以下是自定义 OSD 规范的示例。

   data_devices:
     rotational: 1
   db_devices:
     rotational: 0

   本例将创建一个 OSD 规格，所有轮转设备将是数据设备，并且所有非轮转设备都将用作共享设备。构建动态 Ceph 服务规格时，如果 service_type 是 osd，则规格文件中的任何内容都会附加到规格的部分中。

   注意

   自定义 OSD 规格文件不应具有完整的 OSD 规格。

   以下是完整 OSD 规格的示例：

   service_type: osd
   service_id: osd_spec_hdd
   placement:
     host_pattern: 'storage-*'
   data_devices:
     paths:
       - /dev/sda
       - /dev/sdb

   自定义 OSD 规格文件不应在同一文件中有多个 YAML 文档。

   以下是同一文件中的多个 YAML 文档的示例：

   data_devices:
     paths:
     - /dev/sda
     - /dev/sdb
     - /dev/sdc
   ---
   data_devices:
     paths:
     - /dev/sdk
     - /dev/sdl
     - /dev/sdm

   在环境初始部署后，使用 Red Hat Ceph Storage 命令行工具配置 OSD 规格。有关更多信息，请参阅 Red Hat Ceph Storage Operations 指南中的使用高级服务规格部署 Ceph OSD。

3. 保存规格文件。

4. 部署规格：

   OpenStack overcloud ceph deploy \ --osd-spec <osd_specification_file>

   将 <osd_specification_file > 替换为您创建的规格文件的名称。

   $ openstack overcloud ceph deploy \ --osd-spec osd_spec.yaml \

流程

1. 以 stack 用户身份登录 undercloud。

2. 创建用于定义自定义配置的文件。

   vi /home/stack/templates/storage-config.yaml

3. 在文件中添加 parameter_defaults 部分。

4. 添加自定义配置参数。有关参数定义的更多信息，请参阅 Overcloud 参数。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderBackupBackend: ceph
       NovaEnableRbdBackend: true
       GlanceBackend: rbd

   注意

   自定义配置文件中定义的参数覆盖 /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml 中任何对应的默认设置。

5. 保存该文件。

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 创建一个环境文件，如 /home/stack/templates/ceph-config.yaml，使其包含 Ceph 配置参数和设备类变量。或者，您可以在现有环境文件中添加以下配置。

3. 添加 CephCrushRules 参数。CephCrushRules 参数必须包含您定义或 Ceph 自动检测到的每个类的规则。在创建新池时，如果没有指定规则，则会选择您希望 Ceph 用作默认值的规则。

   CephCrushRules:
   
     - name: HDD
       root: default
       type: host
       class: hdd
       default: true
     - name: SSD
       root: default
       type: host
       class: ssd
       default: false

4. 添加 CephPools 参数：

   • 使用 rule_name 参数指定不使用默认规则的每个池的层。在以下示例中，fastpool 池使用配置为快速层的 SSD 设备类来管理块存储卷。

   • 使用 CinderRbdExtraPools 参数将 fastpool 配置为块存储后端。

     CephPools:
       - name: fastpool
         rule_name: SSD
         application: rbd
     CinderRbdExtraPools: fastpool

5. 使用以下示例来确保环境文件包含正确的值：

   parameter_defaults:
   CephCrushRules:
   
     - name: replicated_hdd
       default: true
       class: hdd
       root: default
       type: host
       CinderRbdExtraPools: fastpool
       CephPools:
     - name: fastpool
       rule_name: SSD
       application: rbd

6. 在 openstack overcloud deploy 命令中包含新的环境文件。

   $ openstack overcloud deploy \
   --templates \
   …
   -e <other_overcloud_environment_files> \
   -e /home/stack/templates/ceph-config.yaml  \
   …

   将 <other_overcloud_environment_files > 替换为属于部署的其他环境文件的列表。

流程

1. 以 tripleo-admin 用户身份登录 overcloud Controller 节点。

2. 要验证您的 OSD 层是否已成功设置，请输入以下命令。

   $ sudo cephadm shell ceph osd tree

3. 在生成的树视图中，验证 CLASS 列是否显示您设置的每个 OSD 的正确设备类。

4. 另外，使用以下命令验证 OSD 是否已正确分配给设备类。

   $ sudo cephadm shell ceph osd crush tree --show-shadow

5. 将生成的层次结构与以下命令的结果进行比较，以确保对每个规则应用相同的值。

   $ sudo cephadm shell ceph osd crush rule dump <rule_name>

   • 将 <rule_name> 替换为您要检查的规则的名称。

6. 根据您在部署期间使用的 crush_rules 参数，验证您创建的规则名称和 ID 是否正确。

   $ sudo cephadm shell ceph osd crush rule dump | grep -E "rule_(id|name)"

7. 验证 Ceph 池已绑定到在第 3 步中获得的正确 CRUSH 规则 ID。

   $ sudo cephadm shell -- ceph osd dump | grep pool

8. 对于每个池，请确保规则 ID 与您预期的规则名称匹配。

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 生成默认的容器镜像准备文件：

   $ sudo openstack tripleo container image prepare default \
     --local-push-destination \
     --output-env-file containers-prepare-parameter.yaml

3. 编辑 containers-prepare-parameter.yaml 文件并进行修改以满足您的要求。以下示例 containers-prepare-parameter.yaml 文件包含与 Dashboard 服务相关的镜像位置和标签，包括 Grafana、Prometheus、Alertmanager 和 Node Exporter。根据您的特定场景编辑值：

   parameter_defaults:
       ContainerImagePrepare:
       - push_destination: true
           set:
               ceph_alertmanager_image: ose-prometheus-alertmanager
               ceph_alertmanager_namespace: registry.redhat.io/openshift4
               ceph_alertmanager_tag: v4.12
               ceph_grafana_image: rhceph-6-dashboard-rhel9
               ceph_grafana_namespace: registry.redhat.io/rhceph
               ceph_grafana_tag: 6
               ceph_image: rhceph-6-rhel9
               ceph_namespace: registry.redhat.io/rhceph
               ceph_node_exporter_image: ose-prometheus-node-exporter
               ceph_node_exporter_namespace: registry.redhat.io/openshift4
               ceph_node_exporter_tag: v4.12
               ceph_prometheus_image: ose-prometheus
               ceph_prometheus_namespace: registry.redhat.io/openshift4
               ceph_prometheus_tag: v4.12
               ceph_tag: latest

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 可选：Ceph Dashboard 网络默认设置为 provisioning 网络。如果要部署 Ceph 控制面板并通过其他网络访问它，请创建一个环境文件，例如： ceph_dashboard_network_override.yaml。将 CephDashboardNetwork 设置为现有 overcloud 路由网络之一，如 external ：

     parameter_defaults:
       ServiceNetMap:
         CephDashboardNetwork: external

   重要

   在初始部署后，不支持将 CephDashboardNetwork 值更改为从不同的网络访问 Ceph 控制面板。

3. 在 openstack overcloud deploy 命令中包含以下环境文件。如果选择更改默认网络，包含属于部署的所有环境文件，以及 ceph_dashboard_network_override.yaml 文件：

   $ openstack overcloud deploy \
    --templates \
    -e <overcloud_environment_files> \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/ceph-dashboard.yaml \
    -e ceph_dashboard_network_override.yaml

   将 <overcloud_environment_files > 替换为属于部署的环境文件列表。

流程

1. 以 stack 用户身份登录 undercloud。

2. 生成特定于 Controller 的角色，使其包含 Dashboard 可组合网络：

   $ openstack overcloud roles generate -o /home/stack/roles_data_dashboard.yaml ControllerStorageDashboard Compute BlockStorage ObjectStorage CephStorage

   • 在定义为命令输出的 YAML 文件中生成一个新的 ControllerStorageDashboard 角色。使用 overcloud deploy 命令时，您必须将此 YAML 文件包含在模板列表中。ControllerStorageDashboard 角色不包含 CephNFS 或 network_data_dashboard.yaml。
   • director 提供了一个定义可组合网络的网络环境文件。此文件的默认位置为 /usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml。使用 overcloud deploy 命令时，您必须将此文件包含在 overcloud 模板列表中。

3. 在 openstack overcloud deploy 命令中包含以下环境文件，以及作为部署一部分的所有环境文件：

   $ openstack overcloud deploy \
     --templates \
     -r /home/stack/roles_data.yaml \
     -n /usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
     -e <overcloud_environment_files> \
     -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/ceph-dashboard.yaml

   将 <overcloud_environment_files > 替换为属于部署的环境文件列表。

流程

1. 以 stack 用户的身份登录 undercloud。

2. 创建以下 ceph_dashboard_admin.yaml 环境文件：

     parameter_defaults:
        CephDashboardAdminRO: false

3. 运行 overcloud deploy 命令以更新现有的堆栈，并包含您创建的所有其他环境文件，这些文件属于现有部署：

   $ openstack overcloud deploy \
   --templates \
   -e <existing_overcloud_environment_files> \
   -e ceph_dashboard_admin.yml

   使用作为您现有部署一部分的环境文件列表替换 <existing_overcloud_environment_files>。

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 检索仪表板 admin 登录凭证：

   [stack@undercloud ~]$ grep tripleo_cephadm_dashboard_admin_password <config-download>/<stack>/cephadm/cephadm-extra-vars-heat.yml

3. 检索 VIP 地址以访问 Ceph 控制面板：

   [stack@undercloud-0 ~]$ grep tripleo_cephadm_dashboard_frontend_vip <config-download>/<stack>/cephadm/cephadm-extra-vars-ansible.yml

4. 使用 Web 浏览器指向前端 VIP 并访问控制面板。director 在 provisioning 网络中配置和公开仪表板，以便您可以使用您检索到的 VIP 在 TCP 端口 8444 上直接访问仪表板。确保满足以下条件：

   • Web 客户端主机是连接到 provisioning 网络的第 2 层。

   • 置备网络会被正确路由或代理，可以从 web 客户端主机访问它。如果没有满足这些条件，您仍然可以打开 SSH 隧道来访问 overcloud 上的 Dashboard VIP：

     client_host$ ssh -L 8444:<dashboard_vip>:8444 stack@<your undercloud>

     将 <dashboard_vip> 替换为您检索到的 control plane VIP 的 IP 地址。

5. 要访问仪表板，使用浏览器访问 http://localhost:8444，并使用以下详情进行登录：

   • cephadm 创建的默认用户： admin。
   • < config-download>/<stack>/cephadm/cephadm-extra-vars-heat.yml 中的密码。

流程

1. 以 stack 用户身份登录 undercloud 节点。
2. 打开文件 deployed_ceph.yaml 或您环境中使用的文件来定义 Ceph 存储集群配置。
3. 找到 ApplyCephConfigOverridesOnUpdate 参数。
4. 将 ApplyCephConfigOverridesOnUpdate 参数值更改为 false。
5. 保存该文件。

流程

1. 运行以下命令来 source 文件：

   $ source ~/overcloudrc

   这会加载必要的环境变量，以便从 undercloud CLI 与 overcloud 交互。

2. 要返回与 undercloud 进行交互的状态，请运行以下命令：

   $ source ~/stackrc

流程

1. 以 tripleo-admin 用户身份登录 Controller 节点：

   $ nova list
   $ ssh tripleo-admin@192.168.0.25

2. 检查 Ceph 集群的运行状况：

   $ sudo cephadm shell -- ceph health

   如果 Ceph 集群没有问题，命令会返回 HEALTH_OK。这意味着 Ceph 集群是安全的使用。

3. 登录到运行 Ceph 监控服务的 overcloud 节点，并检查 Ceph 集群中的所有 OSD 的状态：

   $ sudo cephadm shell -- ceph osd tree

4. 检查 Ceph Monitor 仲裁的状态：

   $ sudo cephadm shell -- ceph quorum_status

   这将显示参与仲裁以及哪个是领导的监控器。

5. 验证所有 Ceph OSD 是否正在运行：

   $ sudo cephadm shell -- ceph osd stat

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 获取 overcloudrc 文件：

   $ source overcloudrc

3. 检查块存储卷现有的类型：

   $ cinder type-list

4. 创建新的块存储卷 fast_tier：

   $ cinder type-create fast_tier

5. 检查是否创建了 Block Storage 类型：

   $ cinder type-list

6. 当 fast_tier Block Storage 类型可用时，将 fastpool 设置为您创建的新层的块存储卷后端：

   $ cinder type-key fast_tier set volume_backend_name=tripleo_ceph_fastpool

7. 使用新层创建新卷：

   $ cinder create 1 --volume-type fast_tier --name fastdisk

1. 提供 overcloud 凭证文件：

   $ source ~/<credentials_file>

   • 将 <credentials_file > 替换为您的凭据文件的名称，如 overcloudrc。

2. 在 undercloud 节点上，创建存储网络：

   (overcloud) [stack@undercloud-0 ~]$ openstack network create Storage --provider-network-type vlan --provider-physical-network datacentre --provider-segment 30

   您可以使用以下选项输入这个命令：

   • 对于 --provider-physical-network 选项，使用默认值 datacentre，除非您通过 tripleo-heat-templates 中的 NeutronBridgeMappings 为 br-isolated 网桥设置了另一个标签。
   • 对于 --provider-segment 选项，在网络环境文件中使用为存储隔离网络设置的值。如果没有自定义，默认的环境文件为 /usr/share/openstack-tripleo-heat-templates/network_data.yaml。除非修改了隔离网络定义，否则与存储网络值关联的 VLAN 为 30。
   • 对于 --provider-network-type 选项，请使用值 vlan。

流程

1. 在 undercloud 节点上输入以下命令：

   [stack@undercloud ~]$ source ~/overcloudrc

2. 使用示例命令置备网络。更新这些值以适合您的环境。

   (overcloud) [stack@undercloud-0 ~]$ openstack subnet create \
   --allocation-pool start=172.17.3.10,end=172.17.3.149 \
   --dhcp \
   --network Storage \
   --subnet-range 172.17.3.0/24 \
   --gateway none StorageSubnet

   • 对于 --allocation-pool 选项，将 start=172.17.3.10,end=172.17.3.149 IP 值替换为您的网络的 IP 值。
   • 对于 --subnet-range 选项，请将 172.17.3.0/24 子网范围替换为您的网络的子网范围。

流程

1. 在 undercloud 节点上输入以下命令：

   [stack@undercloud ~]$ source ~/overcloudrc

2. 识别需要访问的项目：

   (overcloud) [stack@undercloud-0 ~]$ openstack project list
   +----------------------------------+---------+
   | ID                               | Name    |
   +----------------------------------+---------+
   | 06f1068f79d2400b88d1c2c33eacea87 | demo    |
   | 5038dde12dfb44fdaa0b3ee4bfe487ce | service |
   | 820e2d9c956644c2b1530b514127fd0d | admin   |
   +----------------------------------+---------+

3. 使用所需项目创建网络 RBAC 规则：

   (overcloud) [stack@undercloud-0 ~]$ openstack network rbac create \
   --action access_as_shared Storage \
   --type network \
   --target-project demo

   对需要访问存储网络的所有项目重复此步骤。

流程

1. 提供 overcloud 凭证文件：

   $ source ~/<credentials_file>

   • 将 <credentials_file > 替换为您的凭据文件的名称，如 overcloudrc。

2. 在共享类型上设置额外的规格：

   (overcloud) [stack@undercloud-0 ~]$ manila type-create default false
   (overcloud) [stack@undercloud-0 ~]$ manila type-key default set share_backend_name='s!= cephfs'

3. 创建私有共享类型，并向可信租户提供对此共享类型的访问权限：

   (overcloud) [stack@undercloud-0 ~]$ manila type-create --is-public false nativecephfstype false
   (overcloud) [stack@undercloud-0 ~]$ manila type-key nativecephfstype set share_backend_name='cephfs'
   (overcloud) [stack@undercloud-0 ~]$ manila type-access-add nativecephfstype <trusted_tenant_project_id>

   • 将 <trusted_tenant_project_id > 替换为可信租户的 ID。

流程

1. 登录到 overcloud 中的一个 Controller 节点。

2. 检查连接的网络，并验证 network_data.yaml 文件中的 VLAN 是否存在：

   $ ip a
   8: vlan30: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether 52:9c:82:7a:d4:75 brd ff:ff:ff:ff:ff:ff
       inet 172.17.3.144/24 brd 172.17.3.255 scope global vlan30
          valid_lft forever preferred_lft forever
       inet6 fe80::509c:82ff:fe7a:d475/64 scope link
          valid_lft forever preferred_lft forever

流程

1. 登录任何 Controller 节点。

2. 在 Ceph 监控守护进程中输入以下命令：

   $ sudo podman exec ceph-mon-controller-0 ceph -s
     cluster:
       id:     670dc288-cd36-4772-a4fc-47287f8e2ebf
       health: HEALTH_OK
   
     services:
       mon: 3 daemons, quorum controller-1,controller-2,controller-0 (age 14h)
       mgr: controller-1(active, since 8w), standbys: controller-0, controller-2
       mds: cephfs:1 {0=controller-2=up:active} 2 up:standby
       osd: 15 osds: 15 up (since 8w), 15 in (since 8w)
   
     task status:
       scrub status:
           mds.controller-2: idle
   
     data:
       pools: 6 pools, 192 pgs
       objects: 309 objects, 1.6 GiB
       usage: 21 GiB used, 144 GiB / 165 GiB avail
       pgs: 192 active+clean

   注意

   有一个活跃 MDS，备用上有两个 MDS。

3. 要查看 Ceph 文件系统的详细状态，请输入以下命令：

   $ sudo ceph fs ls
   
   name: cephfs metadata pool: manila_metadata, data pools: [manila_data]

   注意

   在本示例输出中，cephfs 是 Ceph 文件系统的名称，director 会创建它来托管用户通过共享文件系统服务创建的 CephFS 共享。

流程

1. 在其中一个 Controller 节点上，确认 openstack-manila-share 已启动：

   $ sudo pcs status resources | grep manila
   
   * Container bundle: openstack-manila-share [cluster.common.tag/rhosp16-openstack-manila-share:pcmklatest]:
   * openstack-manila-share-podman-0	(ocf::heartbeat:podman):	Started controller-0

流程

1. 登录 undercloud。

2. 使用以下命令：

   $ source /home/stack/overcloudrc

3. 输入以下命令确认启用了 manila-scheduler 和 manila-share ：

   $ manila service-list
   
   | Id | Binary          | Host             | Zone | Status | State | Updated_at |
   
   | 2 | manila-scheduler | hostgroup        | nova | enabled | up | 2018-08-08T04:15:03.000000 |
   | 5 | manila-share | hostgroup@cephfs | nova | enabled | up | 2018-08-08T04:15:03.000000 |

1. 提供 overcloud 凭证文件：

   $ source ~/<credentials_file>

   • 将 <credentials_file > 替换为您的凭据文件的名称，如 overcloudrc。

2. 在 undercloud 节点上，创建 StorageNFS 网络：

   (overcloud) [stack@undercloud-0 ~]$ openstack network create StorageNFS --share  --provider-network-type vlan --provider-physical-network datacentre --provider-segment 70

   您可以使用以下选项输入这个命令：

   • 对于 --provider-physical-network 选项，使用默认值 datacentre，除非您通过 tripleo-heat-templates 中的 NeutronBridgeMappings 为 br-isolated 网桥设置了另一个标签。
   • 对于 --provider-segment 选项，在 heat 模板中为 StorageNFS 隔离网络设置的 VLAN 值 /usr/share/openstack-tripleo-heat-templates/network_data_ganesha.yaml。此值为 70，除非部署者修改了隔离的网络定义。
   • 对于 --provider-network-type 选项，请使用值 vlan。

流程

1. 登录 overcloud 中的一个控制器。

2. 输入以下命令检查连接的网络，并验证 network_data_ganesha.yaml 中设置的 VLAN 存在：

   $ ip a
   15: vlan310: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether 32:80:cf:0e:11:ca brd ff:ff:ff:ff:ff:ff
       inet 172.16.4.4/24 brd 172.16.4.255 scope global vlan310
          valid_lft forever preferred_lft forever
       inet 172.16.4.7/32 brd 172.16.4.255 scope global vlan310
          valid_lft forever preferred_lft forever
       inet6 fe80::3080:cfff:fe0e:11ca/64 scope link
          valid_lft forever preferred_lft forever

流程

1. 登录到活跃的 Controller 节点。

2. 使用以下命令：

   $ sudo ceph -s
   
   cluster:
       id: 3369e280-7578-11e8-8ef3-801844eeec7c
       health: HEALTH_OK
   
     services:
       mon: 3 daemons, quorum overcloud-controller-1,overcloud-controller-2,overcloud-controller-0
       mgr: overcloud-controller-1(active), standbys: overcloud-controller-2, overcloud-controller-0
       mds: cephfs-1/1/1 up  {0=overcloud-controller-0=up:active}, 2 up:standby
       osd: 6 osds: 6 up, 6 in

   有一个活跃 MDS，两个备用的 MDS。

3. 要更详细地检查 Ceph 文件系统的状态，请输入以下命令，并将 <cephfs> 替换为 Ceph 文件系统的名称：

   $ sudo ceph fs ls
   
   name: cephfs, metadata pool: manila_metadata, data pools: [manila_data]

流程

1. 从其中一个 Controller 节点输入以下命令，确认 ceph-nfs 和 openstack-manila-share 已启动：

   $ pcs status
   
   ceph-nfs       (systemd:ceph-nfs@pacemaker):   Started overcloud-controller-1
   
   podman container: openstack-manila-share [192.168.24.1:8787/rhosp-rhel8/openstack-manila-share:pcmklatest]
      openstack-manila-share-podman-0      (ocf::heartbeat:podman):        Started overcloud-controller-1

流程

1. 登录 undercloud。

2. 使用以下命令：

   $ source /home/stack/overcloudrc

3. 输入以下命令确认启用了 manila-scheduler 和 manila-share ：

   $ manila service-list
   
   | Id | Binary          | Host             | Zone | Status | State | Updated_at |
   
   | 2 | manila-scheduler | hostgroup        | nova | enabled | up | 2018-08-08T04:15:03.000000 |
   | 5 | manila-share | hostgroup@cephfs | nova | enabled | up | 2018-08-08T04:15:03.000000 |

流程

1. 登录到运行 ceph-mon 服务的 Ceph Monitor 或 Controller 节点，并临时禁用 Ceph Storage 集群重新平衡：

   $ sudo cephadm shell -- ceph osd set noout
   $ sudo cephadm shell -- ceph osd set norebalance

   注意

   如果您有多堆栈或分布式计算节点(DCN)架构，您必须在设置 noout 和 norebalance 标志时指定 Ceph 集群名称。例如： sudo cephadm shell -c /etc/ceph/<cluster>.conf -k /etc/ceph/<cluster>.client.keyring。

2. 选择第一个要重新引导的 Ceph Storage 节点并登录到该节点。

3. 重新引导节点：

   $ sudo reboot

4. 稍等片刻，直到节点启动。

5. 登录节点并检查 Ceph 集群状态：

   $ sudo cephadm -- shell ceph status

   确认 pgmap 报告的所有 pgs 的状态是否都正常 (active+clean)。

6. 注销节点，重新引导下一个节点，并检查其状态。重复此过程，直到您已重新引导所有 Ceph Storage 节点。

7. 完成后，登录到运行 ceph-mon 服务的 Ceph Monitor 或 Controller 节点，并启用 Ceph 集群重新平衡：

   $ sudo cephadm shell -- ceph osd unset noout
   $ sudo cephadm shell -- ceph osd unset norebalance

   注意

   如果您有多堆栈或分布式计算节点(DCN)架构，您必须在取消设置 noout 和 norebalance 标志时指定 Ceph 集群名称。例如： sudo cephadm shell -c /etc/ceph/<cluster>.conf -k /etc/ceph/<cluster>.client.keyring

8. 执行最后的状态检查，确认集群报告 HEALTH_OK：

   $ sudo cephadm shell ceph status

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 修改 ~/overcloud-baremetal-deploy.yaml，将 CephStorage 节点添加到部署中。

   以下示例文件表示具有三个 CephStorage 节点的原始部署。

   - name: CephStorage
     count: 3
     instances:
       - hostname: ceph-0
         name: ceph-0
       - hostname: ceph-1
         name: ceph-2
       - hostname: ceph-2
         name: ceph-2

   以下示例修改此文件以添加三个额外的节点。

   - name: CephStorage
     count: 6
     instances:
       - hostname: ceph-0
         name: ceph-0
       - hostname: ceph-1
         name: ceph-2
       - hostname: ceph-2
         name: ceph-2
       - hostname: ceph-3
         name: ceph-3
       - hostname: ceph-4
         name: ceph-4
       - hostname: ceph-5
         name: ceph-5

4. 使用 openstack overcloud node provision 命令及更新的 ~/overcloud-baremetal-deploy.yaml 文件。

   $ openstack overcloud node provision \
     --stack overcloud \
     --network-config \
     --output ~/overcloud-baremetal-deployed.yaml \
     ~/overcloud-baremetal-deploy.yaml

   注意

   此命令将置备配置的节点，并输出 ~/overcloud-baremetal-deployed.yaml 的更新副本。新版本更新 CephStorage 角色。DeployedServerPortMap 和 HostnameMap 还包含新的存储节点。

5. 使用 openstack overcloud ceph spec 命令生成 Ceph 规范文件。

   $ openstack overcloud ceph spec ~/overcloud-baremetal-deployed.yaml \
       --osd-spec osd_spec.yaml \
       --roles-data roles_data.yaml \
       -o ceph_spec.yaml

   注意

   openstack overcloud ceph spec 中使用的文件应该已经可用。它们在以下位置创建：

   • 此步骤的上一步中创建了 overcloud-baremetal-deployed.yaml 文件。
   • 在 配置高级 OSD 规格中创建了 osd_spec.yaml 文件。使用 --osd-spec 参数提供 OSD 规格是可选的。
   • roles_data.yaml 文件是 在为 Red Hat Ceph Storage 设计节点 时创建的。假设新节点被分配给此文件中的一个角色。

   此命令的输出将是 ceph_spec.yaml 文件。

6. 使用 openstack overcloud ceph user enable 命令在集群中的所有节点上创建 ceph-admin 用户。ceph-admin 用户必须在所有节点上存在，以便通过 Ceph 编配器启用对节点的 SSH 访问。

   $ openstack overcloud ceph user enable ceph_spec.yaml

   注意

   使用上一步中创建的 ceph_spec.yaml 文件。

7. 使用 Red Hat Ceph Storage Operations 指南中的使用服务规格部署 Ceph 守护进程，将规格文件应用到 Red Hat Ceph Storage 集群。这个规格文件现在描述了添加了新节点的集群的操作状态。

8. 使用 openstack overcloud deploy 命令和更新的 ~/overcloud-baremetal-deployed.yaml 文件。

   $ openstack overcloud deploy --templates \
     -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
     -e deployed_ceph.yaml
     -e overcloud-baremetal-deploy.yaml

1. 以 tripleo-admin 用户身份登录 overcloud Controller 节点。
2. 使用 sudo cephadm shell 命令启动 Ceph shell。

3. 使用 ceph osd tree 命令识别服务器要删除的 OSD。

   在以下示例中，我们需要识别 ceph-2 主机的 OSD。

   [ceph: root@oc0-controller-0 /]# ceph osd tree
   ID  CLASS  WEIGHT   TYPE NAME            STATUS  REWEIGHT  PRI-AFF
   -1         0.58557  root default
   -7         0.19519  host ceph-2
    5    hdd  0.04880       osd.5           up      1.00000  1.00000
    7    hdd  0.04880       osd.7           up      1.00000  1.00000
    9    hdd  0.04880       osd.9           up      1.00000  1.00000
   11    hdd  0.04880       osd.11          up      1.00000  1.00000

4. 将 Ceph 集群规格导出到 YAML 文件。

   [ceph: root@oc0-controller-0 /]# ceph orch ls --export > spec.yml

5. 编辑导出的规格文件，以便适用的主机从 service-type: osd hosts 列表中移除，且适用的主机将移除 placement: hosts 值。
6. 保存编辑的文件。

7. 应用修改后的 Ceph 规格文件。

   [ceph: root@oc0-controller-0 /]# ceph orch apply -i spec.yml

   重要

   如果您在删除 OSD 前没有导出和导入 Ceph 规范文件，Ceph 管理器将尝试重新创建 OSD。

8. 使用 ceph orch osd rm --zap <osd_list&gt; 命令来移除 OSD。

   [ceph: root@oc0-controller-0 /]# ceph orch osd rm --zap 5 7 9 11
   Scheduled OSD(s) for removal
   [ceph: root@oc0-controller-0 /]# ceph orch osd rm status
   OSD_ID HOST   STATE    PG_COUNT REPLACE  FORCE  DRAIN_STARTED_AT
   7      ceph-2 draining 27       False    False  2021-04-23 21:35:51.215361
   9      ceph-2 draining 8        False    False  2021-04-23 21:35:49.111500
   11     ceph-2 draining 14       False    False  2021-04-23 21:35:50.243762

9. 使用 ceph orch osd status 命令，检查移除 OSD 的状态。

   [ceph: root@oc0-controller-0 /]# ceph orch osd rm status
   OSD_ID HOST   STATE    PG_COUNT REPLACE FORCE DRAIN_STARTED_AT
   7      ceph-2 draining 34       False   False 2021-04-23 21:35:51.215361
   11     ceph-2 draining 14       False   False 2021-04-23 21:35:50.243762

   警告

   在这个命令返回任何结果前，不要继续下一步。

10. 使用 ceph orch host drain <HOST&gt; 命令来排空任何剩余的守护进程。

    [ceph: root@oc0-controller-0 /]# ceph orch host drain ceph-2

11. 使用 ceph orch host rm <HOST&gt; 命令来移除主机。

    [ceph: root@oc0-controller-0 /]# ceph orch host rm ceph-2

    注意

    此节点不再由 Ceph 集群使用，但仍然由 director 管理作为裸机节点。

12. 结束 Ceph shell 会话。

    注意

    如果缩减 Ceph 集群是临时的，并且删除的节点稍后会被恢复，扩展操作在之前设置了 provisioned: false 的节点上增加 count，并设置 provisioned: true如果节点永远不会重复使用，则可以无限期设置 provisioned: false，扩展操作可以指定新的 instances 条目。

    以下文件示例提供了每个实例的一些示例。

    - name: Compute
      count: 2
      instances:
      - hostname: overcloud-compute-0
        name: node10
        # Removed from deployment due to disk failure
        provisioned: false
      - hostname: overcloud-compute-1
        name: node11
      - hostname: overcloud-compute-2
        name: node12

13. 要从 director 中删除节点，请参阅使用 director 安装和管理 Red Hat OpenStack Platform 中的缩减裸机节点。