分布式计算节点和存储部署

流程

1. 以 stack 用户的身份登录 undercloud。

2. 如果您还没有 undercloud.conf 文件，请复制示例模板文件：

   [stack@director ~]$ cp /usr/share/python-tripleoclient/undercloud.conf.sample ~/undercloud.conf

   Copy to Clipboard Toggle word wrap
3. 编辑 undercloud.conf 文件。

4. 在 [DEFAULT] 部分中设置以下值：

   1. 将 local_ip 设置为 leaf0 上的 undercloud IP：

      local_ip = 192.168.10.1/24

      Copy to Clipboard Toggle word wrap

   2. 将 undercloud_public_host 设置为 undercloud 的外部面向外部 IP 地址：

      undercloud_public_host = 10.1.1.1

      Copy to Clipboard Toggle word wrap

   3. 将 undercloud_admin_host 设置为 undercloud 的管理 IP 地址。此 IP 地址通常位于 leaf0 上：

      undercloud_admin_host = 192.168.10.2

      Copy to Clipboard Toggle word wrap

   4. 将 local_interface 设置为本地网络的桥接接口：

      local_interface = eth1

      Copy to Clipboard Toggle word wrap

   5. 将 enable_routed_networks 设置为 true ：

      enable_routed_networks = true

      Copy to Clipboard Toggle word wrap

   6. 使用 subnets 参数定义子网列表。在路由 spine 和 leaf 中为每个 L2 片段定义一个子网：

      subnets = leaf0,leaf1,leaf2

      Copy to Clipboard Toggle word wrap

   7. 使用 local_subnet 参数指定与 undercloud 本地物理 L2 段关联的子网：

      local_subnet = leaf0

      Copy to Clipboard Toggle word wrap

   8. 设置 undercloud_nameservers 的值。

      undercloud_nameservers = 10.11.5.19,10.11.5.20

      Copy to Clipboard Toggle word wrap
      提示

      您可以通过查找 /etc/resolv.conf 来查找用于 undercloud 名称服务器的 DNS 服务器当前的 IP 地址。

5. 为您在 subnets 参数中定义的每个子网创建一个新部分：

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   [leaf1]
   cidr = 192.168.11.0/24
   dhcp_start = 192.168.11.10
   dhcp_end = 192.168.11.90
   inspection_iprange = 192.168.11.100,192.168.11.190
   gateway = 192.168.11.1
   masquerade = False
   
   [leaf2]
   cidr = 192.168.12.0/24
   dhcp_start = 192.168.12.10
   dhcp_end = 192.168.12.90
   inspection_iprange = 192.168.12.100,192.168.12.190
   gateway = 192.168.12.1
   masquerade = False

   Copy to Clipboard Toggle word wrap
6. 保存 undercloud.conf 文件。

7. 运行 undercloud 安装命令：

   [stack@director ~]$ openstack undercloud install

   Copy to Clipboard Toggle word wrap

流程

1. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

2. 检索节点列表来识别它们的 UUID：

   (undercloud)$ openstack baremetal node list

   Copy to Clipboard Toggle word wrap

3. 使用标识其叶网络和角色的自定义资源类为角色分配每个裸机节点。

   openstack baremetal node set \
    --resource-class baremetal.<ROLE> <node>

   Copy to Clipboard Toggle word wrap
   • 将 <ROLE> 替换为标识角色的名称。

   • 将 <node> 替换为裸机节点的 ID。

     例如，输入以下命令将 UUID 为 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13 的节点标记到 Leaf2 上的 Compute 角色：

     (undercloud)$ openstack baremetal node set \
      --resource-class baremetal.COMPUTE-LEAF2 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13

     Copy to Clipboard Toggle word wrap
4. 如果还没有定义，请将每个角色添加到 overcloud-baremetal-deploy.yaml 中。

5. 定义您要分配给角色节点的资源类：

   - name: <role>
     count: 1
     defaults:
       resource_class: baremetal.<ROLE>

   Copy to Clipboard Toggle word wrap
   • 将 <role> 替换为角色的名称。
   • 将 <ROLE> 替换为标识角色的名称。

6. 在 baremetal-deploy.yaml 文件中，定义您要分配给角色节点的资源类。指定您要部署的角色、配置集、数量和相关网络：

   - name: <role>
     count: 1
     hostname_format: <role>-%index%
     ansible_playbooks:
       - playbook: bm-deploy-playbook.yaml
     defaults:
       resource_class: baremetal.<ROLE>
       profile: control
       networks:
         - network: external
           subnet: external_subnet
         - network: internal_api
           subnet: internal_api_subnet01
         - network: storage
           subnet: storage_subnet01
         - network: storage_mgmt
           subnet: storage_mgmt_subnet01
         - network: tenant
           subnet: tenant_subnet01
       network_config:
         template: templates/multiple_nics/multiple_nics_dvr.j2
         default_route_network:
           - external

   Copy to Clipboard Toggle word wrap
   • 将 <role> 替换为角色的名称。

   • 将 <ROLE> 替换为标识角色的名称。

     注意

     您必须为您要部署的每个堆栈创建一个 baremetal-deploy.yaml 环境文件，在 /home/stack/<stack> 中。

流程

1. Source stackrc 文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

2. 检查裸机节点：

   $ openstack baremetal node list

   Copy to Clipboard Toggle word wrap

3. 确保裸机节点处于 enroll 或 manageable 状态。如果裸机节点不在这些状态之一，在 baremetal 端口上设置 physical_network 属性的命令会失败。要将所有节点设置为 manageable 状态，请运行以下命令：

   $ for node in $(openstack baremetal node list -f value -c Name); do openstack baremetal node manage $node --wait; done

   Copy to Clipboard Toggle word wrap

4. 检查哪些 baremetal 端口与哪些 baremetal 节点关联：

   $ openstack baremetal port list --node <node-uuid>

   Copy to Clipboard Toggle word wrap

5. 为端口设置 physical-network 参数。在以下示例中，在配置中定义三个子网：leaf0, leaf1, 和 leaf2。local_subnet 是 leaf0。由于 local_subnet 的物理网络始终为 ctlplane，因此连接到 leaf0 的 baremetal 端口使用 ctlplane。剩余的端口使用其他 leaf 名称：

   $ openstack baremetal port set --physical-network ctlplane <port-uuid>
   $ openstack baremetal port set --physical-network leaf1 <port-uuid>
   $ openstack baremetal port set --physical-network leaf2 <port-uuid>

   Copy to Clipboard Toggle word wrap

6. 在部署 overcloud 之前内省节点。包括 --all-manageable and--provide 选项来将节点设置为可用于部署：

   $ openstack overcloud node introspect --all-manageable --provide

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 提供 undercloud 凭证文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 在 /home/stack/undercloud.conf 文件中，执行以下操作：

   1. 找到 subnets 参数，并为您要添加的叶添加新子网。

      子网代表路由 spine 和 leaf 中的 L2 片段：

      示例

      在本例中，为新叶(leaf3)添加了一个新的子网(leaf3)：

      subnets = leaf0,leaf1,leaf2,leaf3

      Copy to Clipboard Toggle word wrap

   2. 为您添加的子网创建一个部分。

      示例

      在本例中，为新子网 (leaf3) 增加了 [leaf3] 部分：

      [leaf0]
      cidr = 192.168.10.0/24
      dhcp_start = 192.168.10.10
      dhcp_end = 192.168.10.90
      inspection_iprange = 192.168.10.100,192.168.10.190
      gateway = 192.168.10.1
      masquerade = False
      
      [leaf1]
      cidr = 192.168.11.0/24
      dhcp_start = 192.168.11.10
      dhcp_end = 192.168.11.90
      inspection_iprange = 192.168.11.100,192.168.11.190
      gateway = 192.168.11.1
      masquerade = False
      
      [leaf2]
      cidr = 192.168.12.0/24
      dhcp_start = 192.168.12.10
      dhcp_end = 192.168.12.90
      inspection_iprange = 192.168.12.100,192.168.12.190
      gateway = 192.168.12.1
      masquerade = False
      
      [leaf3]
      cidr = 192.168.13.0/24
      dhcp_start = 192.168.13.10
      dhcp_end = 192.168.13.90
      inspection_iprange = 192.168.13.100,192.168.13.190
      gateway = 192.168.13.1
      masquerade = False

      Copy to Clipboard Toggle word wrap
4. 保存 undercloud.conf 文件。

5. 重新安装 undercloud：

   $ openstack undercloud install

   Copy to Clipboard Toggle word wrap

流程

1. 定义 中央 heat 堆栈：

   $ mkdir central
   $ touch central/overrides.yaml

   Copy to Clipboard Toggle word wrap

2. 将 中央 heat 堆栈中的数据提取到所有 DCN 站点的通用目录中：

   $ mkdir dcn-common
   $ touch dcn-common/overrides.yaml
   $ touch overcloud-deploy/central/central-export.yaml

   Copy to Clipboard Toggle word wrap

   central-export.yaml 文件稍后由 openstack overcloud export 命令创建。

3. 定义 dcn0 站点。

   $ mkdir dcn0
   $ touch dcn0/overrides.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 将 Registry Service Account 凭证添加到 containers.yaml。

   parameter_defaults:
     ContainerImagePrepare:
     - push_destination: true
       set:
         ceph_namespace: registry.redhat.io/rhceph
         ceph_image: rhceph-5-rhel9
         ceph_tag: latest
         name_prefix: openstack-
         namespace: registry.redhat.io/rhosp17-rhel9
         tag: latest
     ContainerImageRegistryCredentials:
       # https://access.redhat.com/RegistryAuthentication
       registry.redhat.io:
         registry-service-account-username: registry-service-account-password

   Copy to Clipboard Toggle word wrap

2. 将环境文件生成为 images-env.yaml ：

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file images-env.yaml

   Copy to Clipboard Toggle word wrap

   生成的 images-env.yaml 文件是作为生成它的堆栈的 overcloud 部署过程的一部分。

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 复制 默认角色 目录：

   cp -r /usr/share/openstack-tripleo-heat-templates/roles ~/.

   Copy to Clipboard Toggle word wrap

3. 从 DistributedCompute.yaml 文件创建一个名为 DistributedComputeDpdk.yaml 的新文件：

   cp roles/DistributedCompute.yaml roles/DistributedComputeDpdk.yaml

   Copy to Clipboard Toggle word wrap

4. 将 DPDK 服务添加到新的 DistributedComputeDpdk.yaml 文件中。您可以通过在 ComputeOvsDpdk.yaml 文件中识别没有存在于 DistributedComputeDpdk.yaml 文件中的的参数来识别需要添加的参数。

   diff -u roles/DistributedComputeDpdk.yaml roles/ComputeOvsDpdk.yaml

   Copy to Clipboard Toggle word wrap

   在输出中，前面带有 + 的参数存在于 ComputeOvsDpdk.yaml 文件中，但没有存在于 DistributedComputeDpdk.yaml 文件中。在新的 DistributedComputeDpdk.yaml 文件中包括这些参数。

5. 使用 DistributedComputeDpdk.yaml 创建 DistributedComputeDpdk 角色文件 ：

   openstack overcloud roles generate --roles-path ~/roles/ -o ~/roles/roles-custom.yaml DistributedComputeDpdk

   Copy to Clipboard Toggle word wrap

1. 以 stack 用户身份登录 undercloud。

2. 查找 stackrc 文件：

   [stack@director ~]$ source /home/stack/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成环境文件：

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file /home/stack/central/central-images-env.yaml

   Copy to Clipboard Toggle word wrap

4. 在主目录中，为您要部署的每个堆栈创建目录。将 network_data.yaml、vip_data.yaml 和 overcloud-baremetal-deploy.yaml 模板（用于中央位置）移到 /home/stack/central/。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1
   
   mv network_data.yaml /home/stack/central
   mv vip_data.yaml /home/stack/central
   mv overcloud-baremetal-deploy.yaml /home/stack/central

   Copy to Clipboard Toggle word wrap

5. 为 overcloud 调配网络。此命令取 overcloud 网络的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

   Copy to Clipboard Toggle word wrap

6. 为 overcloud 调配虚拟 IP。此命令取虚拟 IP 的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud network vip provision \
   --stack central \
   --output /home/stack/central/overcloud-vip-deployed.yaml \
   /home/stack/central/vip_data.yaml

   Copy to Clipboard Toggle word wrap

7. 置备裸机实例。该命令为裸机节点使用一个定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud node provision \
   --stack central \
   --network-config \
   -o /home/stack/central/deployed_metal.yaml \
   /home/stack/central/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap

8. 使用类似如下的设置创建一个名为 central/overrides.yaml 的文件：

   parameter_defaults:
     NtpServer:
       - 0.pool.ntp.org
       - 1.pool.ntp.org
     GlanceBackend: swift

   Copy to Clipboard Toggle word wrap
   • ControllerCount: 3 指定将部署三个节点。它们将 swift 用于 glance，lvm 用于 cinder，并为边缘计算节点托管 control-plane 服务。
   • ComputeCount: 0 是一个可选参数，用于防止 Compute 节点部署中央 Controller 节点。

   • GlanceBackend: swift 使用 Object Storage (swift)作为镜像服务(glance)后端。

     生成的配置通过以下方式与分布式计算节点(DCN)交互：

   • DCN 上的镜像服务创建从中央对象存储后端接收的镜像的缓存副本。镜像服务使用 HTTP 将镜像从对象存储复制到本地磁盘缓存。

     注意

     中央 Controller 节点必须能够连接到分布式计算节点(DCN)站点。中央 Controller 节点可以使用路由的第 3 层连接。

9. 在 site-name.yaml 环境文件中配置您的站点的命名约定。Nova 可用区，Cinder 存储可用区必须匹配：

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
   EOF

   Copy to Clipboard Toggle word wrap

10. 部署中央 Controller 节点。例如，您可以使用包含以下内容的 deploy.sh 文件：

    openstack overcloud deploy \
    --deployed-server \
    --stack central \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -n /home/stack/central/network_data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/overcloud-vip-deployed.yaml \
    -e /home/stack/central/deployed_metal.yaml

    Copy to Clipboard Toggle word wrap

1. 以 stack 用户身份登录 undercloud。

2. 查找 stackrc 文件：

   [stack@director ~]$ source /home/stack/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成环境文件 /home/stack/central/central-images-env.yaml

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file /home/stack/central/central-images-env.yaml

   Copy to Clipboard Toggle word wrap

4. 使用适合您的环境的角色，为中央位置生成角色：

   openstack overcloud roles generate Compute Controller CephStorage \
   -o /home/stack/central/central_roles.yaml

   Copy to Clipboard Toggle word wrap

5. 在主目录中，为您要部署的每个堆栈创建目录。将 network_data.yaml、vip_data.yaml 和 overcloud-baremetal-deploy.yaml 模板（用于中央位置）移到 /home/stack/central/。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1
   
   mv network_data.yaml /home/stack/central
   mv vip_data.yaml /home/stack/central
   mv overcloud-baremetal-deploy.yaml /home/stack/central

   Copy to Clipboard Toggle word wrap

6. 为 overcloud 调配网络。此命令取 overcloud 网络的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

   Copy to Clipboard Toggle word wrap

7. 为 overcloud 调配虚拟 IP。此命令取虚拟 IP 的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   openstack overcloud network vip provision \
   --stack central \
   --output /home/stack/central/overcloud-vip-deployed.yaml \
   /home/stack/central/vip_data.yaml

   Copy to Clipboard Toggle word wrap

8. 置备裸机实例。该命令为裸机节点使用一个定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   openstack overcloud node provision \
   --stack central \
   --network-config \
   -o /home/stack/central/deployed_metal.yaml \
   /home/stack/central/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap

9. 如果要使用超融合存储部署中央位置，则必须使用以下参数创建一个 initial-ceph.conf 配置文件。如需更多信息，请参阅为 HCI 配置 Red Hat Ceph Storage 集群 ：

   [osd]
   osd_memory_target_autotune = true
   osd_numa_auto_affinity = true
   [mgr]
   mgr/cephadm/autotune_memory_target_ratio = 0.2

   Copy to Clipboard Toggle word wrap

10. 使用 deployed_metal.yaml 文件作为 openstack overcloud ceph deploy 命令的输入。openstack overcloud ceph deploy 命令输出 描述部署的 Ceph 集群的 yaml 文件：

    openstack overcloud ceph deploy \
    --stack central \
    /home/stack/central/deployed_metal.yaml \
    --config /home/stack/central/initial-ceph.conf \ 

    1

    
    --output /home/stack/central/deployed_ceph.yaml \
    --container-image-prepare /home/stack/containers.yaml \
    --network-data /home/stack/network-data.yaml \
    --cluster central \
    --roles-data /home/stack/central/central_roles.yaml

    Copy to Clipboard Toggle word wrap

    1

    仅在部署超融合基础架构时包括 initial-ceph.com。

11. 在继续操作前，验证功能 Ceph 部署。使用 ssh 连接到运行 ceph-mon 服务的服务器。在 HCI 部署中，这是控制器节点。运行以下命令：

    cephadm shell --config /etc/ceph/central.conf \
    --keyring /etc/ceph/central.client.admin.keyring

    Copy to Clipboard Toggle word wrap
    注意

    您必须使用-- config 和- keyring 参数。

12. 在 site-name.yaml 环境文件中配置您的站点的命名约定。Nova 可用区和 Cinder 存储可用区必须匹配：

    parameter_defaults:
        NovaComputeAvailabilityZone: central
        ControllerExtraConfig:
            nova::availability_zone::default_schedule_zone: central
        NovaCrossAZAttach: false
        CinderStorageAvailabilityZone: central
        GlanceBackendID: central

    Copy to Clipboard Toggle word wrap

13. 配置一个 glance.yaml 模板，其内容类似如下：

    parameter_defaults:
        GlanceEnabledImportMethods: web-download,copy-image
        GlanceBackend: rbd
        GlanceStoreDescription: 'central rbd glance store'
        GlanceBackendID: central
        CephClusterName: central

    Copy to Clipboard Toggle word wrap

14. 为中央位置部署堆栈：

    openstack overcloud deploy \
    --deployed-server \
    --stack central \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -r /home/stack/central/central_roles.yaml \
    -n ~/network-data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/overcloud-vip-deployed.yaml \
    -e /home/stack/central/deployed_metal.yaml \
    -e /home/stack/central/deployed_ceph.yaml \
    -e ~/central/glance.yaml

    Copy to Clipboard Toggle word wrap

15. 在为中央位置部署 overcloud 后，导出边缘站点的额外堆栈部署所需的数据，并放置在 /home/stack/overcloud-deploy 目录中。确保存在 central-export.yaml 文件：

    stat /home/stack/overcloud-deploy/central/central-export.yaml

    Copy to Clipboard Toggle word wrap

16. 导出 Ceph 特定数据：

    openstack overcloud export ceph \
    --stack central \
    --output-file /home/stack/dcn-common/central_ceph_external.yaml

    Copy to Clipboard Toggle word wrap

1. 以 stack 用户身份登录 undercloud。

2. 查找 stackrc 文件：

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成环境文件 ~/central/central-images-env.yaml

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

   Copy to Clipboard Toggle word wrap

4. 在主目录中，为您要部署的每个堆栈创建目录。使用此选项分隔专为其各自站点设计的模板。将 network_data.yaml、vip_data.yaml 和 overcloud-baremetal-deploy.yaml 模板（用于中央位置）移到 /home/stack/central/。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1
   
   mv network_data.yaml /home/stack/central
   mv vip_data.yaml /home/stack/central
   mv overcloud-baremetal-deploy.yaml /home/stack/central

   Copy to Clipboard Toggle word wrap

5. 为 overcloud 调配网络。此命令取 overcloud 网络的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

   Copy to Clipboard Toggle word wrap

6. 为 overcloud 调配虚拟 IP。此命令取虚拟 IP 的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   openstack overcloud network vip provision \
   --stack central \
   --output /home/stack/central/overcloud-vip-deployed.yaml \
   /home/stack/central/vip_data.yaml

   Copy to Clipboard Toggle word wrap

7. 置备裸机实例。该命令为裸机节点使用一个定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   openstack overcloud node provision \
   --stack central \
   --network-config \
   -o /home/stack/central/deployed_metal.yaml \
   /home/stack/central/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap

8. 在 site-name.yaml 环境文件中配置您的站点的命名约定。Compute (nova)可用区和 Block Storage (cinder)可用域必须匹配：

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
       GlanceBackendID: central
   EOF

   Copy to Clipboard Toggle word wrap

9. 使用类似以下内容的内容配置 external-ceph.yaml 模板：

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderEnableNfsBackend: false
       NovaEnableRbdBackend: true
       GlanceBackend: rbd
       GlanceBackendID: central
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceStoreDescription: 'central rbd glance store'
       CinderRbdPoolName: "openstack-cinder"
       NovaRbdPoolName: "openstack-nova"
       GlanceRbdPoolName: "openstack-images"
       CinderBackupRbdPoolName: "automation-backups"
       GnocchiRbdPoolName: "automation-metrics"
       CephClusterFSID: 38dd387e-837a-437c-891c-7fc69e17a3c
       CephClusterName: central
       CephExternalMonHost: 10.9.0.1,10.9.0.2,10.9.0.3
       CephClientKey: "AQAKtECeLemfiBBdQp7cjNYQRGW9y8GnhhFZg=="
       CephClientUserName: "openstack

   Copy to Clipboard Toggle word wrap

10. 部署中央位置：

    openstack overcloud deploy \
    --stack central \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -n /home/stack/central/network-data.yaml \
    ...
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/overcloud-vip-deployed.yaml \
    -e /home/stack/central/deployed_metal.yaml \
    -e /home/stack/central/external-ceph.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/central_roles.yaml

    Copy to Clipboard Toggle word wrap

11. 在为中央位置部署 overcloud 后，导出边缘站点的额外堆栈部署所需的数据，并放置在 /home/stack/overcloud-deploy 目录中。确保存在这个 control-plane-export.yaml 文件：

    stat ~/overcloud-deploy/control-plane/control-plane-export.yaml

    Copy to Clipboard Toggle word wrap

12. 创建名为 central_ceph_external.yaml 的环境文件，其中包含 Red Hat Ceph Storage 部署的详细信息。此文件可以传递给边缘站点的额外堆栈部署。

    parameter_defaults:
      CephExternalMultiConfig:
        - cluster: "central"
          fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
          external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
          keys:
            - name: "client.openstack"
              caps:
                mgr: "allow *"
                mon: "profile rbd"
                osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
              key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
              mode: "0600"
          dashboard_enabled: false
          ceph_conf_overrides:
            client:
              keyring: /etc/ceph/central.client.openstack.keyring

    Copy to Clipboard Toggle word wrap

    • fsid 参数是 Ceph Storage 集群的文件系统 ID：这个值在 [global] 部分的集群配置文件中指定：

      [global]
      fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
      ...

      Copy to Clipboard Toggle word wrap

    • key 参数是 openstack 帐户的 ceph 客户端密钥：

      [root@ceph ~]# ceph auth list
      ...
      [client.openstack]
          key = AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==
          caps mgr = "allow *"
          caps mon = "profile rbd"
          caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups, profile rbd pool=metrics"
      ...

      Copy to Clipboard Toggle word wrap

      如需有关示例 central_ceph_external.yaml 文件中显示的参数的更多信息，请参阅创建自定义环境文件。

流程

1. 以 stack 用户身份登录 undercloud。

2. 查找 stackrc 文件：

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成环境文件 ~/dcn0/dcn0-images-env.yaml[d]：

   sudo[e] openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/dcn0/dcn0-images-env.yaml

   Copy to Clipboard Toggle word wrap

4. 为边缘位置生成 roles 文件。使用适合您的环境的角色为边缘位置生成角色：

   (undercloud)$ openstack overcloud roles \
    generate Compute \
    -o /home/stack/dcn0/dcn0_roles.yaml

   Copy to Clipboard Toggle word wrap

5. 如果使用 ML2/OVS 进行网络覆盖，您必须编辑 Compute 角色包括 NeutronDhcpAgent 和 NeutronMetadataAgent 服务：

   1. 为 Compute 角色创建一个角色文件：

      openstack overcloud roles \
      generate Compute \
      -o /home/stack/dcn0/dcn0_roles.yaml

      Copy to Clipboard Toggle word wrap

   2. 编辑 /home/stack/dcn0/dcn0_roles.yaml 文件，使其包含 NeutronDhcpAgent 和 NeutronMetadataAgent 服务：

      ...
          - OS::TripleO::Services::MySQLClient
          - OS::TripleO::Services::NeutronBgpVpnBagpipe
      +   - OS::TripleO::Services::NeutronDhcpAgent
      +   - OS::TripleO::Services::NeutronMetadataAgent
          - OS::TripleO::Services::NeutronLinuxbridgeAgent
          - OS::TripleO::Services::NeutronVppAgent
          - OS::TripleO::Services::NovaAZConfig
          - OS::TripleO::Services::NovaCompute
      ...

      Copy to Clipboard Toggle word wrap

      如需更多信息，请参阅准备路由供应商网络。

6. 为 overcloud 调配网络。此命令取 overcloud 网络的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/dcn0/overcloud-networks-deployed.yaml \
   /home/stack/dcn0/network_data.yaml

   Copy to Clipboard Toggle word wrap

7. 置备裸机实例。该命令为裸机节点使用一个定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud node provision \
   --stack dcn0 \
   --network-config \
   -o /home/stack/dcn0/deployed_metal.yaml \
   ~/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap

8. 在 site-name.yaml 环境文件中配置您的站点的命名约定。

   parameter_defaults:
       NovaComputeAvailabilityZone: dcn0
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: dcn0
       NovaCrossAZAttach: false

   Copy to Clipboard Toggle word wrap

9. 为 dcn0 边缘站点部署堆栈：

   openstack overcloud deploy \
   --deployed-server \
   --stack dcn0 \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -r /home/stack/dcn0/dcn0_roles.yaml \
   -n /home/stack/network_data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e /home/stack/overcloud-deploy/central/central-export.yaml \
   -e /home/stack/dcn0/overcloud-networks-deployed.yaml \
   -e /home/stack/dcn0/overcloud-vip-deployed.yaml \
   -e /home/stack/dcn0/deployed_metal.yaml

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 查找 stackrc 凭证文件：

   $ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 在其中一个自定义环境文件中包含 NovaImageTypeExcludeList 参数：

   parameter_defaults:
     NovaImageTypeExcludeList:
           - raw

   Copy to Clipboard Toggle word wrap

4. 在 overcloud 部署命令中包括 NovaImageTypeExcludeList 参数的环境文件，以及与部署相关的任何其他环境文件：

   openstack overcloud deploy --templates \
   -n network_data.yaml \
   -r roles_data.yaml \
   -e <environment_files> \
   -e <new_environment_file>

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 用户身份登录 undercloud。

2. 查找 stackrc 文件：

   [stack@director ~]$ source ~/stackrc

   Copy to Clipboard Toggle word wrap

3. 生成环境文件 ~/dcn0/dcn0-images-env.yaml ：

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file /home/stack/dcn0/dcn0-images-env.yaml

   Copy to Clipboard Toggle word wrap

4. 为 dcn0 边缘位置生成适当的角色：

   openstack overcloud roles generate DistributedComputeHCI DistributedComputeHCIScaleOut \
   -o ~/dcn0/dcn0_roles.yaml

   Copy to Clipboard Toggle word wrap

5. 为 overcloud 调配网络。此命令取 overcloud 网络的定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/dcn0/overcloud-networks-deployed.yaml \
   /home/stack/network_data.yaml

   Copy to Clipboard Toggle word wrap

6. 置备裸机实例。该命令为裸机节点使用一个定义文件作为输入。您必须使用命令中的输出文件来部署 overcloud：

   (undercloud)$ openstack overcloud node provision \
   --stack dcn0 \
   --network-config \
   -o /home/stack/dcn0/deployed_metal.yaml \
   /home/stack/overcloud-baremetal-deploy.yaml

   Copy to Clipboard Toggle word wrap

7. 如果要使用超融合存储部署边缘站点，则必须使用以下参数创建一个 initial-ceph.conf 配置文件。如需更多信息，请参阅为 HCI 配置 Red Hat Ceph Storage 集群 ：

   [osd]
   osd_memory_target_autotune = true
   osd_numa_auto_affinity = true
   [mgr]
   mgr/cephadm/autotune_memory_target_ratio = 0.2

   Copy to Clipboard Toggle word wrap

8. 使用 deployed_metal.yaml 文件作为 openstack overcloud ceph deploy 命令的输入。openstack overcloud ceph deploy 命令输出 描述部署的 Ceph 集群的 yaml 文件：

   openstack overcloud ceph deploy \
   /home/stack/dcn0/deployed_metal.yaml \
   --stack dcn0 \
   --config ~/dcn0/initial-ceph.conf \ 

   1

   
   --output ~/dcn0/deployed_ceph.yaml \
   --container-image-prepare ~/containers.yaml \
   --network-data ~/network-data.yaml \
   --cluster dcn0 \
   --roles-data dcn_roles.yaml

   Copy to Clipboard Toggle word wrap

   1

   仅在部署超融合基础架构时包括 initial-ceph.conf。

9. 在 site-name.yaml 环境文件中配置您的站点的命名约定。Nova 可用区和 Cinder 存储可用区必须匹配：

   parameter_defaults:
       NovaComputeAvailabilityZone: dcn0
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: dcn0
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: dcn0
       CinderVolumeCluster: dcn0
       GlanceBackendID: dcn0

   Copy to Clipboard Toggle word wrap

10. 配置一个 glance.yaml 模板，其内容类似如下：

    parameter_defaults:
        GlanceEnabledImportMethods: web-download,copy-image
        GlanceBackend: rbd
        GlanceStoreDescription: 'dcn0 rbd glance store'
        GlanceBackendID: dcn0
        GlanceMultistoreConfig:
          central:
            GlanceBackend: rbd
            GlanceStoreDescription: 'central rbd glance store'
            CephClusterName: central

    Copy to Clipboard Toggle word wrap

11. 为 dcn0 位置部署堆栈：[d]

    openstack overcloud deploy \
    --deployed-server \
    --stack dcn0 \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -r ~/dcn0/dcn0_roles.yaml \
    -n ~/dcn0/network-data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm-rbd-only.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/overcloud-deploy/central/central-export.yaml \
    -e /home/stack/dcn0/deployed_ceph.yaml \
    -e /home/stack/dcn-common/central_ceph_external.yaml \
    -e /home/stack/dcn0/overcloud-vip-deployed.yaml \
    -e /home/stack/dcn0/deployed_metal.yaml \
    -e /home/stack/dcn0/overcloud-networks-deployed.yaml \
    -e ~/control-plane/glance.yaml

    Copy to Clipboard Toggle word wrap

流程

1. 在 Ceph 集群中创建以下池。如果要在中央位置部署，请包含 backups 和 metrics 池：

   [root@ceph ~]# ceph osd pool create volumes <_PGnum_>
   [root@ceph ~]# ceph osd pool create images <_PGnum_>
   [root@ceph ~]# ceph osd pool create vms <_PGnum_>
   [root@ceph ~]# ceph osd pool create backups <_PGnum_>
   [root@ceph ~]# ceph osd pool create metrics <_PGnum_>

   Copy to Clipboard Toggle word wrap

   将 <_PGnum_> 替换为放置组的数量。您可以使用 每个池计算器的 Ceph Placement Groups (PG) 来确定合适的值。

2. 在 Ceph 中创建 OpenStack 客户端用户，以提供 Red Hat OpenStack Platform 环境对适当的池的访问权限：

   ceph auth add client.openstack mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rwx pool=images'

   Copy to Clipboard Toggle word wrap

   保存返回的 Ceph 客户端密钥。在配置 undercloud 时，将此密钥用作 CephClientKey 参数的值。

   注意

   如果在中央位置运行此命令，并计划使用 Cinder 备份或遥测服务，请在命令中添加 allow rwx pool=backups，允许 pool=metrics。

3. 保存 Ceph Storage 集群的文件系统 ID。Ceph 配置文件的 [global] 部分中的 fsid 参数的值是文件系统 ID：

   [global]
   fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
   ...

   Copy to Clipboard Toggle word wrap

   在配置 undercloud 时，使用此值作为 CephClusterFSID 参数的值。

4. 在 undercloud 上，创建一个环境文件，将节点配置为连接到非受管 Ceph 集群。使用可识别的命名约定，如 ceph-external-<SITE>.yaml，其中 SITE 是部署的位置，如 ceph-external-central.yaml、ceph-external-dcn1.yaml 等。

     parameter_defaults:
       # The cluster FSID
       CephClusterFSID: '4b5c8c0a-ff60-454b-a1b4-9747aa737d19'
       # The CephX user auth key
       CephClientKey: 'AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ=='
       # The list of IPs or hostnames of the Ceph monitors
       CephExternalMonHost: '172.16.1.7, 172.16.1.8, 172.16.1.9'
       # The desired name of the generated key and conf files
       CephClusterName: dcn1

   Copy to Clipboard Toggle word wrap
   1. 将之前保存的值用于 CephClusterFSID 和 CephClientKey 参数。
   2. 使用 Ceph 监视器中以逗号分隔的 ip 地址列表，作为 CephExternalMonHost 参数的值。
   3. 您必须在边缘站点中为 CephClusterName 参数选择唯一值。重新使用名称将导致配置文件被覆盖。

5. 如果您使用位于中央位置的 Red Hat OpenStack Platform director 部署 Red Hat Ceph Storage，您可以将 ceph 配置导出到环境文件 central_ceph_external.yaml。此环境文件将 DCN 站点连接到中央 hub Ceph 集群，因此信息特定于上一步中部署的 Ceph 集群：

   sudo -E openstack overcloud export ceph \
   --stack central \
   --output-file /home/stack/dcn-common/central_ceph_external.yaml

   Copy to Clipboard Toggle word wrap

   如果中央位置已在外部部署 Red Hat Ceph Storage，则无法使用 openstack overcloud export ceph 命令来生成 central_ceph_external.yaml 文件。您必须手动创建 central_ceph_external.yaml 文件：

   parameter_defaults:
     CephExternalMultiConfig:
       - cluster: "central"
         fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
         external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
         keys:
           - name: "client.openstack"
             caps:
               mgr: "allow *"
               mon: "profile rbd"
               osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
             key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
             mode: "0600"
         dashboard_enabled: false
         ceph_conf_overrides:
           client:
             keyring: /etc/ceph/central.client.openstack.keyring

   Copy to Clipboard Toggle word wrap

6. 创建一个环境文件，其中包含每个站点的类似详情，并带有非受管 Red Hat Ceph Storage 集群用于中央位置。openstack overcloud export ceph 命令不适用于具有非受管 Red Hat Ceph Storage 集群的站点。当您更新中央位置时，此文件将允许边缘站点中的存储集群作为辅助位置

   parameter_defaults:
     CephExternalMultiConfig:
   cluster: dcn1
   …
   cluster: dcn2
   …

   Copy to Clipboard Toggle word wrap

7. 在部署 overcloud 时，使用 external-ceph.yaml、ceph-external-<SITE>.yaml 和 central_ceph_external.yaml 环境文件：

   openstack overcloud deploy \
       --stack dcn1 \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/dcn1/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e /home/stack/dnc1/ceph-external-dcn1.yaml  \
       ....
       -e /home/stack/overcloud-deploy/central/central-export.yaml \
       -e /home/stack/dcn-common/central_ceph_external.yaml \
       -e /home/stack/dcn1/dcn_ceph_keys.yaml \
       -e /home/stack/dcn1/role-counts.yaml \
       -e /home/stack/dcn1/ceph.yaml \
       -e /home/stack/dcn1/site-name.yaml \
       -e /home/stack/dcn1/tuning.yaml \
       -e /home/stack/dcn1/glance.yaml

   Copy to Clipboard Toggle word wrap
8. 部署所有边缘位置后重新部署中央位置。

流程

1. 创建一个类似如下的 ~/central/glance_update.yaml 文件。这个示例包括两个边缘站点的配置，dcn0 和 dcn1 ：

     parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       CephClusterName: central
       GlanceBackendID: central
       GlanceMultistoreConfig:
         dcn0:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn0 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn0
           GlanceBackendID: dcn0
         dcn1:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn1 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn1
           GlanceBackendID: dcn1

   Copy to Clipboard Toggle word wrap

2. 创建 dcn_ceph.yaml 文件。在以下示例中，此文件将中央站点上的 glance 服务配置为边缘站点的 Ceph 集群的客户端，即 dcn0 和 dcn1。

   openstack overcloud export ceph \
   --stack dcn0,dcn1 \
   --output-file ~/central/dcn_ceph.yaml

   Copy to Clipboard Toggle word wrap

3. 使用原始模板重新部署中央站点，并包含新创建的 dcn_ceph.yaml 和 glance_update.yaml 文件。

   openstack overcloud deploy \
   --deployed-server \
   --stack central \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -r ~/control-plane/central_roles.yaml \
   -n ~/network-data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e /home/stack/central/overcloud-networks-deployed.yaml \
   -e /home/stack/central/overcloud-vip-deployed.yaml \
   -e /home/stack/central/deployed_metal.yaml \
   -e /home/stack/central/deployed_ceph.yaml \
   -e /home/stack/central/dcn_ceph.yaml \
   -e /home/stack/central/glance_update.yaml

   Copy to Clipboard Toggle word wrap

1. 在位于中央位置的控制器上，重新启动 cinder-volume 服务。如果您使用 cinder-backup 服务部署中央位置，则还要重启 cinder-backup 服务：

   ssh tripleo-admin@controller-0 sudo pcs resource restart openstack-cinder-volume
   ssh tripleo-admin@controller-0 sudo pcs resource restart openstack-cinder-backup

   Copy to Clipboard Toggle word wrap

流程

1. 以 stack 身份登录 Red Hat OpenStack Platform Director。

2. 生成 DistributedComputeHCIDashboard 角色以及适用于您的环境的任何其他角色：

   openstack overcloud roles generate DistributedComputeHCIDashboard -o ~/dnc0/roles.yaml

   Copy to Clipboard Toggle word wrap

3. 在 overcloud deploy 命令中包含 roles.yaml 和 network_data_dashboard.yaml ：

   $ openstack overcloud deploy --templates \
   -r ~/<dcn>/<dcn_site_roles>.yaml \
   -n /usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml \
   -e <overcloud_environment_files> \
   ...
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm-rbd-only.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/ceph-dashboard.yaml \

   Copy to Clipboard Toggle word wrap

1. 检索特定于所选堆栈的仪表板管理员登录凭证：

   grep grafana_admin /home/stack/config-download/<stack>/cephadm/cephadm-extra-vars-heat.yml

   Copy to Clipboard Toggle word wrap

2. 在特定于所选堆栈的清单中，/home/stack/config-download/<stack>/cephadm/inventory.yml，找到 DistributedComputeHCI 角色主机列表，并保存所有三个 storage_ip 值。在以下示例中，前两个仪表板 IP 为 172.16.11.84 和 172.16.11.87:

   DistributedComputeHCI:
     hosts:
       dcn1-distributed-compute-hci-0:
         ansible_host: 192.168.24.16
   ...
   storage_hostname: dcn1-distributed-compute-hci-0.storage.localdomain
   storage_ip: 172.16.11.84
   ...
       dcn1-distributed-compute-hci-1:
   ansible_host: 192.168.24.22
   ...
   storage_hostname: dcn1-distributed-compute-hci-1.storage.localdomain
   storage_ip: 172.16.11.87

   Copy to Clipboard Toggle word wrap
3. 如果 Ceph 控制面板可以访问，则您可以检查这些 IP 地址中的一个是否活跃。这些 IP 地址位于存储网络上，且没有路由。如果这些 IP 地址不可用，您必须为您从清单获得的三个 IP 地址配置负载均衡器，以获取虚拟 IP 地址进行验证。

流程

1. 在 undercloud 上，使用 SSH 连接到您要删除的 DistributedComputeHCI 节点：

   $ ssh tripleo-admin@<dcn-computehci-node>

   Copy to Clipboard Toggle word wrap

2. 启动 cephadm shell。使用要删除的主机的站点的配置文件和密钥环文件：

   $ sudo cephadm shell --config /etc/ceph/dcn2.conf \
   --keyring /etc/ceph/dcn2.client.admin.keyring

   Copy to Clipboard Toggle word wrap

3. 记录与 DistributedComputeHCI 节点关联的 OSD （对象存储设备），您要删除以在以后的步骤中使用引用：

   [ceph: root@dcn2-computehci2-1 ~]# ceph osd tree -c /etc/ceph/dcn2.conf
   …
   -3       0.24399     host dcn2-computehci2-1
    1   hdd 0.04880         osd.1                           up  1.00000 1.00000
    7   hdd 0.04880         osd.7                           up  1.00000 1.00000
   11   hdd 0.04880         osd.11                          up  1.00000 1.00000
   15   hdd 0.04880         osd.15                          up  1.00000 1.00000
   18   hdd 0.04880         osd.18                          up  1.00000 1.00000
   …

   Copy to Clipboard Toggle word wrap

4. 使用 SSH 连接到同一集群中的另一节点，并从集群中删除该监控器：

   $ sudo cephadm shell --config /etc/ceph/dcn2.conf \
   --keyring /etc/ceph/dcn2.client.admin.keyring
   
   [ceph: root@dcn-computehci2-0]# ceph mon remove dcn2-computehci2-1 -c /etc/ceph/dcn2.conf
   removing mon.dcn2-computehci2-1 at [v2:172.23.3.153:3300/0,v1:172.23.3.153:6789/0], there will be 2 monitors

   Copy to Clipboard Toggle word wrap
5. 使用 SSH 再次登录到您要从集群中删除的节点。

6. 停止并禁用 mgr 服务：

   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl --type=service | grep ceph
   ceph-crash@dcn2-computehci2-1.service    loaded active     running       Ceph crash dump collector
   ceph-mgr@dcn2-computehci2-1.service      loaded active     running       Ceph Manager
   
   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl stop ceph-mgr@dcn2-computehci2-1
   
   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl --type=service | grep ceph
   ceph-crash@dcn2-computehci2-1.service  loaded active running Ceph crash dump collector
   
   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl disable ceph-mgr@dcn2-computehci2-1
   Removed /etc/systemd/system/multi-user.target.wants/ceph-mgr@dcn2-computehci2-1.service.

   Copy to Clipboard Toggle word wrap

7. 启动 cephadm shell：

   $ sudo cephadm shell --config /etc/ceph/dcn2.conf \
   --keyring /etc/ceph/dcn2.client.admin.keyring

   Copy to Clipboard Toggle word wrap

8. 验证该节点的 mgr 服务是否已从集群中删除：

   [ceph: root@dcn2-computehci2-1 ~]# ceph -s
   
   cluster:
       id:     b9b53581-d590-41ac-8463-2f50aa985001
       health: HEALTH_WARN
               3 pools have too many placement groups
               mons are allowing insecure global_id reclaim
   
     services:
       mon: 2 daemons, quorum dcn2-computehci2-2,dcn2-computehci2-0 (age 2h)
       mgr: dcn2-computehci2-2(active, since 20h), standbys: dcn2-computehci2-0 

   1

   
       osd: 15 osds: 15 up (since 3h), 15 in (since 3h)
   
     data:
       pools:   3 pools, 384 pgs
       objects: 32 objects, 88 MiB
       usage:   16 GiB used, 734 GiB / 750 GiB avail
       pgs:     384 active+clean

   Copy to Clipboard Toggle word wrap

   1

   当 mgr 服务成功移除时，从中删除 mgr 服务的节点将不再列出。

9. 导出 Red Hat Ceph Storage 规格：

   [ceph: root@dcn2-computehci2-1 ~]# ceph orch ls --export > spec.yml

   Copy to Clipboard Toggle word wrap

10. 编辑 spec.yaml 文件中的规格：

    • 从 spec.yml 中删除主机 <dcn-computehci-node> 的所有实例

    • 从以下内容中删除 <dcn-computehci-node> 条目的所有实例：

      • service_type: osd
      • service_type: mon
      • service_type: host

11. 重新应用 Red Hat Ceph Storage 规格：

    [ceph: root@dcn2-computehci2-1 /]# ceph orch apply -i spec.yml

    Copy to Clipboard Toggle word wrap

12. 删除您使用 ceph osd tree 来标识的 OSD：

    [ceph: root@dcn2-computehci2-1 /]# ceph orch osd rm --zap 1 7 11 15 18
    Scheduled OSD(s) for removal

    Copy to Clipboard Toggle word wrap

13. 验证正在移除的 OSD 的状态。在以下命令返回没有输出前不要继续：

    [ceph: root@dcn2-computehci2-1 /]# ceph orch osd rm status
    OSD_ID  HOST                    STATE     PG_COUNT  REPLACE  FORCE  DRAIN_STARTED_AT
    1       dcn2-computehci2-1      draining  27        False    False  2021-04-23 21:35:51.215361
    7       dcn2-computehci2-1      draining  8         False    False  2021-04-23 21:35:49.111500
    11      dcn2-computehci2-1      draining  14        False    False  2021-04-23 21:35:50.243762

    Copy to Clipboard Toggle word wrap

14. 验证您要删除的主机上没有剩余的守护进程：

    [ceph: root@dcn2-computehci2-1 /]# ceph orch ps dcn2-computehci2-1

    Copy to Clipboard Toggle word wrap

    如果守护进程仍然存在，您可以使用以下命令删除它们：

    [ceph: root@dcn2-computehci2-1 /]# ceph orch host drain dcn2-computehci2-1

    Copy to Clipboard Toggle word wrap

15. 从 Red Hat Ceph Storage 集群中删除 <dcn-computehci-node> 主机：

    [ceph: root@dcn2-computehci2-1 /]# ceph orch host rm dcn2-computehci2-1
    Removed host ‘dcn2-computehci2-1’

    Copy to Clipboard Toggle word wrap

流程

1. 在您要删除的节点上识别并禁用 cinder-volume 服务：

   (central) [stack@site-undercloud-0 ~]$ openstack volume service list --service cinder-volume
   | cinder-volume | dcn2-computehci2-1@tripleo_ceph | az-dcn2    | enabled | up    | 2022-03-23T17:41:43.000000 |
   (central) [stack@site-undercloud-0 ~]$ openstack volume service set --disable dcn2-computehci2-1@tripleo_ceph cinder-volume

   Copy to Clipboard Toggle word wrap

2. 在堆栈中登录到不同的 DistributedComputeHCI 节点：

   $ ssh tripleo-admin@dcn2-computehci2-0

   Copy to Clipboard Toggle word wrap

3. 删除与您要删除的节点关联的 cinder-volume 服务：

   [root@dcn2-computehci2-0 ~]# podman exec -it cinder_volume cinder-manage service remove cinder-volume dcn2-computehci2-1@tripleo_ceph
   Service cinder-volume on host dcn2-computehci2-1@tripleo_ceph removed.

   Copy to Clipboard Toggle word wrap

4. 在您要删除的节点上停止并禁用 tripleo_cinder_volume 服务：

   [root@dcn2-computehci2-1 ~]# systemctl stop tripleo_cinder_volume.service
   [root@dcn2-computehci2-1 ~]# systemctl disable tripleo_cinder_volume.service
   Removed /etc/systemd/system/multi-user.target.wants/tripleo_cinder_volume.service

   Copy to Clipboard Toggle word wrap

流程

1. 复制 baremetal-deployment.yaml 文件：

   cp /home/stack/dcn2/overcloud-baremetal-deploy.yaml \
   /home/stack/dcn2/baremetal-deployment-scaledown.yaml

   Copy to Clipboard Toggle word wrap

2. 编辑 baremetal-deployement-scaledown.yaml 文件。确定您要删除的主机，并将 provisioned 参数设置为 false ：

   instances:
   ...
     - hostname: dcn2-computehci2-1
       provisioned: false

   Copy to Clipboard Toggle word wrap

3. 从堆栈中删除节点：

   openstack overcloud node delete --stack dcn2 --baremetal-deployment /home/stack/dcn2/baremetal_deployment_scaledown.yaml

   Copy to Clipboard Toggle word wrap

4. 可选：如果要重复使用该节点，请使用 ironic 来清理磁盘。如果节点托管 Ceph OSD，则需要此项：

   openstack baremetal node manage $UUID
   openstack baremetal node clean $UUID --clean-steps '[{"interface":"deploy", "step": "erase_devices_metadata"}]'
   openstack baremetal provide $UUID

   Copy to Clipboard Toggle word wrap

5. 重新部署中央站点。包括用于初始配置的所有模板：

   openstack overcloud deploy \
   --deployed-server \
   --stack central \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -r ~/control-plane/central_roles.yaml \
   -n ~/network-data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/podman.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e /home/stack/central/overcloud-networks-deployed.yaml \
   -e /home/stack/central/overcloud-vip-deployed.yaml \
   -e /home/stack/central/deployed_metal.yaml \
   -e /home/stack/central/deployed_ceph.yaml \
   -e /home/stack/central/dcn_ceph.yaml \
   -e /home/stack/central/glance_update.yaml

   Copy to Clipboard Toggle word wrap

1. 确保启用了 status 字段的值，并且 State 字段的值为 up ：

   (central) [stack@site-undercloud-0 ~]$ openstack compute service list -c Binary -c Host -c Zone -c Status -c State
   +----------------+-----------------------------------------+------------+---------+-------+
   | Binary         | Host                                    | Zone       | Status  | State |
   +----------------+-----------------------------------------+------------+---------+-------+
   ...
   | nova-compute   | dcn1-compute1-0.redhat.local            | az-dcn1    | enabled | up    |
   | nova-compute   | dcn1-compute1-1.redhat.local            | az-dcn1    | enabled | up    |
   | nova-compute   | dcn2-computehciscaleout2-0.redhat.local | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computehci2-0.redhat.local         | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computescaleout2-0.redhat.local    | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computehci2-2.redhat.local         | az-dcn2    | enabled | up    |
   ...

   Copy to Clipboard Toggle word wrap

2. 确保所有网络代理都处于 up 状态：

   (central) [stack@site-undercloud-0 ~]$ openstack network agent list -c "Agent Type" -c Host -c Alive -c State
   +--------------------+-----------------------------------------+-------+-------+
   | Agent Type         | Host                                    | Alive | State |
   +--------------------+-----------------------------------------+-------+-------+
   | DHCP agent         | dcn3-compute3-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-1.redhat.local      | :-)   | UP    |
   | DHCP agent         | dcn3-compute3-0.redhat.local            | :-)   | UP    |
   | DHCP agent         | central-controller0-2.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn3-compute3-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | dcn1-compute1-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-0.redhat.local      | :-)   | UP    |
   | DHCP agent         | central-controller0-1.redhat.local      | :-)   | UP    |
   | L3 agent           | central-controller0-2.redhat.local      | :-)   | UP    |
   | Metadata agent     | central-controller0-1.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn2-computescaleout2-0.redhat.local    | :-)   | UP    |
   | Open vSwitch agent | dcn2-computehci2-5.redhat.local         | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-2.redhat.local      | :-)   | UP    |
   | DHCP agent         | central-controller0-0.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | central-controller0-1.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn2-computehci2-0.redhat.local         | :-)   | UP    |
   | Open vSwitch agent | dcn1-compute1-0.redhat.local            | :-)   | UP    |
   ...

   Copy to Clipboard Toggle word wrap

3. 验证 Ceph 集群的状态：

   1. 使用 SSH 连接到新的 DistributedComputeHCI 节点，并检查 Ceph 集群的状态：

      [root@dcn2-computehci2-5 ~]# podman exec -it ceph-mon-dcn2-computehci2-5 \
      ceph -s -c /etc/ceph/dcn2.conf

      Copy to Clipboard Toggle word wrap

   2. 验证新节点的 ceph mon 和 ceph mgr 服务都存在：

      services:
          mon: 3 daemons, quorum dcn2-computehci2-2,dcn2-computehci2-0,dcn2-computehci2-5 (age 3d)
          mgr: dcn2-computehci2-2(active, since 3d), standbys: dcn2-computehci2-0, dcn2-computehci2-5
          osd: 20 osds: 20 up (since 3d), 20 in (since 3d)

      Copy to Clipboard Toggle word wrap

   3. 使用 'ceph osd tree' 验证 ceph osds 的状态。确保新节点的所有 osds 都为 STATUS up：

      [root@dcn2-computehci2-5 ~]# podman exec -it ceph-mon-dcn2-computehci2-5 ceph osd tree -c /etc/ceph/dcn2.conf
      ID CLASS WEIGHT  TYPE NAME                           STATUS REWEIGHT PRI-AFF
      -1       0.97595 root default
      -5       0.24399     host dcn2-computehci2-0
       0   hdd 0.04880         osd.0                           up  1.00000 1.00000
       4   hdd 0.04880         osd.4                           up  1.00000 1.00000
       8   hdd 0.04880         osd.8                           up  1.00000 1.00000
      13   hdd 0.04880         osd.13                          up  1.00000 1.00000
      17   hdd 0.04880         osd.17                          up  1.00000 1.00000
      -9       0.24399     host dcn2-computehci2-2
       3   hdd 0.04880         osd.3                           up  1.00000 1.00000
       5   hdd 0.04880         osd.5                           up  1.00000 1.00000
      10   hdd 0.04880         osd.10                          up  1.00000 1.00000
      14   hdd 0.04880         osd.14                          up  1.00000 1.00000
      19   hdd 0.04880         osd.19                          up  1.00000 1.00000
      -3       0.24399     host dcn2-computehci2-5
       1   hdd 0.04880         osd.1                           up  1.00000 1.00000
       7   hdd 0.04880         osd.7                           up  1.00000 1.00000
      11   hdd 0.04880         osd.11                          up  1.00000 1.00000
      15   hdd 0.04880         osd.15                          up  1.00000 1.00000
      18   hdd 0.04880         osd.18                          up  1.00000 1.00000
      -7       0.24399     host dcn2-computehciscaleout2-0
       2   hdd 0.04880         osd.2                           up  1.00000 1.00000
       6   hdd 0.04880         osd.6                           up  1.00000 1.00000
       9   hdd 0.04880         osd.9                           up  1.00000 1.00000
      12   hdd 0.04880         osd.12                          up  1.00000 1.00000
      16   hdd 0.04880         osd.16                          up  1.00000 1.00000

      Copy to Clipboard Toggle word wrap

4. 验证新 DistributedComputeHCI 节点的 cinder-volume 服务处于 Status 'enabled' 和 State 'up':

   (central) [stack@site-undercloud-0 ~]$ openstack volume service list --service cinder-volume -c Binary -c Host -c Zone -c Status -c State
   +---------------+---------------------------------+------------+---------+-------+
   | Binary        | Host                            | Zone       | Status  | State |
   +---------------+---------------------------------+------------+---------+-------+
   | cinder-volume | hostgroup@tripleo_ceph          | az-central | enabled | up    |
   | cinder-volume | dcn1-compute1-1@tripleo_ceph    | az-dcn1    | enabled | up    |
   | cinder-volume | dcn1-compute1-0@tripleo_ceph    | az-dcn1    | enabled | up    |
   | cinder-volume | dcn2-computehci2-0@tripleo_ceph | az-dcn2    | enabled | up    |
   | cinder-volume | dcn2-computehci2-2@tripleo_ceph | az-dcn2    | enabled | up    |
   | cinder-volume | dcn2-computehci2-5@tripleo_ceph | az-dcn2    | enabled | up    |
   +---------------+---------------------------------+------------+---------+-------+

   Copy to Clipboard Toggle word wrap
   注意

   如果 cinder-volume 服务的 State 停机，则该服务尚未在该节点上启动。

5. 使用 ssh 连接到新的 DistributedComputeHCI 节点，并使用 'systemctl' 检查 Glance 服务的状态：

   [root@dcn2-computehci2-5 ~]# systemctl --type service | grep glance
     tripleo_glance_api.service                        loaded active     running       glance_api container
     tripleo_glance_api_healthcheck.service            loaded activating start   start glance_api healthcheck
     tripleo_glance_api_tls_proxy.service              loaded active     running       glance_api_tls_proxy container

   Copy to Clipboard Toggle word wrap

流程

1. 登录到替换节点并检查 etcd 服务的日志。检查在 /var/log/containers/stdouts/etcd.log 日志文件中是否显示 etcd 服务报告了一个集群 ID 不匹配的问题。

   2022-04-06T18:00:11.834104130+00:00 stderr F 2022-04-06 18:00:11.834045 E | rafthttp: request cluster ID mismatch (got 654f4cf0e2cfb9fd want 918b459b36fe2c0c)

   Copy to Clipboard Toggle word wrap
2. 将 EtcdInitialClusterState 参数设置为 部署模板中的现有 值，并重新运行部署脚本。

3. 使用 SSH 连接到替换节点，并以 root 用户身份运行以下命令：

   [root@dcn2-computehci2-4 ~]# systemctl stop tripleo_etcd
   [root@dcn2-computehci2-4 ~]# rm -rf /var/lib/etcd/*
   [root@dcn2-computehci2-4 ~]# systemctl start tripleo_etcd

   Copy to Clipboard Toggle word wrap

4. 再次检查 /var/log/containers/stdouts/etcd.log 日志文件，以验证节点是否已成功加入集群：

   2022-04-06T18:24:22.130059875+00:00 stderr F 2022-04-06 18:24:22.129395 I | etcdserver/membership: added member 96f61470cd1839e5 [https://dcn2-computehci2-4.internalapi.redhat.local:2380] to cluster 654f4cf0e2cfb9fd

   Copy to Clipboard Toggle word wrap
5. 检查 cinder-volume 服务的状态，确定在运行 openstack volume service list 时它在替换节点上为 up。

流程

1. 为您的 overcloud 堆栈创建 ansible 清单目录：

   $ mkdir inventories
   
   $ find ~/overcloud-deploy/*/config-download \
     -name tripleo-ansible-inventory.yaml |\
     while read f; do cp $f inventories/$(basename $(dirname $f)).yaml; done

   Copy to Clipboard Toggle word wrap

2. 创建您要预缓存的镜像 ID 列表：

   1. 检索可用镜像的完整列表：

      $ source centralrc
      
      $ openstack image list
      +--------------------------------------+---------+--------+
      | ID                                   | Name    | Status |
      +--------------------------------------+---------+--------+
      | 07bc2424-753b-4f65-9da5-5a99d8383fe6 | image_0 | active |
      | d5187afa-c821-4f22-aa4b-4e76382bef86 | image_1 | active |
      +--------------------------------------+---------+--------+

      Copy to Clipboard Toggle word wrap

   2. 创建名为 nova_cache_args.yml 的 ansible playbook 参数文件，并添加您要预缓存的镜像 ID：

      ---
      tripleo_nova_image_cache_images:
        - id: 07bc2424-753b-4f65-9da5-5a99d8383fe6
        - id: d5187afa-c821-4f22-aa4b-4e76382bef86

      Copy to Clipboard Toggle word wrap

3. 运行 tripleo_nova_image_cache.yml ansible playbook:

   $ source centralrc
   
   $ ansible-playbook -i inventories \
   --extra-vars "@nova_cache_args.yml" \
   /usr/share/ansible/tripleo-playbooks/tripleo_nova_image_cache.yml

   Copy to Clipboard Toggle word wrap

1. 如果您要在边缘部署存储，请在为边缘堆栈修改的 tripleo heat 模板中包括以下参数：

   TEMPLATES=/usr/share/openstack-tripleo-heat-templates
   
   resource_registry:
     OS::TripleO::Services::IpaClient:
       ${TEMPLATES}/deployment/ipa/ipaservices-baremetal-ansible.yaml

   Copy to Clipboard Toggle word wrap

Process

1. 创建用于外部访问的 Ceph 密钥。这个密钥是敏感的。您可以使用以下方法生成密钥：

   python3 -c 'import os,struct,time,base64; key = os.urandom(16) ; \
   header = struct.pack("<hiih", 1, int(time.time()), 0, len(key)) ; \
   print(base64.b64encode(header + key).decode())'

   Copy to Clipboard Toggle word wrap

2. 在您要部署的堆栈的目录中，使用上一命令的输出为密钥创建一个 ceph_keys.yaml 环境文件，其内容如下：

   parameter_defaults:
     CephExtraKeys:
       - name: "client.external"
         caps:
           mgr: "allow *"
           mon: "profile rbd"
           osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
         key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
         mode: "0600"

   Copy to Clipboard Toggle word wrap

3. 在站点的部署中包含 ceph_keys.yaml 环境文件。例如，要使用 ceph_keys.yaml 环境文件部署中央站点，请运行以下命令：

    overcloud deploy \
            --stack central \
            --templates /usr/share/openstack-tripleo-heat-templates/ \
            ….
            -e ~/central/ceph_keys.yaml

   Copy to Clipboard Toggle word wrap