共享文件系统服务的 CephFS 后端指南

流程

1. 以 stack 用户身份登录 undercloud 节点。

2. 安装 ceph-ansible 软件包：

   [stack@undercloud-0 ~]$ sudo dnf install -y ceph-ansible
   [stack@undercloud-0 ~]$ sudo dnf list ceph-ansible
   ...
   Installed Packages
   ceph-ansible.noarch    4.0.23-1.el8cp      @rhelosp-ceph-4-tools

1. 在 undercloud 节点上输入以下命令：

   [stack@undercloud ~]$ source ~/overcloudrc

2. 在 undercloud 节点上，创建存储网络：

   (overcloud) [stack@undercloud-0 ~]$ openstack network create Storage --provider-network-type vlan --provider-physical-network datacentre --provider-segment 30

   您可以使用以下选项输入这个命令：

   • 对于 --provider-physical-network 选项，使用默认值 datacentre，除非您通过 tripleo-heat-templates 中的 NeutronBridgeMappings 为 br-isolated 网桥设置了另一个标签。
   • 对于 --provider-segment 选项，在网络环境文件中使用为存储隔离网络设置的值。如果没有自定义，默认的环境文件为 /usr/share/openstack-tripleo-heat-templates/network_data.yaml。除非修改了隔离网络定义，否则与存储网络值关联的 VLAN 为 30。
   • 对于 --provider-network-type 选项，请使用值 vlan。

流程

1. 在 undercloud 节点上输入以下命令：

   [stack@undercloud ~]$ source ~/overcloudrc

2. 使用示例命令置备网络。更新这些值以适合您的环境。

   (overcloud) [stack@undercloud-0 ~]$ openstack subnet create \
   --allocation-pool start=172.17.3.10,end=172.17.3.149 \
   --dhcp \
   --network Storage \
   --subnet-range 172.17.3.0/24 \
   --gateway none StorageSubnet

   • 对于 --allocation-pool 选项，将 start=172.17.3.10,end=172.17.3.149 IP 值替换为您的网络的 IP 值。
   • 对于 --subnet-range 选项，请将 172.17.3.0/24 子网范围替换为您的网络的子网范围。

流程

1. 在 undercloud 节点上输入以下命令：

   [stack@undercloud ~]$ source ~/overcloudrc

2. 识别需要访问的项目：

   (overcloud) [stack@undercloud-0 ~]$ openstack project list
   +----------------------------------+---------+
   | ID                               | Name    |
   +----------------------------------+---------+
   | 06f1068f79d2400b88d1c2c33eacea87 | demo    |
   | 5038dde12dfb44fdaa0b3ee4bfe487ce | service |
   | 820e2d9c956644c2b1530b514127fd0d | admin   |
   +----------------------------------+---------+

3. 使用所需项目创建网络 RBAC 规则：

   (overcloud) [stack@undercloud-0 ~]$ openstack network rbac create \
   --action access_as_shared Storage \
   --type network \
   --target-project demo

   对需要访问存储网络的所有项目重复此步骤。

流程

1. 在 undercloud 节点上输入以下命令：

   [stack@undercloud ~]$ source ~/overcloudrc

2. 在共享类型上设置额外的规格：

   (overcloud) [stack@undercloud-0 ~] manila type-create default False
   (overcloud) [stack@undercloud-0 ~] manila type-key default set share_backend_name='s!= cephfs'

3. 创建私有共享类型，并向可信租户提供对此共享类型的访问权限：

   (overcloud) [stack@undercloud-0 ~]$ manila type-create --is-public false nativecephfstype false
   (overcloud) [stack@undercloud-0 ~]$ manila type-key nativecephfstype set share_backend_name='cephfs'
   (overcloud) [stack@undercloud-0 ~]$ manila type-access-add nativecephfstype <trusted_tenant_project_id>

流程

1. 登录到 overcloud 中的一个 Controller 节点。

2. 检查连接的网络，并验证 network_data.yaml 文件中的 VLAN 是否存在：

   $ ip a
   8: vlan30: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
       link/ether 52:9c:82:7a:d4:75 brd ff:ff:ff:ff:ff:ff
       inet 172.17.3.144/24 brd 172.17.3.255 scope global vlan30
          valid_lft forever preferred_lft forever
       inet6 fe80::509c:82ff:fe7a:d475/64 scope link
          valid_lft forever preferred_lft forever

流程

1. 登录任何 Controller 节点。

2. 在 Ceph 监控守护进程中输入以下命令：

   $ sudo podman exec ceph-mon-controller-0 ceph -s
     cluster:
       id:     670dc288-cd36-4772-a4fc-47287f8e2ebf
       health: HEALTH_OK
   
     services:
       mon: 3 daemons, quorum controller-1,controller-2,controller-0 (age 14h)
       mgr: controller-1(active, since 8w), standbys: controller-0, controller-2
       mds: cephfs:1 {0=controller-2=up:active} 2 up:standby
       osd: 15 osds: 15 up (since 8w), 15 in (since 8w)
   
     task status:
       scrub status:
           mds.controller-2: idle
   
     data:
       pools: 6 pools, 192 pgs
       objects: 309 objects, 1.6 GiB
       usage: 21 GiB used, 144 GiB / 165 GiB avail
       pgs: 192 active+clean

   注意

   有一个活跃 MDS，备用上有两个 MDS。

3. 要查看 Ceph 文件系统的详细状态，请输入以下命令：

   $ sudo ceph fs ls
   
   name: cephfs metadata pool: manila_metadata, data pools: [manila_data]

   注意

   在本示例输出中，cephfs 是 Ceph 文件系统的名称，director 会创建它来托管用户通过共享文件系统服务创建的 CephFS 共享。

流程

1. 从其中一个 Controller 节点输入以下命令，以确认 openstack-manila-share 已启动：

   $ sudo pcs status resources | grep manila
   
   * Container bundle: openstack-manila-share [cluster.common.tag/rhosp16-openstack-manila-share:pcmklatest]:
   * openstack-manila-share-podman-0	(ocf::heartbeat:podman):	Started controller-0

流程

1. 登录 undercloud。

2. 使用以下命令：

   $ source /home/stack/overcloudrc

3. 输入以下命令确认启用了 manila-scheduler 和 manila-share ：

   $ manila service-list
   
   | Id | Binary          | Host             | Zone | Status | State | Updated_at |
   
   | 2 | manila-scheduler | hostgroup        | nova | enabled | up | 2018-08-08T04:15:03.000000 |
   | 5 | manila-share | hostgroup@cephfs | nova | enabled | up | 2018-08-08T04:15:03.000000 |