2.16. 将命名空间导出到 NFS-Ganesha

开始前

1. 在尝试运行 NFS-Ganesha 之前，禁用将运行 NFS-Ganesha 的任何主机上运行的任何内核 NFS 服务实例。如果另一个 NFS 实例正在运行，NFS-Ganesha 将不会启动。

2. 作为 root 用户 启用 Red Hat Ceph Storage Tools 存储库：

   Red Hat Enterprise Linux 7

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux 8

   # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

   Copy to Clipboard Toggle word wrap

3. 确保 rpcbind 服务正在运行：

   # systemctl start rpcbind

   Copy to Clipboard Toggle word wrap
   注意

   提供 rpcbind 的 The rpcbind 软件包通常会默认安装。否则，请先安装软件包。

   有关 NFS 如何使用 rpcbind 的详细信息，请参阅 Red Hat Enterprise Linux 7 的存储管理指南中的 Required Services 部分。

4. 如果 nfs-service 服务正在运行，请停止并禁用该服务：

   # systemctl stop nfs-server.service
   # systemctl disable nfs-server.service

   Copy to Clipboard Toggle word wrap

配置 NFS-Ganesha 实例

1. 安装 nfs-ganesha-rgw 软件包：

   # yum install nfs-ganesha-rgw

   Copy to Clipboard Toggle word wrap

2. 将 Ceph 配置文件从 Ceph 监控节点复制到 NFS-Ganesha 主机的 /etc/ceph/ 目录，并根据需要编辑该文件：

   # scp <mon-host>:/etc/ceph/ceph.conf <nfs-ganesha-rgw-host>:/etc/ceph

   Copy to Clipboard Toggle word wrap
   注意

   Ceph 配置文件必须包含有效的 [client.rgw.{instance-name}] 部分，以及各种必要的网关配置变量的对应参数，如 rgw_data、密钥环 或 rgw_frontends。如果导出不符合有效 S3 存储桶命名要求的 Swift 容器，请将 Ceph 配置文件的 [client.rgw] 部分中的 rgw_relaxed_s3_bucket_names 设置为 true。例如，如果 Swift 容器名称包含下划线，则它不是有效的 S3 存储桶名称，并且不会同步，除非 rgw_relaxed_s3_bucket_names 设为 true。当在 NFS 之外添加对象和存储桶时，这些对象会在 rgw_nfs_namespace_expire_secs 设置的时间里显示在 NFS 命名空间中，默认为大约 5 分钟。覆盖 Ceph 配置文件中的 rgw_nfs_namespace_expire_secs 的默认值，以更改刷新率。

3. 打开 NFS-Ganesha 配置文件：

   # vim /etc/ganesha/ganesha.conf

   Copy to Clipboard Toggle word wrap

4. 使用 FSAL (File System Abstraction Layer)块配置 EXPORT 部分。提供 ID、S3 用户 ID、S3 访问密钥和机密。对于 NFSv4，它应类似如下：

   EXPORT
   {
           Export_ID={numeric-id};
           Path = "/";
           Pseudo = "/";
           Access_Type = RW;
           SecType = "sys";
           NFS_Protocols = 4;
           Transport_Protocols = TCP;
           Squash = No_Root_Squash;
   
           FSAL {
                   Name = RGW;
                   User_Id = {s3-user-id};
                   Access_Key_Id ="{s3-access-key}";
                   Secret_Access_Key = "{s3-secret}";
           }
   }

   Copy to Clipboard Toggle word wrap

   Path 选项指示 Ganesha 在哪里查找导出。对于 VFS FSAL，这是服务器命名空间中的位置。对于其他 FSAL，它可能是由 FSAL 命名空间管理的文件系统中的位置。例如，如果 Ceph FSAL 用于导出整个 CephFS 卷，则 路径 将是 /。

   Pseudo 选项指示 Ganesha 将导出放在 NFS v4 的伪文件系统命名空间内。NFS v4 指定服务器可以构造不与任何实际导出位置对应的伪命名空间，并且该伪文件系统的部分可能仅存在于 NFS 服务器的域中且不与任何物理目录对应。此外，NFS v4 服务器将其所有导出放置在一个命名空间内。可以将单个导出导出为伪文件系统 root，但将多个导出放置在伪文件系统中更为常见。使用传统的 VFS 时，Pseudo 位置通常与 路径 位置相同。使用 / 作为路径返回到示例 CephFS 导出，如果需要多个导出，则导出可能会有其他内容作为 Pseudo 选项。例如，/ceph。

   任何应支持 NFSv3 的 EXPORT 块都应在 NFS_Protocols 设置中包含版本 3。此外，NFSv3 是支持 UDP 传输的最后一个主要版本。早期版本的标准包括 UDP，但 RFC 7530 禁止其使用。要启用 UDP，将其包含在 Transport_Protocols 设置中。例如：

   EXPORT {
   ...
       NFS_Protocols = 3,4;
       Transport_Protocols = UDP,TCP;
   ...
   }

   Copy to Clipboard Toggle word wrap

   设置 SecType = sys； 允许客户端在没有 Kerberos 身份验证的情况下附加.

   设置 Squash = No_Root_Squash； 允许用户在 NFS 挂载中更改目录所有权.

   使用传统 OS 原生 NFS 4.1 客户端的 NFS 客户端通常会看到由目标服务器的 pseudofs root 定义的导出文件系统的联合命名空间。其中任意数量的可以是 Ceph 对象网关导出。

   每个导出都有自己的 名称 组User_Id、access _Key 和 Secret_Access_Key，并且创建对指定用户可见的对象命名空间的代理。

   ganesha.conf 中的导出也可以包含 NFSV4 块。红帽 Ceph 存储支持 Allow_Numeric_Owners 和 only ly_Numberic_Owners 参数，作为设置 idmapper 程序的替代选择。

   NFSV4 {
       Allow_Numeric_Owners = true;
       Only_Numeric_Owners = true;
   }

   Copy to Clipboard Toggle word wrap

5. 配置 NFS_CORE_PARAM 块。

   NFS_CORE_PARAM{
       mount_path_pseudo = true;
   }

   Copy to Clipboard Toggle word wrap

   当 mount_path_pseudo 配置设置被设置为 true 时，它将使 NFS v3 和 NFS v4.x 挂载使用相同的服务器侧路径来访问导出，例如：

       mount -o vers=3 <IP ADDRESS>:/export /mnt
       mount -o vers=4 <IP ADDRESS>:/export /mnt

   Copy to Clipboard Toggle word wrap

   Path            Pseudo          Tag     Mechanism   Mount
   /export/test1   /export/test1   test1   v3 Pseudo   mount -o vers=3 server:/export/test1
   /export/test1   /export/test1   test1   v3 Tag      mount -o vers=3 server:test1
   /export/test1   /export/test1   test1   v4 Pseudo   mount -o vers=4 server:/export/test1
   /               /export/ceph1   ceph1   v3 Pseudo   mount -o vers=3 server:/export/ceph1
   /               /export/ceph1   ceph1   v3 Tag      mount -o vers=3 server:ceph1
   /               /export/ceph1   ceph1   v4 Pseudo   mount -o vers=4 server:/export/ceph1
   /               /export/ceph2   ceph2   v3 Pseudo   mount -o vers=3 server:/export/ceph2
   /               /export/ceph2   ceph2   v3 Tag      mount -o vers=3 server:ceph2
   /               /export/ceph2   ceph2   v4 Pseudo   mount -o vers=4

   Copy to Clipboard Toggle word wrap

   当 mount_path_pseudo 配置设置设为 false 时，NFS v3 挂载使用 Path 选项，NFS v4.x 挂载使用 Pseudo 选项。

   Path            Pseudo          Tag     Mechanism   Mount
   /export/test1   /export/test1   test1   v3 Path     mount -o vers=3 server:/export/test1
   /export/test1   /export/test1   test1   v3 Tag      mount -o vers=3 server:test1
   /export/test1   /export/test1   test1   v4 Pseudo   mount -o vers=4 server:/export/test1
   /               /export/ceph1   ceph1   v3 Path     mount -o vers=3 server:/
   /               /export/ceph1   ceph1   v3 Tag      mount -o vers=3 server:ceph1
   /               /export/ceph1   ceph1   v4 Pseudo   mount -o vers=4 server:/export/ceph1
   /               /export/ceph2   ceph2   v3 Path     not accessible
   /               /export/ceph2   ceph2   v3 Tag      mount -o vers=3 server:ceph2
   /               /export/ceph2   ceph2   v4 Pseudo   mount -o vers=4 server:/export/ceph2

   Copy to Clipboard Toggle word wrap

6. 配置 RGW 部分。指定实例的名称，提供 Ceph 配置文件的路径，并指定任何初始化参数：

   RGW {
       name = "client.rgw.{instance-name}";
       ceph_conf = "/etc/ceph/ceph.conf";
       init_args = "--{arg}={arg-value}";
   }

   Copy to Clipboard Toggle word wrap
7. 保存 /etc/ganesha/ganesha.conf 配置文件。

8. 启用并启动 nfs-ganesha 服务。

   # systemctl enable nfs-ganesha
   # systemctl start nfs-ganesha

   Copy to Clipboard Toggle word wrap

9. 对于非常大型的伪目录，请将 ceph.conf 文件中的可配置参数 rgw_nfs_s3_fast_attrs 设置为 true，使命名空间不可变并加快速度：

   rgw_nfs_s3_fast_attrs= true

   Copy to Clipboard Toggle word wrap

10. 从每个网关节点重启 Ceph 对象网关服务：

    # systemctl restart ceph-radosgw.target

    Copy to Clipboard Toggle word wrap