第 5 章 Ceph 文件系统管理
作为存储管理员，您可以执行常见的 Ceph 文件系统 (CephFS) 管理任务，例如：
-
实时监控 CephFS 指标，请参见 第 5.1 节 “使用
cephfs-top工具” - 要将目录映射到特定 MDS 等级，请参阅 第 5.5 节 “将目录树映射到元数据服务器守护进程等级”。
- 要从 MDS 等级中取消关联一个目录，请参阅 第 5.6 节 “与元数据服务器守护进程解除目录树的关联”。
- 添加新数据池，请参阅 第 5.7 节 “添加数据池”。
- 要使用配额，请参阅 第 7 章 Ceph 文件系统配额。
- 使用文件和目录布局，请参阅 第 8 章 文件和目录布局。
- 删除 Ceph 文件系统，请参阅 第 5.9 节 “删除 Ceph 文件系统”。
- 客户端功能，请参阅 第 5.11 节 “客户端特性”。
-
使用
ceph mds fail命令，请参阅 第 5.10 节 “使用ceph mds fail命令”。 - 手动驱除 CephFS 客户端，请参阅 第 5.14 节 “手动驱除 Ceph 文件系统客户端”
先决条件
- 一个运行良好、健康的 Red Hat Ceph Storage 集群。
-
安装和配置 Ceph 元数据服务器守护进程 (
ceph-mds)。 - 创建并挂载 Ceph 文件系统。
5.1. 使用 cephfs-top 工具
Ceph 文件系统(CephFS)提供了一个类似于 top 的实用程序，以实时显示 Ceph 文件系统上的指标。cephfs-top 实用程序是一个基于 curses 的 Python 脚本，它使用 Ceph Manager stats 模块来获取和显示客户端性能指标。
目前，cephfs-top 实用程序支持几乎 10k 客户端。
目前，Red Hat Enterprise Linux 9.2 内核都不提供所有性能统计。在 Red Hat Enterprise Linux 9 及更高版本上支持 CephFS -top，并使用 Red Hat Enterprise Linux 中的其中一个标准终端。
cephfs-top 实用程序的最小兼容 python 版本为 3.6.0。
先决条件
- 一个健康且运行 Red Hat Ceph Storage 集群。
- 部署 Ceph 文件系统.
- Ceph 客户端节点的根级别访问权限。
-
安装
cephfs-top软件包。
流程
如果还没有启用，启用 Red Hat Ceph Storage 7 工具存储库：
Red Hat Enterprise Linux 9
[root@client ~]# subscription-manager repos --enable=rhceph-7-tools-for-rhel-9-x86_64-rpms
安装
cephfs-top软件包：示例
[root@client ~]# dnf install cephfs-top
启用 Ceph Manager
stats插件：示例
[root@client ~]# ceph mgr module enable stats
创建
client.fstopCeph 用户：示例
[root@client ~]# ceph auth get-or-create client.fstop mon 'allow r' mds 'allow r' osd 'allow r' mgr 'allow r' > /etc/ceph/ceph.client.fstop.keyring
注意（可选）使用
--id参数指定与client.fstop以外的不同的 Ceph 用户。启动
cephfs-top工具：示例
[root@client ~]# cephfs-top cephfs-top - Wed Nov 30 15:26:05 2022 All Filesystem Info Total Client(s): 4 - 3 FUSE, 1 kclient, 0 libcephfs COMMANDS: m - select a filesystem | s - sort menu | l - limit number of clients | r - reset to default | q - quit client_id mount_root chit(%) dlease(%) ofiles oicaps oinodes rtio(MB) raio(MB) rsp(MB/s) wtio(MB) waio(MB) wsp(MB/s) rlatavg(ms) rlatsd(ms) wlatavg(ms) wlatsd(ms) mlatavg(ms) mlatsd(ms) mount_point@host/addr Filesystem: cephfs1 - 2 client(s) 4500 / 100.0 100.0 0 751 0 0.0 0.0 0.0 578.13 0.03 0.0 N/A N/A N/A N/A N/A N/A N/A@example/192.168.1.4 4501 / 100.0 0.0 0 1 0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.41 0.0 /mnt/cephfs2@example/192.168.1.4 Filesystem: cephfs2 - 2 client(s) 4512 / 100.0 0.0 0 1 0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.4 0.0 /mnt/cephfs3@example/192.168.1.4 4518 / 100.0 0.0 0 1 0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.52 0.0 /mnt/cephfs4@example/192.168.1.4
5.1.1. cephfs-top 实用程序互动命令
选择特定的文件系统，并使用 cephfs-top 实用程序互动命令查看与该文件系统相关的指标。
m- 描述
- 文件系统选择 ：显示要选择的文件系统菜单。
q- 描述
- 退出 ：如果您位于主屏幕，且包含所有文件系统信息，请退出该实用程序。如果您没有在主屏幕，它会将您重新重定向到主屏幕。
s- 描述
- sort 字段选择 ：指定排序字段。'cap_hit' 是默认值。
l- 描述
- 客户端限制 ：设置要显示的客户端数量的限制。
r- 描述
- reset ：重置排序字段，并将值限制为默认值。
可以使用箭头键、PgUp/PgDn、Home/End 和 mouse 滚动指标显示。
输入并退出文件系统选择菜单的示例
[root@client ~]# m
Filesystems
Press "q" to go back to home (all filesystem info) screen
cephfs01
cephfs02
[root@client ~]# q
cephfs-top - Thu Oct 20 07:29:35 2022
Total Client(s): 3 - 2 FUSE, 1 kclient, 0 libcephfs
5.1.2. cephfs-top 实用程序选项
您可以使用 cephfs-top utility 命令及各种选项。
示例
[root@client ~]# cephfs-top --selftest selftest ok
--cluster NAME_OF_THE_CLUSTER- 描述
-
使用此选项，您可以连接到非默认集群名称。默认名称为
ceph。
--id USER- 描述
-
这是连接到 Ceph 集群的客户端，默认为
fstop。
--selftest- 描述
-
通过此选项，您可以执行自我测试。此模式执行
stats模块的健全检查。
--conffile PATH_TO_THE_CONFIGURATION_FILE- 描述
- 通过此选项，您可以提供 Ceph 集群配置文件的路径。
-d/--delay INTERVAL_IN_SECONDS- 描述
cephfs-top实用程序默认每秒刷新统计。使用这个选项，您可以更改刷新间隔。注意间隔应大于或等于 1 秒。部分秒被接受。
--dump- 描述
- 使用此选项，您可以在不创建策展显示的情况下将指标转储到 stdout。
--dumpfs FILE_SYSTEM_NAME- 描述
- 使用此选项，您可以在不创建策展显示的情况下将给定文件系统的指标转储到 stdout。
