4.5. D3N 数据缓存

流程

1. 为 NVMe 驱动器创建挂载点。

   语法

   mkfs.ext4 nvme-drive-path

   示例

   [ceph: root@host01 /]# mkfs.ext4 /dev/nvme0n1
   mount /dev/nvme0n1 /mnt/nvme0n1/

2. 创建缓存目录路径。

   语法

   mkdir <nvme-mount-path>/cache-directory-name

   示例

   [ceph: root@host01 /]# mkdir /mnt/nvme0n1/rgw_datacache

3. 向 nvme-mount-path 和 rgw_d3n_l1_datacache_persistent_path 提供 +rwx 权限。

   语法

   chmod a+rwx nvme-mount-path ; chmod a+rwx rgw_d3n_l1_datacache_persistent_path

   示例

   [ceph: root@host01 /]# chmod a+rwx /mnt/nvme0n1 ; chmod a+rwx /mnt/nvme0n1/rgw_datacache/

4. 使用 extra_container_args 创建/修改 RGW 规范文件，将 rgw_d3n_l1_datacache_persistent_path 添加到 podman unit.run 中。

   语法

   "extra_container_args:
             "-v"
             "rgw_d3n_l1_datacache_persistent_path:rgw_d3n_l1_datacache_persistent_path"
   			"

   示例

   [ceph: root@host01 /]# cat rgw-spec.yml
   	service_type: rgw
   	service_id: rgw.test
   	placement:
   		hosts:
   		    host1
   		    host2
   		extra_container_args:
   		    "-v"
   		    "/mnt/nvme0n1/rgw_datacache/:/mnt/nvme0n1/rgw_datacache/"

   注意

   如果单个主机上有多个 RGW 实例，则必须为每个实例创建一个单独的 rgw_d3n_l1_datacache_persistent_path，并在 extra_container_args 中添加每个路径。

   示例 ：

   对于每个主机中的两个 RGW 实例，在 rgw_d3n_l1_datacache_persistent_path 下创建两个单独的 cache-directory ：/mnt/nvme0n1/rgw_datacache/rgw1 和 /mnt/nvme0n1/rgw_datacache/rgw2

   rgw 规范文件中的 "extra_container_args" 示例：

   "extra_container_args:
   	"-v"
   	"/mnt/nvme0n1/rgw_datacache/rgw1/:/mnt/nvme0n1/rgw_datacache/rgw1/"
   	"-v"
   	"/mnt/nvme0n1/rgw_datacache/rgw2/:/mnt/nvme0n1/rgw_datacache/rgw2/"
   "

   rgw-spec.yml 示例：

   [ceph: root@host01 /]# cat rgw-spec.yml
   	service_type: rgw
   		service_id: rgw.test
   		placement:
   			hosts:
   				host1
   				host2
   			count_per_host: 2
   			extra_container_args:
   				"-v"
   				"/mnt/nvme0n1/rgw_datacache/rgw1/:/mnt/nvme0n1/rgw_datacache/rgw1/"
   				"-v"
   				"/mnt/nvme0n1/rgw_datacache/rgw2/:/mnt/nvme0n1/rgw_datacache/rgw2/"

5. 重新部署 RGW 服务：

   示例

   [ceph: root@host01 /]# ceph orch apply -i rgw-spec.yml

示例流程

1. 创建 test 对象：

   注意

   测试对象需要大于 4 MB 才能缓存。

   示例

   [ceph: root@host01 /]# fallocate -l 1G ./1G.dat
   [ceph: root@host01 /]# s3cmd mb s3://bkt
   [ceph: root@host01 /]# s3cmd put ./1G.dat s3://bkt

2. 执行对象的 GET ：

   示例

   [ceph: root@host01 /]# s3cmd get s3://bkt/1G.dat /dev/shm/1G_get.dat
   download: 's3://bkt/1G.dat' -> './1G_get.dat'  [1 of 1]
   1073741824 of 1073741824   100% in   13s    73.94 MB/s  done

3. 验证缓存创建。将创建缓存，其名称由配置的 rgw_d3n_l1_datacache_persistent_path 中的对象 key-name 组成。

   示例

   [ceph: root@host01 /]# ls -lh /mnt/nvme/rgw_datacache
   
   rw-rr. 1 ceph ceph 1.0M Jun  2 06:18 cc7f967c-0021-43b2-9fdf-23858e868663.615391.1_shadow.ZCiCtMWeu_19wb100JIEZ-o4tv2IyA_1

4. 为对象创建缓存后，该对象的下一个 GET 操作将从缓存访问，从而加快访问速度。

   示例

   [ceph: root@host01 /]# s3cmd get s3://bkt/1G.dat /dev/shm/1G_get.dat
   download: 's3://bkt/1G.dat' -> './1G_get.dat'  [1 of 1]
   1073741824 of 1073741824   100% in    6s   155.07 MB/s  done

   在上例中，为了演示缓存加速，我们正写入 RAM 驱动器(/dev/shm)。