9.13. 优化 Ceph 对象网关的数据对象存储
bucket 生命周期配置优化了数据对象存储,以提高其效率,并在数据生命周期内提供有效的存储。
Ceph 对象网关中的 S3 API 目前支持 AWS 存储桶生命周期配置操作的子集:
- 过期
- NoncurrentVersionExpiration
- AbortIncompleteMultipartUpload
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 对存储集群中所有节点的根级别访问权限。
9.13.1. bucket 生命周期并行线程处理
Ceph 对象网关现在允许在多个 Ceph 对象网关实例之间并行处理 bucket 生命周期。增加并行运行的线程数量,使 Ceph 对象网关能够更有效地处理大量工作负载。此外,Ceph 对象网关现在使用数字序列进行索引分片枚举,而不使用顺序编号。
9.13.2. 优化存储桶生命周期
Ceph 配置文件中的两个选项会影响存储桶生命周期处理效率:
-
rgw_lc_max_worker
指定并行运行的生命周期 worker 线程数量。这可同时处理存储桶和索引分片。这个选项的默认值为 3。 -
rgw_lc_max_wp_worker
指定每个生命周期 worker 线程池中的线程数量。此选项有助于加快每个存储桶的处理。这个选项的默认值为 3。
例如,对于 bucket 数量较多的工作负载,Thoterment 增加了 rgw_lc_max_worker
选项的值。
对于 bucket 数量较少但每个 bucket 中数量较多的工作负载,比如在成百上百上千 >-Asconsider 中增加了 rgw_lc_max_wp_worker
选项的值。
在增加其中一个选项的值之前,请验证当前存储集群性能和 Ceph 对象网关的利用率。红帽不建议为其中一个选项分配 10 或以上值。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 对存储集群中所有节点的根级别访问权限。
流程
要增加并行运行的线程数量,请将
rgw_lc_max_worker
的值设置为3
到9
之间的值:示例
[ceph: root@host01 /]# ceph config set client.rgw rgw_lc_max_worker 7
要增加每个线程工作池中的线程数量,请将
rgw_lc_max_wp_worker
的值设置为3
到9
之间的值:示例
[ceph: root@host01 /]# ceph config set client.rgw rgw_lc_max_wp_worker 7
- 重新启动 Ceph 对象网关,以允许更改的设置生效。
- 监控存储集群,以验证增加的值不会影响性能。
其它资源
- 有关存储桶生命周期和并行线程处理的更多信息,请参阅 Bucket 生命周期并行处理
- 有关 Ceph 对象网关生命周期的更多信息,请联系红帽支持。