8.7. bucket 管理
作为存储管理员,在使用 Ceph 对象网关时,您可以通过在用户之间移动 bucket 并将它们重命名来管理存储桶。您可以创建存储桶通知,在特定事件时触发。此外,您可以在 Ceph 对象网关中发现在存储集群的生命周期内可能会发生孤立或泄漏的对象。
当数百万对象上传到具有高最高速率的 Ceph 对象网关 bucket 时,使用 radosgw-admin bucket stats 命令报告不正确的 num_objects。使用 radosgw-admin bucket list 命令,您可以更正 num_objects 参数的值。
在多站点集群中,从次要站点中删除存储桶不会与主站点同步元数据更改。因此,红帽建议只从主站点中删除存储桶,而不是从次要站点中删除存储桶。
8.7.1. 重命名存储桶 复制链接链接已复制到粘贴板!
您可以重命名存储桶。如果要在存储桶名称中允许下划线,请将 rgw_relaxed_s3_bucket_names 选项设置为 true。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 安装 Ceph 对象网关软件.
- 一个现有存储桶。
流程
列出存储桶:
示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 重命名存储桶:
语法
radosgw-admin bucket link --bucket=ORIGINAL_NAME --bucket-new-name=NEW_NAME --uid=USER_ID
radosgw-admin bucket link --bucket=ORIGINAL_NAME --bucket-new-name=NEW_NAME --uid=USER_IDCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=s3bucket1 --bucket-new-name=s3newb --uid=testuser
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=s3bucket1 --bucket-new-name=s3newb --uid=testuserCopy to Clipboard Copied! Toggle word wrap Toggle overflow 如果存储桶位于租户中,还要指定租户:
语法
radosgw-admin bucket link --bucket=tenant/ORIGINAL_NAME --bucket-new-name=NEW_NAME --uid=TENANT$USER_ID
radosgw-admin bucket link --bucket=tenant/ORIGINAL_NAME --bucket-new-name=NEW_NAME --uid=TENANT$USER_IDCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=test/s3bucket1 --bucket-new-name=s3newb --uid=test$testuser
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=test/s3bucket1 --bucket-new-name=s3newb --uid=test$testuserCopy to Clipboard Copied! Toggle word wrap Toggle overflow 验证存储桶已被重命名:
示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.2. 删除存储桶 复制链接链接已复制到粘贴板!
使用 Ceph 对象网关配置从 Red Hat Ceph Storage 集群中删除存储桶。
当存储桶没有对象时,您可以运行 radosgw-admin bucket rm 命令。如果存储桶中存在对象,您可以使用 --purge-objects 选项。
对于多站点配置,红帽建议从主站点中删除存储桶。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 安装 Ceph 对象网关软件.
- 一个现有存储桶。
流程
列出存储桶。
示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 移除存储桶。
语法
radosgw-admin bucket rm --bucket=BUCKET_NAME
radosgw-admin bucket rm --bucket=BUCKET_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket rm --bucket=s3bucket1
[ceph: root@host01 /]# radosgw-admin bucket rm --bucket=s3bucket1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 如果存储桶有对象,请运行以下命令:
语法
radosgw-admin bucket rm --bucket=BUCKET --purge-objects --bypass-gc
radosgw-admin bucket rm --bucket=BUCKET --purge-objects --bypass-gcCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket rm --bucket=s3bucket1 --purge-objects --bypass-gc
[ceph: root@host01 /]# radosgw-admin bucket rm --bucket=s3bucket1 --purge-objects --bypass-gcCopy to Clipboard Copied! Toggle word wrap Toggle overflow --purge-objects选项清除对象,--bypass-gc选项会触发删除对象,而无需垃圾收集器使进程更高效。验证存储桶已被删除。
示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.3. 移动存储桶 复制链接链接已复制到粘贴板!
radosgw-admin bucket 实用程序提供在用户之间移动 bucket 的功能。为此,请将存储桶链接到新用户,并将 bucket 的所有权更改为新用户。
您可以移动存储桶:
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 已安装 Ceph 对象网关。
- S3 存储桶。
- 各种租户和非租户用户。
8.7.3.1. 在非租户用户之间移动存储桶 复制链接链接已复制到粘贴板!
radosgw-admin bucket chown 命令提供将 bucket 的所有权及其包含的所有对象从一个用户更改为另一个用户的功能。为此,请从当前用户取消链接存储桶,将它链接到新用户,然后将 bucket 的所有权更改为新用户。
流程
将存储桶链接到一个新用户:
语法
radosgw-admin bucket link --uid=USER --bucket=BUCKET
radosgw-admin bucket link --uid=USER --bucket=BUCKETCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket link --uid=user2 --bucket=data
[ceph: root@host01 /]# radosgw-admin bucket link --uid=user2 --bucket=dataCopy to Clipboard Copied! Toggle word wrap Toggle overflow 验证存储桶已成功链接到
user2:示例
[ceph: root@host01 /]# radosgw-admin bucket list --uid=user2 [ "data" ][ceph: root@host01 /]# radosgw-admin bucket list --uid=user2 [ "data" ]Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将存储桶的所有权更改为新用户:
语法
radosgw-admin bucket chown --uid=user --bucket=bucket
radosgw-admin bucket chown --uid=user --bucket=bucketCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket chown --uid=user2 --bucket=data
[ceph: root@host01 /]# radosgw-admin bucket chown --uid=user2 --bucket=dataCopy to Clipboard Copied! Toggle word wrap Toggle overflow 通过检查以下命令输出中的
owner行来验证data存储桶的所有权是否已成功更改:示例
[ceph: root@host01 /]# radosgw-admin bucket list --bucket=data
[ceph: root@host01 /]# radosgw-admin bucket list --bucket=dataCopy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.3.2. 在租户用户之间移动存储桶 复制链接链接已复制到粘贴板!
您可以在一个租户用户和另一个租户用户之间移动存储桶。
流程
将存储桶链接到一个新用户:
语法
radosgw-admin bucket link --bucket=CURRENT_TENANT/BUCKET --uid=NEW_TENANT$USER
radosgw-admin bucket link --bucket=CURRENT_TENANT/BUCKET --uid=NEW_TENANT$USERCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=test/data --uid=test2$user2
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=test/data --uid=test2$user2Copy to Clipboard Copied! Toggle word wrap Toggle overflow 验证存储桶已成功链接到
user2:[ceph: root@host01 /]# radosgw-admin bucket list --uid=test$user2 [ "data" ][ceph: root@host01 /]# radosgw-admin bucket list --uid=test$user2 [ "data" ]Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将存储桶的所有权更改为新用户:
语法
radosgw-admin bucket chown --bucket=NEW_TENANT/BUCKET --uid=NEW_TENANT$USER
radosgw-admin bucket chown --bucket=NEW_TENANT/BUCKET --uid=NEW_TENANT$USERCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket chown --bucket='test2/data' --uid='test$tuser2'
[ceph: root@host01 /]# radosgw-admin bucket chown --bucket='test2/data' --uid='test$tuser2'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 通过检查以下命令输出中的
owner行来验证data存储桶的所有权是否已成功更改:[ceph: root@host01 /]# radosgw-admin bucket list --bucket=test2/data
[ceph: root@host01 /]# radosgw-admin bucket list --bucket=test2/dataCopy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.3.3. 将存储桶从非租户用户移到租户的用户 复制链接链接已复制到粘贴板!
您可以将存储桶从非租户用户移到租户用户。
流程
可选:如果您还没有多个租户,您可以通过启用
rgw_keystone_implicit_tenants并从外部租户访问 Ceph 对象网关来创建它们:启用
rgw_keystone_implicit_tenants选项:示例
[ceph: root@host01 /]# ceph config set client.rgw rgw_keystone_implicit_tenants true
[ceph: root@host01 /]# ceph config set client.rgw rgw_keystone_implicit_tenants trueCopy to Clipboard Copied! Toggle word wrap Toggle overflow 使用
s3cmd或swift命令从外部租户访问 Ceph 对象网关:示例
[ceph: root@host01 /]# swift list
[ceph: root@host01 /]# swift listCopy to Clipboard Copied! Toggle word wrap Toggle overflow 或使用
s3cmd:示例
[ceph: root@host01 /]# s3cmd ls
[ceph: root@host01 /]# s3cmd lsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 从外部租户进行第一次访问可创建等效的 Ceph 对象网关用户。
将存储桶移到租户的用户:
语法
radosgw-admin bucket link --bucket=/BUCKET --uid='TENANT$USER'
radosgw-admin bucket link --bucket=/BUCKET --uid='TENANT$USER'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=/data --uid='test$tenanted-user'
[ceph: root@host01 /]# radosgw-admin bucket link --bucket=/data --uid='test$tenanted-user'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 验证
data存储桶是否已成功链接到tenanted-user:示例
[ceph: root@host01 /]# radosgw-admin bucket list --uid='test$tenanted-user' [ "data" ][ceph: root@host01 /]# radosgw-admin bucket list --uid='test$tenanted-user' [ "data" ]Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将存储桶的所有权更改为新用户:
语法
radosgw-admin bucket chown --bucket='tenant/bucket name' --uid='tenant$user'
radosgw-admin bucket chown --bucket='tenant/bucket name' --uid='tenant$user'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
[ceph: root@host01 /]# radosgw-admin bucket chown --bucket='test/data' --uid='test$tenanted-user'
[ceph: root@host01 /]# radosgw-admin bucket chown --bucket='test/data' --uid='test$tenanted-user'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 通过检查以下命令输出中的
owner行来验证data存储桶的所有权是否已成功更改:示例
[ceph: root@host01 /]# radosgw-admin bucket list --bucket=test/data
[ceph: root@host01 /]# radosgw-admin bucket list --bucket=test/dataCopy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.3.4. 查找孤立和泄漏对象 复制链接链接已复制到粘贴板!
健康的存储集群没有任何孤立或泄漏的对象,但在某些情况下可能会发生孤立或泄漏的对象。
存储集群中存在孤立对象,并且具有与 RADOS 对象关联的对象 ID。但是,在 bucket 索引引用中,没有通过 S3 对象引用 RADOS 对象。例如,如果 Ceph 对象网关在操作的中间发生,这可能会导致一些对象变得孤立。另外,未发现的错误可能导致孤立对象发生。
您可以看到 Ceph 对象网关对象如何映射到 RADOS 对象。radosgw-admin 命令提供了一个用于搜索和生成这些潜在孤立或泄漏对象的列表的工具。使用 radoslist 子命令可显示 bucket 中存储的对象,或者存储集群中的所有 bucket。rgw-orphan-list 脚本显示池中的孤立对象。
radoslist 子命令将替代已弃用的 orphans find 和 orphans finish 子命令。
不要使用无索引存储桶 , 因为所有对象都显示为 孤立。
身份孤立对象的另一种方法是运行 rados -p <pool> ls | grep BUCKET_ID 命令。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph 对象网关.
流程
生成存储桶中保存数据的对象列表。
语法
radosgw-admin bucket radoslist --bucket BUCKET_NAME
radosgw-admin bucket radoslist --bucket BUCKET_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
radosgw-admin bucket radoslist --bucket mybucket
[root@host01 ~]# radosgw-admin bucket radoslist --bucket mybucketCopy to Clipboard Copied! Toggle word wrap Toggle overflow 注意如果省略 BUCKET_NAME,则会显示所有存储桶中的所有对象。
检查
rgw-orphan-list的版本。示例
head /usr/bin/rgw-orphan-list
[root@host01 ~]# head /usr/bin/rgw-orphan-listCopy to Clipboard Copied! Toggle word wrap Toggle overflow 版本应该是
2023-01-11或更新版本。创建一个需要生成孤立项列表的目录。
示例
mkdir orphans
[root@host01 ~]# mkdir orphansCopy to Clipboard Copied! Toggle word wrap Toggle overflow 导航到之前创建的目录。
示例
cd orphans
[root@host01 ~]# cd orphansCopy to Clipboard Copied! Toggle word wrap Toggle overflow 从池列表中,选择要在其中查找孤立的池。根据集群中的对象,此脚本可能会长时间运行。
示例
rgw-orphan-list
[root@host01 orphans]# rgw-orphan-listCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输入池名称以搜索孤立项。
重要在使用
rgw-orphan-list命令而非元数据池时,必须指定数据池。查看
rgw-orphan-list工具用法的详细信息。Synatx
rgw-orphan-list -h rgw-orphan-list POOL_NAME /DIRECTORY
rgw-orphan-list -h rgw-orphan-list POOL_NAME /DIRECTORYCopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行
ls -l命令,以验证以 error 结尾的文件应该为零长度,表示脚本运行没有任何问题。示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 检查列出的孤立对象。
示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 删除孤立对象:
语法
rados -p POOL_NAME rm OBJECT_NAME
rados -p POOL_NAME rm OBJECT_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
rados -p default.rgw.buckets.data rm myobject
[root@host01 orphans]# rados -p default.rgw.buckets.data rm myobjectCopy to Clipboard Copied! Toggle word wrap Toggle overflow 警告验证您是否删除了正确的对象。运行
rados rm命令从存储集群中移除数据。
8.7.3.5. 管理存储桶索引条目 复制链接链接已复制到粘贴板!
您可以使用 radosgw-admin bucket check 子命令,在 Red Hat Ceph Storage 集群中管理 Ceph 对象网关的 bucket 索引条目。
与多部分上传对象相关的每个 bucket 索引条目都与对应的 .meta 索引条目匹配。给定多部分上传的所有部分都应有一个 .meta 条目。如果找不到某一项的对应 .meta 条目,它将在输出的一个部分中列出"孤立"条目。
bucket 的统计数据存储在存储桶索引标头中。此阶段加载这些标头,并迭代存储桶索引中的所有普通对象条目,并重新计算统计。然后,它会在分别标为 "existing_header" 和 "calculated_header" 的部分中显示实际和计算的统计信息,以便可以比较它们。
如果您将 --fix 选项与 存储桶 check 子命令搭配使用,它会从存储桶索引中删除 "orphaned" 条目,并使用它计算的标头中覆盖现有的统计信息。它将使所有条目(包括版本控制中使用的多个条目)都列在输出中。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph 对象网关.
- 新创建的存储桶。
流程
检查特定存储桶的存储桶索引:
语法
radosgw-admin bucket check --bucket=BUCKET_NAME
radosgw-admin bucket check --bucket=BUCKET_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
radosgw-admin bucket check --bucket=mybucket
[root@rgw ~]# radosgw-admin bucket check --bucket=mybucketCopy to Clipboard Copied! Toggle word wrap Toggle overflow 修复存储桶索引中的不一致,包括删除孤立的对象:
语法
radosgw-admin bucket check --fix --bucket=BUCKET_NAME
radosgw-admin bucket check --fix --bucket=BUCKET_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 示例
radosgw-admin bucket check --fix --bucket=mybucket
[root@rgw ~]# radosgw-admin bucket check --fix --bucket=mybucketCopy to Clipboard Copied! Toggle word wrap Toggle overflow
8.7.3.6. bucket 通知 复制链接链接已复制到粘贴板!
bucket 通知提供了一种方式,可以在 bucket 中发生特定事件时从 Ceph 对象网关发送信息。bucket 通知可以发送到 HTTP、AMQP0.9.1 和 Kafka 端点。必须创建一个通知条目,以便为特定存储桶上的事件和特定主题发送存储桶通知。可以在事件类型的子集上创建 bucket 通知,也可以默认为所有事件类型创建 bucket 通知。bucket 通知可以根据密钥前缀或后缀、匹配键的正则表达式、附加到对象或对象标签的元数据属性过滤出事件。bucket 通知具有 REST API,用于为 bucket 通知机制提供配置和控制接口。
bucket 通知 API 会被默认启用。如果明确设置了 rgw_enable_apis 配置参数,请确保包含 s3 和 notifications。要验证这一点,请运行 ceph --admin-daemon /var/run/ceph/ceph-client.rgw.NAME.asok config get rgw_enable_apis 命令。将 NAME 替换为 Ceph 对象网关实例名称。
使用 CLI 的主题管理
您可以管理 Ceph 对象网关存储桶的列表、获取和删除主题:
列出主题 : 运行以下命令列出所有主题的配置:
示例
[ceph: host01 /]# radosgw-admin topic list
[ceph: host01 /]# radosgw-admin topic listCopy to Clipboard Copied! Toggle word wrap Toggle overflow 获取主题 : 运行以下命令以获取特定主题的配置:
示例
[ceph: host01 /]# radosgw-admin topic get --topic=topic1
[ceph: host01 /]# radosgw-admin topic get --topic=topic1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 删除主题 : 运行以下命令以删除特定主题的配置:
示例
[ceph: host01 /]# radosgw-admin topic rm --topic=topic1
[ceph: host01 /]# radosgw-admin topic rm --topic=topic1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意即使 Ceph 对象网关存储桶已配置至该主题,该主题也会被删除。
8.7.3.7. 创建存储桶通知 复制链接链接已复制到粘贴板!
在 bucket 级别上创建 bucket 通知。通知配置具有 Red Hat Ceph Storage Object Gateway S3 事件、ObjectCreated、ObjectRemoved 和 ObjectLifecycle:Expiration。它们需要使用目的地发布,才能发送存储桶通知。bucket 通知是 S3 操作。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 HTTP 服务器、RabbitMQ 服务器或 Kafka 服务器。
- 根级别访问权限.
- 安装 Red Hat Ceph Storage 存储对象网关.
- 用户 access key 和 secret key。
- 端点参数.
红帽支持 ObjectCreate 事件,如 put, post, multipartUpload, 和 copy。红帽还支持 ObjectRemove 事件,如 object_delete 和 s3_multi_object_delete。
流程
- 创建 S3 存储桶。
-
为
http、amqp或kafka协议创建一个 SNS 主题。 为
s3:objectCreate,s3:objectRemove, 和s3:ObjectLifecycle:Expiration事件创建一个 S3 存储桶通知:示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 在 bucket 中创建 S3 对象。
-
验证
http、rabbitmq或kafka接收器的对象创建事件。 - 删除对象。
-
在
http、rabbitmq或kafka接收器验证对象删除事件。