9.7. bucket 管理

作为存储管理员，在使用 Ceph 对象网关时，您可以通过在用户之间移动 bucket 并将它们重命名来管理存储桶。您可以创建存储桶通知，在特定事件时触发。此外，您可以在 Ceph 对象网关中发现在存储集群的生命周期内可能会发生孤立或泄漏的对象。

注意

当将数百万对象上传到具有高ingest 速率的 Ceph 对象网关 bucket 时，会使用 radosgw-admin bucket stats 命令报告不正确的 num_objects。使用 radosgw-admin bucket list 命令，您可以更正 num_objects 参数的值。

注意

在多站点集群中，从次要站点删除存储桶不会与主站点同步元数据更改。因此，红帽建议只从主站点中删除存储桶，而不从次要站点中删除存储桶。

bucket 通知提供了一种方式，可以在 bucket 中发生特定事件时从 Ceph 对象网关发送信息。bucket 通知可以发送到 HTTP、AMQP0.9.1 和 Kafka 端点。必须创建一个通知条目，以便为特定存储桶上的事件和特定主题发送存储桶通知。可以在事件类型的子集上创建 bucket 通知，也可以默认为所有事件类型创建 bucket 通知。bucket 通知可以根据密钥前缀或后缀、匹配键的正则表达式、附加到对象或对象标签的元数据属性过滤出事件。bucket 通知具有 REST API，用于为 bucket 通知机制提供配置和控制接口。

注意

bucket 通知 API 会被默认启用。如果明确设置了 rgw_enable_apis 配置参数，请确保包含 s3 和 notifications。要验证这一点，请运行 ceph --admin-daemon /var/run/ceph/ceph-client.rgw.NAME.asok config get rgw_enable_apis 命令。将 NAME 替换为 Ceph 对象网关实例名称。

使用 CLI 的主题管理

您可以管理 Ceph 对象网关存储桶的列表、获取和删除主题：

列出主题 ：运行以下命令列出所有主题的配置：
Example
```
[ceph: host01 /]# radosgw-admin topic list
```
```
[ceph: host01 /]# radosgw-admin topic list
```
Copy to Clipboard Toggle word wrap
获取主题 ：运行以下命令以获取特定主题的配置：
Example
```
[ceph: host01 /]# radosgw-admin topic get --topic=topic1
```
```
[ceph: host01 /]# radosgw-admin topic get --topic=topic1
```
Copy to Clipboard Toggle word wrap
删除主题 ：运行以下命令以删除特定主题的配置：
Example
```
[ceph: host01 /]# radosgw-admin topic rm --topic=topic1
```
```
[ceph: host01 /]# radosgw-admin topic rm --topic=topic1
```
Copy to Clipboard Toggle word wrap
注意
即使 Ceph 对象网关存储桶已配置至该主题，该主题也会被删除。

9.7.3.7. 创建存储桶通知
复制链接

在 bucket 级别上创建 bucket 通知。通知配置具有 Red Hat Ceph Storage 对象网关 S3 事件、ObjectCreated、ObjectRemoved 和 ObjectLifecycle:Expiration。它们需要根据目的地发布，才能发送存储桶通知。bucket 通知是 S3 操作。

先决条件

一个正在运行的 Red Hat Ceph Storage 集群。
正在运行的 HTTP 服务器、RabbitMQ 服务器或 Kafka 服务器。
根级别访问权限.
安装 Red Hat Ceph Storage 存储对象网关.
用户 access key 和 secret key。
端点参数.

重要

红帽支持 ObjectCreate 事件，如 put, post, multipartUpload, 和 copy。红帽还支持 ObjectRemove 事件，如 object_delete 和 s3_multi_object_delete。

流程

创建 S3 存储桶。
为 http、amqp 或 kafka 协议创建一个 SNS 主题。

为 s3:objectCreate,s3:objectRemove, 和 s3:ObjectLifecycle:Expiration 事件创建一个 S3 存储桶通知：

Example

client.put_bucket_notification_configuration(
   Bucket=bucket_name,
   NotificationConfiguration={
       'TopicConfigurations': [
           {
               'Id': notification_name,
               'TopicArn': topic_arn,
               'Events': ['s3:ObjectCreated:*', 's3:ObjectRemoved:*', 's3:ObjectLifecycle:Expiration:*']
           }]})

client.put_bucket_notification_configuration(
   Bucket=bucket_name,
   NotificationConfiguration={
       'TopicConfigurations': [
           {
               'Id': notification_name,
               'TopicArn': topic_arn,
               'Events': ['s3:ObjectCreated:*', 's3:ObjectRemoved:*', 's3:ObjectLifecycle:Expiration:*']
           }]})

Copy to Clipboard

Toggle word wrap

在 bucket 中创建 S3 对象。
在 http、rabbitmq 或 kafka 接收器上验证对象创建事件。
删除对象。
在 http、rabbitmq 或 kafka 接收器上验证对象删除事件。

9.7.4. S3 存储桶复制 API
复制链接

S3 bucket 复制 API 已实施，允许用户在不同存储桶之间创建复制规则。请注意，虽然 AWS 复制功能允许在同一区域内复制 bucket，但 Ceph 对象网关目前不允许它。但是，Ceph 对象网关 API 也添加了一个 Zone 数组，允许用户选择要同步特定存储桶的区域。

9.7.4.1. 创建 S3 存储桶复制
复制链接

为存储桶创建复制配置或替换现有配置。

复制配置必须至少包含一个规则。每个规则通过过滤源存储桶中的对象来识别要复制的对象子集。

先决条件

正在运行的 Red Hat Ceph Storage 集群配置多站点 Ceph 对象网关。有关创建多站点同步策略的更多信息，请参阅创建同步策略组。
已创建 zone group 级别策略。有关创建 zone group 策略的更多信息，请参阅 Bucket 粒度同步策略。

流程

创建包含复制详情的复制配置文件：

语法

{
"Role": "arn:aws:iam::account-id:role/role-name",
    "Rules": [
        {
            "ID": "String",
            "Status": "Enabled",
            "Priority": 1,
            "DeleteMarkerReplication": { "Status": "Enabled"|"Disabled" },
            "Destination": {
                "Bucket": "BUCKET_NAME"
            }
        }
    ]
}

{
"Role": "arn:aws:iam::account-id:role/role-name",
    "Rules": [
        {
            "ID": "String",
            "Status": "Enabled",
            "Priority": 1,
            "DeleteMarkerReplication": { "Status": "Enabled"|"Disabled" },
            "Destination": {
                "Bucket": "BUCKET_NAME"
            }
        }
    ]
}

Copy to Clipboard

Toggle word wrap

Example

cat replication.json
{
    "Role": "arn:aws:iam::account-id:role/role-name",
    "Rules": [
        {
            "ID": "pipe-bkt",
            "Status": "Enabled",
            "Priority": 1,
            "DeleteMarkerReplication": { "Status": "Disabled" },
            "Destination": {
                "Bucket": "testbucket"
            }
        }
    ]
}

[root@host01 ~]# cat replication.json
{
    "Role": "arn:aws:iam::account-id:role/role-name",
    "Rules": [
        {
            "ID": "pipe-bkt",
            "Status": "Enabled",
            "Priority": 1,
            "DeleteMarkerReplication": { "Status": "Disabled" },
            "Destination": {
                "Bucket": "testbucket"
            }
        }
    ]
}

Copy to Clipboard

Toggle word wrap

创建 S3 API 放置存储桶复制：

语法

aws --endpoint-url=RADOSGW_ENDPOINT_URL s3api put-bucket-replication --bucket BUCKET_NAME --replication-configuration file://REPLICATION_CONFIIRATION_FILE.json

aws --endpoint-url=RADOSGW_ENDPOINT_URL s3api put-bucket-replication --bucket BUCKET_NAME --replication-configuration file://REPLICATION_CONFIIRATION_FILE.json

Copy to Clipboard

Toggle word wrap

Example

aws --endpoint-url=http://host01:80 s3api put-bucket-replication --bucket testbucket --replication-configuration file://replication.json

[root@host01 ~]# aws --endpoint-url=http://host01:80 s3api put-bucket-replication --bucket testbucket --replication-configuration file://replication.json

Copy to Clipboard

Toggle word wrap

验证

使用 sync policy get 命令验证同步策略。

语法

radosgw-admin sync policy get --bucket BUCKET_NAME

radosgw-admin sync policy get --bucket BUCKET_NAME

Copy to Clipboard

Toggle word wrap

注意

应用复制策略时，规则将转换为 sync-policy 规则，称为管道，并归类为 启用和禁用 。

启用：这些管道已启用，并且组状态设置为 'rgw_sync_policy_group:STATUS'。例如，s3-bucket-replication:enabled。
disabled ：此集合下的管道不是活跃的，组状态被设置为 'rgw_sync_policy_group:STATUS'。例如，s3-bucket-replication:disabled。

由于可能存在多个规则，它们可以配置为复制策略的一部分，它有两个独立的组（一个带有 'enabled'，另一个带有"allowed"状态）来准确映射每个组。

Example

[ceph: root@host01 /]# radosgw-admin sync policy get --bucket testbucket
{
    "groups": [
        {
            "id": "s3-bucket-replication:disabled",
            "data_flow": {},
            "pipes": [],
            "status": "allowed"
        },
        {
            "id": "s3-bucket-replication:enabled",
            "data_flow": {},
            "pipes": [
                {
                    "id": "",
                    "source": {
                        "bucket": "*",
                        "zones": [
                            "*"
                        ]
                    },
                    "dest": {
                        "bucket": "testbucket",
                        "zones": [
                            "*"
                        ]
                    },
                    "params": {
                        "source": {},
                        "dest": {},
                        "priority": 1,
                        "mode": "user",
                        "user": "s3cmd"
                    }
                }
            ],
            "status": "enabled"
        }
    ]
}

[ceph: root@host01 /]# radosgw-admin sync policy get --bucket testbucket
{
    "groups": [
        {
            "id": "s3-bucket-replication:disabled",
            "data_flow": {},
            "pipes": [],
            "status": "allowed"
        },
        {
            "id": "s3-bucket-replication:enabled",
            "data_flow": {},
            "pipes": [
                {
                    "id": "",
                    "source": {
                        "bucket": "*",
                        "zones": [
                            "*"
                        ]
                    },
                    "dest": {
                        "bucket": "testbucket",
                        "zones": [
                            "*"
                        ]
                    },
                    "params": {
                        "source": {},
                        "dest": {},
                        "priority": 1,
                        "mode": "user",
                        "user": "s3cmd"
                    }
                }
            ],
            "status": "enabled"
        }
    ]
}

Copy to Clipboard

Toggle word wrap

9.7.4.2. 获取 S3 存储桶复制
复制链接

您可以检索存储桶的复制配置。

先决条件

正在运行的 Red Hat Ceph Storage 集群配置多站点 Ceph 对象网关。有关创建多站点同步策略的更多信息，请参阅创建同步策略组。
已创建 zone group 级别策略。有关创建 zone group 策略的更多信息，请参阅 Bucket 粒度同步策略。
已创建 S3 存储桶复制。如需更多信息，请参阅 S3 存储桶复制 API。

流程

获取 S3 API 放置存储桶复制：

语法

aws s3api get-bucket-replication --bucket BUCKET_NAME --endpoint-url=RADOSGW_ENDPOINT_URL

aws s3api get-bucket-replication --bucket BUCKET_NAME --endpoint-url=RADOSGW_ENDPOINT_URL

Copy to Clipboard

Toggle word wrap

Example

aws s3api get-bucket-replication --bucket testbucket --endpoint-url=http://host01:80

[root@host01 ~]# aws s3api get-bucket-replication --bucket testbucket --endpoint-url=http://host01:80
{

"ReplicationConfiguration": {
    "Role": "",
    "Rules": [
        {
            "ID": "pipe-bkt",
            "Status": "Enabled",
            "Priority": 1,
            "Destination": {
                Bucket": "testbucket"
            }
        }
    ]
  }

}

Copy to Clipboard

Toggle word wrap

9.7.4.3. 删除 S3 存储桶复制
复制链接

从存储桶中删除复制配置。

bucket 所有者可以向其他人授予权限，以删除复制配置。

先决条件

正在运行的 Red Hat Ceph Storage 集群配置多站点 Ceph 对象网关。有关创建多站点同步策略的更多信息，请参阅创建同步策略组。
已创建 zone group 级别策略。有关创建 zone group 策略的更多信息，请参阅 Bucket 粒度同步策略。
已创建 S3 存储桶复制。如需更多信息，请参阅 S3 存储桶复制 API。

流程

删除 S3 API 放置存储桶复制：

语法

aws s3api delete-bucket-replication --bucket BUCKET_NAME --endpoint-url=RADOSGW_ENDPOINT_URL

aws s3api delete-bucket-replication --bucket BUCKET_NAME --endpoint-url=RADOSGW_ENDPOINT_URL

Copy to Clipboard

Toggle word wrap

Example

aws s3api delete-bucket-replication --bucket testbucket --endpoint-url=http://host01:80

[root@host01 ~]# aws s3api delete-bucket-replication --bucket testbucket --endpoint-url=http://host01:80

Copy to Clipboard

Toggle word wrap

验证

验证现有的复制规则是否已删除：

语法

radosgw-admin sync policy get --bucket=BUCKET_NAME

radosgw-admin sync policy get --bucket=BUCKET_NAME

Copy to Clipboard

Toggle word wrap

Example

[ceph: root@host01 /]# radosgw-admin sync policy get --bucket=testbucket

[ceph: root@host01 /]# radosgw-admin sync policy get --bucket=testbucket

Copy to Clipboard

Toggle word wrap

9.7.4.4. 为用户禁用 S3 存储桶复制
复制链接

作为管理员，您可以为其他用户设置用户策略，以限制对位于该特定用户/用户的存储桶执行任何 s3 复制 API 操作。

先决条件

正在运行的 Red Hat Ceph Storage 集群配置多站点 Ceph 对象网关。有关创建多站点同步策略的更多信息，请参阅创建同步策略组。
已创建 zone group 级别策略。有关创建 zone group 策略的更多信息，请参阅 Bucket 粒度同步策略。

流程

创建用户策略配置文件以拒绝对 S3 存储桶复制 API 的访问：

Example

cat user_policy.json
{
	"Version":"2012-10-17",
	"Statement":
	{
		"Effect":"Deny",
		"Action":
		[
			"s3:PutReplicationConfiguration",
			"s3:GetReplicationConfiguration",
			"s3:DeleteReplicationConfiguration"
		],
		"Resource": "arn:aws:s3:::*",
	}
}

[root@host01 ~]# cat user_policy.json
{
	"Version":"2012-10-17",
	"Statement":
	{
		"Effect":"Deny",
		"Action":
		[
			"s3:PutReplicationConfiguration",
			"s3:GetReplicationConfiguration",
			"s3:DeleteReplicationConfiguration"
		],
		"Resource": "arn:aws:s3:::*",
	}
}

Copy to Clipboard

Toggle word wrap

以 admin 用户身份，将用户策略设置为 user 以禁用用户对 S3 API 的访问：

语法

aws --endpoint-url=ENDPOINT_URL iam put-user-policy --user-name USER_NAME --policy-name USER_POLICY_NAME --policy-document POLICY_DOCUMENT_PATH

aws --endpoint-url=ENDPOINT_URL iam put-user-policy --user-name USER_NAME --policy-name USER_POLICY_NAME --policy-document POLICY_DOCUMENT_PATH

Copy to Clipboard

Toggle word wrap

Example

aws --endpoint-url=http://host01:80 iam put-user-policy --user-name newuser1 --policy-name userpolicy --policy-document file://user_policy.json

[root@host01 ~]# aws --endpoint-url=http://host01:80 iam put-user-policy --user-name newuser1 --policy-name userpolicy --policy-document file://user_policy.json

Copy to Clipboard

Toggle word wrap

验证

以 admin 用户身份，验证用户策略集：

语法

aws --endpoint-url=ENDPOINT_URL iam get-user-policy --user-name USER_NAME --policy-name USER_POLICY_NAME --region us

aws --endpoint-url=ENDPOINT_URL iam get-user-policy --user-name USER_NAME --policy-name USER_POLICY_NAME --region us

Copy to Clipboard

Toggle word wrap

Example

aws --endpoint-url=http://host01:80 iam get-user-policy --user-name newuser1 --policy-name userpolicy --region us

[root@host01 ~]# aws --endpoint-url=http://host01:80 iam get-user-policy --user-name newuser1 --policy-name userpolicy --region us

Copy to Clipboard

Toggle word wrap

作为 admin 用户设置了用户策略的用户，请尝试在 S3 存储桶复制 API 操作下执行，以验证操作是否如预期拒绝。

返回顶部

9.7. bucket 管理

9.7.1. 重命名存储桶
复制链接

9.7.2. 删除存储桶
复制链接

9.7.3. 移动存储桶
复制链接

9.7.3.1. 在非租户用户之间移动存储桶
复制链接

9.7.3.2. 在租户用户之间移动存储桶
复制链接

9.7.3.3. 将存储桶从非租户用户移到租户的用户
复制链接

9.7.3.4. 查找孤立和泄漏对象
复制链接

9.7.3.5. 管理存储桶索引条目
复制链接

9.7.3.6. bucket 通知
复制链接

9.7.3.7. 创建存储桶通知
复制链接

9.7.4. S3 存储桶复制 API
复制链接

9.7.4.1. 创建 S3 存储桶复制
复制链接

9.7.4.2. 获取 S3 存储桶复制
复制链接

9.7.4.3. 删除 S3 存储桶复制
复制链接

9.7.4.4. 为用户禁用 S3 存储桶复制
复制链接

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

9.7. bucket 管理

9.7.1. 重命名存储桶复制链接链接已复制到粘贴板!

9.7.2. 删除存储桶复制链接链接已复制到粘贴板!

9.7.3. 移动存储桶复制链接链接已复制到粘贴板!

9.7.3.1. 在非租户用户之间移动存储桶复制链接链接已复制到粘贴板!

9.7.3.2. 在租户用户之间移动存储桶复制链接链接已复制到粘贴板!

9.7.3.3. 将存储桶从非租户用户移到租户的用户复制链接链接已复制到粘贴板!

9.7.3.4. 查找孤立和泄漏对象复制链接链接已复制到粘贴板!

9.7.3.5. 管理存储桶索引条目复制链接链接已复制到粘贴板!

9.7.3.6. bucket 通知复制链接链接已复制到粘贴板!

9.7.3.7. 创建存储桶通知复制链接链接已复制到粘贴板!

9.7.4. S3 存储桶复制 API复制链接链接已复制到粘贴板!

9.7.4.1. 创建 S3 存储桶复制复制链接链接已复制到粘贴板!

9.7.4.2. 获取 S3 存储桶复制复制链接链接已复制到粘贴板!

9.7.4.3. 删除 S3 存储桶复制复制链接链接已复制到粘贴板!

9.7.4.4. 为用户禁用 S3 存储桶复制复制链接链接已复制到粘贴板!

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

9.7.1. 重命名存储桶
复制链接

9.7.2. 删除存储桶
复制链接

9.7.3. 移动存储桶
复制链接

9.7.3.1. 在非租户用户之间移动存储桶
复制链接

9.7.3.2. 在租户用户之间移动存储桶
复制链接

9.7.3.3. 将存储桶从非租户用户移到租户的用户
复制链接

9.7.3.4. 查找孤立和泄漏对象
复制链接

9.7.3.5. 管理存储桶索引条目
复制链接

9.7.3.6. bucket 通知
复制链接

9.7.3.7. 创建存储桶通知
复制链接

9.7.4. S3 存储桶复制 API
复制链接

9.7.4.1. 创建 S3 存储桶复制
复制链接

9.7.4.2. 获取 S3 存储桶复制
复制链接

9.7.4.3. 删除 S3 存储桶复制
复制链接

9.7.4.4. 为用户禁用 S3 存储桶复制
复制链接