7.9. バケット管理

手順

1. バケットをリスト表示します。

   例

   [ceph: root@host01 /]# radosgw-admin bucket list
   [
       "34150b2e9174475db8e191c188e920f6/swcontainer",
       "s3bucket1",
       "34150b2e9174475db8e191c188e920f6/swimpfalse",
       "c278edd68cfb4705bb3e07837c7ad1a8/ec2container",
       "c278edd68cfb4705bb3e07837c7ad1a8/demoten1",
       "c278edd68cfb4705bb3e07837c7ad1a8/demo-ct",
       "c278edd68cfb4705bb3e07837c7ad1a8/demopostup",
       "34150b2e9174475db8e191c188e920f6/postimpfalse",
       "c278edd68cfb4705bb3e07837c7ad1a8/demoten2",
       "c278edd68cfb4705bb3e07837c7ad1a8/postupsw"
   ]

2. バケットの名前を変更します。

   構文

   radosgw-admin bucket link --bucket=ORIGINAL_NAME --bucket-new-name=NEW_NAME --uid=USER_ID

   例

   [ceph: root@host01 /]# radosgw-admin bucket link --bucket=s3bucket1 --bucket-new-name=s3newb --uid=testuser

   バケットがテナント内部にある場合は、テナントも指定します。

   構文

   radosgw-admin bucket link --bucket=tenant/ORIGINAL_NAME --bucket-new-name=NEW_NAME --uid=TENANT$USER_ID

   例

   [ceph: root@host01 /]# radosgw-admin bucket link --bucket=test/s3bucket1 --bucket-new-name=s3newb --uid=test$testuser

3. バケットの名前が変更されたことを確認します。

   例

   [ceph: root@host01 /]# radosgw-admin bucket list
   [
       "34150b2e9174475db8e191c188e920f6/swcontainer",
       "34150b2e9174475db8e191c188e920f6/swimpfalse",
       "c278edd68cfb4705bb3e07837c7ad1a8/ec2container",
       "s3newb",
       "c278edd68cfb4705bb3e07837c7ad1a8/demoten1",
       "c278edd68cfb4705bb3e07837c7ad1a8/demo-ct",
       "c278edd68cfb4705bb3e07837c7ad1a8/demopostup",
       "34150b2e9174475db8e191c188e920f6/postimpfalse",
       "c278edd68cfb4705bb3e07837c7ad1a8/demoten2",
       "c278edd68cfb4705bb3e07837c7ad1a8/postupsw"
   ]

手順

1. バケット内でデータを保持するオブジェクトのリストを生成するには、以下を実行します。

   構文

   radosgw-admin bucket radoslist --bucket BUCKET_NAME

   例

   [root@host01 ~]# radosgw-admin bucket radoslist --bucket mybucket

   注記

   BUCKET_NAME を省略すると、すべてのバケット内のすべてのオブジェクトが表示されます。

2. rgw-orphan-list のバージョンを確認します。

   例

   [root@host01 ~]# head /usr/bin/rgw-orphan-list

   バージョンは 2023-01-11 以降である必要があります。

3. orphan のリストを生成する必要があるディレクトリーを作成します。

   例

   [root@host01 ~]# mkdir orphans

4. 前に作成したディレクトリーに移動します。

   例

   [root@host01 ~]# cd orphans

5. プールリストから、orphans を検索するプールを選択します。このスクリプトは、クラスター内のオブジェクトによっては長時間実行される可能性があります。

   例

   [root@host01 orphans]# rgw-orphan-list

   例

   Available pools:
       .rgw.root
       default.rgw.control
       default.rgw.meta
       default.rgw.log
       default.rgw.buckets.index
       default.rgw.buckets.data
       rbd
       default.rgw.buckets.non-ec
       ma.rgw.control
       ma.rgw.meta
       ma.rgw.log
       ma.rgw.buckets.index
       ma.rgw.buckets.data
       ma.rgw.buckets.non-ec
   Which pool do you want to search for orphans?

   プール名を入力して、孤立を検索します。

   重要

   メタデータプールではなく、rgw-orphan-list コマンドを使用する場合は、データプールを指定する必要があります。

6. rgw-orphan-list ツールの使用の詳細を表示します。

   構文

   rgw-orphan-list -h
   rgw-orphan-list POOL_NAME /DIRECTORY

   例

   [root@host01 orphans]# rgw-orphan-list default.rgw.buckets.data /orphans
   
   2023-09-12 08:41:14 ceph-host01 Computing delta...
   2023-09-12 08:41:14 ceph-host01 Computing results...
   10 potential orphans found out of a possible 2412 (0%).         <<<<<<< orphans detected
   The results can be found in './orphan-list-20230912124113.out'.
       Intermediate files are './rados-20230912124113.intermediate' and './radosgw-admin-20230912124113.intermediate'.
   ***
   *** WARNING: This is EXPERIMENTAL code and the results should be used
   ***          only with CAUTION!
   ***
   Done at 2023-09-12 08:41:14.

7. ls -l コマンドを実行して、エラーで終わるファイルの長さが 0 であることを確認し、スクリプトが問題なく実行されたことを示します。

   例

   [root@host01 orphans]# ls -l
   
   -rw-r--r--. 1 root root    770 Sep 12 03:59 orphan-list-20230912075939.out
   -rw-r--r--. 1 root root      0 Sep 12 03:59 rados-20230912075939.error
   -rw-r--r--. 1 root root 248508 Sep 12 03:59 rados-20230912075939.intermediate
   -rw-r--r--. 1 root root      0 Sep 12 03:59 rados-20230912075939.issues
   -rw-r--r--. 1 root root      0 Sep 12 03:59 radosgw-admin-20230912075939.error
   -rw-r--r--. 1 root root 247738 Sep 12 03:59 radosgw-admin-20230912075939.intermediate

8. リストされた孤立オブジェクトを確認します。

   例

   [root@host01 orphans]# cat ./orphan-list-20230912124113.out
   
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.0
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.1
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.2
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.3
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.4
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.5
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.6
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.7
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.8
   a9c042bc-be24-412c-9052-dda6b2f01f55.16749.1_key1.cherylf.433-bucky-4865-0.9

9. 孤立したオブジェクトを削除します。

   構文

   rados -p POOL_NAME rm OBJECT_NAME

   例

   [root@host01 orphans]# rados -p default.rgw.buckets.data rm myobject

   警告

   正しいオブジェクトを削除していることを確認してください。rados rm コマンドを実行すると、ストレージクラスターからデータが削除されます。

手順

1. 特定のバケットのバケットインデックスを確認します。

   構文

   radosgw-admin bucket check --bucket=BUCKET_NAME

   例

   [root@rgw ~]# radosgw-admin bucket check --bucket=mybucket

2. 孤立したオブジェクトの削除など、バケットインデックスの不整合を修正します。

   構文

   radosgw-admin bucket check --fix --bucket=BUCKET_NAME

   例

   [root@rgw ~]# radosgw-admin bucket check --fix --bucket=mybucket

boto スクリプトの使用

1. python3-boto3 パッケージをインストールします。

   例

   [user@client ~]$  dnf install python3-boto3

2. S3 バケットを作成します。

3. Python スクリプト topic.py を作成して、http、amqp、または kafka プロトコルの SNS トピックを作成します。

   例

   import boto3
   from botocore.client import Config
   import sys
   
   # endpoint and keys from vstart
   endpoint = 'http://127.0.0.1:8000'
   access_key='0555b35654ad1656d804'
   secret_key='h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q=='
   
   client = boto3.client('sns',
       	endpoint_url=endpoint,
       	aws_access_key_id=access_key,
       	aws_secret_access_key=secret_key,
       	config=Config(signature_version='s3'))
   
   attributes = {"push-endpoint": "amqp://localhost:5672", "amqp-exchange": "ex1", "amqp-ack-level": "broker"}
   
   client.create_topic(topic_name="mytopic", Attributes=attributes)

4. トピックを作成するための Python スクリプトを実行します。

   例

   python3 topic.py

5. s3:objectCreate および s3:objectRemove イベントの S3 バケット通知を作成する Python スクリプト notifications.py を作成します。

   例

   import boto3
   import sys
   
   # bucket name as first argument
   bucketname = sys.argv[1]
   # topic ARN as second argument
   topic_arn = sys.argv[2]
   # notification id as third argument
   notification_id = sys.argv[3]
   
   # endpoint and keys from vstart
   endpoint = 'http://127.0.0.1:8000'
   access_key='0555b35654ad1656d804'
   secret_key='h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q=='
   
   client = boto3.client('s3',
           endpoint_url=endpoint,
           aws_access_key_id=access_key,
           aws_secret_access_key=secret_key)
   
   # regex filter on the object name and metadata based filtering are extension to AWS S3 API
   # bucket and topic should be created beforehand
   
   topic_conf_list = [{'Id': notification_id,
                       'TopicArn': topic_arn,
                       'Events': ['s3:ObjectCreated:*', 's3:ObjectRemoved:*'],
                       }]
   
   client.put_bucket_notification_configuration(
      Bucket=bucketname,
      NotificationConfiguration={
          'TopicConfigurations': [
              {
                  'Id': notification_name,
                  'TopicArn': topic_arn,
                  'Events': ['s3:ObjectCreated:*', 's3:ObjectRemoved:*']
              }]})

6. バケット通知を作成するための Python スクリプトを実行します。

   例

   python3 notification.py

7. バケットに S3 オブジェクトを作成します。

8. 通知設定をフェッチします。

   例

   endpoint = 'http://127.0.0.1:8000'
   access_key='0555b35654ad1656d804'
   secret_key='h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q=='
   
   client = boto3.client('s3',
           endpoint_url=endpoint,
           aws_access_key_id=access_key,
           aws_secret_access_key=secret_key)
   
   # getting a specific notification configuration is an extension to AWS S3 API
   
   print(client.get_bucket_notification_configuration(Bucket=bucketname))

9. オプション: オブジェクトを削除します。

   1. レシーバー http、rabbitmq、または kafka でオブジェクトの削除イベントを確認します。

AWS CLI の使用

1. トピックを作成します。

   構文

   aws --endpoint=AWS_END_POINT sns create-topic --name NAME --attributes=ATTRIBUTES_FILE

   例

   [user@client ~]$ aws --endpoint=http://localhost sns create-topic --name test-kafka --attributes=file://topic.json
   
   sample topic.json:
   {"push-endpoint": "kafka://localhost","verify-ssl": "False", "kafka-ack-level": "broker", "persistent":"true"}
   ref: https://docs.aws.amazon.com/cli/latest/reference/sns/create-topic.html

2. バケット通知を作成します。

   構文

   aws s3api put-bucket-notification-configuration --bucket BUCKET_NAME --notification-configuration NOTIFICATION_FILE

   例

   [user@client ~]$ aws s3api put-bucket-notification-configuration --bucket my-bucket --notification-configuration file://notification.json
   
   sample notification.json
   {
       "TopicConfigurations": [
           {
               "Id": "test_notification",
               "TopicArn": "arn:aws:sns:us-west-2:123456789012:test-kafka",
               "Events": [
                   "s3:ObjectCreated:*"
               ]
           }
       ]
   }

3. 通知設定をフェッチします。

   構文

   aws s3api --endpoint=AWS_ENDPOINT get-bucket-notification-configuration --bucket BUCKET_NAME

   例

   [user@client ~]$ aws s3api --endpoint=http://localhost get-bucket-notification-configuration --bucket my-bucket
   {
       "TopicConfigurations": [
           {
               "Id": "test_notification",
               "TopicArn": "arn:aws:sns:default::test-kafka",
               "Events": [
                   "s3:ObjectCreated:*"
               ]
           }
       ]
   }