第9章 Multicloud Object Gateway でのバケット通知

手順

1. ローカルマシンで、json ファイル (例: connection.json) を使用して接続を記述します。

   Kafka の場合:

   {
     "name": "kafka_notif_conn_file" <-- any string
     "notification_protocol": "kafka",
     "metadata.broker.list": "<kafka-service-name>.<project>.svc.cluster.local:<kafka-service-port>",
     "topic": "my-topic",<--  refer to an existing KafkaTopic resource
   }

   metadata.broker.list の下の構造は <service-name>.<namespace>.svc.cluster.local:9092 である必要があります。トピックは、namespace の既存の kafkatopic リソースの名前を参照する必要があります。

   HTTP(s) の場合:

   {
     "name": "http_notif_connection_config",
     "notification_protocol": "http", <-- or "https"
     "agent_request_object": {
       "host": "<http-service>.<http-server-namespace>.svc.cluster.local",
       "port": <http-server-port>
      }
   }

   追加オプション:

   request_options_object

   値は、nodejs の http(s) 要求に渡される JSON です (オプション)。

   nodejs の http(s) 要求オプションでサポートされる任意のフィールドを使用できます。以下に例を示します。

   'path'

   URL パスを指定するために使用します。

   'auth'

   http の簡易認証に使用します。'auth' の値の構文は <name>:<password> です。

2. openshift-storage namespace のファイルからシークレットを作成します。

   $ oc create secret generic <connection-secret> --from-file=connect.json -n openshift-storage

3. 接続シークレットおよびオプションの CephFS RWX PVC を使用して、openshift-storage namespace の NooBaa CR を更新します。PVC が指定されていない場合、必要に応じて MCG が自動的に作成します。

   $ oc get pvc bn-pvc -n openshift-storage
   NAME     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                VOLUMEATTRIBUTESCLASS   AGE
   bn-pvc   Bound    pvc-24683f8d-48e4-4c6b-b108-d507ca2f4fd1   25Gi       RWX            ocs-storagecluster-cephfs   <unset>                 25h

   $ oc patch noobaa noobaa --type='merge' -n openshift-storage -p '{
     "spec": {
       "bucketNotifications": {
         "connections": [
           {
             "name": <connection-secret>,
             "namespace": "openshift-storage"
           }
         ],
         "enabled": true,
         "pvc": "bn-pvc" <-- optional
       }
     }
   }'

   Important

   接続シークレットの名前は、namespace が異なる場合でもリスト内で一意である必要があります。

   次の手順に進む前に、noobaa-core および noobaa-endpoint Pod が再起動するまで待機します。

4. S3 エイリアスで noobaa-admin 認証情報と S3 エンドポイントを使用して、MCG バケットで S3:PutBucketNotification を使用します。

   $ aws_alias s3api put-bucket-notification --bucket first.bucket --notification-configuration '{
     "TopicConfiguration": {
       "Id": "<notif_event_kafka>", <-- Unique string
       "Events": ["s3:ObjectCreated:*"], <-- a filter for events
       "Topic": "<connection-secret/connect.json>"
     }
   }'

検証手順

1. バケット通知の設定がバケットに設定されていることを確認します。

   $ aws_alias s3api get-bucket-notification-configuration --bucket first.bucket
   {
       "TopicConfigurations": [
           {
               "Id": "notif_event_kafka",
               "TopicArn": "kafka-connection-secret/connect.json",
               "Events": [
                   "s3:ObjectCreated:*"
               ]
           }
       ]
   }

2. バケットにいくつかのオブジェクトを追加します。

   echo 'a' | aws_alias s3 cp - s3://first.bucket/a

   しばらく待機してからトピックメッセージをクエリーし、予想される通知が送受信されたことを確認します。

   以下に例を示します。

   Kafka の場合

   $ oc -n your-kafka-project rsh my-cluster-kafka-0 bin/kafka-console-consumer.sh \
     --bootstrap-server my-cluster-kafka-bootstrap.myproject.svc.cluster.local:9092 \
     --topic my-topic \
     --from-beginning --timeout-ms 10000 | grep '^{.*}' | jq -c '.' | jq

   HTTP(s) の場合

   $ oc logs deployment/http-logger -n <http-server-namespace> | grep '^{.*}' | jq

   出力

   {
     "Records": [
       {
         "eventVersion": "2.3",
         "eventSource": "noobaa:s3",
         "eventTime": "2024-11-27T12:44:21.987Z",
         "s3": {
           "s3SchemaVersion": "1.0",
           "object": {
             "sequencer": 10,
             "key": "a",
             "eTag": "60b725f10c9c85c70d97880dfe8191b3"
           },
           "bucket": {
             "name": "second.bucket",
             "ownerIdentity": {
               "principalId": "admin@noobaa.io"
             },
             "arn": "arn:aws:s3:::first.bucket"
           }
         },
         "eventName": "ObjectCreated:Put",
         "userIdentity": {
           "principalId": "noobaa"
         },
         "requestParameters": {
           "sourceIPAddress": "100.64.0.3"
         },
         "responseElements": {
           "x-amz-request-id": "m3zvo0cm-5239xd-bhj",
           "x-amz-id-2": "m3zvo0cm-5239xd-bhj"
         }
       }
     ]
   }