第 9 章 Multicloud 对象网关中的存储桶通知

流程

1. 描述使用 json 文件的连接，如本地机器上的 connection.json ：

   对于 Kafka：

   {
     "name": "kafka_notif_conn_file" <-- any string
     "notification_protocol": "kafka",
     "metadata.broker.list": "<kafka-service-name>.<project>.svc.cluster.local:<kafka-service-port>",
     "topic": "my-topic",<--  refer to an existing KafkaTopic resource
   }

   metadata.broker.list 下的结构必须是 & lt;service-name>.<namespace>.svc.cluster.local:9092，主题必须引用命名空间中现有 kafkatopic 资源的名称。

   对于 HTTP：

   {
     "name": "http_notif_connection_config",
     "notification_protocol": "http", <-- or "https"
     "agent_request_object": {
       "host": "<http-service>.<http-server-namespace>.svc.cluster.local",
       "port": <http-server-port>
      }
   }

   其他选项：

   request_options_object

   值是一个 JSON，传递给 nodejs 的 http (s)请求（可选）。

   nodejs 的 http (s)请求选项支持的任何字段都可以使用，例如：

   'path'

   用于指定 url 路径

   'auth'

   用于 http 简单 auth。'auth' 的值的语法为：<name>:<password>。

2. 从 openshift-storage 命名空间中的文件创建 secret：

   $ oc create secret generic <connection-secret> --from-file=connect.json -n openshift-storage

3. 使用连接 secret 和可选的 CephFS RWX PVC 更新 openshift-storage 命名空间中的 NooBaa CR。如果没有提供 PVC，MCG 会根据需要自动创建 PVC：

   $ oc get pvc bn-pvc -n openshift-storage
   NAME     STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                VOLUMEATTRIBUTESCLASS   AGE
   bn-pvc   Bound    pvc-24683f8d-48e4-4c6b-b108-d507ca2f4fd1   25Gi       RWX            ocs-storagecluster-cephfs   <unset>                 25h

   $ oc patch noobaa noobaa --type='merge' -n openshift-storage -p '{
     "spec": {
       "bucketNotifications": {
         "connections": [
           {
             "name": <connection-secret>,
             "namespace": "openshift-storage"
           }
         ],
         "enabled": true,
         "pvc": "bn-pvc" <-- optional
       }
     }
   }'

   Important

   连接 secret 的名称在列表中必须是唯一的，即使命名空间不同。

   等待 noobaa-core 和 noobaa-endpoint pod 重启，然后继续下一步。

4. 使用 S3 别名下的 noobaa-admin 凭证和 S3 端点在 MCG 存储桶上使用 S3:PutBucketNotification。

   $ aws_alias s3api put-bucket-notification --bucket first.bucket --notification-configuration '{
     "TopicConfiguration": {
       "Id": "<notif_event_kafka>", <-- Unique string
       "Events": ["s3:ObjectCreated:*"], <-- a filter for events
       "Topic": "<connection-secret/connect.json>"
     }
   }'

验证步骤

1. 验证存储桶上是否设置了存储桶通知配置：

   $ aws_alias s3api get-bucket-notification-configuration --bucket first.bucket
   {
       "TopicConfigurations": [
           {
               "Id": "notif_event_kafka",
               "TopicArn": "kafka-connection-secret/connect.json",
               "Events": [
                   "s3:ObjectCreated:*"
               ]
           }
       ]
   }

2. 在存储桶中添加一些对象：

   echo 'a' | aws_alias s3 cp - s3://first.bucket/a

   等待一段时间并查询主题消息，以验证是否已发送和接收预期的通知。

   例如：

   对于 Kafka

   $ oc -n your-kafka-project rsh my-cluster-kafka-0 bin/kafka-console-consumer.sh \
     --bootstrap-server my-cluster-kafka-bootstrap.myproject.svc.cluster.local:9092 \
     --topic my-topic \
     --from-beginning --timeout-ms 10000 | grep '^{.*}' | jq -c '.' | jq

   对于 HTTP

   $ oc logs deployment/http-logger -n <http-server-namespace> | grep '^{.*}' | jq

   输出

   {
     "Records": [
       {
         "eventVersion": "2.3",
         "eventSource": "noobaa:s3",
         "eventTime": "2024-11-27T12:44:21.987Z",
         "s3": {
           "s3SchemaVersion": "1.0",
           "object": {
             "sequencer": 10,
             "key": "a",
             "eTag": "60b725f10c9c85c70d97880dfe8191b3"
           },
           "bucket": {
             "name": "second.bucket",
             "ownerIdentity": {
               "principalId": "admin@noobaa.io"
             },
             "arn": "arn:aws:s3:::first.bucket"
           }
         },
         "eventName": "ObjectCreated:Put",
         "userIdentity": {
           "principalId": "noobaa"
         },
         "requestParameters": {
           "sourceIPAddress": "100.64.0.3"
         },
         "responseElements": {
           "x-amz-request-id": "m3zvo0cm-5239xd-bhj",
           "x-amz-id-2": "m3zvo0cm-5239xd-bhj"
         }
       }
     ]
   }