2.5. 连接到 Amazon Simple Storage Service(S3)

流程

1. 在 Fuse Online 中，在左侧面板中，单击 Connections 以显示任何可用的连接。
2. 单击 Create Connection 以显示 Fuse Online 连接器。
3. 点 Amazon S3 连接器。

4. 在 Access Key 字段中，在 AWS 帐户中输入 Amazon 访问密钥 ID，该 ID 是管理您要连接访问的存储桶的用户访问密钥。

   如果您要连接的存储桶不存在，当 Fuse Online 尝试运行集成时，它使用与此访问密钥关联的 AWS 帐户来创建存储桶。但是，如果某些其他 AWS 帐户中已存在存储桶，则连接无法创建存储桶，且集成无法启动。

5. 在 Secret Key 字段中，为您指定的 Amazon 访问密钥 ID 输入 Amazon secret 访问密钥。
6. 在 Region 字段中，选择存储桶所在的 AWS 区域。如果连接创建存储桶，则会在所选区域中创建它。

7. 在 Bucket Name 或 Amazon Resource Name 字段中输入您希望这个连接访问的存储桶的名称，或者输入存储桶的 ARN。

   如果您指定的存储桶尚不存在，连接会尝试使用您指定的名称创建存储桶。由于 S3 允许将存储桶用作可公开访问的 URL，所以您指定的存储桶名称必须全局唯一。另外，它必须满足 S3 存储桶命名要求。

8. 单击 Validate。Fuse Online 立即尝试验证连接并显示一条消息，指示验证是否成功。如果验证失败，请根据需要修改配置详情并重试。
9. 验证成功后，单击 下一步。
10. 在 Name 字段中输入您的选择的名称，帮助您将这个连接与任何其他连接区分开来。例如，输入 Obtain S3 Data。
11. 在 Description 字段中输入任何有助于了解这个连接的信息。例如，输入 来自 northeast 存储桶的数据的 Sample S3 连接。
12. 点 Save 以查看您创建的连接现在可用。如果您输入了示例名称，您会看到 Obtain S3 Data 显示为您可以选择添加到集成的连接。

流程

1. 在左侧的 Fuse Online 面板中，单击 Integrations。
2. 点 Create Integration。
3. 在 Choose a connection 页面中，点击您要用来开始集成的 Amazon S3 连接。

4. 在 Choose a action 页面中，选择您要连接执行的操作：

   • 获取 Object 从连接访问的存储桶中获取一个文件。在 File Name 字段中输入您要获取的文件的名称。如果指定的文件不在存储桶中，则代表一个运行时错误。

   • 轮询 Amazon S3 Bucket 会定期从存储桶中获取连接访问的文件。配置这个操作：

     1. 在 Delay 字段中，接受默认的 500 毫秒作为轮询之间的时间。或者，要指定不同的轮询间隔，请输入一个数字并选择其单位。

     2. 在 Maximum Objects to Retrieve 字段中，输入一个轮询操作可以获取的最大文件数。默认值为 10。

        要对可获取的文件数没有限制，请指定 0 或一个负整数。当 Maximum Objects to Retrieve 为无限时，poll 操作会获取存储桶中的所有文件。

        如果存储桶包含超过指定最大数量的文件，则操作会获取最近修改或创建的文件。

     3. 在 Prefix 字段中，可以选择指定评估到字符串的正则表达式。如果您指定了前缀，则只有在其名称以该字符串开头时，此操作才会检索文件。
     4. 指明是否要获取 文件，然后从存储桶中删除它们。
5. 配置操作后，点击 Next 来指定操作的输出类型。

6. 在 Select Type 字段中，如果数据类型不需要已知，接受 类型规格不需要，然后单击 Next。您不需要遵循其中一些说明的其余部分。

   但是，建议使用结构化数据类型。例如，如果您要在 datamapper 步骤中映射连接输出，则必须指定数据类型。数据映射程序无法显示非结构化数据的字段。

   要指定数据类型，请在 Select Type 字段中选择以下之一作为 schema 类型：

   • JSON 模式是描述 JSON 数据结构的文档。文档的介质类型是 application/schema+json。
   • JSON 实例 是包含 JSON 数据的文档。文档的介质类型是 application/json。
   • XML 模式是描述 XML 数据结构的文档。文档的文件扩展名是 .xsd。
   • XML 实例 是包含 XML 数据的文档。文档的文件扩展名是 .xml。
   • CSV 实例 是一个包含以逗号分隔的值(CSV)数据的文档。文档的文件扩展名是 .csv。
7. 在 Definition 输入框中，粘贴符合您选择的模式类型的定义。例如，如果您选择 JSON 模式，则会粘贴 JSON 架构文件的内容，该文件具有介质类型 application/schema+json。

8. 在 Data Type Name 字段中输入您为数据类型选择的名称。例如，如果您要为供应商指定 JSON 模式，则可能会将 Vendor 指定为数据类型名称。

   当您创建或编辑使用您要为其指定此类型的连接的集成时，您将看到此数据类型名称。Fuse Online 在集成视觉化和 data mapper 中显示类型名称。

9. 在 Data Type Description 字段中，提供可帮助您区分此类型的信息。当您将鼠标悬停在处理此类型的步骤上时，这个描述会出现在 data mapper 中。
10. 点击 Next。

流程

1. 在 Choose a connection 页面中，点击您要用来完成集成的 Amazon S3 连接。

2. 选择您要连接执行的操作：

   • 复制对象 向存储桶添加一个或多个对象。

     要为存储桶添加一个文件，您可以在 File Name 字段中输入其名称。

     要在存储桶中添加多个文件，不要指定文件名。在这种情况下，此操作会添加从上一集成步骤获取的所有对象。

     如果您使用 poll 操作获取多个文件，并且指定了文件名，则 Copy Object action 只添加从 poll 操作接收的最后一个文件。

   • 删除对象 从存储桶中删除对象。在 File Name 字段中，指定要删除的对象的名称。如果指定文件不在存储桶中，则集成会继续且无错误。
3. 配置所选操作后，点击 Next 来指定操作的输入类型。

4. 在 Select Type 字段中，如果数据类型不需要已知，接受 类型规格不需要，然后单击 Next。您不需要遵循其中一些说明的其余部分。

   但是，建议使用结构化数据类型。例如，如果您要在 data mapper 步骤中映射连接输入，则必须指定数据类型。数据映射程序无法显示非结构化数据的字段。

   要指定数据类型，请在 Select Type 字段中选择以下之一作为 schema 类型：

   • JSON 模式是描述 JSON 数据结构的文档。文档的介质类型是 application/schema+json。
   • JSON 实例 是包含 JSON 数据的文档。文档的介质类型是 application/json。
   • XML 模式是描述 XML 数据结构的文档。文档的文件扩展名是 .xsd。
   • XML 实例 是包含 XML 数据的文档。文档的文件扩展名是 .xml。
   • CSV 实例 是一个包含以逗号分隔的值(CSV)数据的文档。文档的文件扩展名是 .csv。
5. 在 Definition 输入框中，粘贴符合您选择的模式类型的定义。例如，如果您选择 JSON 模式，则会粘贴 JSON 架构文件的内容，该文件具有介质类型 application/schema+json。

6. 在 Data Type Name 字段中输入您为数据类型选择的名称。例如，如果您要为供应商指定 JSON 模式，则可能会将 Vendor 指定为数据类型名称。

   当您创建或编辑使用您要为其指定此类型的连接的集成时，您将看到此数据类型名称。Fuse Online 在集成视觉化和 data mapper 中显示类型名称。

7. 在 Data Type Description 字段中，提供可帮助您区分此类型的信息。当您将鼠标悬停在处理此类型的步骤上时，这个描述会出现在 data mapper 中。
8. 点击 Next。

流程

1. 在流视觉化中，点您要添加 Amazon S3 连接的加号。
2. 点您要在流的中间使用的 Amazon S3 连接。

3. 选择您要连接执行的操作：

   • 复制对象 向存储桶添加一个或多个对象。

     要为存储桶添加一个文件，您可以在 File Name 字段中输入其名称。

     要在存储桶中添加多个文件，不要指定文件名。在这种情况下，此操作会添加从上一集成步骤获取的所有对象。

     如果您使用 poll 操作获取多个文件，并且指定了文件名，则 Copy Object action 只添加从 poll 操作接收的最后一个文件。

   • 删除对象 从存储桶中删除对象。在 File Name 字段中，指定要删除的对象的名称。如果指定文件不在存储桶中，则集成会继续且无错误。
4. 配置所选操作后，点击 Next 来指定操作的输入类型。

5. 在 Select Type 字段中，如果数据类型不需要已知，接受 类型规格不需要，然后单击 Next。您不需要遵循其中一些说明的其余部分。

   但是，建议使用结构化数据类型。例如，如果您要在 data mapper 步骤中映射连接输入，则必须指定数据类型。数据映射程序无法显示非结构化数据的字段。

   要指定数据类型，请在 Select Type 字段中选择以下之一作为 schema 类型：

   • JSON 模式是描述 JSON 数据结构的文档。文档的介质类型是 application/schema+json。
   • JSON 实例 是包含 JSON 数据的文档。文档的介质类型是 application/json。
   • XML 模式是描述 XML 数据结构的文档。文档的文件扩展名是 .xsd。
   • XML 实例 是包含 XML 数据的文档。文档的文件扩展名是 .xml。
   • CSV 实例 是一个包含以逗号分隔的值(CSV)数据的文档。文档的文件扩展名是 .csv。
6. 在 Definition 输入框中，粘贴符合您选择的模式类型的定义。例如，如果您选择 JSON 模式，则会粘贴 JSON 架构文件的内容，该文件具有介质类型 application/schema+json。

7. 在 Data Type Name 字段中输入您为数据类型选择的名称。例如，如果您要为供应商指定 JSON 模式，则可能会将 Vendor 指定为数据类型名称。

   当您创建或编辑使用您要为其指定此类型的连接的集成时，您将看到此数据类型名称。Fuse Online 在集成视觉化和 data mapper 中显示类型名称。

8. 在 Data Type Description 字段中，提供可帮助您区分此类型的信息。当您将鼠标悬停在处理此类型的步骤上时，这个描述会出现在 data mapper 中。
9. 点击 Next。