2.5. Amazon S3(Simple Storage Service)에 연결
통합을 통해 Amazon S3 버킷에서 데이터를 검색하거나 데이터를 Amazon S3 버킷에 복사할 수 있습니다. 이렇게 하려면 Amazon S3 연결을 생성한 다음 통합 흐름에 해당 연결을 추가합니다. 자세한 내용은 다음을 참조하십시오.
2.5.1. Amazon S3 연결 생성
통합에 Amazon S3 연결을 추가하려면 먼저 Amazon S3 연결을 생성해야 합니다.
사전 요구 사항
- AWS 액세스 키 AWS 인증 정보 수집을 참조하십시오.
연결 액세스하려는 버킷이 이미 존재하는 경우 다음을 알아야 합니다.
- 버킷이 있는 영역입니다.
- 버킷의 이름 또는 ARM(Amazon Resource Name)입니다.
절차
- Fuse Online의 왼쪽 패널에서 연결을 클릭하여 사용 가능한 연결을 표시합니다.
- 연결 생성 을 클릭하여 Fuse Online 커넥터를 표시합니다.
- Amazon S3 커넥터를 클릭합니다.
액세스 키 필드에 연결하려는 버킷을 관리하는 AWS 계정의 사용자 액세스 키 ID인 Amazon 액세스 키 ID를 입력합니다.
액세스하려는 버킷이 아직 존재하지 않는 경우 Fuse Online에서 통합을 실행하려고 할 때 이 액세스 키와 연결된 AWS 계정을 사용하여 버킷을 생성합니다. 그러나 버킷이 다른 AWS 계정에 이미 있는 경우 연결은 버킷을 생성할 수 없으며 통합을 시작할 수 없습니다.
- 시크릿 키 필드에 사용자가 지정한 Amazon 액세스 키 ID의 Amazon 시크릿 액세스 키를 입력합니다.
- Region 필드에서 버킷이 있는 AWS 리전을 선택합니다. 연결이 버킷을 생성하면 선택한 리전에 생성됩니다.
버킷 이름 또는 Amazon 리소스 이름 필드에 이 연결에 액세스할 버킷의 이름을 입력하거나 버킷의 ARN을 입력합니다.
지정한 버킷이 아직 존재하지 않으면 연결은 지정한 이름으로 버킷을 생성하려고 합니다. S3에서는 버킷을 공개적으로 액세스할 수 있는 URL로 사용할 수 있으므로 지정하는 버킷 이름은 전역적으로 고유해야 합니다. 또한 S3 버킷 이름 지정 요구 사항을 충족해야 합니다.
- Validate 를 클릭합니다. Fuse Online은 즉시 연결의 유효성을 검사하려고 시도하며 유효성 검사에 성공했는지 여부를 나타내는 메시지를 표시합니다. 유효성 검사가 실패하면 필요에 따라 구성 세부 정보를 수정하고 다시 시도합니다.
- 유효성 검사가 성공하면 다음을 클릭합니다.
-
이름 필드에 이 연결을 다른 연결과 구별하는 데 도움이 되는 이름의 선택을 입력합니다. 예를 들어
Obtain S3 Data
를 입력합니다. -
설명 필드에 선택적으로 이 연결에 대해 알 수 있는 정보를 입력합니다. 예를 들어
northeast 버킷에서 데이터를 가져오는 샘플 S3 연결을 입력합니다.
- 저장을 클릭하여 생성한 연결을 지금 사용할 수 있는지 확인합니다. 예제 이름을 입력하면 Obtain S3 Data 가 통합에 추가하도록 선택할 수 있는 연결로 표시되는 것을 확인할 수 있습니다.
2.5.2. 통합 실행을 트리거하기 위해 Amazon S3에서 데이터 가져오기
Amazon S3 버킷에서 데이터를 가져와 통합을 시작하려면 간단한 통합의 시작 연결로 Amazon S3 연결을 추가합니다.
사전 요구 사항
Amazon S3 연결을 생성하셨습니다.
절차
- 왼쪽의 Fuse Online 패널에서 통합을 클릭합니다.
- 통합 생성을 클릭합니다.
- 연결 선택 페이지에서 통합을 시작하는 데 사용할 Amazon S3 연결을 클릭합니다.
작업 선택 페이지에서 연결을 수행할 작업을 선택합니다.
- get Object 는 연결에 액세스하는 버킷에서 파일을 가져옵니다. 파일 이름 필드에 가져올 파일의 이름을 입력합니다. 지정된 파일이 버킷에 없는 경우 런타임 오류입니다.
Amazon S3 버킷을 주기적으로 폴링하면 연결에 액세스하는 버킷에서 파일을 얻을 수 있습니다. 이 작업을 구성하려면 다음을 수행합니다.
- Delay 필드에서 폴링 사이에 경과되는 시간으로 기본 500밀리초를 수락합니다. 또는 다른 폴링 간격을 지정하려면 번호를 입력하고 시간 단위를 선택합니다.
최대 개체에서 검색 필드에 하나의 폴링 작업에서 가져올 수 있는 최대 파일 수를 입력합니다. 기본값은 10입니다.
가져올 수 있는 파일 수를 제한하지 않으려면
0
또는 음수 정수를 지정합니다. Retrieve할 최대 개체 가 무제한일 때 폴링 작업은 버킷의 모든 파일을 가져옵니다.버킷에 지정된 최대 파일 수를 초과하는 경우 작업은 가장 최근에 수정되거나 생성된 파일을 가져옵니다.
- Prefix 필드에서 선택적으로 문자열로 평가되는 정규식을 지정합니다. 접두사를 지정하면 이 작업은 이름이 해당 문자열로 시작되는 경우에만 파일을 검색합니다.
- 파일을 가져온 다음 버킷에서 삭제할지 여부를 나타냅니다.
- 작업을 구성한 후 다음을 클릭하여 작업의 출력 유형을 지정합니다.
유형 선택 필드에서 데이터 유형을 알 필요가 없는 경우 Type 사양 을 수락하고 Next 를 클릭합니다. 이 지침의 나머지 부분을 따를 필요가 없습니다.
그러나 구조화된 데이터 유형을 사용하는 것이 좋습니다. 예를 들어 연결 출력을 데이터 매퍼 단계에 매핑하려면 데이터 유형을 지정해야 합니다. 데이터 매퍼는 구조화되지 않은 데이터의 필드를 표시할 수 없습니다.
데이터 유형을 지정하려면 유형 선택 필드를 클릭하고 스키마 유형으로 다음 중 하나를 선택합니다.
-
JSON 스키마 는 JSON 데이터의 구조를 설명하는 문서입니다. 문서의 미디어 유형은
application/schema+json
입니다. -
JSON 인스턴스는 JSON 데이터가 포함된 문서입니다. 문서의 미디어 유형은
application/json
입니다. -
XML 스키마 는 XML 데이터의 구조를 설명하는 문서입니다. 문서의 파일 확장자는
.xsd
입니다. -
XML 인스턴스는 XML 데이터가 포함된 문서입니다. 문서의 파일 확장자는
.xml
입니다.
-
JSON 스키마 는 JSON 데이터의 구조를 설명하는 문서입니다. 문서의 미디어 유형은
-
정의 입력 상자에 선택한 스키마 유형을 준수하는 정의를 붙여넣습니다. 예를 들어 JSON 스키마를 선택하면
애플리케이션/schema
+json의 미디어 유형이 있는 JSON 스키마 파일의 내용을 붙여넣습니다. 데이터 유형 이름 필드에 데이터 유형에 대해 선택한 이름을 입력합니다. 예를 들어 공급업체에 대한 JSON 스키마를 지정하는 경우 벤더를 데이터 유형 이름으로 지정할 수 있습니다.
이 유형을 지정하는 연결을 사용하는 통합을 생성하거나 편집할 때 이 데이터 유형 이름이 표시됩니다. Fuse Online은 통합 시각화 및 데이터 매퍼에 유형 이름을 표시합니다.
- 데이터 유형 설명 필드에 이 유형을 구분하는 데 도움이 되는 정보를 제공합니다. 이 설명은 이 유형을 처리하는 단계를 마우스로 가리킬 때 데이터 매퍼에 표시됩니다.
- 다음을 클릭합니다.
결과
이제 통합이 시작 연결되고 Fuse Online에서 완료 연결을 선택하라는 메시지가 표시됩니다.
2.5.3. 통합을 완료하기 위해 Amazon S3에 데이터 추가
Amazon S3에 데이터를 복사하여 통합을 완료하려면 Amazon S3 연결을 간단한 통합의 완료 연결로 추가합니다.
사전 요구 사항
- Amazon S3 연결을 생성하셨습니다.
- 간단한 통합을 만들거나 편집하고 Fuse Online에서 완료 연결을 선택하라는 메시지가 표시됩니다.
절차
- 연결 선택 페이지에서 통합을 완료하는 데 사용할 Amazon S3 연결을 클릭합니다.
연결을 수행할 작업을 선택합니다.
Copy Object 는 하나 이상의 오브젝트를 버킷에 추가합니다.
버킷에 하나의 파일을 추가하려면 파일 이름 필드에 해당 이름을 입력합니다.
버킷에 여러 파일을 추가하려면 파일 이름을 지정하지 마십시오. 이 경우 작업은 이전 통합 단계에서 가져오는 모든 오브젝트를 추가합니다.
poll 작업을 사용하여 여러 파일을 가져오고 파일 이름을 지정하면 Copy Object 작업은 폴링 작업에서 수신된 마지막 파일만 추가합니다.
- 삭제 오브젝트 는 버킷에서 오브젝트를 삭제합니다. 파일 이름 필드에서 삭제할 오브젝트의 이름을 지정합니다. 지정된 파일이 버킷에 없는 경우 통합이 오류 없이 계속됩니다.
- 선택한 작업을 구성한 후 다음을 클릭하여 작업의 입력 유형을 지정합니다.
유형 선택 필드에서 데이터 유형을 알 필요가 없는 경우 Type 사양 을 수락하고 Next 를 클릭합니다. 이 지침의 나머지 부분을 따를 필요가 없습니다.
그러나 구조화된 데이터 유형을 사용하는 것이 좋습니다. 예를 들어 연결 입력을 데이터 매퍼 단계에 매핑하려면 데이터 유형을 지정해야 합니다. 데이터 매퍼는 구조화되지 않은 데이터의 필드를 표시할 수 없습니다.
데이터 유형을 지정하려면 유형 선택 필드를 클릭하고 스키마 유형으로 다음 중 하나를 선택합니다.
-
JSON 스키마 는 JSON 데이터의 구조를 설명하는 문서입니다. 문서의 미디어 유형은
application/schema+json
입니다. -
JSON 인스턴스는 JSON 데이터가 포함된 문서입니다. 문서의 미디어 유형은
application/json
입니다. -
XML 스키마 는 XML 데이터의 구조를 설명하는 문서입니다. 문서의 파일 확장자는
.xsd
입니다. -
XML 인스턴스는 XML 데이터가 포함된 문서입니다. 문서의 파일 확장자는
.xml
입니다.
-
JSON 스키마 는 JSON 데이터의 구조를 설명하는 문서입니다. 문서의 미디어 유형은
-
정의 입력 상자에 선택한 스키마 유형을 준수하는 정의를 붙여넣습니다. 예를 들어 JSON 스키마를 선택하면
애플리케이션/schema
+json의 미디어 유형이 있는 JSON 스키마 파일의 내용을 붙여넣습니다. 데이터 유형 이름 필드에 데이터 유형에 대해 선택한 이름을 입력합니다. 예를 들어 공급업체에 대한 JSON 스키마를 지정하는 경우 벤더를 데이터 유형 이름으로 지정할 수 있습니다.
이 유형을 지정하는 연결을 사용하는 통합을 생성하거나 편집할 때 이 데이터 유형 이름이 표시됩니다. Fuse Online은 통합 시각화 및 데이터 매퍼에 유형 이름을 표시합니다.
- 데이터 유형 설명 필드에 이 유형을 구분하는 데 도움이 되는 정보를 제공합니다. 이 설명은 이 유형을 처리하는 단계를 마우스로 가리킬 때 데이터 매퍼에 표시됩니다.
- 다음을 클릭합니다.
결과
통합 시각화가 끝나면 연결이 나타납니다.
2.5.4. 통합 중 Amazon S3에 데이터 추가
통합 중에 Amazon S3에 데이터를 추가하려면 흐름 중앙에 Amazon S3 연결을 추가합니다.
사전 요구 사항
- Amazon S3 연결을 생성하셨습니다.
- 흐름을 만들거나 편집하는 동안 Fuse Online에서 통합에 추가하라는 메시지가 표시됩니다.
절차
- 흐름 시각화에서 Amazon S3 연결을 추가할 더하기 기호를 클릭합니다.
- 흐름 중간에서 사용할 Amazon S3 연결을 클릭합니다.
연결을 수행할 작업을 선택합니다.
Copy Object 는 하나 이상의 오브젝트를 버킷에 추가합니다.
버킷에 하나의 파일을 추가하려면 파일 이름 필드에 해당 이름을 입력합니다.
버킷에 여러 파일을 추가하려면 파일 이름을 지정하지 마십시오. 이 경우 작업은 이전 통합 단계에서 가져오는 모든 오브젝트를 추가합니다.
poll 작업을 사용하여 여러 파일을 가져오고 파일 이름을 지정하면 Copy Object 작업은 폴링 작업에서 수신된 마지막 파일만 추가합니다.
- 삭제 오브젝트 는 버킷에서 오브젝트를 삭제합니다. 파일 이름 필드에서 삭제할 오브젝트의 이름을 지정합니다. 지정된 파일이 버킷에 없는 경우 통합이 오류 없이 계속됩니다.
- 선택한 작업을 구성한 후 다음을 클릭하여 작업의 입력 유형을 지정합니다.
유형 선택 필드에서 데이터 유형을 알 필요가 없는 경우 Type 사양 을 수락하고 Next 를 클릭합니다. 이 지침의 나머지 부분을 따를 필요가 없습니다.
그러나 구조화된 데이터 유형을 사용하는 것이 좋습니다. 예를 들어 연결 입력을 데이터 매퍼 단계에 매핑하려면 데이터 유형을 지정해야 합니다. 데이터 매퍼는 구조화되지 않은 데이터의 필드를 표시할 수 없습니다.
데이터 유형을 지정하려면 유형 선택 필드를 클릭하고 스키마 유형으로 다음 중 하나를 선택합니다.
-
JSON 스키마 는 JSON 데이터의 구조를 설명하는 문서입니다. 문서의 미디어 유형은
application/schema+json
입니다. -
JSON 인스턴스는 JSON 데이터가 포함된 문서입니다. 문서의 미디어 유형은
application/json
입니다. -
XML 스키마 는 XML 데이터의 구조를 설명하는 문서입니다. 문서의 파일 확장자는
.xsd
입니다. -
XML 인스턴스는 XML 데이터가 포함된 문서입니다. 문서의 파일 확장자는
.xml
입니다.
-
JSON 스키마 는 JSON 데이터의 구조를 설명하는 문서입니다. 문서의 미디어 유형은
-
정의 입력 상자에 선택한 스키마 유형을 준수하는 정의를 붙여넣습니다. 예를 들어 JSON 스키마를 선택하면
애플리케이션/schema
+json의 미디어 유형이 있는 JSON 스키마 파일의 내용을 붙여넣습니다. 데이터 유형 이름 필드에 데이터 유형에 대해 선택한 이름을 입력합니다. 예를 들어 공급업체에 대한 JSON 스키마를 지정하는 경우 벤더를 데이터 유형 이름으로 지정할 수 있습니다.
이 유형을 지정하는 연결을 사용하는 통합을 생성하거나 편집할 때 이 데이터 유형 이름이 표시됩니다. Fuse Online은 통합 시각화 및 데이터 매퍼에 유형 이름을 표시합니다.
- 데이터 유형 설명 필드에 이 유형을 구분하는 데 도움이 되는 정보를 제공합니다. 이 설명은 이 유형을 처리하는 단계를 마우스로 가리킬 때 데이터 매퍼에 표시됩니다.
- 다음을 클릭합니다.
결과
연결은 추가한 흐름 시각화에 표시됩니다.