Amazon S3의 데이터 통합

프로세스

1. 새 노트북 셀에서 다음을 추가하여 필요한 라이브러리를 가져옵니다.

   import os
   import boto3
   from boto3 import session

   Copy to Clipboard Toggle word wrap

2. 다른 새 노트북 셀에서 세션 및 클라이언트를 생성하려면 다음을 정의합니다.

   1. 인증 정보를 정의합니다.

      key_id = os.environ.get('AWS_ACCESS_KEY_ID')
      secret_key = os.environ.get('AWS_SECRET_ACCESS_KEY')

      Copy to Clipboard Toggle word wrap

   2. 클라이언트 세션을 정의합니다.

      session = boto3.session.Session(aws_access_key_id=key_id, aws_secret_access_key=secret_key)

      Copy to Clipboard Toggle word wrap

   3. 클라이언트 연결을 정의합니다.

      s3_client = boto3.client('s3', aws_access_key_id=key_id, aws_secret_access_key=secret_key)

      Copy to Clipboard Toggle word wrap

프로세스

1. 새 노트북 셀을 만들고 s3_client 를 사용하여 사용 가능한 버킷을 나열합니다.

   s3_client.list_buckets()

   Copy to Clipboard Toggle word wrap

2. 전체 응답이 아닌 이름만 인쇄하면 이 버킷 목록을 더 쉽게 읽을 수 있습니다. 예를 들면 다음과 같습니다.

   for bucket in s3_client.list_buckets()['Buckets']:
       print(bucket['Name'])

   Copy to Clipboard Toggle word wrap

   이렇게 하면 다음과 유사한 출력이 반환됩니다.

   my-app-asdf3-image-registry-us-east-1-wbmlcvbasdgasdgtkpt
   cf-templates-18rxuasgasgvb-us-east-1

   Copy to Clipboard Toggle word wrap

프로세스

1. 새 노트북 셀을 생성하고 버킷에 오브젝트를 나열합니다. 예를 들면 다음과 같습니다.

   bucket_name = 'std-user-bucket1'
   s3_client.list_objects_v2(Bucket=bucket_name)

   Copy to Clipboard Toggle word wrap

   이렇게 하면 다음 형식으로 여러 개체가 반환됩니다.

   {'Key': 'docker/registry/v2/blobs/sha256/00/0080913dd3f10aadb34asfgsgsdgasdga072049c93606b98bec84adb259b424f/data',
   'LastModified': datetime.datetime(2021, 4, 22, 1, 26, 1, tzinfo=tzlocal()),
   'ETag': '"6e02fad2deassadfsf900a4bd7344ffe"',
   'Size': 4052,
   'StorageClass': 'STANDARD'}

   Copy to Clipboard Toggle word wrap

2. 전체 응답 대신 키만 인쇄하여 이 목록을 더 쉽게 읽을 수 있도록 할 수 있습니다. 예를 들면 다음과 같습니다.

   bucket_name = 'std-user-bucket1'
   for key in s3_client.list_objects_v2(Bucket=bucket_name)['Contents']:
       print(key['Key'])

   Copy to Clipboard Toggle word wrap

   이렇게 하면 다음과 유사한 출력이 반환됩니다.

   docker/registry/v2/blobs/sha256/00/0080913dd3f10aadb34asfgsgsdgasdga072049c93606b98bec84adb259b424f/data

   Copy to Clipboard Toggle word wrap

3. 특정 "path" 또는 파일 이름을 나열하도록 쿼리를 필터링할 수도 있습니다. 예를 들면 다음과 같습니다.

   bucket_name = 'std-user-bucket1'
   for key in s3_client.list_objects_v2(Bucket=bucket_name,Prefix='<start_of_file_path>')['Contents']:
       print(key['Key'])

   Copy to Clipboard Toggle word wrap

   이전 예에서 < start_of_file_path> 를 사용자 값으로 바꿉니다.

프로세스

1. 노트북 셀에서 다음 세부 정보를 정의합니다.

   1. 파일이 있는 버킷입니다. & lt;name_of_the_bucket&gt;을 고유한 값으로 바꿉니다.

      bucket_name = '<name_of_the_bucket>'

      Copy to Clipboard Toggle word wrap

   2. 다운로드할 파일의 이름입니다. & lt;name_of_the_file_to_download&gt;를 고유한 값으로 바꿉니다.

      file_name = '<name_of_the_file_to_download>' # Full path from the bucket

      Copy to Clipboard Toggle word wrap

   3. 파일을 다운로드한 후 원하는 이름입니다. 전체 경로, 상대 경로 또는 새 파일 이름일 수 있습니다. & lt;name_of_the_file_when_downloaded&gt;를 사용자 값으로 바꿉니다.

      new_file_name = '<name_of_the_file_when_downloaded>'

      Copy to Clipboard Toggle word wrap

2. 이전 변수를 인수로 지정하여 파일을 다운로드합니다.

   s3_client.download_file(bucket_name, file_name, new_file_name)

   Copy to Clipboard Toggle word wrap
   참고

   read() 메서드를 사용하여 표준 파일로 스트리밍할 수 있는 오브젝트로 파일을 검색하려면 Amazon Web Services get 개체 명령 참조를 참조하십시오.

프로세스

1. 노트북 셀에서 다음 세부 정보를 정의합니다.

   1. 업로드할 파일의 이름입니다. 여기에는 파일의 전체 로컬 경로가 포함되어야 합니다. & lt;name_of_the_file_to_upload&gt;를 사용자 값으로 바꿉니다.

      file_name = '<name_of_the_file_to_upload>'

      Copy to Clipboard Toggle word wrap

   2. 파일을 업로드할 버킷의 이름입니다. & lt;name_of_the_bucket&gt;을 고유한 값으로 바꿉니다.

      bucket_name = '<name_of_the_bucket>'

      Copy to Clipboard Toggle word wrap

   3. 파일을 버킷에 저장하는 데 사용할 전체 키입니다. & lt;full_path_and_file_name&gt;을 고유한 값으로 바꿉니다.

      key = '<full_path_and_file_name>'

      Copy to Clipboard Toggle word wrap

2. 이전 변수를 인수로 지정하여 파일을 업로드합니다.

   s3_client.upload_file(file_name, bucket_name, key)

   Copy to Clipboard Toggle word wrap