在 S3 兼容对象存储中使用数据

流程

1. 在 OpenShift AI 仪表板中点 Data Science projects。
2. 点包含工作台的项目的名称。
3. 单击 Workbenches 选项卡。

4. 如果工作台的状态为 Running，请跳至下一步。

   如果工作台的状态为 Stopped，在工作台的 Status 列中点 Start。

   当工作台服务器启动时，Status 列从 Stopped 改为 Starting，然后在工作台成功启动时变为 Running。

5. 点工作台旁边的打开图标( )。

   您的 Jupyter 环境窗口将打开。

6. 在工具栏中，单击 Git Clone 图标，然后选择 Clone a Repository。
7. 在 Clone a repo 对话框中，输入以下 URL https://github.com/opendatahub-io/odh-doc-examples.git，然后点 Clone。
8. 在文件浏览器中，选择新创建的 odh-doc-examples 文件夹。

9. 双击新创建的 存储 文件夹。

   您会看到一个名为 s3client_examples.ipynb 的 Jupyter 笔记本。

10. 双击 s3client_examples.ipynb 文件，以启动 Jupyter 笔记本。

    Jupyter 笔记本将打开。您会看到以下任务的代码示例：

    • 安装 Boto3 和所需的 Boto3 库
    • 创建 S3 客户端会话
    • 创建 S3 客户端连接
    • 列出文件
    • 创建存储桶
    • 上传文件到存储桶
    • 从存储桶下载文件
    • 在存储桶间复制文件
    • 从存储桶中删除对象
    • 删除存储桶

11. 在 Jupyter 笔记本中，找到以下说明来安装 Boto3 及其所需库，并运行代码单元：

    #Upgrade pip to the latest version
    !pip3 install --upgrade pip
    
    #Install Boto3
    !pip3 install boto3
    
    #Install Boto3 libraries
    import os
    import boto3
    from botocore.client import Config
    from boto3 import session
    
    #Check Boto3 version
    !pip3 show boto3

    Copy to Clipboard Toggle word wrap

    代码单元中的说明将 Python Package Manager (pip)更新至最新版本，安装 Boto3 及其所需的库，并显示安装的 Boto3 版本。

12. 找到以下说明以创建 S3 客户端和服务器。运行代码单元。

    #Creating an S3 client
    #Define credentials
    key_id = os.environ.get('AWS_ACCESS_KEY_ID')
    secret_key = os.environ.get('AWS_SECRET_ACCESS_KEY')
    endpoint = os.environ.get('AWS_S3_ENDPOINT')
    region = os.environ.get('AWS_DEFAULT_REGION')
    
    #Define client session
    session = Boto3.session.Session(aws_access_key_id=key_id,
    aws_secret_access_key=secret_key)
    
    #Define client connection
    s3_client = Boto3.client('s3', aws_access_key_id=key_id,
    aws_secret_access_key=secret_key,aws_session_token=None,
        config=Boto3.session.Config(signature_version='s3v4'),
                            endpoint_url=endpoint,
                            region_name=region)

    Copy to Clipboard Toggle word wrap

    代码单元中的说明配置 S3 客户端，并建立与 S3 兼容对象存储的会话。

流程

1. 在 Jupyter 笔记本中，找到以下列出可用存储桶的指令，然后运行代码单元。

   #List available buckets
   s3_client.list_buckets()

   Copy to Clipboard Toggle word wrap

   成功的响应包括 HTTP 请求状态代码 200 和存储桶列表，类似于以下输出：

   'HTTPStatusCode': 200,
   'Buckets': [{'Name': 'aqs086-image-registry',
   'CreationDate': datetime.datetime(2024, 1, 16, 20, 21, 36, 244000, tzinfo=tzlocal( ))},

   Copy to Clipboard Toggle word wrap

2. 找到只输出可用存储桶的名称并执行代码单元的指令。

   #Print only names of available buckets
   for bucket in s3_client.list_buckets()[‘Buckets’]:
       print(bucket[‘Name’])

   Copy to Clipboard Toggle word wrap

   输出显示存储桶的名称，类似以下示例。

   aqs086-image-registry
   aqs087-image-registry
   aqs135-image-registry
   aqs246-image-registry

   Copy to Clipboard Toggle word wrap

流程

1. 在笔记本文件中，找到以下创建存储桶的说明：

   #Create bucket                                                `
   s3_client.create_bucket(Bucket='<bucket_name>')

   Copy to Clipboard Toggle word wrap

2. 将 < name_of_the _bucket> 替换为您要创建的存储桶的名称，如示例中所示，然后运行代码单元。

   #Create bucket
   s3_client.create_bucket(Bucket='aqs43-image-registry')

   Copy to Clipboard Toggle word wrap

   输出显示 HTTP 响应状态代码 200，表示请求成功。

流程

1. 在 Jupyter 笔记本中，找到以下列出文件的代码。

   #List files
   #Replace <bucket_name> with the name of the bucket.
   bucket_name = ‘<bucket_name>’
   s3_client.list_objects_v2(Bucket=bucket_name)

   Copy to Clipboard Toggle word wrap

2. 将 &lt ;bucket_name > 替换为您自己的存储桶的名称，如示例所示，然后运行代码单元。

   #List files
   #Replace <bucket_name> with the name of the bucket.
   bucket_name = ‘aqs27-registry’
   s3_client.list_objects_v2(Bucket=bucket_name)

   Copy to Clipboard Toggle word wrap

   输出中显示了指定存储桶中可用文件的信息。

3. 找到仅列出文件的名称的代码单元。

   #Print only names of files
   bucket_name = ‘<bucket_name>’
   for key in s3_client.list_objects_v2(Bucket=bucket_name)[‘Contents’]:
   	print(key[‘Key’])

   Copy to Clipboard Toggle word wrap

4. 将 < bucket_name > 替换为存储桶的名称，如示例所示，并运行代码单元：

   #Print only names of files
   bucket_name = ‘aqs27-registry’
   for key in s3_client.list_objects_v2(Bucket=bucket_name)[‘Contents’]:
   print(key[‘Key’])

   Copy to Clipboard Toggle word wrap

   输出显示指定存储桶中可用的文件名列表。

5. 通过找到以下代码单元，优化前面的查询来指定文件路径：

   bucket_name = ‘<bucket_name>’
   for key in s3_client.list_objects_v2(Bucket=bucket_name,Prefix=’<start_of_file_path’)[‘Contents’]:
   print(key[‘Key’])

   Copy to Clipboard Toggle word wrap
6. 将 <bucket_name & gt; 和 <start_of_file_path > 替换为您自己的值并运行代码单元。

流程

1. 在 Jupyter 笔记本中，找到以下从存储桶下载文件的说明：

   #Download file from bucket
   #Replace the following values with your own:
   #<bucket_name>: The name of the bucket.
   #<object_name>: The name of the file to download. Must include full path to the file on the bucket.
   #<file_name>: The name of the file when downloaded.
   
   s3_client.download_file('<bucket_name>','<object_name>','<file_name>')

   Copy to Clipboard Toggle word wrap

2. 修改代码示例：

   1. 将 <bucket_name > 替换为文件位于…​ 中的存储桶名称，将 &lt ;object_name > 替换为您要下载的文件的名称。

   2. 将 < file_name > 替换为您要下载该文件的名称和路径，如示例所示。

      s3_client.download_file('aqs086-image-registry',
                              'series35-image36-086.csv',
                              '\tmp\series35-image36-086.csv_old')

      Copy to Clipboard Toggle word wrap
3. 运行代码单元。

流程

1. 在 Jupyter 笔记本中，找到上传文件到存储桶的说明。

   #Upload file to bucket
   #Replace <file_name>, <bucket_name>, and <object_name> with your values.
   #<file_name>: Name of the file to upload. This value must include the full local path to the file on your workbench.
   #<bucket_name>: The name of the bucket to upload the file to.
   #<object_name>: The full key to use to save the file to the bucket.
   
   s3_client.upload_file('<file_name>', '<bucket_name>', '<object_name>')

   Copy to Clipboard Toggle word wrap

2. 将 <file_name & gt; , <bucket _name> 和 <object_name > 替换为您自己的值，如示例中所示，然后运行代码单元。

   s3_client.upload_file('image-973-series123.csv', 'aqs973-image-registry', '/tmp/image-973-series124.csv')

   Copy to Clipboard Toggle word wrap

流程

1. 在笔记本中，找到以下说明以在存储桶间复制文件：

   #Copying files between buckets
   #Replace the placeholder values with your own.
   copy_source = {
       	'Bucket': '<bucket_name>',
       	'Key': '<key>'
   }
   s3_client.copy(copy_source, '<destination bucket>', '<destination_key>')

   Copy to Clipboard Toggle word wrap

2. 在 copy_source 块中，将 & lt;bucket_name > 替换为源存储桶的名称，& lt;key> 替换为源文件的密钥，如示例所示。

   copy_source = {
       	'Bucket': 'aqs086-image-registry',
       	'Key': 'series43-image12-086.csv'
   }

   Copy to Clipboard Toggle word wrap

3. 将 <destination_bucket > 替换为要复制到的存储桶的名称，将 &lt ;destination_key > 替换为要复制到的密钥的名称，如示例所示。执行代码单元。

   s3_client.copy(copy_source, 'aqs971-image-registry', '/tmp/series43-image12-086.csv')

   Copy to Clipboard Toggle word wrap

流程

1. 在 Jupyter 笔记本中，找到以下说明从存储桶中删除文件：

   #Delete files from bucket
   s3_client.delete_object(Bucket='<bucket_name>', Key='<object_key>')

   Copy to Clipboard Toggle word wrap

2. 将 < bucket_name > 替换为 存储桶的名称，<key> 替换为您要删除的文件的密钥，如示例所示。运行代码单元。

   #Delete object from bucket
   s3_client.delete_object(Bucket='aqs971-image-registry', Key='/tmp/series43-image12-086.csv')

   Copy to Clipboard Toggle word wrap

   输出显示 HTTP 响应状态代码 204，这表示请求成功。

流程

1. 在 Jupyter 笔记本中，找到以下删除存储桶的说明：

   #Delete bucket
   s3_client.delete_bucket(Bucket='<bucket_name>')

   Copy to Clipboard Toggle word wrap

2. 将 < bucket_name > 替换为您要删除的存储桶的名称，并运行代码单元。

   #Delete bucket
   s3_client.delete_bucket(Bucket='aqs971-image-registry')

   Copy to Clipboard Toggle word wrap

   输出显示 HTTP 响应状态代码 200，这表示请求成功。

流程

1. 在一个终端窗口中，登录到 OpenShift CLI，如下例所示：

   oc login api.<cluster_name>.<cluster_domain>:6443 --web

   Copy to Clipboard Toggle word wrap

2. 检索当前的 OpenShift AI 可信 CA 配置，并将其存储在新文件中：

   oc get dscinitializations.dscinitialization.opendatahub.io default-dsci -o json | jq -r '.spec.trustedCABundle.customCABundle' > /tmp/my-custom-ca-bundles.crt

   Copy to Clipboard Toggle word wrap

3. 将集群的 kube-root-ca.crt ConfigMap 添加到 OpenShift AI 可信 CA 配置中：

   oc get configmap kube-root-ca.crt -o jsonpath="{['data']['ca\.crt']}" >> /tmp/my-custom-ca-bundles.crt

   Copy to Clipboard Toggle word wrap

4. 更新 OpenShift AI 可信 CA 配置，以信任 kube-root-ca.crt 中证书颁发机构发布的证书：

   oc patch dscinitialization default-dsci --type='json' -p='[{"op":"replace","path":"/spec/trustedCABundle/customCABundle","value":"'"$(awk '{printf "%s\\n", $0}' /tmp/my-custom-ca-bundles.crt)"'"}]'

   Copy to Clipboard Toggle word wrap