2.3. 接続によるデータの格納
ワークベンチに接続を追加して、プロジェクトをデータ入力およびオブジェクトストレージバケットに接続します。接続は、AWS S3 オブジェクトストレージバケットなどのデータソースまたはデータシンクへの接続に必要な設定パラメーターが含まれるリソースです。
このチュートリアルでは、提供されているスクリプトを実行して、次のローカル Minio ストレージバケットを作成します。
- マイストレージ - このバケットをモデルとデータの保存に使用します。このバケットとその接続をノートブックおよびモデルサーバーに再利用できます。
- Pipelines Artifacts - このバケットをパイプラインアーティファクトのストレージとして使用します。パイプラインサーバーを作成するときは、パイプラインアーティファクトバケットが必要です。このチュートリアルでは、わかりやすくするために、このバケットを最初のストレージバケットから分離して作成します。
モデルとデータの保存とパイプラインアーティファクトの保存の両方に 1 つのストレージバケットを使用することもできますが、このチュートリアルではベストプラクティスに従い、目的ごとに別のストレージバケットを使用します。
提供されたスクリプトは、各ストレージバケットへの接続も作成します。
ローカル MinIO ストレージバケットをインストールし、それらへの接続を作成するスクリプトを実行する場合は、ローカルオブジェクトストレージバケットをインストールし、接続を作成するためのスクリプトの実行 の手順に従います。
提供されているスクリプトを使用する代わりに、独自の S3 互換オブジェクトストレージバケットを使用する場合は、独自の S3 互換オブジェクトストレージへの接続の作成 の手順に従ってください。
2.3.1. ローカルオブジェクトストレージバケットをインストールし、接続を作成するためのスクリプトの実行 リンクのコピーリンクがクリップボードにコピーされました!
便宜上、これらのタスクを自動的に完了するスクリプト (次の手順で提供) を実行します。
- プロジェクトに Minio インスタンスを作成します。
- Minio インスタンスに 2 つのストレージバケットを作成します。
- Minio インスタンスのランダムなユーザー ID とパスワードを生成します。
- プロジェクトに 2 つの接続を作成します。1 つは各バケット用で、両方とも同じ認証情報を使用します。
- Service Mesh 機能に必要なネットワークポリシーをインストールします。
guide for deploying Minio がこのスクリプトの基礎となります。
スクリプトが作成する Minio ベースのオブジェクトストレージは、実稼働環境での使用を 目的としていません。
独自のストレージに接続する場合は、独自の S3 互換オブジェクトストレージへの接続の作成 を参照してください。
前提条件
提供されたスクリプトを正しいプロジェクトで実行するには、データサイエンスプロジェクトの OpenShift リソース名を知っておく必要があります。プロジェクトのリソース名を取得するには、以下を行います。
OpenShift AI ダッシュボードで Data science projects を選択し、プロジェクト名の横にある ? アイコンをクリックします。テキストボックスに、リソース名などのプロジェクトに関する情報が表示されます。
次の手順では、OpenShift コンソールからスクリプトを実行する方法を説明します。OpenShift の知識があり、コマンドラインからクラスターにアクセスできる場合は、この手順に従う代わりに、次のコマンドを使用してスクリプトを実行できます。
oc apply -n <your-project-name/> -f https://github.com/rh-aiservices-bu/fraud-detection/raw/main/setup/setup-s3.yaml
手順
OpenShift AI ダッシュボードで、アプリケーション起動アイコンをクリックし、OpenShift Console オプションを選択します。
OpenShift コンソールで、上部のナビゲーションバーにある + をクリックします。
プロジェクトのリストからプロジェクトを選択します。
正しいプロジェクトを選択したことを確認してください。
次のコードをコピーし、Import YAML エディターに貼り付けます。
注記このコードは、
setup-s3-no-sa.yamlファイルを取得して適用します。--- apiVersion: v1 kind: ServiceAccount metadata: name: demo-setup --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: demo-setup-edit roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: edit subjects: - kind: ServiceAccount name: demo-setup --- apiVersion: batch/v1 kind: Job metadata: name: create-s3-storage spec: selector: {} template: spec: containers: - args: - -ec - |- echo -n 'Setting up Minio instance and connections' oc apply -f https://github.com/rh-aiservices-bu/fraud-detection/raw/main/setup/setup-s3-no-sa.yaml command: - /bin/bash image: image-registry.openshift-image-registry.svc:5000/openshift/tools:latest imagePullPolicy: IfNotPresent name: create-s3-storage restartPolicy: Never serviceAccount: demo-setup serviceAccountName: demo-setup- Create をクリックします。
検証
OpenShift コンソールに、"Resources successfully created" メッセージと、次のリソースのリストが表示されます。
-
demo-setup -
demo-setup-edit -
create-s3-storage
-
OpenShift AI ダッシュボードで以下を実行します。
- Data science projects を選択してから、プロジェクトの名前 Fraud detection をクリックします。
Connections をクリックします。リストされている接続は、
My StorageとPipeline Artifactsの 2 つです。
クラスターで自己署名証明書が使用されている場合、自己署名証明書を使用した S3 互換オブジェクトストレージへのアクセス (セルフマネージド) または 自己署名証明書を使用した S3 互換オブジェクトストレージへのアクセス (クラウドサービス) で説明されているように、OpenShift AI 管理者は、S3 オブジェクトストレージに安全に接続するために認証局 (CA) を設定する必要がある場合があります。
次のステップ
このチュートリアルのパイプラインのセクションを完了するには、データサイエンスパイプラインの有効化 に進んでください。
それ以外の場合は、ワークベンチの作成 に進みます。
2.3.2. 独自の S3 互換オブジェクトストレージへの接続の作成 リンクのコピーリンクがクリップボードにコピーされました!
このチュートリアルで使用する既存の S3 互換ストレージバケットがある場合は、データとモデルを保存するために 1 つのストレージバケットへの接続を作成する必要があります。このチュートリアルのパイプラインのセクションを完了する場合は、パイプラインアーティファクトを保存するための別のストレージバケットへの別の接続を作成します。
独自の s3 互換ストレージがない場合、または代わりに使い捨てのローカル Minio インスタンスを使用する場合は、このセクションをスキップして、ローカルオブジェクトストレージバケットをインストールし、接続を作成するためのスクリプトの実行 の手順に従ってください。提供されているスクリプトは、プロジェクトに Minio インスタンスを作成し、その Minio インスタンスに 2 つのストレージバケットを作成し、プロジェクトに 2 つの接続 (バケットごとに 1 つずつ、両方とも同じ認証情報を使用) を作成し、サービスメッシュ機能に必要なネットワークポリシーをインストールするというタスクを自動的に完了します。
前提条件
既存の S3 互換ストレージバケットへの接続を作成するには、ストレージバケットの次の認証情報が必要です。
- エンドポイント URL
- アクセスキー
- シークレットキー
- リージョン
- バケット名
この情報がない場合は、ストレージ管理者に問い合わせてください。
手順
データとモデルを保存するための接続を作成します。
- OpenShift AI ダッシュボードで、データサイエンスプロジェクトのページに移動します。
Connections タブをクリックし、Create connection をクリックします。
- Add connection モーダルの Connection type で、S3 compatible object storage - v1 を選択します。
Add connection フォームに記入し、接続に My Storage という名前を付けます。この接続は、データやモデルなどの個人的な作業を保存するためのものです。
- Create をクリックします。
パイプラインアーティファクトを保存するための接続を作成します。
注記チュートリアルのパイプラインセクションを完了しない場合は、このステップをスキップできます。
- Add connection をクリックします。
フォームに記入し、接続に Pipeline Artifacts という名前を付けます。
- Create をクリックします。
検証
プロジェクトの Connections タブで、接続がリスト表示されていることを確認します。
クラスターで自己署名証明書が使用されている場合、自己署名証明書を使用した S3 互換オブジェクトストレージへのアクセス (セルフマネージド) または 自己署名証明書を使用した S3 互換オブジェクトストレージへのアクセス (クラウドサービス) で説明されているように、OpenShift AI 管理者は、S3 オブジェクトストレージに安全に接続するために認証局 (CA) を提供する必要がある場合があります。
次のステップ
このチュートリアルのパイプラインのセクションを完了するには、データサイエンスパイプラインの有効化 に進んでください。
それ以外の場合は、ワークベンチの作成 に進みます。