6.5. 非接続環境で分散データサイエンスワークロードを実行する

手順

1. 分散ワークロードの設定 の説明に従って、切断されたデータサイエンスクラスターが分散ワークロードを実行するように設定します。

2. ノートブックまたはパイプラインの ClusterConfiguration セクションで、image 値が非接続環境からアクセスできる Ray クラスターイメージを指定していることを確認します。

   • ノートブックは、ノートブックの実行時に Ray クラスターイメージを使用して Ray クラスターを作成します。
   • パイプラインは、Ray クラスターイメージを使用して、パイプライン実行中に Ray クラスターを作成します。

3. ワークロードに必要な Python パッケージのいずれかが Ray クラスターで使用できない場合は、プライベート PyPI サーバーから Python パッケージをダウンロードするように Ray クラスターを設定します。

   たとえば、次の例に示すように、Ray クラスターの PIP_INDEX_URL および PIP_TRUSTED_HOST 環境変数を設定して、Python 依存関係の場所を指定します。

   PIP_INDEX_URL: https://pypi-notebook.apps.mylocation.com/simple
   PIP_TRUSTED_HOST: pypi-notebook.apps.mylocation.com

   Copy to Clipboard Toggle word wrap

   ここでは、以下のようになります。

   • PIP_INDEX_URL は、プライベート PyPI サーバーのベース URL を指定します (デフォルト値は https://pypi.org)。
   • PIP_TRUSTED_HOST は、ホストが有効な SSL 証明書を持っているか、または安全なチャネルを使用しているかに関係なく、指定されたホストを信頼できるものとしてマークするように Python を設定します。
4. ノートブックからの分散データサイエンスワークロードの実行 または データサイエンスパイプラインからの分散データサイエンスワークロードの実行 の説明に従って、分散データサイエンスワークロードを実行します。