3.3. 在断开连接的环境中运行分布式数据科学工作负载
要在断开连接的环境中运行分布式数据科学工作负载,您必须从断开连接的环境中访问 Ray 集群镜像,以及工作负载使用的数据集和 Python 依赖项。
先决条件
-
已使用
cluster-admin
角色登录 OpenShift。 - 您可以访问断开连接的数据科学集群。
- 已安装 Red Hat OpenShift AI 并创建了镜像镜像,如 在断开连接的环境中安装和卸载 OpenShift AI Self-Managed 所述。
您可以从断开连接的集群访问以下软件:
- Ray 集群镜像
- 工作负载使用的数据集和模型
- 应用程序的 Python 依赖项,可以在 Ray 镜像或您自己的 Python Package Index (PyPI)服务器中,这些服务器可从断开连接的集群获得
- 您已登陆到 Red Hat OpenShift AI。
- 您已创建了包含工作台的数据科学项目,工作台正在运行包含 CodeFlare SDK 的默认笔记本镜像,如 Standard Data Science 笔记本。有关如何创建项目的详情,请参考 创建数据科学项目。
您有数据科学项目的 Admin 访问权限。
- 如果创建项目,则自动具有 Admin 访问权限。
- 如果没有创建项目,您的集群管理员必须授予 Admin 访问权限。
流程
- 将断开连接的数据科学集群配置为运行分布式工作负载,如 管理分布式工作负载 中所述。
在笔记本或管道的
ClusterConfiguration
部分中,确保image
值指定了可以从断开连接的环境访问的 Ray 集群镜像:- 笔记本使用 Ray 集群镜像在运行笔记本时创建 Ray 集群。
- 管道使用 Ray 集群镜像在管道运行期间创建 Ray 集群。
如果 Ray 集群没有工作负载所需的任何 Python 软件包,请将 Ray 集群配置为从私有 PyPI 服务器下载 Python 软件包。
例如,为 Ray 集群设置
PIP_INDEX_URL
和PIP_TRUSTED_HOST
环境变量,以指定 Python 依赖项的位置,如下例所示:PIP_INDEX_URL: https://pypi-notebook.apps.mylocation.com/simple PIP_TRUSTED_HOST: pypi-notebook.apps.mylocation.com
PIP_INDEX_URL: https://pypi-notebook.apps.mylocation.com/simple PIP_TRUSTED_HOST: pypi-notebook.apps.mylocation.com
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 其中
-
PIP_INDEX_URL
指定私有 PyPI 服务器的基本 URL (默认值为 https://pypi.org)。 -
PIP_TRUSTED_HOST
配置 Python,将指定的主机标记为可信,无论该主机是否具有有效的 SSL 证书还是使用安全通道。
-
- 运行分布式数据科学工作负载,如从 笔记本或从数据科学 管道运行分布式数据科学工作负载 中所述。
验证
笔记本或管道运行完成且没有错误:
-
对于笔记本,
cluster.status ()
函数或cluster.details ()
函数的输出表示 Ray 集群是Active
。 - 对于管道运行,您可以查看运行详情,如 查看管道运行的详情 中所述。