3.3. 在断开连接的环境中运行分布式数据科学工作负载


要在断开连接的环境中运行分布式数据科学工作负载,您必须从断开连接的环境中访问 Ray 集群镜像,以及工作负载使用的数据集和 Python 依赖项。

先决条件

  • 已使用 cluster-admin 角色登录 OpenShift。
  • 您可以访问断开连接的数据科学集群。
  • 已安装 Red Hat OpenShift AI 并创建了镜像镜像,如 在断开连接的环境中安装和卸载 OpenShift AI Self-Managed 所述
  • 您可以从断开连接的集群访问以下软件:

    • Ray 集群镜像
    • 工作负载使用的数据集和模型
    • 应用程序的 Python 依赖项,可以在 Ray 镜像或您自己的 Python Package Index (PyPI)服务器中,这些服务器可从断开连接的集群获得
  • 您已登陆到 Red Hat OpenShift AI。
  • 您已创建了包含工作台的数据科学项目,工作台正在运行包含 CodeFlare SDK 的默认笔记本镜像,如 Standard Data Science 笔记本。有关如何创建项目的详情,请参考 创建数据科学项目
  • 您有数据科学项目的 Admin 访问权限。

    • 如果创建项目,则自动具有 Admin 访问权限。
    • 如果没有创建项目,您的集群管理员必须授予 Admin 访问权限。

流程

  1. 将断开连接的数据科学集群配置为运行分布式工作负载,如 管理分布式工作负载 中所述。
  2. 在笔记本或管道的 ClusterConfiguration 部分中,确保 image 值指定了可以从断开连接的环境访问的 Ray 集群镜像:

    • 笔记本使用 Ray 集群镜像在运行笔记本时创建 Ray 集群。
    • 管道使用 Ray 集群镜像在管道运行期间创建 Ray 集群。
  3. 如果 Ray 集群没有工作负载所需的任何 Python 软件包,请将 Ray 集群配置为从私有 PyPI 服务器下载 Python 软件包。

    例如,为 Ray 集群设置 PIP_INDEX_URLPIP_TRUSTED_HOST 环境变量,以指定 Python 依赖项的位置,如下例所示:

    PIP_INDEX_URL: https://pypi-notebook.apps.mylocation.com/simple
    PIP_TRUSTED_HOST: pypi-notebook.apps.mylocation.com
    Copy to Clipboard Toggle word wrap

    其中

    • PIP_INDEX_URL 指定私有 PyPI 服务器的基本 URL (默认值为 https://pypi.org)。
    • PIP_TRUSTED_HOST 配置 Python,将指定的主机标记为可信,无论该主机是否具有有效的 SSL 证书还是使用安全通道。
  4. 运行分布式数据科学工作负载,如从 笔记本或从数据科学 管道运行分布式数据科学工作负载 中所述。

验证

笔记本或管道运行完成且没有错误:

  • 对于笔记本,cluster.status () 函数或 cluster.details () 函数的输出表示 Ray 集群是 Active
  • 对于管道运行,您可以查看运行详情,如 查看管道运行的详情 中所述。
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat