4.2. 使用 training Operator SDK 运行分布式培训工作负载

流程

1. 打开工作台，如下所示：

   1. 登录到 Red Hat OpenShift AI web 控制台。
   2. 点 Data Science projects 并点您的项目。
   3. 单击 Workbenches 选项卡。
   4. 如果您的工作台还没有运行，请启动工作台。
   5. 点 Open 链接在新窗口中打开 IDE。
2. 点 File New Notebook。

3. 创建培训功能，如下例所示：

   1. 使用以下内容创建单元：

      培训功能示例

      def train_func():
          import os
          import torch
          import torch.distributed as dist
      
          # Select backend dynamically: nccl for GPU, gloo for CPU
          backend = "nccl" if torch.cuda.is_available() else "gloo"
      
          # Initialize the process group
          dist.init_process_group(backend)
      
          # Get rank and world size
          rank = dist.get_rank()
          world_size = dist.get_world_size()
      
          # Select device dynamically
          device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
      
          # Log rank initialization
          print(f"Rank {rank}/{world_size} initialized with backend {backend} on device {device}.")
      
          # Initialize tensor on the selected device
          tensor = torch.zeros(1, device=device)
      
          if rank == 0:
              tensor += 1
              for i in range(1, world_size):
                  dist.send(tensor, dst=i)
          else:
              dist.recv(tensor, src=0)
      
          print(f"Rank {rank}: Tensor value {tensor.item()} on {device}")
      
          # Cleanup
          dist.destroy_process_group()

      注意

      在本示例培训工作中，您不需要安装任何其他软件包或设置任何培训参数。

      有关如何添加其他软件包并设置培训参数的更多信息，请参阅配置调优作业。

   2. 可选：编辑内容来为您的环境指定适当的值。
   3. 运行单元以创建培训功能。

4. 配置 Training Operator SDK 客户端身份验证，如下所示：

   1. 使用以下内容创建单元：

      培训 Operator SDK 客户端身份验证示例

      from kubernetes import client
      from kubeflow.training import TrainingClient
      from kubeflow.training.models import V1Volume, V1VolumeMount, V1PersistentVolumeClaimVolumeSource
      
      api_server = "<API_SERVER>"
      token = "<TOKEN>"
      
      configuration = client.Configuration()
      configuration.host = api_server
      configuration.api_key = {"authorization": f"Bearer {token}"}
      # Un-comment if your cluster API server uses a self-signed certificate or an un-trusted CA
      #configuration.verify_ssl = False
      api_client = client.ApiClient(configuration)
      client = TrainingClient(client_configuration=api_client.configuration)

   2. 编辑 api_server 和 token 参数，以输入要向 OpenShift 集群进行身份验证的值。

      有关如何查找服务器和令牌详情的详情，请参考使用集群服务器和令牌进行身份验证。

   3. 运行单元来配置 Training Operator SDK 客户端身份验证。
5. 点 File > Save Notebook As，输入适当的文件名，然后点 Save。

验证

1. 所有单元都成功运行。

流程

1. 打开工作台，如下所示：

   1. 登录到 Red Hat OpenShift AI web 控制台。
   2. 点 Data Science projects 并点您的项目。
   3. 单击 Workbenches 选项卡。如果您的工作台还没有运行，请启动工作台。
   4. 点 Open 链接在新窗口中打开 IDE。
2. 点 File Open，打开您用来配置培训作业的 Jupyter 笔记本。

3. 创建单元来运行作业，并添加以下内容：

   from kubernetes import client
   
   # Start PyTorchJob with 2 Workers and 2 GPU per Worker (multi-node, multi-worker job).
   client.create_job(
      name="pytorch-ddp",
      train_func=train_func,
      base_image="quay.io/modh/training:py311-cuda124-torch251",
      num_workers=2,
      resources_per_worker={"nvidia.com/gpu": "2"},
      packages_to_install=["torchvision==0.19.0"],
      env_vars={"NCCL_DEBUG": "INFO", "TORCH_DISTRIBUTED_DEBUG": "DETAIL"},
      labels={
           "kueue.x-k8s.io/queue-name": "<local-queue-name>",
           "key": "value"
       },
      annotations={"key": "value"}
   )

4. 编辑内容以指定环境的适当值，如下所示：

   1. 编辑 num_workers 值，以指定 worker 节点的数量。
   2. 根据作业要求和可用资源更新 resources_per_worker 值。
   3. 编辑 kueue.x-k8s.io/queue-name 标签的值，以匹配目标 LocalQueue 的名称。

   4. 提供的示例是 NVIDIA GPU。如果使用 AMD 加速器，请进行以下额外更改：

      • 在 resources_per_worker 条目中，将 nvidia.com/gpu 改为 amd.com/gpu
      • 将 base_image 值更改为 quay.io/modh/ training:py311-rocm62-torch251
      • 删除 NCCL_DEBUG 条目

1. 运行单元以运行该作业。

1. 使用以下内容创建单元：

   client.get_job_logs(
       name="pytorch-ddp",
       job_kind="PyTorchJob",
       follow=True,
   )

2. 运行单元以查看作业进度。