第 5 章 实现管道

流程

1. 打开工作台的 JupyterLab 环境。如果启动程序不可见，点 + 打开它。

   

2. 点 Pipeline Editor。

   

   您已创建了空白管道。

3. 在运行笔记本或 Python 代码时，设置默认的运行时镜像。

   1. 在管道编辑器中，点 Open Panel。

      

   2. 选择 Pipeline Properties 选项卡。

      

   3. 在 Pipeline Properties 面板中，向下滚动到 Generic Node Defaults 和 Runtime Image。使用 Cuda 和 Python 3.11 (UBI 9)将值设置为 Tensorflow。

      
4. 选择 File Save Pipeline。

流程

1. 在 JupyterLab file-browser 面板中，将 1_experiment_train.ipynb 和 2_save_model.ipynb 笔记本拖到管道 canvas。

   

2. 单击 1_experiment_train.ipynb 的输出端口，并将连接行拖到 2_save_model.ipynb 的输入端口。

   
3. 保存管道。

流程

1. 单击 1_experiment_train.ipynb 节点。

   
2. 在 Properties 面板中，点 Node Properties 选项卡。

3. 向下滚动到 File Dependencies 部分，然后单击 Add。

   
4. 将值设为 data configured.csv，其数据可为您的模型进行培训。

5. 选择 Include Subdirectories 选项。

   
6. 保存 管道。

流程

1. 选择节点 1。
2. 选择 Node Properties 选项卡。
3. 向下滚动到 Output Files 部分，然后单击 Add。

4. 将值设为 models/fraud/1/model.onnx。

   
5. 为节点 2 重复步骤 2-4。
6. 点 Save Pipeline。

流程

1. 删除任何预先填充的环境变量。

   1. 选择节点 2，然后选择 Node Properties 选项卡。

      在 Additional Properties 下，请注意预填充了一些环境变量。管道编辑器从笔记本代码中推断出您需要它们。

      由于您不想将值保存到管道中，因此请删除所有这些环境变量。

   2. 为每个预先填充的环境变量点 Remove。

      

2. 使用 Kubernetes secret 添加 S3 存储桶和密钥。

   1. 在 Kubernetes Secrets 下，单击 Add。

      

   2. 输入以下值，然后单击 Add。

      • 环境变量 ： AWS_ACCESS_KEY_ID

        • Secret Name:aws-connection-my-storage

        • Secret Key:AWS_ACCESS_KEY_ID

          

3. 对以下每个 Kubernetes secret 重复步骤 2：

   • 环境变量 ： AWS_SECRET_ACCESS_KEY

     • Secret Name:aws-connection-my-storage
     • Secret Key:AWS_SECRET_ACCESS_KEY

   • 环境变量 ： AWS_S3_ENDPOINT

     • Secret Name:aws-connection-my-storage
     • Secret Key:AWS_S3_ENDPOINT

   • 环境变量 ： AWS_DEFAULT_REGION

     • Secret Name:aws-connection-my-storage
     • Secret Key:AWS_DEFAULT_REGION

   • 环境变量 ： AWS_S3_BUCKET

     • Secret Name:aws-connection-my-storage
     • Secret Key:AWS_S3_BUCKET
4. 选择 File Save Pipeline As 来保存和重命名管道。例如，将它重命名为 My Train Save.pipeline。

流程

1. 单击管道编辑器工具栏中的 play 按钮。

   
2. 为管道输入一个名称。
3. 验证 Runtime Configuration: 已设置为 Data Science Pipeline。

4. 点击 确定。

   注意

   如果您看到一条错误消息，表示"没有定义 Data Science Pipeline 的运行时配置"，您可能已在管道服务器可用前创建了工作台。

   要解决这个问题，您必须验证配置了管道服务器，然后重启工作台。

   1. 在 OpenShift AI 仪表板中按照以下步骤操作：

   2. 检查管道服务器的状态：

      1. 在 Fraud Detection 项目中，点 Pipelines 选项卡。

         • 如果您看到 Configure pipeline server 选项，请按照 启用数据科学管道 的步骤进行操作。
         • 如果您看到 Import a pipeline 选项，管道服务器会被配置。继续下一步。

   3. 重启 Fraud 检测工作台：

      1. 单击 Workbenches 选项卡。
      2. 点 Stop，然后点 Stop workbench。
      3. 工作台状态变为 Stopped 后，单击 Start。
      4. 等待工作台状态变为 Running。
   4. 返回到工作台的 JupyterLab 环境，再运行管道。

5. 在 OpenShift AI 仪表板中，打开您的数据科学项目并扩展新创建的管道。

   

6. 单击 View run。

   

7. 点运行，然后查看管道运行正在进行中。