3.4. 使用单模式服务平台部署模型

步骤

1. 启用单一模型服务平台，如下所示：

   1. 在左侧菜单中，点击 Settings Cluster settings。
   2. 找到 Model serving platform 部分。
   3. 要为项目启用单一模型服务平台，请选择 Single model serving platform 复选框。
   4. 点 Save Changes。

2. 为单型号服务平台启用预安装的运行时，如下所示：

   1. 在 OpenShift AI 仪表板的左侧菜单中，点 Settings Serving runtime。

      Serving 运行时 页面显示您添加的任何自定义运行时，以及以下预安装的运行时：

      • Caikit TGIS ServingRuntime for KServe
      • OpenVINO Model Server
      • TGIS 独立 ServingRuntime for KServe

   2. 设置您要用来 启用 的运行时。

      单个模型服务平台现在可用于模型部署。

步骤

1. 在 OpenShift AI 仪表板中点 Settings > Serving runtime。

   Serving 运行时 页面将打开，并显示已安装和启用的 model-serving 运行时。

2. 要添加自定义运行时，请选择以下选项之一：

   • 要使用现有运行时（例如，TGIS Standalone ServingRuntime for KServe）启动，请点击现有运行时旁的操作菜单(uildDefaults)，然后点 Duplicate。
   • 要添加新的自定义运行时，请单击 Add serving runtime。
3. 在 Select the model serving Platform this runtime support 列表中，选择 Single-model serving platform。
4. 在 Select the API 协议此运行时支持列表，选择 REST 或 gRPC。

5. 可选：如果您启动新的运行时（而不是复制现有运行时），请选择以下选项之一来添加代码：

   • 上传 YAML 文件

     1. 点 Upload files。

     2. 在文件浏览器中，选择计算机上的 YAML 文件。

        嵌入的 YAML 编辑器将打开，并显示您上传的文件内容。

   • 在编辑器中直接输入 YAML 代码

     1. 点 Start from scratch。
     2. 在嵌入式编辑器中直接输入或粘贴 YAML 代码。
   注意

   在很多情况下，创建自定义运行时需要将新的或自定义参数添加到 ServingRuntime 规格的 env 部分。

6. 点击 Add。

   Serving 运行时页面将打开，并显示所安装的运行时的更新列表。观察您添加的自定义运行时会自动启用。显示您在创建运行时时指定的 API 协议。

7. 可选： 要编辑自定义运行时，点操作菜单（需要）并选择 Edit。

步骤

1. 在左侧菜单中，单击 Data Science Projects。
2. 点击您要在其中部署模型的项目的名称。

3. 在 Models and model servers 部分中，执行以下操作之一：

   • 如果您看到 ​​Single model serving platform 标题，点 Deploy model on the 标题。
   • 如果没有看到任何标题，请点击 Deploy model 按钮。

   此时会打开 Deploy model 对话框。

4. 配置部署模型的属性，如下所示：

   1. 在 Model name 字段中，输入您要部署的模型的唯一名称。
   2. 在 Serving runtime 字段中，选择一个启用的运行时。
   3. 从 Model 框架 列表中，选择一个值。
   4. 在 Number of model replicas to deploy 字段中，指定一个值。
   5. 从 Model server size 列表中选择一个值。

   6. 要指定模型的位置，请执行以下操作之一：

      • 使用现有数据连接

        1. 选择 Existing data connection。
        2. 在 Name 列表中选择您之前定义的数据连接。

        3. 在 Path 字段中，输入包含指定数据源中的模型的文件夹路径。

           重要

           OpenVINO Model Server 运行时对如何指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

      • 使用新数据连接

        1. 要定义模型可以访问的新数据连接，请选择 New data connection。
        2. 在 Name 字段中输入数据连接的唯一名称。
        3. 在 Access key 字段中，输入 S3 兼容对象存储供应商的访问密钥 ID。
        4. 在 Secret key 字段中，为您指定的 S3 兼容对象存储帐户输入 secret 访问密钥。
        5. 在 Endpoint 字段中，输入 S3 兼容对象存储桶的端点。
        6. 在 Region 字段中，输入 S3 兼容对象存储帐户的默认区域。
        7. 在 Bucket 字段中，输入 S3 兼容对象存储桶的名称。

        8. 在 Path 字段中，在 S3 兼容对象存储中输入包含您的数据文件的文件夹路径。

           重要

           OpenVINO Model Server 运行时对如何指定模型路径有具体要求。如需更多信息，请参阅 OpenShift AI 发行注记中的已知问题 RHOAIENG-3025。

   7. 点 Deploy。

步骤

1. 在 OpenShift AI 仪表板中，点 Model Serving。
2. 从 Project 列表中，选择部署模型的项目。
3. 在 Deployed models 表中，对于您要访问的模型，复制 Inference endpoint 列中显示的 URL。

4. 根据您要对模型执行的操作（以及模型支持该操作），在 inference 端点 URL 的末尾添加以下路径之一：

   Caikit TGIS ServingRuntime for KServe

   • :443/api/v1/task/text-generation
   • :443/api/v1/task/server-streaming-text-generation

   TGIS 独立 ServingRuntime for KServe

   • :443 fmaas.GenerationService/Generate

   • :443 fmaas.GenerationService/GenerateStream

     注意

     要查询 TGIS 独立运行时的端点，还必须将文件下载到 IBM text-generation-inference 存储库的 proto 目录中。

   OpenVINO Model Server

   • /v2/models/<model-name>/infer

   如所示的路径所示，单一模型服务平台使用 OpenShift 路由器的 HTTPS 端口（通常是端口 443）来提供外部 API 请求。

5. 使用端点向部署的模型发出 API 请求，如下例所示：

   Caikit TGIS ServingRuntime for KServe

   curl --json '{"model_id": "<model_name>", "inputs": "<text>"}' https://<inference_endpoint_url>:443/api/v1/task/server-streaming-text-generation

   Copy to Clipboard Toggle word wrap

   TGIS 独立 ServingRuntime for KServe

   grpcurl -proto text-generation-inference/proto/generation.proto -d '{"requests": [{"text":"<text>"}]}' -H 'mm-model-id: <model_name>' -insecure <inference_endpoint_url>:443 fmaas.GenerationService/Generate

   Copy to Clipboard Toggle word wrap

   OpenVINO Model Server

   curl -ks <inference_endpoint_url>/v2/models/<model_name>/infer -d '{ "model_name": "<model_name>", "inputs": [{ "name": "<name_of_model_input>", "shape": [<shape>], "datatype": "<data_type>", "data": [<data>] }]}'

   Copy to Clipboard Toggle word wrap