2.13. 对在 single-model 服务平台上部署的模型发出推测请求

当您使用单模式服务平台部署模型时，该模型可作为服务使用 API 请求来访问。这可让您根据数据输入返回预测。要使用 API 请求与部署的模型交互，您必须知道模型的 inference 端点。

另外，如果您通过启用令牌身份验证来保护您的 inference 端点，您必须了解如何访问身份验证令牌，以便在您的推测请求中指定它。

如果您通过启用令牌身份验证来保护您的模型 inference 端点，您必须了解如何访问身份验证令牌，以便在您的推测请求中指定它。

先决条件

您已登陆到 Red Hat OpenShift AI。
如果您使用 OpenShift AI 组，则作为 OpenShift 中的用户组或 admin 组（如 rhoai-users 或 rhoai-admins）的一部分。
已使用单模式服务平台部署了模型。

流程

在 OpenShift AI 仪表板中点 Data Science projects。
Data Science 项目页将打开。
点包含部署模型的项目名称。
此时会打开项目详情页面。
点 Models 选项卡。
在 Models 和 model servers 列表中，展开您的模型部分。
您的身份验证令牌显示在 Token secret 字段中的 Token authentication 部分中。
可选：要复制在 inference 请求中使用的身份验证令牌，请点击令牌值旁的 Copy 按钮( )。

要对部署的模型发出推测请求，您必须了解如何访问可用的 inference 端点。

有关与支持的运行时和示例命令一起使用的路径列表，请参阅 Inference 端点。

先决条件

您已登陆到 Red Hat OpenShift AI。
如果您使用 OpenShift AI 组，则作为 OpenShift 中的用户组或 admin 组（如 rhoai-users 或 rhoai-admins）的一部分。
已使用单模式服务平台部署了模型。
如果为部署的模型启用了令牌身份验证，则具有关联的令牌值。

流程

在 OpenShift AI 仪表板中点 Models Model deployments。
模型的 inference 端点显示在 Inference endpoint 字段中。
根据您要使用模型执行的操作（如果模型支持该操作），复制 inference 端点，然后在 URL 的末尾添加一个路径。
使用端点向部署的模型发出 API 请求。

返回顶部