红帽全球峰会2.14. 对在 single-model 服务平台上部署的模型发出推测请求
当您使用单模式服务平台部署模型时，该模型可作为服务使用 API 请求来访问。这可让您根据数据输入返回预测。要使用 API 请求与部署的模型交互，您必须知道模型的 inference 端点。
另外，如果您通过启用令牌授权保护您的 inference 端点，您必须了解如何访问授权令牌，以便在您的 inference 请求中指定它。
2.14.1. 访问已部署模型的授权令牌
如果您通过启用令牌授权来保护模型 inference 端点，您必须了解如何访问授权令牌，以便在您的推测请求中指定它。
先决条件
- 您已登陆到 Red Hat OpenShift AI。
-
如果您使用 OpenShift AI 组，则作为 OpenShift 中的用户组或 admin 组（如
rhoai-users或rhoai-admins）的一部分。 - 已使用单模式服务平台部署了模型。
流程
在 OpenShift AI 仪表板中，点 Data Science Projects。
Data Science Projects 页面将打开。
点包含部署模型的项目名称。
此时会打开项目详情页面。
- 点 Models 选项卡。
在 Models 和 model servers 列表中，展开您的模型部分。
您的授权令牌显示在 Token secret 字段中的 Token authorization 部分中。
-
可选： 要复制用于 inference 请求的授权令牌，请点击令牌值旁的 Copy 按钮(
)。
2.14.2. 访问已部署模型的 inference 端点
要对部署的模型发出推测请求，您必须了解如何访问可用的 inference 端点。
有关与支持的运行时和示例命令一起使用的路径列表，请参阅 Inference 端点。
先决条件
- 您已登陆到 Red Hat OpenShift AI。
-
如果您使用 OpenShift AI 组，则作为 OpenShift 中的用户组或 admin 组（如
rhoai-users或rhoai-admins）的一部分。 - 已使用单模式服务平台部署了模型。
- 如果为部署的模型启用了令牌授权，则具有关联的令牌值。
流程
在 OpenShift AI 仪表板中点 Model Serving。
模型的 inference 端点显示在 Inference endpoint 字段中。
- 根据您要使用模型执行的操作（如果模型支持该操作），复制 inference 端点，然后在 URL 的末尾添加一个路径。
- 使用端点向部署的模型发出 API 请求。
