5.2. 访问已部署模型的 inference 端点
要对部署的模型发出推测请求,您必须了解如何访问可用的 inference 端点。
有关与支持的运行时和示例命令一起使用的路径列表,请参阅 Inference 端点。
先决条件
- 您已登陆到 Red Hat OpenShift AI。
- 已使用单模式服务平台部署了模型。
- 如果为部署的模型启用了令牌身份验证,则具有关联的令牌值。
流程
在 OpenShift AI 仪表板中点 AI hub
Deployments。 模型的 inference 端点显示在 Inference endpoint 字段中。
- 根据您要使用模型执行的操作(如果模型支持该操作),复制 inference 端点,然后在 URL 的末尾添加一个路径。
- 使用端点向部署的模型发出 API 请求。