2.5. 启用 TrustyAI 与标准模型部署集成
TrustyAI 可用于标准和高级模型部署。标准部署模式基于 KServe RawDeployment 和高级部署模式,基于 KServe Serverless。如需有关部署模式的更多信息,请参阅关于 KServe 部署模式。
要将 TrustyAI 服务与标准模型部署搭配使用,您必须首先更新 KServe ConfigMap,然后在模型命名空间中创建另一个 ConfigMap 来保存证书颁发机构(CA)证书。
高级部署模式不需要此额外设置。
先决条件
- 已安装 Red Hat OpenShift AI。
- 具有 OpenShift AI 集群的集群管理员特权。
- 您可以访问启用了 TrustyAI 的数据科学项目。
- 您已在标准或高级模式下启用了模型服务平台。
流程
更新 OpenShift AI UI 中的 KServe ConfigMap (ference
service-config):-
在 OpenShift 控制台中,点击 Workloads
ConfigMaps。 -
从项目下拉列表中,选择
redhat-ods-applications命名空间。 -
查找
inferenceservice-configConfigMap。 - 点击 ConfigMap 的选项菜单(3.3.0),然后点 Edit ConfigMap。
在 logger 键中添加以下参数:
"caBundle": "kserve-logger-ca-bundle", "caCertFile": "service-ca.crt", "tlsSkipVerify": false
"caBundle": "kserve-logger-ca-bundle", "caCertFile": "service-ca.crt", "tlsSkipVerify": falseCopy to Clipboard Copied! Toggle word wrap Toggle overflow - 点击 Save。
-
在 OpenShift 控制台中,点击 Workloads
在模型命名空间中创建 ConfigMap 来保存 CA 证书:
- 单击 Create Config Map。
在创建的 ConfigMap 中输入以下代码:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
- 点击 Save。
caBundle 名称可以是任何有效的 Kubernetes 名称,只要它与您在 KServe ConfigMap 中使用的名称匹配。caCertFile 需要与 CA 捆绑包中可用的证书名称匹配。
验证
当您向 KServe Raw 模型发送推测时,TrustyAI 会确认输出日志中的数据捕获。
如果您没有观察 Trusty AI 日志上的任何数据,请完成这些配置步骤并重新部署 pod。