2.5. 启用 TrustyAI 与标准模型部署集成


TrustyAI 可用于标准和高级模型部署。标准部署模式基于 KServe RawDeployment 和高级部署模式,基于 KServe Serverless。如需有关部署模式的更多信息,请参阅关于 KServe 部署模式

要将 TrustyAI 服务与标准模型部署搭配使用,您必须首先更新 KServe ConfigMap,然后在模型命名空间中创建另一个 ConfigMap 来保存证书颁发机构(CA)证书。

注意

高级部署模式不需要此额外设置。

先决条件

  • 已安装 Red Hat OpenShift AI。
  • 具有 OpenShift AI 集群的集群管理员特权。
  • 您可以访问启用了 TrustyAI 的数据科学项目。
  • 您已在标准或高级模式下启用了模型服务平台。

流程

  1. 更新 OpenShift AI UI 中的 KServe ConfigMap (ferenceservice-config):

    1. 在 OpenShift 控制台中,点击 Workloads ConfigMaps
    2. 从项目下拉列表中,选择 redhat-ods-applications 命名空间。
    3. 查找 inferenceservice-config ConfigMap。
    4. 点击 ConfigMap 的选项菜单(3.3.0),然后点 Edit ConfigMap
    5. 在 logger 键中添加以下参数:

       "caBundle": "kserve-logger-ca-bundle",
       "caCertFile": "service-ca.crt",
       "tlsSkipVerify": false
      Copy to Clipboard Toggle word wrap
    6. 点击 Save
  2. 在模型命名空间中创建 ConfigMap 来保存 CA 证书:

    1. 单击 Create Config Map
    2. 在创建的 ConfigMap 中输入以下代码:

        apiVersion: v1
         kind: ConfigMap
         metadata:
           name: kserve-logger-ca-bundle
           namespace: <your-model-namespace>
           annotations:
             service.beta.openshift.io/inject-cabundle: "true"
         data: {}
      Copy to Clipboard Toggle word wrap
  3. 点击 Save
注意

caBundle 名称可以是任何有效的 Kubernetes 名称,只要它与您在 KServe ConfigMap 中使用的名称匹配。caCertFile 需要与 CA 捆绑包中可用的证书名称匹配。

验证

当您向 KServe Raw 模型发送推测时,TrustyAI 会确认输出日志中的数据捕获。

注意

如果您没有观察 Trusty AI 日志上的任何数据,请完成这些配置步骤并重新部署 pod。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat