第 2 章 配置 TrustyAI


要为数据科学家在 OpenShift AI 中配置带有 TrustyAI 的模型监控,集群管理员需要执行以下任务:

  • 为模型服务平台配置监控
  • 在 Red Hat OpenShift AI Operator 中启用 TrustyAI 组件
  • 如果要使用数据库而不是带有 TrustyAI 的存储的 PVC,将 TrustyAI 配置为使用数据库。
  • 在包含数据科学家要监控的模型的每个数据科学项目上安装 TrustyAI 服务

2.1. 为您的模型服务平台配置监控

OpenShift AI 提供以下模型服务平台:

单模式服务平台
为了部署大型模型,如大型语言模型(LLMs),OpenShift AI 包括一个单一模型服务平台,它基于 KServe 组件。每个模型都从其自己的模型服务器进行部署。当您需要部署、监控、扩展和维护需要增加资源的大型模型时,请使用单一模型服务平台。
多型号服务平台
为了部署小型和中型模型,OpenShift AI 包含一个基于 ModelMesh 组件的多模式服务平台。在多模式服务平台上,您可以在相同的模型服务器上部署多种模型。部署的每个模型共享服务器资源。这种方法对于具有有限计算资源或 Pod 的 OpenShift AI 集群非常有用。

为单个(KServe)或多模型(ModelMesh)服务平台配置监控的过程相同。

先决条件

流程

  1. 在一个终端窗口中,如果您还没有以集群管理员登录到 OpenShift 集群,请登录 OpenShift CLI,如下例所示:

    $ oc login <openshift_cluster_url> -u <admin_username> -p <password>
    Copy to Clipboard Toggle word wrap
  2. 在名为 uwm-cm-conf.yaml 的 YAML 文件中定义 ConfigMap 对象,其内容如下:

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: user-workload-monitoring-config
      namespace: openshift-user-workload-monitoring
    data:
      config.yaml: |
        prometheus:
          logLevel: debug
          retention: 15d
    Copy to Clipboard Toggle word wrap

    user-workload-monitoring-config 对象配置监控用户定义的项目的组件。观察到保留时间被设置为推荐的值 15 天。

  3. 应用配置以创建 user-workload-monitoring-config 对象。

    $ oc apply -f uwm-cm-conf.yaml
    Copy to Clipboard Toggle word wrap
  4. 在名为 uwm-cm-enable.yaml 的 YAML 文件中定义另一个 ConfigMap 对象,其内容如下:

    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: cluster-monitoring-config
      namespace: openshift-monitoring
    data:
      config.yaml: |
        enableUserWorkload: true
    Copy to Clipboard Toggle word wrap

    cluster-monitoring-config 对象为用户定义的项目启用监控。

  5. 应用配置以创建 cluster-monitoring-config 对象。

    $ oc apply -f uwm-cm-enable.yaml
    Copy to Clipboard Toggle word wrap
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat