3.3. 为多模型服务平台配置监控
多型号服务平台包括 ModelMesh 组件的模型和模型服务器指标。ModelMesh 生成自己的指标集合,不依赖于底层模型定义运行时来提供它们。ModelMesh 生成的指标集合包括模型请求率和时间的指标、模型加载和卸载率、时间和大小、内部排队延迟、容量和使用情况、缓存状态以及最早使用的模型。如需更多信息,请参阅 ModelMesh 指标。
配置监控后,您可以查看 ModelMesh 组件的指标。
先决条件
- 具有集群管理员特权。
- 您已下载并安装 OpenShift 命令行界面 (CLI)。请参阅安装 OpenShift CLI。
- 您熟悉为监控用户定义的工作流 创建配置映射。您将在此流程中执行类似的步骤。
- 您熟悉 为 OpenShift 中的用户定义的项目启用监控。您将在此流程中执行类似的步骤。
-
您已将
monitoring-rules-view角色分配给将监控指标的用户。https://docs.redhat.com/en/documentation/openshift_container_platform/4.18/html/monitoring/configuring-user-workload-monitoring#granting-users-permission-to-monitor-user-defined-projects_preparing-to-configure-the-monitoring-stack-uwm
流程
在一个终端窗口中,如果您还没有以集群管理员登录到 OpenShift 集群,请登录 OpenShift CLI,如下例所示:
oc login <openshift_cluster_url> -u <admin_username> -p <password>
$ oc login <openshift_cluster_url> -u <admin_username> -p <password>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在名为
uwm-cm-conf.yaml的 YAML 文件中定义ConfigMap对象,其内容如下:Copy to Clipboard Copied! Toggle word wrap Toggle overflow user-workload-monitoring-config对象配置监控用户定义的项目的组件。观察到保留时间被设置为推荐的值 15 天。应用配置以创建
user-workload-monitoring-config对象。oc apply -f uwm-cm-conf.yaml
$ oc apply -f uwm-cm-conf.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 在名为
uwm-cm-enable.yaml的 YAML 文件中定义另一个ConfigMap对象,其内容如下:Copy to Clipboard Copied! Toggle word wrap Toggle overflow cluster-monitoring-config对象为用户定义的项目启用监控。应用配置以创建
cluster-monitoring-config对象。oc apply -f uwm-cm-enable.yaml
$ oc apply -f uwm-cm-enable.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow