2.15. 查看单模型服务平台的模型运行时指标

流程

1. 登录 OpenShift Web 控制台。
2. 切换到 Developer 视角。
3. 在左侧菜单中，点 Observe。

4. 如监控 项目指标 中所述，使用 Web 控制台运行对模型运行时指标的查询。您还可以对与 OpenShift Service Mesh 相关的指标运行查询。此时会显示一些示例。

   1. 以下查询显示了使用 vLLM 运行时部署模型的时间段内成功推测请求数：

      sum(increase(vllm:request_success_total{namespace=${namespace},model_name=${model_name}}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap
      注意

      某些 vLLM 指标仅在由部署的模型处理了一个 inference 请求后可用。要生成并查看这些指标，您必须首先对模型发出 inference 请求。

   2. 以下查询显示了使用独立 TGIS 运行时部署的模型的成功推测请求数：

      sum(increase(tgi_request_success{namespace=${namespace}, pod=~${model_name}-predictor-.*}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap

   3. 以下查询显示了使用 Caikit Standalone 运行时部署的模型的成功 inference 请求数量：

      sum(increase(predict_rpc_count_total{namespace=${namespace},code=OK,model_id=${model_name}}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap

   4. 以下查询显示了使用 OpenVINO Model Server 运行时部署的模型的成功 inference 请求数量：

      sum(increase(ovms_requests_success{namespace=${namespace},name=${model_name}}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap