4.9. モデルサーバー上のすべてのモデルのパフォーマンスメトリクスの表示
モデルサーバーにデプロイされているすべてのモデルについて、次のメトリクスを監視できます。
- 5 分あたりの HTTP リクエスト数 - サーバー上のすべてのモデルに対して失敗または成功した HTTP リクエストの数。
- 平均応答時間 (ミリ秒) - サーバー上のすべてのモデルについて、モデルサーバーがリクエストに応答するのにかかる平均時間。
- CPU 使用率 (%) - サーバー上のすべてのモデルで現在使用されている CPU 容量の割合。
- メモリー使用率 (%) - サーバー上のすべてのモデルで現在使用されているシステムメモリーの割合。
これらのメトリクスの時間範囲と更新間隔を指定すると、使用量のピーク時間帯や、指定した時間におけるモデルのパフォーマンスなどを判断するのに役立ちます。
前提条件
- Red Hat OpenShift AI がインストール済みである。
- OpenShift AI がインストールされている OpenShift クラスターで、ユーザーのワークロードモニタリングが有効化されている。
- Red Hat OpenShift AI にログインしている。
- マルチモデルサービングプラットフォームにモデルがデプロイされている。
手順
OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。
Data science projects のページが開きます。
- 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
- プロジェクトの詳細ページで、Models タブをクリックします。
- 関心のあるモデルサーバーの行で、アクションメニュー (⋮) をクリックしてから、View model server metrics を選択します。
オプション: モデルサーバーのメトリクスページで、次のオプションを設定します。
- 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
- 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
- 下にスクロールすると、5 分あたりの HTTP リクエスト、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。
検証
モデルサーバーのメトリクスページでは、グラフによってパフォーマンスメトリクスに関するデータが提供されます。