Red Hat Summit第2章 新機能および機能拡張
このセクションでは、Red Hat OpenShift AI 2.17 の新機能と拡張機能を説明します。
2.1. 新機能
- NVIDIA NIM メトリクスのサポート
NVIDIA NIM モデルサービングプラットフォームにデプロイされた NIM モデルのメトリクスを表示できるようになりました。利用可能なメトリクスは次のとおりです。
- GPU キャッシュ使用量の経時変化
- 現在実行中、待機中、および最大のリクエスト数
- トークン数
- 最初のトークンまでの時間
- 出力トークンあたりの時間
- リクエストの結果
詳細は、NVIDIA NIM モデルサービングプラットフォームについて を参照してください。
注記
2.17 では、新しいデプロイメントに対して NIM メトリクスが自動的に有効になります。以前のバージョンの Red Hat OpenShift AI から 2.17 にアップグレードし、既存の NIM デプロイメントがある場合は、デプロイメントの NIM メトリクスを手動で有効にする必要があります。詳細は、NVIDIA NIM モデルサービングプラットフォームのドキュメント を参照してください。
