3.7. テスト済みで検証済みのモデル提供ランタイム
テストおよび検証済みのランタイムとは、OpenShift AI の特定のバージョンに対してテストおよび検証されたモデル提供ランタイムのコミュニティーバージョンです。
Red Hat は、新しいバージョンの OpenShift AI が存在するたびに、テスト済みで検証済みのランタイムの現在のバージョンをテストします。OpenShift AI リリースサイクルの途中でテストおよび検証済みの新しいバージョンのランタイムがリリースされると、今後のリリースでテストおよび検証が実行されます。
テスト済みで検証済みのランタイムと互換性のあるバージョンの一覧は、OpenShift AI リリースノート で確認できます。
テストおよび検証済みのランタイムは、Red Hat によって直接サポートされていません。追加するテスト済みで検証済みのランタイムを使用するようにライセンスが付与されていることを確認し、それらのランタイムを正しく設定および維持する必要があります。
詳細は、テスト済みおよび検証済みランタイムを OpenShift AI で 参照してください。
| 名前 | 説明 | エクスポートされたモデル形式 |
|---|---|---|
| Nvidia Triton Inference Server | アプリケーションで高速でスケーラブルな AI 用のオープンソースの推論ソフトウェア。 | TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL など |
| 名前 | デフォルトプロトコル | 追加プロトコル | モデルメッシュのサポート | シングルノードの OpenShift サポート | デプロイメントモード |
|---|---|---|---|---|---|
| Nvidia Triton Inference Server | gRPC | REST | はい | はい | raw および serverless |
関連情報
