3.7. テストおよび検証済みのモデルサービングランタイム
テストおよび検証済みのランタイムは、OpenShift AI の特定のバージョンに対してテストおよび検証されたモデルサービングランタイムのコミュニティーバージョンです。
Red Hat は、OpenShift AI の新しいバージョンがリリースされるたびに、テストおよび検証済みのランタイムの最新バージョンをテストします。テストおよび検証済みのランタイムの新しいバージョンが OpenShift AI リリースサイクルの途中でリリースされた場合、今後のリリースでテストおよび検証されます。
テスト済みで検証済みのランタイムと互換性のあるバージョンの一覧は、OpenShift AI リリースノート で確認できます。
テストおよび検証済みのランタイムは、Red Hat によって直接サポートされません。お客様が責任を持って追加するテスト済みおよび検証済みのランタイムを使用するライセンスがあることを確認して正しく設定および保守するようにしてください。
詳細は、OpenShift AI でテストおよび検証されたランタイム を参照してください。
| 名前 | 説明 | エクスポートされたモデル形式 |
|---|---|---|
| NVIDIA Triton Inference Server | アプリケーションにおける高速かつスケーラブルな AI を実現するオープンソースの推論サービスソフトウェア。 | TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL など |
| 名前 | デフォルトプロトコル | 追加プロトコル | モデルメッシュのサポート | シングルノードの OpenShift サポート | デプロイメントモード |
|---|---|---|---|---|---|
| NVIDIA Triton Inference Server | gRPC | REST | はい | はい | raw および serverless |
関連情報
