サポート対象の製品とハードウェア設定
Red Hat AI Inference Server のデプロイでサポート対象のハードウェアおよびソフトウェア設定
概要
はじめに リンクのコピーリンクがクリップボードにコピーされました!
このドキュメントでは、Red Hat AI Inference Server を実稼働環境での実行に使用できる、サポート対象のハードウェア、ソフトウェア、および配信プラットフォームを説明します。
テクノロジープレビュー と 開発者プレビュー 機能は、新機能候補への早期アクセスとして提供されます。
テクノロジープレビューまたは開発者プレビュー機能は、実稼働ワークロードではサポートされておらず、推奨もされません。
第1章 製品とバージョンの互換性 リンクのコピーリンクがクリップボードにコピーされました!
次の表は、Red Hat AI Inference Server 3.0 でサポートされている製品バージョンを示しています。
| 製品 | サポート対象バージョン |
|---|---|
| Red Hat AI Inference Server | 3.0 |
| vLLM core | 0.8.4 |
| LLM Compressor | 0.5.1 テクノロジープレビュー |
第2章 サポート対象の AI アクセラレーター リンクのコピーリンクがクリップボードにコピーされました!
次の表は、Red Hat AI Inference Server 3.0 でサポートされている AI アクセラレーターのリストです。
| コンテナーイメージ | vLLM リリース | AI アクセラレーター | 要件 | vLLM アーキテクチャーのサポート | LLM Compressor のサポート |
|---|---|---|---|---|---|
|
| vLLM 0.8.4 |
|
| x86 テクノロジープレビュー |
| コンテナーイメージ | vLLM リリース | AI アクセラレーター | 要件 | vLLM アーキテクチャーのサポート | LLM Compressor のサポート |
|---|---|---|---|---|---|
|
| vLLM 0.8.4 |
| x86 | x86 テクノロジープレビュー |
| コンテナーイメージ | vLLM リリース | AI アクセラレーター | 要件 | vLLM アーキテクチャーのサポート | LLM Compressor のサポート |
|---|---|---|---|---|---|
|
| vLLM 0.8.5 | Google TPU v6e | x86 開発者プレビュー | サポート対象外 |
第3章 サポートされるデプロイメント環境 リンクのコピーリンクがクリップボードにコピーされました!
Red Hat AI Inference Server では次のデプロイメント環境がサポートされています。
| 環境 | サポート対象バージョン | デプロイメントノート |
|---|---|---|
| OpenShift Container Platform (セルフマネージド) | 4.14 – 4.18 | ベアメタルホストまたは仮想マシンにデプロイします。 |
| Red Hat OpenShift Service on AWS (ROSA) | 4.14 – 4.18 | GPU 対応の P5 または G5 ノードタイプを備えた ROSA STS クラスター が必要です。 |
| Red Hat Enterprise Linux (RHEL) | 9.2 – 10.0 | ベアメタルホストまたは仮想マシンにデプロイします。 |
| Linux (RHEL ではない) | - | ベアメタルホストまたは仮想マシンにデプロイされたサードパーティーポリシーの下でサポートされます。OpenShift Container Platform Operator は必要ありません。 |
| Kubernetes (OpenShift Container Platform ではない) | - | ベアメタルホストまたは仮想マシンにデプロイされたサードパーティーポリシーの下でサポートされます。 |
Red Hat AI Inference Server は、コンテナーイメージとしてのみ利用できます。ホストオペレーティングシステムとカーネルは、必要なアクセラレータードライバーをサポートしている必要があります。詳細は、サポート対象の AI アクセラレーター を参照してください。
第4章 GPU デプロイメントにおける OpenShift Container Platform ソフトウェアの前提条件 リンクのコピーリンクがクリップボードにコピーされました!
次の表は、GPU デプロイメントにおける OpenShift Container Platform ソフトウェアの前提条件を示しています。
| コンポーネント | 最小バージョン | 演算子 |
|---|---|---|
| NVIDIA GPU Operator | 24.3 | |
| AMD GPU Operator | 6.2 | |
| Node Feature Discovery [1] | 4.14 |
[1] OpenShift Container Platform にはデフォルトで含まれています。NUMA 対応ワークロードをスケジュールする には、Node Feature Discovery が必要です。
第5章 ライフサイクルおよび更新ポリシー リンクのコピーリンクがクリップボードにコピーされました!
セキュリティーおよび重大なバグ修正は、registry.access.redhat.com/rhaiis コンテナーレジストリーから入手可能なコンテナーイメージとして提供され、RHSA アドバイザリーで発表されます。詳細は、catalog.redhat.com の RHAIIS コンテナーイメージ を参照してください。