第2章 サポート対象の AI アクセラレーター
次の表は、Red Hat AI Inference Server 3.1 でサポートされている AI アクセラレーターのリストです。
Red Hat AI Inference Server 3.1 は、CUDA バージョン 12.8 より前とは互換性がありません。
| コンテナーイメージ | vLLM リリース | AI アクセラレーター | 要件 | vLLM アーキテクチャーのサポート | LLM Compressor のサポート |
|---|---|---|---|---|---|
|
| vLLM 0.9.0.1 |
|
| x86 テクノロジープレビュー |
| コンテナーイメージ | vLLM リリース | AI アクセラレーター | 要件 | vLLM アーキテクチャーのサポート | LLM Compressor のサポート |
|---|---|---|---|---|---|
|
| vLLM 0.8.4 |
| x86 | x86 テクノロジープレビュー |
| コンテナーイメージ | vLLM リリース | AI アクセラレーター | 要件 | vLLM アーキテクチャーのサポート | LLM Compressor のサポート |
|---|---|---|---|---|---|
|
| vLLM 0.8.5 | Google TPU v6e | x86 開発者プレビュー | サポート対象外 |