第1章 バージョン 3.2.1 リリースノート

Red Hat AI Inference Server 3.2.1 リリースは、NVIDIA CUDA、AMD ROCm、および Google TPU AI アクセラレーター向けの大規模言語モデル (LLM) を使用して推論を最適化するコンテナーイメージを提供します。コンテナーイメージは、registry.redhat.io から入手できます。

Red Hat AI Inference Server 3.2.1 には、アップストリーム vLLM v0.10.0 リリースがパッケージ化されています。

更新の完全なリストは、アップストリームの vLLM v0.10.0 リリースノート で確認できます。

Red Hat AI Inference Server でサポートされる製品とハードウェア設定が拡張されました。詳細は サポートされている製品およびハードウェア設定 を参照してください。