第 2 章支持的 AI 加速器

下表列出了 Red Hat AI Inference Server 3.1 支持的 AI 加速器。

重要

Red Hat AI Inference Server 3.1 与 CUDA 版本不兼容，低于 12.8。

Expand

表 2.1. 支持 NVIDIA AI 加速器
容器镜像	vLLM release	AI 加速器	要求	vLLM 架构支持	LLM Compressor 支持
`rhaiis/vllm‑cuda-rhel9`	vLLM 0.9.0.1	Turing Ampere ada Hopper Blackwell （计算功能 10.0）	CUDA Toolkit 12.8 NVIDIA Container Toolkit 1.14 NVIDIA GPU Operator 24.3 Python 3.12 PyTorch 2.7.0	x86 Aarch64 开发人员预览	x86 技术预览

Expand

表 2.2. 支持的 AMD AI 加速器
容器镜像	vLLM release	AI 加速器	要求	vLLM 架构支持	LLM Compressor 支持
`rhaiis/vllm‑rocm-rhel9`	vLLM 0.8.4	AMD Instinct MI210 AMD Instinct MI300X	ROCm 6.2 AMD GPU Operator 6.2 Python 3.12 PyTorch 2.7.0	x86	x86 技术预览

Expand

表 2.3. 支持 Google TPU AI 加速器
容器镜像	vLLM release	AI 加速器	要求	vLLM 架构支持	LLM Compressor 支持
`rhaiis/vllm‑xla-rhel9`	vLLM 0.8.5	Google TPU v6e	Python 3.12 PyTorch 2.7.0	x86 开发人员预览	不支持

第 2 章 支持的 AI 加速器