第 2 章支持的 AI 加速器

下表列出了 Red Hat AI Inference Server 3.0 支持的 AI 加速器。

表 2.1. 支持 NVIDIA AI 加速器
容器镜像	vLLM release	AI 加速器	要求	vLLM 架构支持	LLM Compressor 支持
`rhaiis/vllm‑cuda-rhel9`	vLLM 0.8.4	Turing Ampere ada Hopper	CUDA Toolkit 12.4 NVIDIA Container Toolkit 1.14 NVIDIA GPU Operator 24.3	x86 Aarch64 开发人员预览	x86 技术预览

表 2.2. 支持的 AMD AI 加速器
容器镜像	vLLM release	AI 加速器	要求	vLLM 架构支持	LLM Compressor 支持
`rhaiis/vllm‑rocm-rhel9`	vLLM 0.8.4	AMD Instinct MI210 AMD Instinct MI300X	ROCm 6.2 AMD GPU Operator 6.2	x86	x86 技术预览

表 2.3. 支持 Google TPU AI 加速器
容器镜像	vLLM release	AI 加速器	要求	vLLM 架构支持	LLM Compressor 支持
`rhaiis/vllm‑xla-rhel9`	vLLM 0.8.5	Google TPU v6e	PyTorch/XLA 2.8.0	x86 开发人员预览	不支持

返回顶部

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。了解我们当前的更新.

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

第 2 章 支持的 AI 加速器