第 1 章 Red Hat AI 验证模型

Red Hat AI 模型使用开源工具进行验证。您使用的模型类型取决于您如何部署模型。

注意

如果您使用 AI Inference Server 作为 RHEL AI 部署的一部分，请使用 OCI 工件镜像。

如果您使用 AI Inference Server 作为 OpenShift AI 部署的一部分，请使用 ModelCar 镜像。

红帽使用 GuideLLM 用于性能基准测试和语言模型评估，以实现准确性评估。

探索 Hugging Face 上的 Red Hat AI 验证模型集合。

重要

AMD GPU 支持 FP8 (W8A8)和 GGUF 量化变体模型。如需更多信息，请参阅支持的硬件。

1.1. Red Hat AI 验证模型 - 2025 年 10 月收集
复制链接

红帽 AI 在 Hugging Face 上提供以下模型验证是否与红帽 AI Inference Server 搭配使用。

Expand

表 1.1. Red Hat AI 验证模型 - 2025 年 10 月收集
model	Quantized 变体	Hugging Face model 卡	验证于
gpt-oss-120b	None	Baseline	RHAIIS 3.2.2 RHOAI 2.25
gpt-oss-20b	None	Baseline	RHAIIS 3.2.2 RHOAI 2.25
NVIDIA-Nemotron-Nano-9B-v2	INT4, FP8	INT4 FP8	RHAIIS 3.2.2 RHOAI 2.25
Qwen3-Coder-480B-A35B-Instruct	FP8	FP8	RHAIIS 3.2.2 RHOAI 2.25
Voxtral-Mini-3B-2507	FP8	FP8	RHAIIS 3.2.2 RHOAI 2.25
whisper-large-v3-turbo	INT4	INT4	RHAIIS 3.2.2 RHOAI 2.25