Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

第 1 章 Red Hat AI 验证模型

下表列出了用于 Red Hat AI Inference Server 3.1 的 Red Hat AI 验证模型。

  • 如果您使用 AI Inference Server 作为独立产品，请使用 Hugging Face 镜像。
  • 如果您使用 AI Inference Server 作为 RHEL AI 部署的一部分，请使用模型 OCI 工件镜像。
  • 如果您使用 AI Inference Server 作为 OpenShift AI 部署的一部分，请使用 model ModelCar 镜像。
重要

AMD GPU 支持 FP8 (W8A8)和 GGUF 量化变体模型。如需更多信息，请参阅 支持的硬件。

Expand
表 1.1. Red Hat AI 验证模型
modelQuantized 变体Hugging Face model 卡 [1]OCI 工件镜像 [2]ModelCar 镜像 [3]

Llama-4-Scout-17B-16E-Instruct

INT4, FP8

  • 基准：

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-fp8-dynamic:1.5

Llama-4-Maverick-17B-128E-Instruct

FP8

  • 基准：

    registry.redhat.io/rhelai1/llama-4-maverick-17b-128e-instruct:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-4-maverick-17b-128e-instruct-fp8:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-llama-4-maverick-17b-128e-instruct:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-4-maverick-17b-128e-instruct-fp8:1.5

Mistral-Small-3.1-24B-Instruct-2503

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503:1.5

  • INT4：

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-fp8-dynamic:1.5

Llama-3.3-70B-Instruct

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-fp8-dynamic:1.5

Llama-3.1-8B-Instruct

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-fp8-dynamic:1.5

granite-3.1-8b-instruct

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-fp8-dynamic:1.5

phi-4

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/phi-4:1.5

  • INT4：

    registry.redhat.io/rhelai1/phi-4-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/phi-4-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/phi-4-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-phi-4:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-phi-4-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-phi-4-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-phi-4-fp8-dynamic:1.5

Qwen2.5-7B-Instruct

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-fp8-dynamic:1.5

Mistral-Small-24B-Instruct-2501

INT4, INT8, FP8

  • 基准：

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501:1.5

  • INT4：

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-fp8-dynamic:1.5

Mixtral-8x7B-Instruct-v0.1

None

  • 基准：

    registry.redhat.io/rhelai1/mixtral-8x7b-instruct-v0-1:1.4

  • 基准：

    registry.redhat.io/rhelai1/modelcar-mixtral-8x7b-instruct-v0-1:1.4

granite-3.1-8b-base

INT4 （当前不可用的基准）

  • INT4：

    registry.redhat.io/rhelai1/granite-3-1-8b-base-quantized-w4a16:1.5

  • INT4：

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-base-quantized-w4a16:1.5

granite-3.1-8b-starter-v2

None

  • Hugging Face 上不可用

  • 基准：

    registry.redhat.io/rhelai1/granite-3.1-8b-starter-v2:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-starter-v2:1.5

Llama-3.1-Nemotron-70B-Instruct-HF

FP8

  • 基准：

    registry.redhat.io/rhelai1/llama-3-1-nemotron-70b-instruct-hf:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-1-nemotron-70b-instruct-hf-fp8-dynamic:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-llama-3-1-nemotron-70b-instruct-hf:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-nemotron-70b-instruct-hf-fp8-dynamic:1.5

gemma-2-9b-it

FP8

  • 基准：

    registry.redhat.io/rhelai1/gemma-2-9b-it:1.5

  • FP8:

    registry.redhat.io/rhelai1/gemma-2-9b-it-fp8:1.5

  • 基准：

    registry.redhat.io/rhelai1/modelcar-gemma-2-9b-it:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-gemma-2-9b-it-fp8:1.5

  1. 与独立的 Red Hat AI Inference Server 一起使用
  2. 用于 RHEL AI
  3. 用于 Red Hat OpenShift AI
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2026 Red Hat返回顶部