Red Hat Summit Red Hat Summitサポートコンソール開発者トライアルの開始お問い合わせ

第1章 Red Hat AI 検証済みモデル

以下の表は、Red Hat AI Inference Server 3.0 で使用する Red Hat AI 検証済みモデルの一覧です。

  • AI Inference Server をスタンドアロン製品として使用している場合は、Hugging Face イメージを使用します。
  • RHEL AI デプロイメントの一部として AI Inference Server を使用している場合は、モデル OCI アーティファクトイメージを使用します。
  • OpenShift AI デプロイメントの一部として AI Inference Server を使用している場合は、モデル ModelCar イメージを使用します。
重要

AMD GPU は、FP8 (W8A8) および GGUF 量子化バリアントモデルのみをサポートします。詳細は、サポートされているハードウェア を参照してください。

Expand
表1.1 Red Hat AI 検証済みモデル
モデル量子化バリアントHugging Face モデルカード [1]OCI アーティファクトイメージ [2]ModelCar イメージ [3]

Llama-4-Scout-17B-16E-Instruct

INT4、FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-fp8-dynamic:1.5

Llama-4-Maverick-17B-128E-Instruct

FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-4-maverick-17b-128e-instruct:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-4-maverick-17b-128e-instruct-fp8:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-4-maverick-17b-128e-instruct:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-4-maverick-17b-128e-instruct-fp8:1.5

Mistral-Small-3.1-24B-Instruct-2503

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503:1.5

  • INT4:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-fp8-dynamic:1.5

Llama-3.3-70B-Instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-fp8-dynamic:1.5

Llama-3.1-8B-Instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-fp8-dynamic:1.5

granite-3.1-8b-instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-fp8-dynamic:1.5

phi-4

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/phi-4:1.5

  • INT4:

    registry.redhat.io/rhelai1/phi-4-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/phi-4-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/phi-4-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-phi-4:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-phi-4-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-phi-4-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-phi-4-fp8-dynamic:1.5

Qwen2.5-7B-Instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-fp8-dynamic:1.5

Mistral-Small-24B-Instruct-2501

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501:1.5

  • INT4:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-fp8-dynamic:1.5

Mixtral-8x7B-Instruct-v0.1

なし

  • Baseline:

    registry.redhat.io/rhelai1/mixtral-8x7b-instruct-v0-1:1.4

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-mixtral-8x7b-instruct-v0-1:1.4

granite-3.1-8b-base

INT4 (baseline は現在利用できません)

  • INT4:

    registry.redhat.io/rhelai1/granite-3-1-8b-base-quantized-w4a16:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-base-quantized-w4a16:1.5

granite-3.1-8b-starter-v2

なし

  • Hugging Face では利用できません

  • Baseline:

    registry.redhat.io/rhelai1/granite-3.1-8b-starter-v2:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-starter-v2:1.5

Llama-3.1-Nemotron-70B-Instruct-HF

FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-3-1-nemotron-70b-instruct-hf:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-1-nemotron-70b-instruct-hf-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-nemotron-70b-instruct-hf:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-nemotron-70b-instruct-hf-fp8-dynamic:1.5

gemma-2-9b-it

FP8

  • Baseline:

    registry.redhat.io/rhelai1/gemma-2-9b-it:1.5

  • FP8:

    registry.redhat.io/rhelai1/gemma-2-9b-it-fp8:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-gemma-2-9b-it:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-gemma-2-9b-it-fp8:1.5

  1. スタンドアロンの Red Hat AI Inference Server で使用する
  2. RHEL AI で使用する
  3. Red Hat OpenShift AI で使用する
Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2026 Red Hatトップに戻る