Red Hat Summit Red Hat Summitサポートコンソール開発者トライアルの開始お問い合わせ

検証済みモデル

Red Hat AI Inference Server 3.1

Red Hat AI Inference Server 検証済みモデル

Red Hat AI Documentation Team

概要

Red Hat AI Inference Server で実行できる検証済みモデルを説明します。

はじめに
リンクのコピー

Red Hat は、AI Inference Server でサービングできる検証済みのサードパーティーモデルを提供します。これらのモデルは、Red Hat AI プラットフォーム上で効率的なデプロイメントを実行するために設計されています。モデルはオープンソースツールを使用して検証されます。Red Hat は、パフォーマンスベンチマークに GuideLLM を使用し、精度評価に Language Model Evaluation Harness を使用します。

注記

検証済みモデルは、モデルの詳細とデプロイメント手順と合わせて、Hugging Face の Red Hat AI 検証済みモデル - v1.0 コレクションで確認できます。

第1章 Red Hat AI 検証済みモデル
リンクのコピー

以下の表は、Red Hat AI Inference Server 3.1 で使用する Red Hat AI 検証済みモデルの一覧です。

  • AI Inference Server をスタンドアロン製品として使用している場合は、Hugging Face イメージを使用します。
  • RHEL AI デプロイメントの一部として AI Inference Server を使用している場合は、モデル OCI アーティファクトイメージを使用します。
  • OpenShift AI デプロイメントの一部として AI Inference Server を使用している場合は、モデル ModelCar イメージを使用します。
重要

AMD GPU は、FP8 (W8A8) および GGUF 量子化バリアントモデルのみをサポートします。詳細は、サポートされているハードウェア を参照してください。

Expand
表1.1 Red Hat AI 検証済みモデル
モデル量子化バリアントHugging Face モデルカード [1]OCI アーティファクトイメージ [2]ModelCar イメージ [3]

Llama-4-Scout-17B-16E-Instruct

INT4、FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-4-scout-17b-16e-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-quantized-w4a16:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-4-scout-17b-16e-instruct-fp8-dynamic:1.5

Llama-4-Maverick-17B-128E-Instruct

FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-4-maverick-17b-128e-instruct:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-4-maverick-17b-128e-instruct-fp8:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-4-maverick-17b-128e-instruct:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-4-maverick-17b-128e-instruct-fp8:1.5

Mistral-Small-3.1-24B-Instruct-2503

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503:1.5

  • INT4:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/mistral-small-3-1-24b-instruct-2503-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-3-1-24b-instruct-2503-fp8-dynamic:1.5

Llama-3.3-70B-Instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-3-70b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-3-70b-instruct-fp8-dynamic:1.5

Llama-3.1-8B-Instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-1-8b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-8b-instruct-fp8-dynamic:1.5

granite-3.1-8b-instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/granite-3-1-8b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-instruct-fp8-dynamic:1.5

phi-4

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/phi-4:1.5

  • INT4:

    registry.redhat.io/rhelai1/phi-4-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/phi-4-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/phi-4-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-phi-4:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-phi-4-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-phi-4-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-phi-4-fp8-dynamic:1.5

Qwen2.5-7B-Instruct

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/qwen2-5-7b-instruct-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-qwen2-5-7b-instruct-fp8-dynamic:1.5

Mistral-Small-24B-Instruct-2501

INT4、INT8、FP8

  • Baseline:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501:1.5

  • INT4:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/mistral-small-24b-instruct-2501-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-quantized-w4a16:1.5

  • INT8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-quantized-w8a8:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-mistral-small-24b-instruct-2501-fp8-dynamic:1.5

Mixtral-8x7B-Instruct-v0.1

なし

  • Baseline:

    registry.redhat.io/rhelai1/mixtral-8x7b-instruct-v0-1:1.4

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-mixtral-8x7b-instruct-v0-1:1.4

granite-3.1-8b-base

INT4 (baseline は現在利用できません)

  • INT4:

    registry.redhat.io/rhelai1/granite-3-1-8b-base-quantized-w4a16:1.5

  • INT4:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-base-quantized-w4a16:1.5

granite-3.1-8b-starter-v2

なし

  • Hugging Face では利用できません

  • Baseline:

    registry.redhat.io/rhelai1/granite-3.1-8b-starter-v2:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-granite-3-1-8b-starter-v2:1.5

Llama-3.1-Nemotron-70B-Instruct-HF

FP8

  • Baseline:

    registry.redhat.io/rhelai1/llama-3-1-nemotron-70b-instruct-hf:1.5

  • FP8:

    registry.redhat.io/rhelai1/llama-3-1-nemotron-70b-instruct-hf-fp8-dynamic:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-nemotron-70b-instruct-hf:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-llama-3-1-nemotron-70b-instruct-hf-fp8-dynamic:1.5

gemma-2-9b-it

FP8

  • Baseline:

    registry.redhat.io/rhelai1/gemma-2-9b-it:1.5

  • FP8:

    registry.redhat.io/rhelai1/gemma-2-9b-it-fp8:1.5

  • Baseline:

    registry.redhat.io/rhelai1/modelcar-gemma-2-9b-it:1.5

  • FP8:

    registry.redhat.io/rhelai1/modelcar-gemma-2-9b-it-fp8:1.5

  1. スタンドアロンの Red Hat AI Inference Server で使用する
  2. RHEL AI で使用する
  3. Red Hat OpenShift AI で使用する

法律上の通知
リンクのコピー

Copyright © 2025 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.
トップに戻る
Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2025 Red Hat