Red Hat SummitRed Hat AI Inference Server 3.2
Related Products
Red Hat Enterprise Linux AI
Find release notes and product documentation for using the Enterprise Linux AI foundation model platform to consistently develop, test, and run large language models (LLMs) in enterprise applications
Red Hat OpenShift AI
Find release notes and product documentation for using the OpenShift AI platform and its integrated MLOps capabilities to manage predictive and generative AI models at scale
Welcome
リリースノート
Red Hat AI Inference Server リリースの新機能と変更点のハイライト
スタートガイド
Red Hat AI Inference Server のスタートガイド
検証済みモデル
Red Hat AI Inference Server 検証済みモデル
サポート対象の製品とハードウェア設定
Red Hat AI Inference Server のデプロイでサポート対象のハードウェアおよびソフトウェア設定
非接続環境での Red Hat AI Inference Server のインストール
OpenShift Container Platform とオフラインのミラーイメージレジストリーを使用して、非接続環境に Red Hat AI Inference Server をインストールします。
Red Hat AI Inference Server の OpenShift Container Platform へのデプロイ
サポートされている AI アクセラレーターがインストールされている OpenShift Container Platform クラスターに Red Hat AI Inference Server をデプロイする
非接続環境での Red Hat AI Inference Server のデプロイ
OpenShift Container Platform とオフラインのミラーイメージレジストリーを使用して、非接続環境に Red Hat AI Inference Server をデプロイします。
Inference Operations
OCI 準拠のモデルコンテナーの推論サービング言語モデル
Red Hat AI Inference Server における OCI 準拠モデルの推論
vLLM のサーバー引数
Red Hat AI Inference Server を実行するためのサーバー引数
LLM Compressor
LLM Compressor ライブラリーを使用した大規模言語モデルの圧縮
Additional Resources
Product life cycle
Understand the product life cycle to plan deployments and support applications using the product
Red Hat AI learning hub
Explore a curated collection of learning resources designed to help you accomplish key tasks with Red Hat AI products and services
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}