Red Hat AI の概要

Red Hat Enterprise Linux AI (RHEL AI) を使用すると、大規模言語モデル (LLM) を直接カスタマイズして貢献できるようになります。RHEL AI は、LAB (Large-Scale Alignment for Chatbots) と呼ばれる微調整アプローチを使用する InstructLab プロジェクトをベースに構築されています。LAB メソッドでは、Synthetic Data generation (SDG) とマルチフェーズトレーニングフレームワークを使用して、高品質の微調整済み LLM を生成します。

RHEL AI は、起動可能な Red Hat Enterprise Linux (RHEL) コンテナーイメージとしてインストールできます。各イメージは、NVIDIA、AMD、Intel など、特定のハードウェアアクセラレーター用に設定されており、さまざまな推論サービスおよび微調整ツールが含まれています。

独自のデータを使用してシードファイルを作成し、合成データを生成し、対話およびデプロイできる Granite スターターモデルをトレーニングできます。

Red Hat OpenShift AI は、ハイブリッドクラウド環境とエッジ全体で人工知能と機械学習 (AI/ML) の開発と運用を効率化するように設計された包括的な MLOps プラットフォームです。これにより、データサイエンティストと開発者のコラボレーションが促進されるだけでなく、IT 部門が監督する状態が保たれるため、組織が予測 AI および生成 AI モデルを効率的に構築、トレーニング、微調整、デプロイできるようになります。

OpenShift AI はセルフマネージド版とクラウドサービス版の両方で提供されており、Red Hat OpenShift の堅牢な基盤の上に構築されています。これにより、パブリッククラウド、オンプレミス、エッジ環境にわたって、AI 対応アプリケーションや機械学習モデルを安全かつ大規模にデプロイできる信頼性の高いプラットフォームを提供します。

Red Hat OpenShift AI は、幅広いテクノロジーエコシステムを活用することで、AI/ML のイノベーションを加速し、運用の一貫性を確保し、ハイブリッドクラウドの柔軟性を高め、透明性、選択の自由、責任ある AI の実践を支援します。

Red Hat AI Inference Server は、オープンソースの vLLM プロジェクト を基盤として、エンタープライズグレードの安定性とセキュリティーを備えた高度な推論機能を提供します。

AI 推論サーバーは、継続的なバッチ処理とテンソル並列処理 (Tensor Parallel) を使用して、レイテンシーを短縮し、スループットを向上させます。連続バッチ処理では、バッチ全体が蓄積されるまで待機するのではなく、モデル要求が到着するとすぐに処理されます。テンソル並列処理により、LLM ワークロードが複数の GPU に分散されます。

推論モデルのコストを削減するために、AI Inference Server はページングされたアテンションを使用します。LLM は、ユーザーとの会話を理解するためにアテンションと呼ばれるメカニズムを使用します。通常、アテンションは大量のメモリーが使用され、その多くは無駄になっています。ページングアテンションは、オペレーティングシステムの仮想メモリーの動作と同様に、LLM にメモリーをプロビジョニングすることで、このメモリーの浪費に対処します。このアプローチではメモリーの消費量が少なくなり、コストが削減されます。

Red Hat AI Inference Server には次の機能があります。