1.2. 新機能および機能拡張

RHEL AI バージョン 1.5 では、NVIDIA H200 アクセラレーターを推論サービングに使用し、完全なエンドツーエンドのワークフローを実行できるようになりました。RHEL AI 環境を初期化するときに、マシンのアクセラレーターの数に一致する H200 プロファイルを選択してください。RHEL AI でサポートされているハードウェアの詳細は、Red Hat Enterprise Linux AI のハードウェア要件 を参照してください。

RHEL AI バージョン 1.5 では、テクノロジープレビューとして、NVIDIA H200 アクセラレーターを推論サービングに使用できるようになりました。RHEL AI には、デフォルトで Grace Hopper アクセラレーターのシステムプロファイルが含まれていません。GH200 アクセラレーターを使用するには、h200_x1 プロファイルを使用して RHEL AI 環境を初期化し、config.yaml ファイルに max_startup_attempts: 1200 パラメーターを追加します。

ilab config edit

$ ilab config edit

serve:
vllm:
    gpus: 1
    llm_family: ''
    max_startup_attempts: 1200
    vllm_args: ["--tensor-parallel-size", "1"]

serve:
vllm:
    gpus: 1
    llm_family: ''
    max_startup_attempts: 1200
    vllm_args: ["--tensor-parallel-size", "1"]

AMD MI300X アクセラレーターが一般提供になり、推論サービングと完全なエンドツーエンドのワークフローの実行に使用できるようになりました。RHEL AI でサポートされているハードウェアの詳細は、Red Hat Enterprise Linux AI のハードウェア要件 を参照してください。

ilab config init コマンドを実行して、RHEL AI 環境を初期化して設定できます。このコマンドは、RHEL AI の操作とモデルのファインチューニングに必要な設定を作成します。また、データファイル用の適切なディレクトリーも作成します。InstructLab の初期化の詳細は、InstructLab の初期化 ドキュメントを参照してください。

Red Hat が提供するさまざまな大規模言語モデル (LLM) を RHEL AI マシンまたはインスタンスにダウンロードできます。Red Hat レジストリーアカウントを作成してログインすると、Red Hat レジストリーからこれらのモデルをダウンロードできます。サポートされている RHEL AI の LLM の詳細は、モデルのダウンロード のドキュメントと「大規模言語モデル (LLM) のテクノロジープレビューステータス」を参照してください。

Red Hat Enterprise Linux AI バージョン 1.5 では、さまざまな LLM 上で vLLM 推論サーバーを実行できます。vLLM ツールは、LLM 用のメモリー効率の高い推論およびサービスエンジンライブラリーで、RHEL AI イメージに含まれています。モデルのサービングとモデルとのチャットの詳細は、モデルのサービング (提供) およびモデルとのチャット ドキュメントを参照してください。

Red Hat Enterprise Linux AI には、LAB で強化された合成データ生成 (SDG) メソッドが含まれています。独自のナレッジデータを含む qna.yaml ファイルを使用して、SDG プロセスで何百もの人工データセットを作成できます。SDG プロセスの実行の詳細は、合成データ生成 (SDG) による新しいデータセットの生成 を参照してください。

Red Hat Enterprise Linux AI には、LAB で強化されたマルチフェーズトレーニングメソッドが含まれています。これは、データセットを複数のフェーズでトレーニングおよび評価して、可能な限り最適なモデルを作成するファインチューニングストラテジーです。複数フェーズトレーニングの詳細は、モデルでのデータのトレーニング を参照してください。

Red Hat Enterprise Linux AI には、新しくトレーニングされたモデルに対してベンチマーク評価を実行する機能が含まれています。トレーニング済みのモデルでは、MMLU_BRANCH または MT_BENCH_BRANCH ベンチマークを使用して、追加したナレッジやスキルをモデルがどの程度理解しているかを評価できます。ベンチマーク評価の詳細は、新しいモデルの評価 を参照してください。

Ansible Automation Platform ハブ を使用して、Playbook で RHEL AI ワークロードを実行できるようになりました。これには、次の 2 つの Ansible コレクションが含まれます。

既存の Ansible Automation Platform のお客様の場合、これらのコレクションは現在のサブスクリプションに含まれています。