第5章 開発者プレビュー機能

この機能は開発者プレビューとして利用できます。

OpenShift AI には、大規模言語モデル (LLM) の提供に関連するリソース消費とガバナンスの課題に対処するための Model-as-a-Service (MaaS) が含まれるようになりました。

MaaS は、管理された API エンドポイントを通じてモデルを公開することで、モデルアクセスとリソース使用の集中管理を提供し、管理者がチーム全体に消費ポリシーを適用できるようにします。

この開発者プレビューでは、次の機能が導入されています。

この機能は開発者プレビューとして利用できます。

GenAI Studio の AI Available Assets ページから、Model-as-a-Service (MaaS) モデルに直接アクセスして使用できるようになりました。

管理者は、Model Deployments ページで切り替えを有効にすることで MaaS を設定できます。モデルがサービスとしてマークされると、そのモデルはグローバルになり、クラスター内のすべてのプロジェクトで表示されるようになります。

この機能は開発者プレビューとして利用できます。

管理者は、AI Available Assets ページに自動的にリストされるように、デプロイメント中にメタデータをモデルに追加できるようになりました。

次の表は、他のチームがモデルを検出して使用できるようにするプロセスを効率化する新しいメタデータフィールドについて説明しています。

この機能は開発者プレビューとして利用できます。

Llama Stack リモートプロバイダーと SDK は、Model Control Protocol (MCP) HTTP ストリーミングプロトコルと互換性を持つようになりました。

この機能拡張により、開発者は完全にステートレスな MCP サーバーを構築し、標準の Llama Stack インフラストラクチャー (サーバーレス環境を含む) へのデプロイメントを簡素化し、スケーラビリティーを改善できるようになります。また、接続再開などの将来的な機能拡張にも備え、Server-Sent Events (SSE) からのスムーズな移行を実現します。

この機能は開発者プレビューとして利用できます。

すべての Inference Time Scaling (ITS) ランタイム依存関係が Red Hat が管理する Python インデックスにパッケージ化され、Red Hat AI および OpenShift AI のお客様は、pip を使用して its_hub とその依存関係を直接インストールできるようになりました。

この機能拡張により、ユーザーは、モデルの再トレーニングを必要とせずに、推論時にモデルの精度を向上させることに焦点を当てた ITS アルゴリズムを使用して、次のようなカスタム推論イメージをビルドできるようになります。

静的ハードウェアプロファイルのサポートが利用可能になり、ユーザーは VRAM 要件と参照ベンチマークに基づいて、トレーニング方法、モデル、ハイパーパラメーターを選択できるようになりました。このアプローチにより、動的なハードウェア検出を行わなくても、予測可能で信頼性の高いトレーニングワークフローが確保されます。

以下のコンポーネントが含まれています。

Llama Stack エージェントに Human-in-the-Loop (HIL) 機能が追加され、ユーザーは実行前に未読のツール呼び出しを承認できるようになりました。

この機能拡張には次の機能が含まれます。