第4章 テクノロジープレビュー機能

TrustyAI の Guardrails Orchestrator をテクノロジープレビュー機能として Llama Stack と共に使用できるようになりました。

この統合により、埋め込み検出および評価ワークフローが有効になり、AI の安全性とコンテンツのモデレーションをサポートできるようになります。TrustyAI が有効になっていて、FMS Orchestrator とディテクターが設定されている場合、手動セットアップは必要ありません。

この機能を有効にするには、OpenShift AI Operator の DataScienceCluster カスタムリソースで、spec.llamastackoperator.managementState: Managed フィールドを設定します。

詳細は、GitHub の TrustyAI FMS Provider を参照してください。

新しい AI Available Assets ページにより、AI エンジニアとアプリケーション開発者は、プロジェクト内にデプロイされた AI リソースを表示および使用できるようになります。

この機能拡張により、選択したプロジェクトで利用可能なモデルと Model Context Protocol (MCP) サーバーをリスト表示するフィルター可能な UI が導入され、適切な権限を持つユーザーがアクセス可能なエンドポイントを識別し、それらを AI Playground またはその他のアプリケーションに直接統合できるようになります。

Generative AI (GenAI) Playground は、OpenShift AI ダッシュボード内に統合された、基盤モデルおよびカスタムモデルを試すための対話型エクスペリエンスを導入します。

ユーザーは、ドキュメントをアップロードし、そのコンテンツとチャットすることで、プロンプトをテストし、モデルを比較し、検索拡張生成 (RAG) ワークフローを評価できます。GenAI Playground は、承認された Model Context Protocol (MCP) サーバーとの統合もサポートしており、プロンプトとエージェント設定を実行可能なコードとしてエクスポートして、ローカル IDE で継続的にイテレートできます。

チャットのコンテキストは各セッション内で保存され、迅速なエンジニアリングとモデルの実験に適した環境を提供します。

完全に切断された (エアギャップ) OpenShift AI 環境で、Llama Stack および RAG/Agentic コンポーネントをインストールして操作できるようになりました。

この機能拡張により、インターネットにアクセスせずに Llama Stack 機能をセキュアにデプロイメントできるようになり、組織は厳格なネットワークセキュリティーポリシーへの準拠を維持しながら AI 機能を使用できるようになります。

この機能は、テクノロジープレビューとして利用できます。

Feature Store は、OpenShift AI、データサイエンスプロジェクト、ワークベンチと統合されました。この統合により、ガバナンスの向上のために、一元管理されたロールベースのアクセス制御 (RBAC) 機能も導入されます。

これらの機能拡張により、次の 2 つの主要な機能が提供されます。

Feature Store コンポーネントに、Web ベースのユーザーインターフェイス (UI) が含まれるようになりました。

UI を使用して、登録済みの Feature Store オブジェクトとその関係 (機能、データソース、エンティティー、機能サービスなど) を表示できます。

UI を有効にするには、FeatureStore カスタムリソース (CR) インスタンスを編集します。変更を保存すると、Feature Store Operator は UI コンテナーを起動し、アクセス用の OpenShift ルートを作成します。

詳細は、初回使用のための Feature Store ユーザーインターフェイスのセットアップ を参照してください。

このリリースでは、Llama Stack テクノロジープレビュー機能により、次世代の生成 AI アプリケーションを構築するための Retrieval-Augmented Generation (RAG) とエージェントワークフローが可能になります。この機能は、リモート推論、組み込みのエンベディング、ベクトルデータベース操作をサポートしています。また、安全性を担当する TrustyAI のプロバイダーや、評価を担当する Trusty AI の LM-Eval プロバイダーなどのプロバイダーと統合します。

このプレビューには、Llama Stack Operator を有効にし、RAG ツールを操作し、PDF の取り込みとキーワード検索機能を自動化してドキュメントの検出を強化するためのツール、コンポーネント、ガイダンスが含まれています。

メトリクス、トレース、組み込みアラートなどの集中型プラットフォームの可観測性は、テクノロジープレビュー機能として利用できます。このソリューションは、OpenShift AI 専用の事前設定済みの可観測性スタックを導入し、クラスター管理者が次のアクションを実行できるようにします。

Llama Stack Distribution には、テクノロジープレビュー機能としてバージョン 0.3.0 が含まれるようになりました。

この更新では、検索拡張生成 (RAG) パイプラインのサポート拡張、評価プロバイダー統合の改善、エージェントおよびベクトルストア管理用の API の更新など、いくつかの機能拡張が導入されています。また、最新の OpenAI API 拡張機能と分散推論のインフラストラクチャー最適化に合わせた互換性更新も提供します。

以前サポートされていたバージョンは 0.2.22 でした。

OpenShift AI は、KServe RawDeployment モードで Kubernetes Event-driven Autoscaling (KEDA) をサポートするようになりました。このテクノロジープレビュー機能により、推論サービスのメトリクススベースの自動スケーリングが可能になり、アクセラレーターリソースの管理の効率化、運用コストの削減、推論サービスのパフォーマンス向上を実現します。

KServe RawDeployment モードで推論サービスの自動スケーリングをセットアップするには、KEDA に基づく OpenShift Custom Metrics Autoscaler (CMA) をインストールして設定する必要があります。

この機能の詳細は、メトリクスベースの自動スケーリングの設定 を参照してください。

組み込みの検出コンポーネントを使用して、テクノロジープレビュー機能として Llama Stack を備えた TrustyAI の Guardrails Orchestrator ツールを使用して検出を実行できるようになりました。この機能を使用するには、TrustyAI が有効になっていること、FMS Orchestrator とディテクターが設定されていること、および必要に応じて完全な互換性を確保するために KServe RawDeployment モードが使用されていることを確認してください。手動でのセットアップは必要ありません。その後、Red Hat OpenShift AI Operator の DataScienceCluster カスタムリソースで、spec.llamastackoperator.managementState フィールドを Managed に設定します。

詳細は、GitHub の Trusty AI FMS Provider を参照してください。

CodeFlare SDK を介して Ray クラスター上で Ray Job を直接作成および管理できるようになりました。

この機能拡張により、CodeFlare SDK ワークフローが KubernetesFlow Training Operator (KFTO) モデルと整合され、ジョブが自動的に作成、実行、完了されるようになります。この機能拡張により、ジョブの完了後に Ray Clusters がアクティブなままにならないようにすることで、手動によるクラスター管理が簡素化されます。

OpenID Connect (OIDC) アイデンティティープロバイダーによる直接認証がテクノロジープレビュー機能として利用できるようになりました。

この機能拡張により、OpenShift AI サービスの認証が Gateway API を通じて一元化され、セキュアでスケーラブルかつ管理しやすい認証モデルが提供されます。GatewayConfig カスタムリソースを使用して、外部 OIDC プロバイダーで Gateway API を設定できます。

Synthetic Data Generation (SDG) パイプラインにカスタムフロー推定器を使用できるようになりました。

サポートされ互換性のあるタグ付き SDG 教師モデルの場合、推定器を使用すると、完全なワークロードを実行する前に、選択した教師モデル、カスタムフロー、およびサンプルデータセットでサポートされているハードウェアを評価する際に役立ちます。

Llama Stack コアは、シングルノード OpenShift (SNO) 上で効率的にデプロイおよび実行できるようになりました。

この機能拡張により、コンポーネントの起動とリソースの使用が最適化され、Llama Stack がシングルノードクラスター環境で確実に動作できるようになります。

OpenShift AI で、FAISS (Facebook AI Similarity Search) ライブラリーをインラインベクトルストアとして使用できるようになりました。

FAISS は、高パフォーマンスなベクトル検索とクラスタリングのためのオープンソースフレームワークです。これは、密な数値埋め込み向けに最適化されており、CPU と GPU の両方をサポートしています。Llama Stack Distribution の埋め込み SQLite バックエンドを有効にすると、FAISS は埋め込みをコンテナー内にローカルに保存するため、外部のベクトルデータベースサービスが不要になります。

OpenShift AI で Feature Store を設定可能なコンポーネントとしてインストールおよび管理できるようになりました。オープンソースの Feast プロジェクトをベースにした Feature Store は、ML モデルとデータ間の橋渡しとして機能し、ML ライフサイクル全体にわたって一貫性のあるスケーラブルな機能管理を可能にします。

このテクノロジープレビューリリースでは、次の機能が導入されています。

FIPS 準拠を必要とする規制環境に、Llama Stack と RAG またはエージェントソリューションをデプロイできるようになりました。

この機能拡張により、FIPS 認定の互換性のあるデプロイメントパターンが提供され、組織は AI ワークロードの厳格な規制および認定要件を満たすことができます。

検証済みの sdg_hub サンプルノートブックが利用可能になり、OpenShift AI 3.0 においてノートブック駆動型のユーザーエクスペリエンスが提供されます。

これらのノートブックは複数の Red Hat プラットフォームをサポートし、SDG パイプラインを通じてカスタマイズを可能にします。次のユースケースの例が含まれます。

Retrieval-Augmented Generation Assessment (RAGAS) 評価プロバイダーを使用して、OpenShift AI の RAG システムの品質と信頼性を測定できるようになりました。

RAGAS は、検索品質、回答の関連性、事実の一貫性に関するメトリクスを提供し、問題を特定して RAG パイプライン設定を最適化するのに役立ちます。

Llama Stack 評価 API との統合では、次の 2 つのデプロイメントモードがサポートされます。

ハードウェアプロファイルがテクノロジープレビューとして利用できるようになりました。ハードウェアプロファイル機能を使用すると、ユーザーはワークベンチまたはモデルサービングワークロードの特定のワーカーノードをターゲットにすることができます。これにより、ユーザーは特定のアクセラレータータイプまたは CPU のみのノードをターゲットにすることができます。

この機能は、現在のアクセラレータープロファイル機能とコンテナーサイズセレクターフィールドに代わるもので、さまざまなハードウェア設定を対象とするより幅広い機能セットを提供します。アクセラレータープロファイル、taint、および toleration は、ワークロードをハードウェアにマッチングする機能を提供しますが、特に一部のノードに適切な taint がない場合、ワークロードが特定のノードに配置されるかどうかは保証されません。

ハードウェアプロファイル機能は、アクセラレーターと CPU のみの設定の両方とノードセレクターをサポートします。これにより、特定のワーカーノードのターゲット設定機能が強化されます。管理者は設定メニューでハードウェアプロファイルを設定できます。ユーザーは、該当する場合、ワークベンチ、モデルサービング、AI パイプラインの UI を使用して、有効なプロファイルを選択できます。

RStudio Server ワークベンチイメージを使用すると、R の統合開発環境である RStudio IDE にアクセスできます。R プログラミング言語は、データ分析と予測をサポートする統計コンピューティングとグラフィックスに使用されます。

RStudio Server ワークベンチイメージを使用するには、まずシークレットを作成し、BuildConfig をトリガーしてイメージをビルドし、次に rstudio-rhel9 イメージストリームを編集して OpenShift AI UI でイメージを有効にする必要があります。詳細は、RStudio Server ワークベンチイメージのビルド を参照してください。

CUDA - RStudio Server ワークベンチイメージを使用すると、RStudio IDE および NVIDIA CUDA Toolkit にアクセスできます。RStudio IDE は、統計コンピューティングおよびグラフィックス用の R プログラミング言語の統合開発環境です。NVIDIA CUDA Toolkit を使用すると、GPU により高速化されたライブラリーと最適化ツールを使用して作業を強化できます。

CUDA - RStudio Server ワークベンチイメージを使用するには、まずシークレットを作成し、BuildConfig をトリガーしてビルドして、次に rstudio-rhel9 イメージストリームを編集して OpenShift AI UI で有効にする必要があります。詳細は、RStudio Server ワークベンチイメージのビルド を参照してください。