第3章 テクノロジープレビュー機能

このリリースでは、Llama Stack テクノロジープレビュー機能により、次世代の生成 AI アプリケーションを構築するための Retrieval-Augmented Generation (RAG) とエージェントワークフローが可能になります。この機能は、リモート推論、組み込みのエンベディング、ベクトルデータベース操作をサポートしています。また、安全性を担当する TrustyAI のプロバイダーや、評価を担当する Trusty AI の LM-Eval プロバイダーなどのプロバイダーと統合します。

このプレビューには、Llama Stack Operator を有効にし、RAG ツールを操作し、PDF の取り込みとキーワード検索機能を自動化してドキュメントの検出を強化するためのツール、コンポーネント、ガイダンスが含まれています。

メトリクス、トレース、組み込みアラートなどの集中型プラットフォームの可観測性は、テクノロジープレビュー機能として利用できます。このソリューションは、OpenShift AI 専用の事前設定済みの可観測性スタックを導入し、クラスター管理者が次のアクションを実行できるようにします。

Llama Stack Distribution には、テクノロジープレビューとして Llama-stack バージョン 0.2.17 が含まれるようになりました。この機能により、次のようなさまざまな機能が実現します。

Python と ONNX バックエンドを使用して、Triton Inference Server (CPU のみ) の Power アーキテクチャーサポートを有効にできるようになりました。Triton Inference Server は、Red Hat OpenShift AI のテクノロジープレビュー機能として、IBM Power アーキテクチャー上のカスタムモデルサービングランタイムとしてデプロイできます。

詳細は、Triton Inference Server image を参照してください。

ONNX-MLIR、Snap ML (C++)、PyTorch などの複数のバックエンドオプションを使用して、Triton Inference Server (Telum I/Telum II) の Z アーキテクチャーサポートを有効にできるようになりました。Triton Inference Server は、Red Hat OpenShift AI のテクノロジープレビュー機能として、IBM Z アーキテクチャー上でカスタムサービングランタイムとしてデプロイできます。

詳細は、IBM Z accelerated Triton Inference Server を参照してください。

OpenShift AI は、KServe RawDeployment モードで Kubernetes Event-driven Autoscaling (KEDA) をサポートするようになりました。このテクノロジープレビュー機能により、推論サービスのメトリクススベースの自動スケーリングが可能になり、アクセラレーターリソースの管理の効率化、運用コストの削減、推論サービスのパフォーマンス向上を実現します。

KServe RawDeployment モードで推論サービスの自動スケーリングをセットアップするには、KEDA に基づく OpenShift Custom Metrics Autoscaler (CMA) をインストールして設定する必要があります。

この機能の詳細は、メトリクスベースの自動スケーリングの設定 を参照してください。

組み込みの検出コンポーネントを使用して、テクノロジープレビュー機能として Llama Stack を備えた TrustyAI の Guardrails Orchestrator ツールを使用して検出を実行できるようになりました。この機能を使用するには、TrustyAI が有効になっていること、FMS Orchestrator とディテクターが設定されていること、および必要に応じて完全な互換性を確保するために KServe RawDeployment モードが使用されていることを確認してください。手動でのセットアップは必要ありません。その後、Red Hat OpenShift AI Operator の DataScienceCluster カスタムリソースで、spec.llamastackoperator.managementState フィールドを Managed に設定します。

詳細は、GitHub の Trusty AI FMS Provider を参照してください。

OpenShift AI で Feature Store を設定可能なコンポーネントとしてインストールおよび管理できるようになりました。オープンソースの Feast プロジェクトをベースにした Feature Store は、ML モデルとデータ間の橋渡しとして機能し、ML ライフサイクル全体にわたって一貫性のあるスケーラブルな機能管理を可能にします。

このテクノロジープレビューリリースでは、次の機能が導入されています。

ハードウェアプロファイルがテクノロジープレビューとして利用できるようになりました。ハードウェアプロファイル機能を使用すると、ユーザーはワークベンチまたはモデルサービングワークロードの特定のワーカーノードをターゲットにすることができます。これにより、ユーザーは特定のアクセラレータータイプまたは CPU のみのノードをターゲットにすることができます。

この機能は、現在のアクセラレータープロファイル機能とコンテナーサイズセレクターフィールドに代わるもので、さまざまなハードウェア設定を対象とするより幅広い機能セットを提供します。アクセラレータープロファイル、taint、および toleration は、ワークロードをハードウェアにマッチングする機能を提供しますが、特に一部のノードに適切な taint がない場合、ワークロードが特定のノードに配置されるかどうかは保証されません。

ハードウェアプロファイル機能は、アクセラレーターと CPU のみの設定の両方とノードセレクターをサポートします。これにより、特定のワーカーノードのターゲット設定機能が強化されます。管理者は設定メニューでハードウェアプロファイルを設定できます。該当する場合、ユーザーはワークベンチ、モデルサービング、およびデータサイエンスパイプラインの UI を使用して、有効なプロファイルを選択できます。

RStudio Server ワークベンチイメージを使用すると、R の統合開発環境である RStudio IDE にアクセスできます。R プログラミング言語は、データ分析と予測をサポートする統計コンピューティングとグラフィックスに使用されます。

RStudio Server ワークベンチイメージを使用するには、まずシークレットを作成し、BuildConfig をトリガーしてイメージをビルドし、次に rstudio-rhel9 イメージストリームを編集して OpenShift AI UI でイメージを有効にする必要があります。詳細は、RStudio Server ワークベンチイメージのビルド を参照してください。

CUDA - RStudio Server ワークベンチイメージを使用すると、RStudio IDE および NVIDIA CUDA Toolkit にアクセスできます。RStudio IDE は、統計コンピューティングおよびグラフィックス用の R プログラミング言語の統合開発環境です。NVIDIA CUDA Toolkit を使用すると、GPU により高速化されたライブラリーと最適化ツールを使用して作業を強化できます。

CUDA - RStudio Server ワークベンチイメージを使用するには、まずシークレットを作成し、BuildConfig をトリガーしてビルドして、次に rstudio-rhel9 イメージストリームを編集して OpenShift AI UI で有効にする必要があります。詳細は、RStudio Server ワークベンチイメージのビルド を参照してください。