3.2. 機能拡張

OpenShift AI の Llama Stack でリモートベクトルデータベースのハイブリッド検索を有効にできるようになりました。

この機能拡張により、企業は、さまざまなデータベースタイプにわたって高い検索パフォーマンスと柔軟性を維持しながら、既存の管理対象ベクトルデータベースインフラストラクチャーを使用できるようになります。

Caikit-TGIS gRPC アダプター を備えた vLLM Spyre s390x ServingRuntime for KServe を使用することで、IBM Z (s390x アーキテクチャー) 上で IBM Spyre AI アクセラレーターを使用してモデルを提供できるようになりました。

この統合により、OpenShift AI 内の IBM Z システム上の生成 AI ワークロードに対する高性能なモデルサービングと推論が可能になります。

OpenShift AI では、プラットフォームでサポートされる AI および生成 AI のユースケースのより広範な範囲をより適切に反映するために、"Data Science Pipelines" ではなく "AI Pipelines" という用語を使用するようになりました。

デフォルトの DataScienceCluster (default-dsc) では、この用語の更新に合わせて、datasciencepipelines コンポーネントの名前が aipipelines に変更されました。

これは名前の変更のみです。AI パイプラインの機能は同じままです。

OpenShift AI Model Catalog の Model Details ページには、パフォーマンスベンチマーク、ハードウェア互換性、その他の主要なメトリクスなどの包括的なモデル検証データが含まれるようになりました。

この機能拡張により、Jounce UI モデルの詳細レイアウトと一致する統合された詳細ビューが提供され、ユーザーは単一のインターフェイスからより効果的にモデルを評価できるようになります。

Model Catalog には、ベンチマークやハードウェア互換性メトリクスなど、Red Hat が検証したサードパーティーモデルの詳細なパフォーマンスと検証データが含まれるようになりました。

レイテンシーやハードウェアプロファイルによるフィルタリングなどの強化された検索およびフィルタリング機能により、ユーザーは特定のユースケースや利用可能なリソースに最適化されたモデルを迅速に特定でき、Red Hat AI Hub 内で統合された検出エクスペリエンスが提供されます。

Distributed Inference with llm-d は、マルチモデルサービング、インテリジェントな推論スケジューリング、分散サービングをサポートし、生成 AI モデルでの GPU 使用率を向上させます。

OpenShift AI に、llm-d Serving Runtime で実行される大規模言語モデル (LLM) デプロイメントを設定するためのユーザーインターフェイス (UI) が追加されました。

この合理化されたインターフェイスは、デプロイメントの llm-d ランタイムの明示的な選択を可能にしながら、適切なデフォルトを備えた重要な設定オプションを提供することで、一般的なデプロイメントシナリオを簡素化します。

新しい UI により、セットアップの複雑さが軽減され、ユーザーは分散推論ワークロードをより効率的にデプロイできるようになります。

OpenShift AI 3.0 では、使いやすさとワークフローの効率性を向上させる、再設計され合理化されたナビゲーションシステムが導入されています。

新しいレイアウトにより、ユーザーは機能間をシームレスに移動できるようになり、主要な機能へのアクセスが簡素化され、よりスムーズなエンドツーエンドのエクスペリエンスがサポートされます。

OpenShift AI 3.0 では、プラットフォーム全体の認証移行の一環として、AI パイプラインの oauth-proxy が kube-rbac-proxy に置き換えられます。

この更新により、特に Red Hat OpenShift Service on AWS などの内部 OAuth サーバーがない環境でのセキュリティーと互換性が向上します。

kube-rbac-proxy に移行すると、SubjectAccessReview (SAR) の要件と RBAC 権限もそれに応じて変更されます。組み込みの ds-pipeline-user-access-<dspa-name> ロールに依存するユーザーは自動的に更新されますが、その他のユーザーは、create、update、patch、delete、get、list、および watch の動詞を使用して、datasciencepipelinesapplications/api サブリソースへのアクセスがロールに含まれていることを確認する必要があります。

OpenShift AI 3.0 では、プラットフォーム管理者は Distributed Inference with llm-d デプロイメントに可観測性コンポーネントを接続し、セルフホスト型 Grafana インスタンスと統合して推論ワークロードを監視できます。

この機能により、チームは Distributed Inference with llm-d から Prometheus メトリクスを収集および視覚化し、パフォーマンス分析やカスタムダッシュボードの作成を行うことができます。