2.2. 機能拡張

OpenShift AI は、記載されている各コンポーネントに対して次の vLLM バージョンをサポートしています。

TrustyAI の LM-Eval で LLM-as-a-Judge メトリクスを使用できるようになりました。大規模言語モデル (LLM) を人間のような評価者として使用し、創造的な文章の評価など、簡単に定量化できない別の LLM の出力品質を評価できます。これは、LLM-as-a-Judge (LLMaaJ) と呼ばれています。

評価例については、LM-Eval の設定例 を参照してください。

次の追加のトレーニングイメージは、テスト済みおよび検証済みです。

以前は、elyra-pipelines-<notebook-name> RoleBinding および ds-pipeline-config Secret リソースがダッシュボードコンポーネントによってプロビジョニングされていました。しかし、このコンポーネントにはコントローラーのライフサイクル管理との統合が欠けていました。また、このような依存関係により、パイプライン機能のみが必要な場合でも、OpenShift AI ダッシュボードをデプロイする必要がありました。

このリリースでは、ノートブックコントローラーによってこれらのリソースが自動的に作成されます。そのため、ダッシュボードコンポーネントに依存せずにワークベンチとパイプラインを使用できます。この変更により、セットアップが簡素化され、ライフサイクル管理の一貫性が向上します。

Red Hat は、Seldon MLServer バージョン 1.6.1 ランタイムをテストおよび検証し、一般的な予測 AI モデルとの互換性を向上させました。KServe (REST および gRPC) で次のモデルをテストしました。

OpenShift AI のモデルレジストリーコンポーネントを使用するために、Red Hat Authorino、Red Hat OpenShift Serverless、および Red Hat OpenShift Service Mesh Operator が必要なくなりました。

既存のモデルレジストリーインスタンスは、OpenShift OAuth プロキシー認証を使用するように自動的に移行されます。OpenShift AI ダッシュボードから作成された新しいモデルレジストリーインスタンスは、デフォルトで OAuth プロキシーを使用します。古い v1alpha1 API と Istio 設定を使用して作成された新しいインスタンスは、OAuth プロキシーを使用するように自動的に更新されます。

Kubernetes RBAC リソースなど、古いモデルレジストリーインスタンスの既存の認可設定は、引き続き期待どおりに機能します。