2.2. 功能增强

OpenShift AI 支持每个列出的组件的以下 vLLM 版本：

现在，您可以在 TrustyAI 中使用 LLM-as-a-Judge 指标和 LM-Eval。大型语言模型(LLM)可用作类类的评估者，以评估另一个 LLM （不能轻松量化）中的输出质量，如评级一个 creative writing。这称为 LLM-as-a-Judge (LLMaaJ)。

有关示例评估，请参阅 LM-Eval 场景。

以下额外培训镜像经过测试并验证：

在以前的版本中，elyra-pipelines-<notebook-name> RoleBinding 和 ds-pipeline-config Secret 资源由仪表板组件置备，它不与控制器的生命周期管理集成。此依赖项还需要部署 OpenShift AI 仪表板，即使您只需要管道功能。

在这个版本中，笔记本控制器会自动创建这些资源，允许您独立于仪表板组件使用工作台和管道。这个更改简化了设置并确保更一致的生命周期管理。

红帽已测试并验证 Seldon MLServer 版本 1.6.1 运行时，改进了与常见预测 AI 模型的兼容性。以下模型经过测试了 KServe (REST 和 gRPC)：

Red Hat Authorino、Red Hat OpenShift Serverless 和 Red Hat OpenShift Service Mesh Operator 不再需要在 OpenShift AI 中使用模型 registry 组件。

现有模型 registry 实例将自动迁移为使用 OpenShift OAuth 代理身份验证。从 OpenShift AI 仪表板创建的新模型 registry 实例将默认使用 OAuth 代理。使用旧的 v1alpha1 API 和 Istio 配置创建的新实例将自动更新为使用 OAuth 代理。

Kubernetes RBAC 资源等较旧模型 registry 实例的现有授权配置将继续按预期工作。