第 4 章 技术预览功能

现在，您可以使用 TrustyAI 和 Llama Stack 中的 Guardrails Orchestrator 作为技术预览。

此集成支持内置的检测和评估工作流来支持 AI 安全和内容模式。启用 TrustyAI 并且配置了 FMS Orchestrator 和 detectors 时，不需要手动设置。

要激活此功能，请在 OpenShift AI Operator 的 DataScienceCluster 自定义资源中设置以下字段： spec.llamastackoperator.managementState: Managed

如需更多信息，请参阅 GitHub: TrustyAI FMS Provider 上的 TrustyAI FMS Provider。

新的 AI Available Assets 页面可让 AI 工程师和应用程序开发人员查看和使用其项目中部署的 AI 资源。

此功能增强引入了一个可过滤的 UI，它列出了所选项目中的可用模型和模型上下文协议(MCP)服务器，允许具有适当权限的用户识别可访问的端点并将其直接集成到 AI Playground 或其他应用程序中。

generateive AI (GenAI) Playground 在 OpenShift AI 仪表板中引入了统一的互动体验，用于试验基础和自定义模型。

用户可以通过上传文档并与其内容进行聊天，测试 Retrieval-Augmented Generation (RAG)工作流的提示、比较模型并评估 Retrieval-Augmented Generation (RAG)工作流。GenAI Playground 还支持与批准的模型上下文协议(MCP)服务器集成，并启用导出提示和代理配置作为在本地 IDE 中持续迭代的可运行代码。

每个会话中都会保留 chat 上下文，从而为提示工程和模型试验提供合适的环境。

现在，您可以在完全断开连接的(air-gapped) OpenShift AI 环境中安装并运行 Llama Stack 和 RAG/Agentic 组件。

此功能增强支持在没有互联网访问的情况下安全部署 Llama Stack 功能，允许机构使用 AI 功能，同时遵守严格的网络安全策略。

此功能作为技术预览提供。

Feature Store 现在与 OpenShift AI、数据科学项目和工作台集成。此集成还引入了集中管理的、基于角色的访问控制(RBAC)功能，以改进监管。

这些改进提供两个关键功能：

Feature Store 组件现在包含一个基于 Web 的用户界面(UI)。

您可以使用 UI 查看注册的功能存储对象及其关系，如功能、数据源、实体和功能服务。

要启用 UI，请编辑 FeatureStore 自定义资源(CR)实例。保存更改时，Feature Store Operator 将启动 UI 容器，并创建用于访问 OpenShift 路由。

如需更多信息，请参阅为初始使用 设置功能存储用户界面。

在这个版本中，Llama Stack 技术预览功能启用 Retrieval-Augmented Generation (RAG)和代理工作流用于构建下一代 generative AI 应用程序。它支持远程推测、内置嵌入和向量数据库操作。它还与 TrustyAI's 供应商（安全）和 Trusty AI 的 LM-Eval 供应商集成以进行评估。

此预览包括启用 Llama Stack Operator 的工具、组件和指导，与 RAG 工具交互，以及自动化 PDF ingestion 和关键字搜索功能来增强文档发现。

集中平台可观察性（包括指标、跟踪和内置警报）作为技术预览功能提供。此解决方案为 OpenShift AI 引入了一个专用的、预先配置的可观察性堆栈，它允许集群管理员执行以下操作：

Llama Stack 分发现在包含版本 0.3.0 作为技术预览功能。

这个版本引入了几个改进，包括对检索生成(RAG)管道的扩展支持，改进了评估供应商集成，以及代理和向量存储管理的更新 API。它还提供与最新 OpenAI API 扩展和基础架构优化一致的兼容性更新，以实现分布式推测。

之前支持的版本为 0.2.22。

OpenShift AI 现在在其 KServe RawDeployment 模式中支持 Kubernetes 事件驱动的自动扩展(KEDA)。此技术预览功能为 inference 服务启用了基于指标的自动扩展功能，可以更有效地管理加速器资源、降低操作成本并提高了您的推论服务的性能。

要在 KServe RawDeployment 模式中为您的 inference 服务设置自动扩展，您需要安装并配置基于 KEDA 的 OpenShift 自定义 Metrics Autoscaler (CMA)。

有关此功能的更多信息，请参阅配置 基于指标的自动扩展。

现在，您可以使用 TrustyAI 和 Llama Stack 作为技术预览功能中的 Guardrails Orchestrator 工具运行检测，使用内置的检测组件。要使用这个功能，请确保启用了 TrustyAI，并设置了 FMS Orchestrator 和 detectors，并在需要时使用 KServe RawDeployment 模式实现完全兼容性。不需要手动设置。然后，在 Red Hat OpenShift AI Operator 的 DataScienceCluster 自定义资源中，将 spec.llamastackoperator.managementState 字段设置为 Managed。

如需更多信息，请参阅 GitHub 上的 Trusty AI FMS Provider。

现在，您可以通过 CodeFlare SDK 直接创建和管理 Ray 集群上的 Ray 作业。

此增强将 CodeFlare SDK 工作流与 KubernetesFlow Training Operator (KFTO)模型（其中自动创建、运行和完成）模型保持一致。此功能增强通过防止 Ray 集群在作业完成后保持活跃，简化了手动集群管理。

使用 OpenID Connect (OIDC)身份提供程序直接验证现在作为技术预览提供。

此功能增强通过网关 API 集中 OpenShift AI 服务身份验证，提供安全、可扩展且可管理的身份验证模型。您可以使用 GatewayConfig 自定义资源使用外部 OIDC 供应商配置网关 API。

现在，您可以将自定义流估算器用于复合数据生成(SDG)管道。

对于支持的兼容 SDG 教授模型，估算程序可帮助您在运行完整工作负载前，在样本数据集上评估所选手模型、自定义流和支持的硬件。

Llama Stack 内核现在可以在单一节点 OpenShift (SNO)上部署并高效运行。

此功能增强优化了组件启动和资源使用情况，以便 Llama Stack 可以在单节点集群环境中可靠地操作。

现在，您可以使用 FAIS (Facebook AI Similarity Search)库作为 OpenShift AI 中的内联向量存储。

FAISS 是一个开源框架，用于高性能向量搜索和集群，针对与 CPU 和 GPU 支持的密集数字进行了优化。当使用 Llama Stack 分发中的嵌入的 SQLite 后端启用时，FAISS 存储会存储在容器中本地嵌入的，不再需要外部向量数据库服务。

现在，您可以在 OpenShift AI 中安装和管理功能存储作为可配置组件。基于开源 Feast 项目，Feature Store 充当 ML 模型和数据之间的桥接，从而在 ML 生命周期之间实现一致且可扩展的功能管理。

这个技术预览版本引进了以下功能：

现在，您可以在需要 FIPS 合规的约束环境中部署 Llama Stack 和 RAG 或代理解决方案。

此功能增强提供 FIPS 认证和兼容的部署模式，以帮助机构满足 AI 工作负载的严格规范和认证要求。

现在，可以使用经过验证的 sdg_hub 示例笔记本，在 OpenShift AI 3.0 中提供笔记本驱动的用户体验。

这些笔记本支持多个红帽平台，并通过 SDG 管道进行自定义。它们包括以下用例的示例：

现在，您可以使用 Retrieval-Augmented Generation assessment (RAGAS)评估供应商来测量 OpenShift AI 中 RAG 系统的质量和可靠性。

RAGAS 提供检索质量、回答相关性和事实一致性的指标，可帮助您识别问题并优化 RAG 管道配置。

与 Llama Stack 评估 API 集成支持两种部署模式：

硬件配置集现在作为技术预览提供。硬件配置集功能允许用户为工作台或模型保留工作负载为目标特定的 worker 节点。它允许用户以特定加速器类型或仅 CPU 的节点为目标。

此功能替换了当前的加速器配置集功能和容器大小选择器字段，为针对不同的硬件配置提供更广泛的功能。虽然加速器配置集、污点和容限为硬件提供一些匹配工作负载的功能，但它们不能确保工作负载在特定节点上，特别是某些节点缺少适当的污点。

硬件配置集功能支持加速器和 CPU 配置以及节点选择器，以增强特定 worker 节点的目标功能。管理员可以在设置菜单中配置硬件配置文件。用户可以在适用的情况下使用 UI 为工作台、模型服务和 AI 管道选择启用的配置集。

使用 RStudio 服务器工作台镜像，您可以访问 RStudio IDE，这是 RStudio 的集成开发环境。R 编程语言用于统计计算和图形来支持数据分析和预测。

要使用 RStudio Server workbench 镜像，您必须首先通过创建 secret 并触发 BuildConfig 来构建它，然后通过编辑 r Studio-rhel9 镜像流在 OpenShift AI UI 中启用它。如需更多信息，请参阅 构建 RStudio 服务器工作台镜像。

使用 CUDA - RStudio Server workbench 镜像，您可以访问 RStudio IDE 和 NVIDIA CUDA Toolkit。RStudio IDE 是用于统计计算和图形的 R 编程语言的集成开发环境。使用 NVIDIA CUDA 工具包，您可以使用 GPU 加速的库和优化工具来增强您的工作。

要使用 CUDA - RStudio Server workbench 镜像，您必须首先通过创建 secret 并触发 BuildConfig 来构建它，然后通过编辑 r Studio-rhel9 镜像流在 OpenShift AI UI 中启用它。如需更多信息，请参阅 构建 RStudio 服务器工作台镜像。