第 3 章 技术预览功能

在这个版本中，OpenShift AI 上的 Llama Stack 技术预览功能启用 Retrieval-Augmented Generation (RAG)和用于构建下一代 generative AI 应用程序的代理工作流。它支持远程推测、内置嵌入和向量数据库操作。它还与 TrustyAI's 供应商（安全）和 Trusty AI 的 LM-Eval 供应商集成以进行评估。

此预览包括启用 Llama Stack Operator 的工具、组件和指导，与 RAG 工具交互，以及自动化 PDF ingestion 和关键字搜索功能来增强文档发现。

Llama Stack 分发现在包括 Llama-stack 版本 0.2.17 作为技术预览。这个功能带来了很多功能，包括：

现在，您可以使用 Python 和 ONNX 后端为 Triton inference 服务器（仅限 CPU）启用 Power 架构支持。您可以将 Triton inference 服务器部署为 IBM Power 架构上的自定义模型服务运行时，作为 Red Hat OpenShift AI 中的技术预览。

详情请参阅 Triton Inference Server image。

OpenShift AI 现在在其标准部署模式中支持 Kubernetes 事件驱动的自动扩展(KEDA)。此技术预览功能为 inference 服务启用了基于指标的自动扩展功能，可以更有效地管理加速器资源、降低操作成本并提高了您的推论服务的性能。

要在标准部署中为您的 inference 服务设置自动扩展，您需要安装和配置基于 KEDA 的 OpenShift 自定义 Metrics Autoscaler (CMA)。

有关此功能的更多信息，请参阅配置 基于指标的自动扩展。

现在，您可以使用 TrustyAI 和 Llama Stack 作为技术预览功能中的 Guardrails Orchestrator 工具运行检测，使用内置的检测组件。要使用这个功能，请确保启用了 TrustyAI，并设置了 FMS Orchestrator 和 detectors，并在需要时使用 KServe RawDeployment 模式实现完全兼容性。不需要手动设置。

然后，在 Red Hat OpenShift AI Operator 的 DataScienceCluster 自定义资源中，将 spec.llamastackoperator.managementState 字段设置为 Managed。

如需更多信息，请参阅 GitHub 上的以下资源：

现在，您可以使用 Kubernetes API 定义和管理数据科学管道和管道版本，它将其作为自定义资源存储在集群中而不是内部数据库。此技术预览功能可让您更轻松地使用 OpenShift GitOps (Argo CD)或类似的工具来管理管道，同时仍然允许您通过 OpenShift AI 用户界面、API 和 kfp SDK 来管理它们。

在创建或编辑 管道服务器时，此选项默认可通过 Kubernetes 复选框中的 Store 管道定义进行配置。集群管理员还可以通过将 DataSciencePipelinesApplication (DSPA)自定义资源中的 spec.apiServer.pipelineStore 字段设置为 kubernetes 或 database 来配置这个选项。如需更多信息 ，请参阅使用 Kubernetes API 定义管道。

LAB-tuning 现在作为技术预览提供，使数据科学家能够运行端到端工作流以自定义大型语言模型(LLM)。LAB （用于 chatBots） 方法通过利用 taxonomy-guided syntic data generation (SDG)和多阶段培训方法提供更有效的传统微调替代方案。

数据科学家可以使用新的预配置的 InstructLab 管道直接从 OpenShift AI 仪表板运行 LAB-tuning 工作流，这简化了调优过程。有关启用和使用 LAB-tuning 的详细信息，请参阅启用 LAB-tuning 和 通过 LAB-tuning 自定义模型。

Red Hat OpenShift AI Model Catalog 现在作为技术预览提供。此功能从使用 Granite 系列模型连接用户开始，以及 LAB-tuning 中使用的教师和 judge 模型。

现在，您可以在 Red Hat OpenShift AI Operator 中安装和管理 Feature Store 作为可配置的组件。基于开源 Feast 项目，Feature Store 充当 ML 模型和数据之间的桥接，从而在 ML 生命周期之间实现一致且可扩展的功能管理。

这个技术预览版本引进了以下功能：

硬件配置集现在作为技术预览提供。硬件配置集功能允许用户为工作台或模型保留工作负载为目标特定的 worker 节点。它允许用户以特定加速器类型或仅 CPU 的节点为目标。

此功能替换了当前的加速器配置集功能和容器大小选择器字段，为针对不同的硬件配置提供更广泛的功能。虽然加速器配置集、污点和容限为硬件提供一些匹配工作负载的功能，但它们不能确保工作负载在特定节点上，特别是某些节点缺少适当的污点。

硬件配置集功能支持加速器和 CPU 配置以及节点选择器，以增强特定 worker 节点的目标功能。管理员可以在设置菜单中配置硬件配置文件。用户可以在适用的情况下使用 UI 为工作台、模型服务和 Data Science Pipelines 选择启用的配置集。

使用 RStudio 服务器工作台镜像，您可以访问 RStudio IDE，这是 RStudio 的集成开发环境。R 编程语言用于统计计算和图形来支持数据分析和预测。

要使用 RStudio Server workbench 镜像，您必须首先通过创建 secret 并触发 BuildConfig 来构建它，然后通过编辑 r Studio-rhel9 镜像流在 OpenShift AI UI 中启用它。如需更多信息，请参阅 构建 RStudio 服务器工作台镜像。

使用 CUDA - RStudio Server workbench 镜像，您可以访问 RStudio IDE 和 NVIDIA CUDA Toolkit。RStudio IDE 是 R 编程语言用于统计计算和图形的集成开发环境。使用 NVIDIA CUDA 工具包，您可以使用 GPU 加速的库和优化工具提高工作。

要使用 CUDA - RStudio Server workbench 镜像，您必须首先通过创建 secret 并触发 BuildConfig 来构建它，然后通过编辑 r Studio-rhel9 镜像流在 OpenShift AI UI 中启用它。如需更多信息，请参阅 构建 RStudio 服务器工作台镜像。