第 3 章 技术预览功能

在这个版本中，Llama Stack 技术预览功能启用 Retrieval-Augmented Generation (RAG)和代理工作流用于构建下一代 generative AI 应用程序。它支持远程推测、内置嵌入和向量数据库操作。它还与 TrustyAI's 供应商（安全）和 Trusty AI 的 LM-Eval 供应商集成以进行评估。

此预览包括启用 Llama Stack Operator 的工具、组件和指导，与 RAG 工具交互，以及自动化 PDF ingestion 和关键字搜索功能来增强文档发现。

集中平台可观察性（包括指标、跟踪和内置警报）作为技术预览功能提供。此解决方案为 OpenShift AI 引入了一个专用的、预先配置的可观察性堆栈，它允许集群管理员执行以下操作：

Llama Stack 分发现在包括 Llama-stack 版本 0.2.17 作为技术预览。这个功能带来了很多功能，包括：

现在，您可以使用 Python 和 ONNX 后端为 Triton inference 服务器（仅限 CPU）启用 Power 架构支持。您可以将 Triton inference 服务器部署为 IBM Power 架构上的自定义模型服务运行时，作为 Red Hat OpenShift AI 中的技术预览功能。

详情请参阅 Triton Inference Server image。

现在，您可以使用多个后端选项（包括 ONNX-MLIR、Snap ML (C++)和 PyTorch）启用对 Triton Inference Server (Telum I/Telum II)的 Z 架构支持。Triton Inference Server 可以部署为 IBM Z 架构上的自定义模型服务运行时，作为 Red Hat OpenShift AI 中的技术预览功能。

详情请查看 IBM Z 加速 Triton Inference Server。

OpenShift AI 现在在其 KServe RawDeployment 模式中支持 Kubernetes 事件驱动的自动扩展(KEDA)。此技术预览功能为 inference 服务启用了基于指标的自动扩展功能，可以更有效地管理加速器资源、降低操作成本并提高了您的推论服务的性能。

要在 KServe RawDeployment 模式中为您的 inference 服务设置自动扩展，您需要安装并配置基于 KEDA 的 OpenShift 自定义 Metrics Autoscaler (CMA)。

有关此功能的更多信息，请参阅配置 基于指标的自动扩展。

现在，您可以使用 TrustyAI 和 Llama Stack 作为技术预览功能中的 Guardrails Orchestrator 工具运行检测，使用内置的检测组件。要使用这个功能，请确保启用了 TrustyAI，并设置了 FMS Orchestrator 和 detectors，并在需要时使用 KServe RawDeployment 模式实现完全兼容性。不需要手动设置。然后，在 Red Hat OpenShift AI Operator 的 DataScienceCluster 自定义资源中，将 spec.llamastackoperator.managementState 字段设置为 Managed。

如需更多信息，请参阅 GitHub 上的 Trusty AI FMS Provider。

现在，您可以在 OpenShift AI 中安装和管理功能存储作为可配置组件。基于开源 Feast 项目，Feature Store 充当 ML 模型和数据之间的桥接，从而在 ML 生命周期之间实现一致且可扩展的功能管理。

这个技术预览版本引进了以下功能：

硬件配置集现在作为技术预览提供。硬件配置集功能允许用户为工作台或模型保留工作负载为目标特定的 worker 节点。它允许用户以特定加速器类型或仅 CPU 的节点为目标。

此功能替换了当前的加速器配置集功能和容器大小选择器字段，为针对不同的硬件配置提供更广泛的功能。虽然加速器配置集、污点和容限为硬件提供一些匹配工作负载的功能，但它们不能确保工作负载在特定节点上，特别是某些节点缺少适当的污点。

硬件配置集功能支持加速器和 CPU 配置以及节点选择器，以增强特定 worker 节点的目标功能。管理员可以在设置菜单中配置硬件配置文件。用户可以在适用的情况下使用 UI 为工作台、模型服务和 Data Science Pipelines 选择启用的配置集。

使用 RStudio 服务器工作台镜像，您可以访问 RStudio IDE，这是 RStudio 的集成开发环境。R 编程语言用于统计计算和图形来支持数据分析和预测。

要使用 RStudio Server workbench 镜像，您必须首先通过创建 secret 并触发 BuildConfig 来构建它，然后通过编辑 r Studio-rhel9 镜像流在 OpenShift AI UI 中启用它。如需更多信息，请参阅 构建 RStudio 服务器工作台镜像。

使用 CUDA - RStudio Server workbench 镜像，您可以访问 RStudio IDE 和 NVIDIA CUDA Toolkit。RStudio IDE 是用于统计计算和图形的 R 编程语言的集成开发环境。使用 NVIDIA CUDA 工具包，您可以使用 GPU 加速的库和优化工具来增强您的工作。

要使用 CUDA - RStudio Server workbench 镜像，您必须首先通过创建 secret 并触发 BuildConfig 来构建它，然后通过编辑 r Studio-rhel9 镜像流在 OpenShift AI UI 中启用它。如需更多信息，请参阅 构建 RStudio 服务器工作台镜像。