第 4 章 开发人员预览功能

在这个版本中，OpenShift AI 上的 Llama Stack 开发者预览功能启用 Retrieval-Augmented Generation (RAG)和用于构建下一代 generative AI 应用程序的代理工作流。它支持远程推测、内置嵌入和向量数据库操作。它还与 TrustyAI's 供应商（安全）和 Trusty AI 的 LM-Eval 供应商集成以进行评估。

此预览包括启用 Llama Stack Operator 的工具、组件和指导，与 RAG 工具交互，以及自动化 PDF ingestion 和关键字搜索功能来增强文档发现。

现在，您可以使用内置的 LM-Eval 组件和高级内容模式集成工具，在带有 TrustyAI 作为开发者预览功能的 Llama Stack 上运行评估并应用 Guardrails。要使用这个功能，请确保启用了 TrustyAI，并设置了 FMS Orchestrator 和 detectors，并在需要时使用 KServe RawDeployment 模式实现完全兼容性。不需要手动设置。

然后，在 Red Hat OpenShift AI Operator 的 DataScienceCluster 自定义资源中，将 spec.llamastackoperator.managementState 字段设置为 Managed。

如需更多信息，请参阅 GitHub 上的以下资源：

LLM Compressor 功能现在包括在 Red Hat OpenShift AI 中作为开发者技术预览功能。使用 llm-compressor 库以及相应的数据科学管道运行时镜像的新工作台镜像，可以更轻松地压缩和优化您的大型语言模型(LLM)，以便有效地使用 vLLM 部署。如需更多信息，请参阅 GitHub 中的 llm-compressor。

您可以通过两种方式使用 LLM Compressor 功能：