第 4 章 开发人员预览功能

现在，您可以使用带有 TrustyAI 作为开发者预览功能的 LM-Eval 在 LM-Eval 上运行评估，使用内置的 LM-Eval 组件和高级内容模式集成工具。要使用这个功能，请确保启用了 TrustyAI，并设置了 FMS Orchestrator 和 detectors，并在需要时使用 KServe RawDeployment 模式实现完全兼容性。不需要手动设置。

然后，在 Red Hat OpenShift AI Operator 的 DataScienceCluster 自定义资源中，将 spec.llamastackoperator.managementState 字段设置为 Managed。

如需更多信息，请参阅 GitHub 上的以下资源：

LLM Compressor 功能现在包括在 Red Hat OpenShift AI 中作为开发者技术预览功能。使用 llm-compressor 库以及相应的数据科学管道运行时镜像的新工作台镜像，可以更轻松地压缩和优化您的大型语言模型(LLM)，以便有效地使用 vLLM 部署。如需更多信息，请参阅 GitHub 中的 llm-compressor。

您可以通过两种方式使用 LLM Compressor 功能：