第 5 章 开发人员预览功能

此功能作为开发者预览提供。

OpenShift AI 现在包括模型即服务(MaaS)，以解决与服务大型语言模型(LLM)相关的资源消耗和管理挑战。

MaaS 通过受管 API 端点公开模型来提供对模型访问和资源使用情况的集中控制，让管理员能够在不同团队间强制实施消费策略。

此开发者预览引入了以下功能：

此功能作为开发者预览提供。

现在，您可以从 GenAI Studio 中的 AI Available Assets 页面直接访问和使用 Model-as-a-Service (MaaS)模型。

管理员可以通过在 Model Deployments 页面中启用切换来配置 MaaS。当模型被标记为服务时，它会变为全局状态，并在集群中的所有项目中可见。

此功能作为开发者预览提供。

管理员现在可以在部署期间将元数据添加到模型，以便它们会在 AI Available Assets 页面中自动列出。

下表描述了新的元数据字段，可简化由其他团队发现并可使用的新元数据字段：

此功能作为开发者预览提供。

Llama Stack 远程供应商和 SDK 现在与模型控制协议(MCP) HTTP 流协议兼容。

此功能增强使开发人员能够构建完全无状态的 MCP 服务器，简化在标准 Llama Stack 基础架构（包括无服务器环境）上部署，并提高了可扩展性。它还为将来的增强功能做好准备，如连接恢复，并提供从服务器-Sent 事件(SSE)的平稳过渡。

此功能作为开发者预览提供。

所有Inference Time Scaling (ITS)运行时依赖项现在打包在红帽维护的 Python 索引中，允许 Red Hat AI 和 OpenShift AI 客户直接使用 pip 安装 其_hub 及其依赖项。

此功能增强允许用户使用 ITS 算法构建自定义 inference 镜像，专注于提高模型准确性，而无需模型重新培训，例如：

现在，可以使用静态硬件配置文件支持来帮助用户根据 VRAM 要求和参考基准选择培训方法、型号和超线程。这种方法可确保在没有动态硬件发现的情况下可预测的、可靠的培训工作流。

包含以下组件：

human-in-Loop (HIL)功能已添加到 Llama Stack 代理中，允许用户在执行前批准未读取的工具调用。

此功能增强包括以下功能：