1.9. 关于集群交互
OpenShift Lightspeed 服务使用大型语言模型(LLM)来生成问题的响应。您可以启用集群交互功能,以增强 LLM 所提供的知识,以及有关 OpenShift Container Platform 集群的信息。提供有关集群包含的 Kubernetes 对象的信息,可让 LLM 为您的环境生成高度特定的响应。
Model Context Protocol (MCP)是一个开放协议,用于标准化应用程序如何为 LLM 提供上下文。使用协议时,MCP 服务器提供了一种标准化的方法,使 LLM 通过从外部资源请求和接收实时信息来增加上下文。
启用集群交互时,OpenShift Lightspeed Operator 会安装 MCP 服务器。MCP 服务器为 OpenShift Lightspeed 服务提供对 OpenShift API 的访问。通过此访问,服务会执行读取操作来收集 LLM 的更多上下文,使该服务能够回答与 OpenShift 集群中驻留的 Kubernetes 对象相关的问题。
OpenShift Lightspeed 用于选择和有效地使用工具对大型语言(LLM)模型非常敏感。通常,具有更多参数的更大模型性能更好,最佳性能来自代表最新 AI 功能的超大模式。使用小模型时,您可能会发现工具选择或集群交互的其他方面的性能不佳。
要在 OpenShift Lightspeed Service 中激活集群交互功能,必须在 LLM 提供程序中启用工具调用。
启用工具调用可显著增加令牌使用量。使用公共模型提供程序时,令牌使用量增加可能会增加计费成本。
1.9.1. 启用集群交互 复制链接链接已复制到粘贴板!
修改 OLSConfig 自定义资源,以启用集群交互功能。
集群交互功能只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围。
先决条件
-
以具有
cluster-admin角色的用户身份登录到 OpenShift Container Platform Web 控制台。或者,您登录到有权创建集群范围的 CR 的用户帐户。 - 您已配置了大型语言模型(LLM)供应商。
- 已安装 OpenShift Lightspeed Operator。
流程
-
在 OpenShift Container Platform web 控制台中,点击 Operators
Installed Operators。 - 点 OpenShift Lightspeed Operator。
-
单击 OLSConfig,然后单击列表中的
集群配置实例。 - 点 YAML 标签。
将
spec.ols.introspectionEnabled参数设置为true以启用集群交互:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 点击 Save。
验证
访问 OpenShift Lightspeed 虚拟助手并提交与集群相关的问题。
OpenShift Lightspeed 虚拟助手生成特定于您的环境的高度优化响应。
1.9.2. 启用自定义 MCP 服务器 复制链接链接已复制到粘贴板!
添加额外的 MCP 服务器,使环境中带有工具的接口,以便大型语言模型(LLM)使用 工具生成问题答案。
集群交互功能只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围。
先决条件
- 已安装 OpenShift Lightspeed Operator。
- 您已配置了大型语言模型供应商。
-
您已配置了
OLSConfigCR 文件,该文件会自动部署 OpenShift Lightspeed Service。
流程
运行以下命令,打开 OpenShift Lightspeed
OLSconfig自定义资源(CR)文件:oc edit olsconfig cluster
$ oc edit olsconfig clusterCopy to Clipboard Copied! Toggle word wrap Toggle overflow 将
MCPServer添加到spec.featureGates规格文件中,并包含 MCP 服务器信息。Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定 MCP 服务器功能。
- 2
- 指定 MCP 服务器的名称。
- 3
- 指定 MCP 服务器用来通信的 URL 路径。
- 4
- 指定 MCP 服务器响应查询的时间。如果客户端没有在指定的时间内收到查询,则 MCP 服务器会超时。在本例中,超时为 30 秒。
- 5
- 指定客户端等待来自 Server-Sent Events (SSE)连接的新数据的时间长度。如果客户端没有在这个时间内接收数据,客户端会关闭连接。
- 6
- 指定 HTTP 请求发送到 MCP 服务器的额外标头。
- 7
- 当您将
enableSSE设置为true时,MCP 服务器会建立一个单向频道,供 MCP 服务器用来在服务器有新信息时将更新推送到客户端。默认设置为false。
点击 Save。
save 操作会保存文件并应用更改,以便 MCP 服务器可用于 OpenShift Lightspeed 服务。