1.5. 为 RHDH 自定义开发人员 Lightspeed
您可以为 RHDH 功能自定义 Developer Lightspeed,如问题验证、收集反馈并在 PostgreSQL 中存储 chat 历史记录。
1.5.1. 在 Developer Lightspeed 中使用问题验证 复制链接链接已复制到粘贴板!
Developer Lightspeed for RHDH 利用 问题 验证来验证查询是否与 Red Hat Developer Hub 相关。
当用户要求一个不在这些受限主题的问题时,Developer Lightspeed for RHDH 提供了通用响应来通知用户问题已超出范围。如果要禁用问题验证功能以允许更广泛的 问题,您可以在 Developer Lightspeed 中为 RHDH 应用配置文件将 questionValidation 设置为 false。
流程
要禁用 问题验证功能,在 RHDH
app-config.yaml文件的 Developer Lightspeed 中,请添加以下示例:lightspeed: # ... other lightspeed configurations questionValidation: false
lightspeed: # ... other lightspeed configurations questionValidation: falseCopy to Clipboard Copied! Toggle word wrap Toggle overflow
1.5.2. 在 Developer Lightspeed 中为 RHDH 收集反馈 复制链接链接已复制到粘贴板!
反馈集合是在 RCS 上配置的可选功能。此功能通过直接从 chat 窗口中提供缩略/向下评级和文本注释来收集用户反馈。RCS 收集反馈,以及用户的查询和模型响应,并将其作为 JSON 文件存储在 Pod 的本地文件系统中,供平台管理员收集和分析。这可用于评估模型性能并改进您的用户体验。收集的反馈存储在部署 RHDH 和 RCS 的集群中,因此只有该集群的平台管理员只能访问该反馈。对于计划删除其数据的用户,他们必须要求其相应的平台管理员执行该操作,因为红帽不会收集(或有权访问)任何这些数据。
流程
要在 RCS 配置文件中启用或禁用反馈,请添加以下设置:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
1.5.3. 在 Developer Lightspeed 中为 RHDH 更新系统提示 复制链接链接已复制到粘贴板!
您可以覆盖 Developer Lightspeed for RHDH 用来更好地帧查询到 LLM 的默认系统提示。通过自定义系统提示,您可以优化 LLM 接收的上下文、个人性和说明,从而提高它为特定环境创建的响应的相关性和准确性。
流程
要设置自定义系统提示,在 Developer Lightspeed 中用于 RHDH 应用程序配置文件,添加或修改
lightspeed.systemPrompt键并将其值设为您首选的提示字符串,如下例所示:lightspeed: # ... other lightspeed configurations systemPrompt: "You are a helpful assistant focused on {product} development."lightspeed: # ... other lightspeed configurations systemPrompt: "You are a helpful assistant focused on {product} development."Copy to Clipboard Copied! Toggle word wrap Toggle overflow
将 SystemPrompt 设置为前缀 Developer Lightspeed 发送的所有查询作为带有此指令的 LLM,修改模型来生成更为定制的响应。
1.5.4. 为 RHDH 自定义 Developer Lightspeed 中的 chat 历史记录存储 复制链接链接已复制到粘贴板!
默认情况下,RCS 服务使用内存数据库存储聊天历史记录。这意味着,如果您重启包含服务器的 Pod,chat 历史记录将会丢失。您可以手动为 RHDH 配置 Developer Lightspeed,以通过以下任一方法将 chat history 永久存储为使用 PostgreSQL 的长期备份:
- RHDH Operator
RHDH Helm Chart
警告如果您为 RHDH 配置 Developer Lightspeed 以使用 PostgreSQL 存储 chat 历史记录,则提示和响应会被您的平台管理员审核。如果您的任何用户的聊天历史记录包含任何私有、敏感或机密信息,这可能具有您需要评估的数据隐私和安全影响。对于希望删除聊天数据的用户,他们必须请求他们相应的平台管理员执行此操作。红帽没有收集(或有权访问)任何此聊天历史记录数据。
流程
当您在 Operator 安装的 RHDH 实例上使用 Developer Lightspeed 进行 RHDH 实例时,在 RHDH 实例 ConfigMap 中更新
conversation-cache字段,如下例所示:Copy to Clipboard Copied! Toggle word wrap Toggle overflow 当您在由 Helm 安装的 RHDH 实例上使用 Developer Lightspeed 进行 RHDH 时,在 RHDH 实例
values.yaml文件中更新conversation-cache字段,如下例所示:Copy to Clipboard Copied! Toggle word wrap Toggle overflow