1.10. 令牌和令牌配额限制
令牌是小文本块,可以是小的字符,也可以是大一个单词。令牌是一种测量单位,用于量化 OpenShift Lightspeed 服务发送到或接收来自大型语言模型(LLM)的文本量。每次与服务和 LLM 的交互都在令牌中计算。
令牌配额限制定义可在特定时间线中使用的令牌数量。实施令牌配额限制有助于控制成本,鼓励更有效地使用查询,并规范系统需求。在多用户配置中,令牌配额限制有助于为所有用户提供相同的访问权限,确保每个人都有机会提交查询。
您可以为 OpenShift 集群或 OpenShift 用户帐户定义令牌配额限制。
1.10.1. 激活令牌配额限制 复制链接链接已复制到粘贴板!
通过在 ConfigMap 资源中定义键值对来激活 OpenShift Lightspeed 服务的令牌配额限制。OpenShift Lightspeed pod 将 ConfigMap 资源挂载为卷,启用对其中存储的文件的访问。OLSConfig 自定义资源(CR)引用 ConfigMap 资源来获取配额限制信息。
先决条件
- 已安装 OpenShift Lightspeed Operator。
- 您已配置了大型语言模型供应商。
- PostgreSQL 数据库已配置,OpenShift Lightspeed 服务可以访问数据库。
流程
运行以下命令,打开 OpenShift Lightspeed
OLSconfigCR 文件:oc edit olsconfig cluster
$ oc edit olsconfig clusterCopy to Clipboard Copied! Toggle word wrap Toggle overflow 修改
spec.ols.quotaHandlersConfig规格,使其包含令牌配额限制信息。OpenShift Lightspeed
OLSConfigCR 示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 点击 Save。
save 操作会保存文件并应用更改来激活令牌配额限制。