1.10. 令牌和令牌配额限制
令牌是小文本块,可以是小的字符,也可以是大一个单词。令牌是一种测量单位,用于量化 OpenShift Lightspeed 服务发送到或接收来自大型语言模型(LLM)的文本量。每次与服务和 LLM 的交互都在令牌中计算。
令牌配额限制定义可在特定时间线中使用的令牌数量。实施令牌配额限制有助于控制成本,鼓励更有效地使用查询,并规范系统需求。在多用户配置中,令牌配额限制有助于为所有用户提供相同的访问权限,确保每个人都有机会提交查询。
您可以为 OpenShift 集群或 OpenShift 用户帐户定义令牌配额限制。
1.10.1. 激活令牌配额限制 复制链接链接已复制到粘贴板!
通过在 ConfigMap
资源中定义键值对来激活 OpenShift Lightspeed 服务的令牌配额限制。OpenShift Lightspeed pod 将 ConfigMap
资源挂载为卷,启用对其中存储的文件的访问。OLSConfig
自定义资源(CR)引用 ConfigMap
资源来获取配额限制信息。
先决条件
- 已安装 OpenShift Lightspeed Operator。
- 您已配置了大型语言模型供应商。
- PostgreSQL 数据库已配置,OpenShift Lightspeed 服务可以访问数据库。
流程
运行以下命令,打开 OpenShift Lightspeed
OLSconfig
CR 文件:oc edit olsconfig cluster
$ oc edit olsconfig cluster
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 修改
spec.ols.quotaHandlersConfig
规格,使其包含令牌配额限制信息。OpenShift Lightspeed
OLSConfig
CR 示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 点击 Save。
save 操作会保存文件并应用更改来激活令牌配额限制。