1.10. 令牌和令牌配额限制
令牌是小文本块,可以是小的字符,也可以是大一个单词。令牌是一种测量单位,用于量化 OpenShift Lightspeed 服务发送到或接收来自大型语言模型(LLM)的文本量。每次与服务和 LLM 的交互都在令牌中计算。
令牌配额限制定义可在特定时间线中使用的令牌数量。实施令牌配额限制有助于控制成本,鼓励更有效地使用查询,并规范系统需求。在多用户配置中,令牌配额限制有助于为所有用户提供相同的访问权限,确保每个人都有机会提交查询。
您可以为 OpenShift 集群或 OpenShift 用户帐户定义令牌配额限制。
1.10.1. 激活令牌配额限制
通过在 ConfigMap
资源中定义键值对来激活 OpenShift Lightspeed 服务的令牌配额限制。OpenShift Lightspeed pod 将 ConfigMap
资源挂载为卷,启用对其中存储的文件的访问。OLSConfig
自定义资源(CR)引用 ConfigMap
资源来获取配额限制信息。
先决条件
- 已安装 OpenShift Lightspeed Operator。
- 您已配置了大型语言模型供应商。
- PostgreSQL 数据库已配置,OpenShift Lightspeed 服务可以访问数据库。
流程
运行以下命令,打开 OpenShift Lightspeed
OLSconfig
CR 文件:oc edit olsconfig cluster
$ oc edit olsconfig cluster
Copy to Clipboard Copied! 修改
spec.ols.quotaHandlersConfig
规格,使其包含令牌配额限制信息。OpenShift Lightspeed
OLSConfig
CR 示例apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: ols: quotaHandlersConfig: limitersConfig: - name: user_limits type: user_limiter initialQuota: 100000 quotaIncrease: 1000 period: 30 days - name: cluster_limits type: cluster_limiter initialQuota: 1000000 quotaIncrease: 100000 period: 30 days
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: ols: quotaHandlersConfig: limitersConfig: - name: user_limits
1 type: user_limiter initialQuota: 100000
2 quotaIncrease: 1000
3 period: 30 days - name: cluster_limits
4 type: cluster_limiter initialQuota: 1000000
5 quotaIncrease: 100000
6 period: 30 days
7 Copy to Clipboard Copied! 点击 Save。
save 操作会保存文件并应用更改来激活令牌配额限制。