1.10. 令牌和令牌配额限制


令牌是小文本块,可以是小的字符,也可以是大一个单词。令牌是一种测量单位,用于量化 OpenShift Lightspeed 服务发送到或接收来自大型语言模型(LLM)的文本量。每次与服务和 LLM 的交互都在令牌中计算。

令牌配额限制定义可在特定时间线中使用的令牌数量。实施令牌配额限制有助于控制成本,鼓励更有效地使用查询,并规范系统需求。在多用户配置中,令牌配额限制有助于为所有用户提供相同的访问权限,确保每个人都有机会提交查询。

您可以为 OpenShift 集群或 OpenShift 用户帐户定义令牌配额限制。

1.10.1. 激活令牌配额限制

通过在 ConfigMap 资源中定义键值对来激活 OpenShift Lightspeed 服务的令牌配额限制。OpenShift Lightspeed pod 将 ConfigMap 资源挂载为卷,启用对其中存储的文件的访问。OLSConfig 自定义资源(CR)引用 ConfigMap 资源来获取配额限制信息。

先决条件

  • 已安装 OpenShift Lightspeed Operator。
  • 您已配置了大型语言模型供应商。
  • PostgreSQL 数据库已配置,OpenShift Lightspeed 服务可以访问数据库。

流程

  1. 运行以下命令,打开 OpenShift Lightspeed OLSconfig CR 文件:

    $ oc edit olsconfig cluster
    Copy to Clipboard
  2. 修改 spec.ols.quotaHandlersConfig 规格,使其包含令牌配额限制信息。

    OpenShift Lightspeed OLSConfig CR 示例

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      ols:
        quotaHandlersConfig:
          limitersConfig:
          - name: user_limits 
    1
    
            type: user_limiter
            initialQuota: 100000 
    2
    
            quotaIncrease: 1000 
    3
    
            period: 30 days
          - name: cluster_limits 
    4
    
            type: cluster_limiter
            initialQuota: 1000000 
    5
    
            quotaIncrease: 100000 
    6
    
            period: 30 days 
    7
    Copy to Clipboard

    1
    指定用户帐户的令牌限制。
    2
    period 字段中指定的时间段内为每个用户指定令牌配额限制为 100,000。
    3
    period 字段中指定的时间段内,将用户的令牌配额限制增加到 1,000。
    4
    指定集群的令牌限制。
    5
    period 字段中指定的时间段内,为每个集群指定令牌配额限制为 1,000,000。
    6
    period 字段中指定的时间段内,将集群的令牌配额限制增加到 100,000。
    7
    定义调度程序在期限重置或配额限制增加前等待的时间。
  3. 点击 Save

    save 操作会保存文件并应用更改来激活令牌配额限制。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat