1.10. 토큰 및 토큰 할당량 제한


토큰은 텍스트의 작은 청크로, 한 문자만큼 작거나 한 단어로 클 수 있습니다. 토큰은 OpenShift Lightspeed 서비스가 대규모 언어 모델(LLM)에서 전송하거나 수신하는 텍스트 양을 정량화하는 데 사용되는 측정 단위입니다. 서비스와 Cryostat와의 모든 상호 작용은 토큰으로 계산됩니다.

토큰 할당량 제한은 특정 기간 동안 사용할 수 있는 토큰 수를 정의합니다. 토큰 할당량 제한을 구현하면 비용을 제어하고 쿼리를 효율적으로 사용할 수 있으며 시스템 요구 사항을 규제할 수 있습니다. 다중 사용자 구성에서 토큰 할당량 제한은 모든 사용자에게 동일한 액세스를 제공하여 모든 사용자가 쿼리를 제출할 수 있도록 하는 데 도움이 됩니다.

OpenShift 클러스터 또는 OpenShift 사용자 계정에 대한 토큰 할당량 제한을 정의할 수 있습니다.

1.10.1. 토큰 할당량 제한 활성화

ConfigMap 리소스에서 키-값 쌍을 정의하여 OpenShift Lightspeed 서비스에 대한 토큰 할당량 제한을 활성화합니다. OpenShift Lightspeed Pod는 ConfigMap 리소스를 볼륨으로 마운트하여 여기에 저장된 파일에 대한 액세스를 활성화합니다. OLSConfig CR(사용자 정의 리소스)은 ConfigMap 리소스를 참조하여 할당량 제한 정보를 가져옵니다.

사전 요구 사항

  • OpenShift Lightspeed Operator를 설치했습니다.
  • 대규모 언어 모델 공급자를 구성했습니다.
  • PostgreSQL 데이터베이스가 구성되고 OpenShift Lightspeed 서비스가 데이터베이스에 액세스할 수 있습니다.

프로세스

  1. 다음 명령을 실행하여 OpenShift Lightspeed OLSconfig CR 파일을 엽니다.

    $ oc edit olsconfig cluster
    Copy to Clipboard Toggle word wrap
  2. 토큰 할당량 제한 정보를 포함하도록 spec.ols.quotaHandlersConfig 사양을 수정합니다.

    OpenShift Lightspeed OLSConfig CR의 예

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      ols:
        quotaHandlersConfig:
          limitersConfig:
          - name: user_limits 
    1
    
            type: user_limiter
            initialQuota: 100000 
    2
    
            quotaIncrease: 1000 
    3
    
            period: 30 days
          - name: cluster_limits 
    4
    
            type: cluster_limiter
            initialQuota: 1000000 
    5
    
            quotaIncrease: 100000 
    6
    
            period: 30 days 
    7
    Copy to Clipboard Toggle word wrap

    1
    사용자 계정의 토큰 제한을 지정합니다.
    2
    기간 필드에 지정된 기간 동안 각 사용자에 대해 토큰 할당량 제한을 100,000개로 지정합니다.
    3
    period 필드에 지정된 기간의 끝에 사용자의 토큰 할당량 제한을 1000으로 늘립니다.
    4
    클러스터의 토큰 제한을 지정합니다.
    5
    기간 필드에 지정된 기간 동안 각 클러스터에 대해 토큰 할당량 제한을 1,000,000개로 지정합니다.
    6
    기간 필드에 지정된 기간의 끝에 클러스터의 토큰 할당량 제한을 100,000개로 늘립니다.
    7
    기간이 재설정되거나 할당량 제한이 증가할 때까지 스케줄러가 대기하는 시간을 정의합니다.
  3. 저장을 클릭합니다.

    저장 작업은 파일을 저장하고 변경 사항을 적용하여 토큰 할당량 제한을 활성화합니다.

맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat