1.10. 토큰 및 토큰 할당량 제한
토큰은 텍스트의 작은 청크로, 한 문자만큼 작거나 한 단어로 클 수 있습니다. 토큰은 OpenShift Lightspeed 서비스가 대규모 언어 모델(LLM)에서 전송하거나 수신하는 텍스트 양을 정량화하는 데 사용되는 측정 단위입니다. 서비스와 Cryostat와의 모든 상호 작용은 토큰으로 계산됩니다.
토큰 할당량 제한은 특정 기간 동안 사용할 수 있는 토큰 수를 정의합니다. 토큰 할당량 제한을 구현하면 비용을 제어하고 쿼리를 효율적으로 사용할 수 있으며 시스템 요구 사항을 규제할 수 있습니다. 다중 사용자 구성에서 토큰 할당량 제한은 모든 사용자에게 동일한 액세스를 제공하여 모든 사용자가 쿼리를 제출할 수 있도록 하는 데 도움이 됩니다.
OpenShift 클러스터 또는 OpenShift 사용자 계정에 대한 토큰 할당량 제한을 정의할 수 있습니다.
1.10.1. 토큰 할당량 제한 활성화 링크 복사링크가 클립보드에 복사되었습니다!
ConfigMap
리소스에서 키-값 쌍을 정의하여 OpenShift Lightspeed 서비스에 대한 토큰 할당량 제한을 활성화합니다. OpenShift Lightspeed Pod는 ConfigMap
리소스를 볼륨으로 마운트하여 여기에 저장된 파일에 대한 액세스를 활성화합니다. OLSConfig
CR(사용자 정의 리소스)은 ConfigMap
리소스를 참조하여 할당량 제한 정보를 가져옵니다.
사전 요구 사항
- OpenShift Lightspeed Operator를 설치했습니다.
- 대규모 언어 모델 공급자를 구성했습니다.
- PostgreSQL 데이터베이스가 구성되고 OpenShift Lightspeed 서비스가 데이터베이스에 액세스할 수 있습니다.
프로세스
다음 명령을 실행하여 OpenShift Lightspeed
OLSconfig
CR 파일을 엽니다.oc edit olsconfig cluster
$ oc edit olsconfig cluster
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 토큰 할당량 제한 정보를 포함하도록
spec.ols.quotaHandlersConfig
사양을 수정합니다.OpenShift Lightspeed
OLSConfig
CR의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 사용자 계정의 토큰 제한을 지정합니다.
- 2
- 기간 필드에 지정된 기간 동안 각 사용자에 대해 토큰 할당량 제한을 100,000개로 지정합니다.
- 3
period
필드에 지정된 기간의 끝에 사용자의 토큰 할당량 제한을 1000으로 늘립니다.- 4
- 클러스터의 토큰 제한을 지정합니다.
- 5
- 기간 필드에 지정된 기간 동안 각 클러스터에 대해 토큰 할당량 제한을 1,000,000개로 지정합니다.
- 6
- 기간 필드에 지정된 기간의 끝에 클러스터의 토큰 할당량 제한을 100,000개로 늘립니다.
- 7
- 기간이 재설정되거나 할당량 제한이 증가할 때까지 스케줄러가 대기하는 시간을 정의합니다.
저장을 클릭합니다.
저장 작업은 파일을 저장하고 변경 사항을 적용하여 토큰 할당량 제한을 활성화합니다.