1.10. トークンとトークンクォータ制限


トークンとは、テキストを小さく分割したものであり、そのサイズは最小で 1 文字、最大で 1 単語となります。トークンは、OpenShift Lightspeed サービスが大規模言語モデル (LLM) に送信するテキストや、LLM から受信するテキストの量を定量化するのに使用される測定単位です。サービスおよび LLM とのすべてのやり取りはトークンでカウントされます。

トークンのクォータ制限は、特定の期間内に使用できるトークンの数を定義します。トークンのクォータ制限を実装すると、コストを制御し、クエリーのより効率的な使用を促進し、システムの需要を規制するのに役立ちます。マルチユーザー設定において、トークンのクォータ制限は、すべてのユーザーに均等なアクセスを提供し、誰もがクエリーを送信する機会を得られるようにするために役立ちます。

OpenShift クラスターまたは OpenShift ユーザーアカウントのトークンクォータ制限を定義できます。

1.10.1. トークンのクォータ制限の有効化

ConfigMap リソースでキーと値のペアを定義して、OpenShift Lightspeed サービスのトークンのクォータ制限をアクティブにします。OpenShift Lightspeed Pod は ConfigMap リソースをボリュームとしてマウントし、その中に保存されているファイルにアクセスできるようにします。OLSConfig カスタムリソース (CR) は、ConfigMap リソースを参照してクォータ制限情報を取得します。

前提条件

  • OpenShift Lightspeed Operator がインストールされている。
  • 大規模言語モデルプロバイダーが設定されている。
  • PostgreSQL データベースが設定され、OpenShift Lightspeed サービスがデータベースにアクセスできる。

手順

  1. 次のコマンドを実行して、OpenShift Lightspeed OLSconfig CR ファイルを開きます。

    $ oc edit olsconfig cluster
    Copy to Clipboard Toggle word wrap
  2. トークンのクォータ制限情報を含めるように spec.ols.quotaHandlersConfig 仕様を変更します。

    OpenShift Lightspeed OLSConfig CR の例

    apiVersion: ols.openshift.io/v1alpha1
    kind: OLSConfig
    metadata:
      name: cluster
    spec:
      ols:
        quotaHandlersConfig:
          limitersConfig:
          - name: user_limits 
    1
    
            type: user_limiter
            initialQuota: 100000 
    2
    
            quotaIncrease: 1000 
    3
    
            period: 30 days
          - name: cluster_limits 
    4
    
            type: cluster_limiter
            initialQuota: 1000000 
    5
    
            quotaIncrease: 100000 
    6
    
            period: 30 days 
    7
    Copy to Clipboard Toggle word wrap

    1
    ユーザーアカウントのトークン制限を指定します。
    2
    period フィールドで指定された期間にわたって、各ユーザーに対して 100,000 のトークンクォータ制限を指定します。
    3
    period フィールドで指定された期間の終了時に、ユーザーのトークンクォータ制限を 1,000 増やします。
    4
    クラスターのトークン制限を指定します。
    5
    period フィールドで指定された期間にわたって、各クラスターに対して 1,000,000 のトークンクォータ制限を指定します。
    6
    period フィールドで指定された期間の終了時に、クラスターのトークンクォータ制限を 100,000 増やします。
    7
    期間がリセットされるか、クォータ制限が増加するまでスケジューラーが待機する時間の長さを定義します。
  3. Save をクリックします。

    保存操作によりファイルが保存され、変更が適用されてトークンのクォータ制限がアクティブになります。

トップに戻る
Red Hat logoGithubredditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。 最新の更新を見る.

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

Theme

© 2025 Red Hat