1.2. Web コンソールを使用して Lightspeed カスタムリソースファイルの作成

手順

1. OpenShift Web コンソールの右上隅にある Quick create ( ) メニューをクリックし、Import YAML を選択します。

2. 使用する LLM プロバイダーの YAML コンテンツを Web コンソールのテキスト領域に貼り付けます。

   OpenAI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myOpenai
           type: openai
           credentialsSecretRef:
             name: credentials
           url: https://api.openai.com/v1
           models:
             - name: <model_name>
     ols:
       defaultModel: <model_name>
       defaultProvider: myOpenai

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux AI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: <rhelai_api_keys> 

   1

   
         models:
         - name: models/<model_name>
         name: rhelai
         type: rhelai_vllm
         url: <url> 

   2

   
     ols:
       defaultProvider: rhelai
       defaultModel: models/<model_name>

   Copy to Clipboard Toggle word wrap

   1

   デフォルトでは、Red Hat Enterprise Linux AI API キーにはリクエストの一部としてトークンが必要です。Red Hat Enterprise Linux AI 設定でトークンが不要な場合は、要求を認証するためにトークン値を任意の有効な文字列に設定する必要があります。

   2

   URL エンドポイントが有効であるためには、v1 で終わる必要があります。たとえば、https://http://3.23.103.8:8000/v1 などです。

   Red Hat OpenShift AI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: <rhoai_api_keys> 

   1

   
         models:
         - name: <model_name>
         name: red_hat_openshift_ai
         type: rhoai_vllm
         url: <url> 

   2

   
     ols:
       defaultProvider: red_hat_openshift_ai
       defaultModel: <model_name>

   Copy to Clipboard Toggle word wrap

   1

   デフォルトでは、Red Hat OpenShift AI API キーにはリクエストの一部としてトークンが必要です。Red Hat OpenShift AI 設定でトークンが不要な場合は、リクエストを認証するためにトークン値を有効な文字列に設定する必要があります。

   2

   URL エンドポイントが有効であるためには、v1 で終わる必要があります。たとえば、https://<model_name>.<domain_name>.com:443/v1 です。

   Microsoft Azure OpenAI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - credentialsSecretRef:
             name: credentials
           apiVersion: <api_version_for_azure_model>
           deploymentName: <azure_ai_deployment_name>
           models:
             - name: <model_name>
           name: myAzure
           type: azure_openai
           url: <azure_ai_deployment_url>
     ols:
       defaultModel: <model_name>
       defaultProvider: myAzure

   Copy to Clipboard Toggle word wrap

   IBM watsonx CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myWatsonx
           type: watsonx
           credentialsSecretRef:
             name: credentials
           url: <ibm_watsonx_deployment_name>
           projectID: <ibm_watsonx_project_id>
           models:
             - name: ibm/<model_name>
     ols:
       defaultModel: ibm/<model_name>
       defaultProvider: myWatsonx

   Copy to Clipboard Toggle word wrap

3. Create をクリックします。