1.4. CLI を使用した Lightspeed カスタムリソースファイルの作成

手順

1. 使用する LLM プロバイダーの YAML コンテンツを含む OLSConfig ファイルを作成します。

   OpenAI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myOpenai
           type: openai
           credentialsSecretRef:
             name: credentials
           url: https://api.openai.com/v1
           models:
             - name: gpt-3.5-turbo
     ols:
       defaultModel: gpt-3.5-turbo
       defaultProvider: myOpenai

   Red Hat Enterprise Linux AI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: openai-api-keys
         models:
         - name: models/granite-7b-redhat-lab
         name: rhelai
         type: rhelai_vllm
         url: <URL> 1
     ols:
       defaultProvider: rhelai
       defaultModel: models/granite-7b-redhat-lab

   1

   URL エンドポイントが有効であるためには、v1 で終わる必要があります。たとえば、https://http://3.23.103.8:8000/v1 などです。

   Red Hat OpenShift AI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: openai-api-keys
         models:
         - name: granite-8b-code-instruct-128k
         name: red_hat_openshift_ai
         type: rhoai_vllm
         url: <url> 1
     ols:
       defaultProvider: red_hat_openshift_ai
       defaultModel: granite-8b-code-instruct-128k

   1

   URL エンドポイントが有効であるためには、v1 で終わる必要があります。たとえば、https://granite-8b-code-instruct.my-domain.com:443/v1 などです。

   Microsoft Azure OpenAI CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - credentialsSecretRef:
             name: credentials
           deploymentName: <azure_ai_deployment_name>
           models:
             - name: gpt-35-turbo-16k
           name: myAzure
           type: azure_openai
           url: <azure_ai_deployment_url>
     ols:
       defaultModel: gpt-35-turbo-16k
       defaultProvider: myAzure

   IBM WatsonX CR ファイル

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myWatsonx
           type: watsonx
           credentialsSecretRef:
             name: credentials
           url: <ibm_watsonx_deployment_name>
           projectId: <ibm_watsonx_project_id>
           models:
             - name: ibm/granite-13b-chat-v2
     ols:
       defaultModel: ibm/granite-13b-chat-v2
       defaultProvider: myWatsonx

2. 以下のコマンドを実行します。

   $ oc create -f /path/to/config-cr.yaml

   Operator は、YAML 設定ファイルの情報を使用して OpenShift Lightspeed をデプロイします。