1.4. CLI를 사용하여 Lightspeed 사용자 정의 리소스 파일 생성

프로세스

1. 사용하는 Cryostat 공급자의 YAML 콘텐츠가 포함된 OLSConfig 파일을 생성합니다.

   OpenAI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myOpenai
           type: openai
           credentialsSecretRef:
             name: credentials
           url: https://api.openai.com/v1
           models:
             - name: gpt-3.5-turbo
     ols:
       defaultModel: gpt-3.5-turbo
       defaultProvider: myOpenai

   Red Hat Enterprise Linux AI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: openai-api-keys
         models:
         - name: models/granite-7b-redhat-lab
         name: rhelai
         type: rhelai_vllm
         url: <URL> 1
     ols:
       defaultProvider: rhelai
       defaultModel: models/granite-7b-redhat-lab

   1

   URL 끝점은 v1 로 끝나야 합니다. 예: https://http://3.23.103.8:8000/v1.

   Red Hat OpenShift AI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: openai-api-keys
         models:
         - name: granite-8b-code-instruct-128k
         name: red_hat_openshift_ai
         type: rhoai_vllm
         url: <url> 1
     ols:
       defaultProvider: red_hat_openshift_ai
       defaultModel: granite-8b-code-instruct-128k

   1

   URL 끝점은 v1 로 끝나야 합니다. 예: https://granite-8b-code-instruct.my-domain.com:443/v1.

   Microsoft Azure OpenAI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - credentialsSecretRef:
             name: credentials
           deploymentName: <azure_ai_deployment_name>
           models:
             - name: gpt-35-turbo-16k
           name: myAzure
           type: azure_openai
           url: <azure_ai_deployment_url>
     ols:
       defaultModel: gpt-35-turbo-16k
       defaultProvider: myAzure

   IBM#159X CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myWatsonx
           type: watsonx
           credentialsSecretRef:
             name: credentials
           url: <ibm_watsonx_deployment_name>
           projectId: <ibm_watsonx_project_id>
           models:
             - name: ibm/granite-13b-chat-v2
     ols:
       defaultModel: ibm/granite-13b-chat-v2
       defaultProvider: myWatsonx

2. 다음 명령을 실행합니다.

   $ oc create -f /path/to/config-cr.yaml

   Operator는 YAML 구성 파일의 정보를 사용하여 OpenShift Lightspeed를 배포합니다.