1.4. CLI를 사용하여 Lightspeed 사용자 정의 리소스 파일 생성

프로세스

1. 사용하는 Cryostat 공급자에 대한 YAML 콘텐츠가 포함된 OLSConfig 파일을 만듭니다.

   OpenAI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myOpenai
           type: openai
           credentialsSecretRef:
             name: credentials
           url: https://api.openai.com/v1
           models:
             - name: <model_name>
     ols:
       defaultModel: <model_name>
       defaultProvider: myOpenai

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux AI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: <rhelai_api_keys> 

   1

   
         models:
         - name: models/<model_name>
         name: rhelai
         type: rhelai_vllm
         url: <url> 

   2

   
     ols:
       defaultProvider: rhelai
       defaultModel: models/<model_name>
       additionalCAConfigMapRef:
         name: openshift-service-ca.crt

   Copy to Clipboard Toggle word wrap

   1

   기본적으로 Red Hat Enterprise Linux AI API 키에는 요청의 일부로 토큰이 필요합니다. Red Hat Enterprise Linux AI 구성에 토큰이 필요하지 않은 경우 인증 요청의 토큰 값을 유효한 문자열로 설정해야 합니다.

   2

   URL 끝점은 v1 로 끝나야 합니다. 예: https://http://3.23.103.8:8000/v1.

   Red Hat OpenShift AI CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: <rhoai_api_keys> 

   1

   
         models:
         - name: <model_name>
         name: red_hat_openshift_ai
         type: rhoai_vllm
         url: <url> 

   2

   
     ols:
       defaultProvider: red_hat_openshift_ai
       defaultModel: <model_name>

   Copy to Clipboard Toggle word wrap

   1

   기본적으로 Red Hat OpenShift AI API 키에는 요청의 일부로 토큰이 필요합니다. Red Hat OpenShift AI 구성에 토큰이 필요하지 않은 경우 인증 요청의 토큰 값을 유효한 문자열로 설정해야 합니다.

   2

   URL 끝점은 v1 로 끝나야 합니다. For example, https://<model_name>.<domain_name>.com:443/v1.

   Microsoft Azure OpenAI CR file

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - credentialsSecretRef:
             name: credentials
           apiVersion: <api_version_for_azure_model>
           deploymentName: <azure_ai_deployment_name>
           models:
             - name: <model_name>
           name: myAzure
           type: azure_openai
           url: <azure_ai_deployment_url>
     ols:
       defaultModel: <model_name>
       defaultProvider: myAzure

   Copy to Clipboard Toggle word wrap

   IBM watsonx CR 파일

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myWatsonx
           type: watsonx
           credentialsSecretRef:
             name: credentials
           url: <ibm_watsonx_deployment_name>
           projectID: <ibm_watsonx_project_id>
           models:
             - name: ibm/<model_name>
     ols:
       defaultModel: ibm/<model_name>
       defaultProvider: myWatsonx

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행합니다.

   $ oc create -f /path/to/config-cr.yaml

   Copy to Clipboard Toggle word wrap

   Operator는 YAML 구성 파일의 정보를 사용하여 OpenShift Lightspeed를 배포합니다.