1.4. 使用 CLI 创建 Lightspeed 自定义资源文件

流程

1. 创建一个 OLSConfig 文件，其中包含您使用的 LLM 供应商的 YAML 内容。

   OpenAI CR 文件

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myOpenai
           type: openai
           credentialsSecretRef:
             name: credentials
           url: https://api.openai.com/v1
           models:
             - name: <model_name>
     ols:
       defaultModel: <model_name>
       defaultProvider: myOpenai

   Copy to Clipboard Toggle word wrap

   Red Hat Enterprise Linux AI CR file

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: <rhelai_api_keys> 

   1

   
         models:
         - name: models/<model_name>
         name: rhelai
         type: rhelai_vllm
         url: <url> 

   2

   
     ols:
       defaultProvider: rhelai
       defaultModel: models/<model_name>
       additionalCAConfigMapRef:
         name: openshift-service-ca.crt

   Copy to Clipboard Toggle word wrap

   1

   默认情况下，Red Hat Enterprise Linux AI API 密钥需要一个令牌作为请求的一部分。如果您的 Red Hat Enterprise Linux AI 配置不需要令牌，您必须将令牌值设置为任何有效的字符串，以便请求进行身份验证。

   2

   URL 端点必须以 v1 结尾才能有效。例如： https://http://3.23.103.8:8000/v1。

   Red Hat OpenShift AI CR file

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
       - credentialsSecretRef:
           name: <rhoai_api_keys> 

   1

   
         models:
         - name: <model_name>
         name: red_hat_openshift_ai
         type: rhoai_vllm
         url: <url> 

   2

   
     ols:
       defaultProvider: red_hat_openshift_ai
       defaultModel: <model_name>

   Copy to Clipboard Toggle word wrap

   1

   默认情况下，Red Hat OpenShift AI API 密钥需要一个令牌作为请求的一部分。如果您的 Red Hat OpenShift AI 配置不需要令牌，您必须将令牌值设置为任何有效的字符串，以便请求进行身份验证。

   2

   URL 端点必须以 v1 结尾才能有效。例如： https://<model_name>.<domain_name>.com:443/v1。

   Microsoft Azure OpenAI CR 文件

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - credentialsSecretRef:
             name: credentials
           apiVersion: <api_version_for_azure_model>
           deploymentName: <azure_ai_deployment_name>
           models:
             - name: <model_name>
           name: myAzure
           type: azure_openai
           url: <azure_ai_deployment_url>
     ols:
       defaultModel: <model_name>
       defaultProvider: myAzure

   Copy to Clipboard Toggle word wrap

   IBM watsonx CR 文件

   apiVersion: ols.openshift.io/v1alpha1
   kind: OLSConfig
   metadata:
     name: cluster
   spec:
     llm:
       providers:
         - name: myWatsonx
           type: watsonx
           credentialsSecretRef:
             name: credentials
           url: <ibm_watsonx_deployment_name>
           projectID: <ibm_watsonx_project_id>
           models:
             - name: ibm/<model_name>
     ols:
       defaultModel: ibm/<model_name>
       defaultProvider: myWatsonx

   Copy to Clipboard Toggle word wrap

2. 运行以下命令:

   $ oc create -f /path/to/config-cr.yaml

   Copy to Clipboard Toggle word wrap

   Operator 使用 YAML 配置文件中的信息部署 OpenShift Lightspeed。