1.4. 使用 CLI 创建 Lightspeed 自定义资源文件

自定义资源(CR)文件包含 Operator 用来部署 OpenShift Lightspeed 的信息。CR 文件的特定内容对于每个大型语言模型(LLM)供应商是唯一的。要创建 CR 文件，请选择您要使用的 LLM 供应商的配置文件。

先决条件

您可以访问 OpenShift CLI (oc)，并以具有 cluster-admin 角色的用户身份登录。或者，您登录到有权创建集群范围的 CR 文件的用户帐户。
您有一个可用于 OpenShift Lightspeed Service 的 LLM 供应商。
已安装 OpenShift Lightspeed Operator。

流程

创建一个 OLSConfig 文件，其中包含您使用的 LLM 供应商的 YAML 内容。

OpenAI CR 文件

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myOpenai
        type: openai
        credentialsSecretRef:
          name: credentials
        url: https://api.openai.com/v1
        models:
          - name: <model_name>
  ols:
    hideIcon: true 
    defaultModel: <model_name>
    defaultProvider: myOpenai

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myOpenai
        type: openai
        credentialsSecretRef:
          name: credentials
        url: https://api.openai.com/v1
        models:
          - name: <model_name>
  ols:
    hideIcon: true


    defaultModel: <model_name>
    defaultProvider: myOpenai

Copy to Clipboard

Toggle word wrap

1: 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为 false，它不会隐藏图标。将 hideIcon 字段设置为 true 可隐藏图标。例如，您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。

Red Hat Enterprise Linux AI CR file

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhelai_api_keys> 
      models:
      - name: models/<model_name>
      name: rhelai
      type: rhelai_vllm
      url: <url> 
  ols:
    hideIcon: true 
    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: openshift-service-ca.crt

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhelai_api_keys>


      models:
      - name: models/<model_name>
      name: rhelai
      type: rhelai_vllm
      url: <url>


  ols:
    hideIcon: true


    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: openshift-service-ca.crt

Copy to Clipboard

Toggle word wrap

1: 默认情况下，Red Hat Enterprise Linux AI API 密钥需要一个令牌作为请求的一部分。如果您的 Red Hat Enterprise Linux AI 配置不需要令牌，您必须将令牌值设置为任何有效的字符串，以便请求进行身份验证。
2: URL 端点必须以 v1 结尾才能有效。例如： https://http://3.23.103.8:8000/v1。
3: 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为 false，它不会隐藏图标。将 hideIcon 字段设置为 true 可隐藏图标。例如，您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。

Red Hat OpenShift AI CR file

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhoai_api_keys> 
      models:
      - name: <model_name>
      name: red_hat_openshift_ai
      type: rhoai_vllm
      url: <url> 
  ols:
    hideIcon: true 
    defaultProvider: red_hat_openshift_ai
    defaultModel: <model_name>

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhoai_api_keys>


      models:
      - name: <model_name>
      name: red_hat_openshift_ai
      type: rhoai_vllm
      url: <url>


  ols:
    hideIcon: true


    defaultProvider: red_hat_openshift_ai
    defaultModel: <model_name>

Copy to Clipboard

Toggle word wrap

1: 默认情况下，Red Hat OpenShift AI API 密钥需要一个令牌作为请求的一部分。如果您的 Red Hat OpenShift AI 配置不需要令牌，您必须将令牌值设置为任何有效的字符串，以便请求进行身份验证。
2: URL 端点必须以 v1 结尾才能有效。例如： https://<model_name>.<domain_name>.com:443/v1。
3: 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为 false，它不会隐藏图标。将 hideIcon 字段设置为 true 可隐藏图标。例如，您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。

Microsoft Azure OpenAI CR 文件

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - credentialsSecretRef:
          name: credentials
        apiVersion: <api_version_for_azure_model>
        deploymentName: <azure_ai_deployment_name>
        models:
          - name: <model_name>
        name: myAzure
        type: azure_openai
        url: <azure_ai_deployment_url>
  ols:
    hideIcon: true 
    defaultModel: <model_name>
    defaultProvider: myAzure

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - credentialsSecretRef:
          name: credentials
        apiVersion: <api_version_for_azure_model>
        deploymentName: <azure_ai_deployment_name>
        models:
          - name: <model_name>
        name: myAzure
        type: azure_openai
        url: <azure_ai_deployment_url>
  ols:
    hideIcon: true


    defaultModel: <model_name>
    defaultProvider: myAzure

Copy to Clipboard

Toggle word wrap

1: 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为 false，它不会隐藏图标。将 hideIcon 字段设置为 true 可隐藏图标。例如，您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。

IBM watsonx CR 文件

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myWatsonx
        type: watsonx
        credentialsSecretRef:
          name: credentials
        url: <ibm_watsonx_deployment_name>
        projectID: <ibm_watsonx_project_id>
        models:
          - name: ibm/<model_name>
  ols:
    hideIcon: true 
    defaultModel: ibm/<model_name>
    defaultProvider: myWatsonx

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myWatsonx
        type: watsonx
        credentialsSecretRef:
          name: credentials
        url: <ibm_watsonx_deployment_name>
        projectID: <ibm_watsonx_project_id>
        models:
          - name: ibm/<model_name>
  ols:
    hideIcon: true


    defaultModel: ibm/<model_name>
    defaultProvider: myWatsonx

Copy to Clipboard

Toggle word wrap

1: 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为 false，它不会隐藏图标。将 hideIcon 字段设置为 true 可隐藏图标。例如，您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。

运行以下命令:
```
oc create -f /path/to/config-cr.yaml
```
```
$ oc create -f /path/to/config-cr.yaml
```
Copy to Clipboard Toggle word wrap
Operator 使用 YAML 配置文件中的信息部署 OpenShift Lightspeed。

1.4.1. 支持 trusted-ca 证书和 LLM 供应商
复制链接

您可以使用 TLS 证书与大型语言模型(LLM)和 OpenShift Lightspeed 服务建立通信。通常，如果您使用自定义代理与 LLM 通信，则需要此项。

OpenShift Lightspeed 服务支持为以下 LLM 供应商添加 trusted-ca 证书：

Red Hat Enterprise Linux AI vLLM
Red Hat OpenShift AI vLLM
OpenAI
Microsoft Azure OpenAI

要添加 trusted-ca 证书，您必须创建一个包含证书的 ConfigMap 对象。然后，将对象名称添加到 OLSConfig 自定义资源(CR)文件中，如下例所示：

ols:
  additionalCAConfigMapRef:
    name: <config_map_name>

ols:
  additionalCAConfigMapRef:
    name: <config_map_name>

Copy to Clipboard

Toggle word wrap

1.4.2. 使用 LLM 的 trusted-ca 证书配置 OpenShift Lightspeed
复制链接

使用 trusted-ca 证书配置 OpenShift Lightspeed，以连接到大型语言模型(LLM)供应商。

注意

如果您正在使用的 LLM 供应商需要 trusted-ca 证书来验证 OpenShift Lightspeed 服务，则必须执行此步骤。如果 LLM 供应商不需要 trusted-ca 证书来验证服务，您应该跳过这个过程。

流程

复制证书文件的内容并将其粘贴到名为 caCertFileName 的文件中。

运行以下命令，创建名为 trusted-certs 的 ConfigMap 对象：

oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed

$ oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed

Copy to Clipboard

Toggle word wrap

输出示例

kind: ConfigMap
apiVersion: v1
metadata:
  name: trusted-certs
  namespace: openshift-lightspeed
data:
  caCertFileName: | 
    -----BEGIN CERTIFICATE-----
    .
    .
    .
    -----END CERTIFICATE-----

kind: ConfigMap
apiVersion: v1
metadata:
  name: trusted-certs
  namespace: openshift-lightspeed
data:
  caCertFileName: |


    -----BEGIN CERTIFICATE-----
    .
    .
    .
    -----END CERTIFICATE-----

Copy to Clipboard

Toggle word wrap

1: 指定连接到您的 LLM 供应商所需的 CA 证书。您可以包含一个或多个证书。

更新 OLSConfig 自定义资源文件，使其包含您刚才创建的 ConfigMap 对象的名称。

Example Red Hat Enterprise Linux AI CR file

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  ols:
    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: trusted-certs

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  ols:
    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: trusted-certs

Copy to Clipboard

Toggle word wrap

1: 指定 ConfigMap 对象的名称。

创建自定义 CR。
```
oc apply -f <olfconfig_cr_filename>
```
```
$ oc apply -f <olfconfig_cr_filename>
```
Copy to Clipboard Toggle word wrap

1.4. 使用 CLI 创建 Lightspeed 自定义资源文件

1.4.1. 支持 trusted-ca 证书和 LLM 供应商
复制链接

1.4.2. 使用 LLM 的 trusted-ca 证书配置 OpenShift Lightspeed
复制链接

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

1.4. 使用 CLI 创建 Lightspeed 自定义资源文件

1.4.1. 支持 trusted-ca 证书和 LLM 供应商复制链接链接已复制到粘贴板!

1.4.2. 使用 LLM 的 trusted-ca 证书配置 OpenShift Lightspeed复制链接链接已复制到粘贴板!

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

1.4.1. 支持 trusted-ca 证书和 LLM 供应商
复制链接

1.4.2. 使用 LLM 的 trusted-ca 证书配置 OpenShift Lightspeed
复制链接