1.4. CLI を使用した Lightspeed カスタムリソースファイルの作成

カスタムリソース (CR) ファイルには、Operator が OpenShift Lightspeed をデプロイするために使用する情報が含まれています。CR ファイルの具体的な内容は、大規模言語モデル (LLM) プロバイダーごとに異なります。CR ファイルを作成するには、使用している LLM プロバイダーの設定ファイルを選択します。

前提条件

OpenShift CLI (oc) にアクセスでき、cluster-admin ロールを持つユーザーとしてログインしている。または、クラスタースコープの CR ファイルを作成する権限を持つユーザーアカウントにログインしています。
OpenShift Lightspeed Service で使用できる LLM プロバイダーがある。
OpenShift Lightspeed Operator がインストールされている。

手順

使用する LLM プロバイダーの YAML コンテンツを含む OLSConfig ファイルを作成します。

OpenAI CR ファイル

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myOpenai
        type: openai
        credentialsSecretRef:
          name: credentials
        url: https://api.openai.com/v1
        models:
          - name: <model_name>
  ols:
    hideIcon: true 
    defaultModel: <model_name>
    defaultProvider: myOpenai

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myOpenai
        type: openai
        credentialsSecretRef:
          name: credentials
        url: https://api.openai.com/v1
        models:
          - name: <model_name>
  ols:
    hideIcon: true


    defaultModel: <model_name>
    defaultProvider: myOpenai

Copy to Clipboard

Toggle word wrap

1: OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は false であり、アイコンは非表示になりません。hideIcon フィールドを true に設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。

Red Hat Enterprise Linux AI CR ファイル

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhelai_api_keys> 
      models:
      - name: models/<model_name>
      name: rhelai
      type: rhelai_vllm
      url: <url> 
  ols:
    hideIcon: true 
    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: openshift-service-ca.crt

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhelai_api_keys>


      models:
      - name: models/<model_name>
      name: rhelai
      type: rhelai_vllm
      url: <url>


  ols:
    hideIcon: true


    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: openshift-service-ca.crt

Copy to Clipboard

Toggle word wrap

1: デフォルトでは、Red Hat Enterprise Linux AI API キーにはリクエストの一部としてトークンが必要です。Red Hat Enterprise Linux AI 設定でトークンが不要な場合は、要求を認証するためにトークン値を任意の有効な文字列に設定する必要があります。
2: URL エンドポイントが有効であるためには、v1 で終わる必要があります。たとえば、https://http://3.23.103.8:8000/v1 などです。
3: OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は false であり、アイコンは非表示になりません。hideIcon フィールドを true に設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。

Red Hat OpenShift AI CR ファイル

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhoai_api_keys> 
      models:
      - name: <model_name>
      name: red_hat_openshift_ai
      type: rhoai_vllm
      url: <url> 
  ols:
    hideIcon: true 
    defaultProvider: red_hat_openshift_ai
    defaultModel: <model_name>

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
    - credentialsSecretRef:
        name: <rhoai_api_keys>


      models:
      - name: <model_name>
      name: red_hat_openshift_ai
      type: rhoai_vllm
      url: <url>


  ols:
    hideIcon: true


    defaultProvider: red_hat_openshift_ai
    defaultModel: <model_name>

Copy to Clipboard

Toggle word wrap

1: デフォルトでは、Red Hat OpenShift AI API キーにはリクエストの一部としてトークンが必要です。Red Hat OpenShift AI 設定でトークンが不要な場合は、リクエストを認証するためにトークン値を有効な文字列に設定する必要があります。
2: URL エンドポイントが有効であるためには、v1 で終わる必要があります。たとえば、https://<model_name>.<domain_name>.com:443/v1 です。
3: OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は false であり、アイコンは非表示になりません。hideIcon フィールドを true に設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。

Microsoft Azure OpenAI CR ファイル

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - credentialsSecretRef:
          name: credentials
        apiVersion: <api_version_for_azure_model>
        deploymentName: <azure_ai_deployment_name>
        models:
          - name: <model_name>
        name: myAzure
        type: azure_openai
        url: <azure_ai_deployment_url>
  ols:
    hideIcon: true 
    defaultModel: <model_name>
    defaultProvider: myAzure

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - credentialsSecretRef:
          name: credentials
        apiVersion: <api_version_for_azure_model>
        deploymentName: <azure_ai_deployment_name>
        models:
          - name: <model_name>
        name: myAzure
        type: azure_openai
        url: <azure_ai_deployment_url>
  ols:
    hideIcon: true


    defaultModel: <model_name>
    defaultProvider: myAzure

Copy to Clipboard

Toggle word wrap

1: OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は false であり、アイコンは非表示になりません。hideIcon フィールドを true に設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。

IBM watsonx CR ファイル

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myWatsonx
        type: watsonx
        credentialsSecretRef:
          name: credentials
        url: <ibm_watsonx_deployment_name>
        projectID: <ibm_watsonx_project_id>
        models:
          - name: ibm/<model_name>
  ols:
    hideIcon: true 
    defaultModel: ibm/<model_name>
    defaultProvider: myWatsonx

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - name: myWatsonx
        type: watsonx
        credentialsSecretRef:
          name: credentials
        url: <ibm_watsonx_deployment_name>
        projectID: <ibm_watsonx_project_id>
        models:
          - name: ibm/<model_name>
  ols:
    hideIcon: true


    defaultModel: ibm/<model_name>
    defaultProvider: myWatsonx

Copy to Clipboard

Toggle word wrap

1: OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は false であり、アイコンは非表示になりません。hideIcon フィールドを true に設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。

以下のコマンドを実行します。
```
oc create -f /path/to/config-cr.yaml
```
```
$ oc create -f /path/to/config-cr.yaml
```
Copy to Clipboard Toggle word wrap
Operator は、YAML 設定ファイルの情報を使用して OpenShift Lightspeed をデプロイします。

1.4.1. 信頼できる CA 証明書と LLM プロバイダーのサポート
リンクのコピー

TLS 証明書を使用して、大規模言語モデル (LLM) および OpenShift Lightspeed サービスとの通信を確立できます。通常、これはカスタムプロキシーを使用して LLM と通信する場合に必要です。

OpenShift Lightspeed サービスは、次の LLM プロバイダー用の信頼できる CA 証明書の追加をサポートしています。

Red Hat Enterprise Linux AI vLLM
Red Hat OpenShift AI vLLM
OpenAI
Microsoft Azure OpenAI

信頼できる CA 証明書を追加するには、証明書を含む ConfigMap オブジェクトを作成する必要があります。その後、次の例に示すように、オブジェクトの名前を OLSConfig カスタムリソース (CR) ファイルに追加します。

ols:
  additionalCAConfigMapRef:
    name: <config_map_name>

ols:
  additionalCAConfigMapRef:
    name: <config_map_name>

Copy to Clipboard

Toggle word wrap

1.4.2. LLM 用の信頼できる CA 証明書を使用した OpenShift Lightspeed の設定
リンクのコピー

大規模言語モデル (LLM) プロバイダーに接続するために、信頼できる CA 証明書を使用して OpenShift Lightspeed を設定します。

注記

使用している LLM プロバイダーが OpenShift Lightspeed サービスを認証するために信頼できる CA 証明書を必要とする場合は、この手順を実行する必要があります。LLM プロバイダーがサービスを認証するために信頼できる CA 証明書を必要としない場合は、この手順をスキップする必要があります。

手順

証明書ファイルの内容をコピーし、caCertFileName というファイルに貼り付けます。

次のコマンドを実行して、trusted-certs という ConfigMap オブジェクトを作成します。

oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed

$ oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed

Copy to Clipboard

Toggle word wrap

出力例

kind: ConfigMap
apiVersion: v1
metadata:
  name: trusted-certs
  namespace: openshift-lightspeed
data:
  caCertFileName: | 
    -----BEGIN CERTIFICATE-----
    .
    .
    .
    -----END CERTIFICATE-----

kind: ConfigMap
apiVersion: v1
metadata:
  name: trusted-certs
  namespace: openshift-lightspeed
data:
  caCertFileName: |


    -----BEGIN CERTIFICATE-----
    .
    .
    .
    -----END CERTIFICATE-----

Copy to Clipboard

Toggle word wrap

1: LLM プロバイダーへの接続に必要な CA 証明書を指定します。1 つ以上の証明書を含めることができます。

OLSConfig カスタムリソースファイルを更新して、作成した ConfigMap オブジェクトの名前を含めます。

Red Hat Enterprise Linux AI CR ファイルの例

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  ols:
    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: trusted-certs

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  ols:
    defaultProvider: rhelai
    defaultModel: models/<model_name>
    additionalCAConfigMapRef:
      name: trusted-certs

Copy to Clipboard

Toggle word wrap

1: ConfigMap オブジェクトの名前を指定します。

カスタム CR を作成します。
```
oc apply -f <olfconfig_cr_filename>
```
```
$ oc apply -f <olfconfig_cr_filename>
```
Copy to Clipboard Toggle word wrap

1.4. CLI を使用した Lightspeed カスタムリソースファイルの作成

1.4.1. 信頼できる CA 証明書と LLM プロバイダーのサポート
リンクのコピー

1.4.2. LLM 用の信頼できる CA 証明書を使用した OpenShift Lightspeed の設定
リンクのコピー

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

1.4. CLI を使用した Lightspeed カスタムリソースファイルの作成

1.4.1. 信頼できる CA 証明書と LLM プロバイダーのサポートリンクのコピーリンクがクリップボードにコピーされました!

1.4.2. LLM 用の信頼できる CA 証明書を使用した OpenShift Lightspeed の設定リンクのコピーリンクがクリップボードにコピーされました!

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

多様性を受け入れるオープンソースの強化

会社概要

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

1.4.1. 信頼できる CA 証明書と LLM プロバイダーのサポート
リンクのコピー

1.4.2. LLM 用の信頼できる CA 証明書を使用した OpenShift Lightspeed の設定
リンクのコピー