1.4. CLI を使用した Lightspeed カスタムリソースファイルの作成
カスタムリソース (CR) ファイルには、Operator が OpenShift Lightspeed をデプロイするために使用する情報が含まれています。CR ファイルの具体的な内容は、大規模言語モデル (LLM) プロバイダーごとに異なります。CR ファイルを作成するには、使用している LLM プロバイダーの設定ファイルを選択します。
前提条件
-
OpenShift CLI (
oc) にアクセスでき、cluster-adminロールを持つユーザーとしてログインしている。または、クラスタースコープの CR ファイルを作成する権限を持つユーザーアカウントにログインしています。 - OpenShift Lightspeed Service で使用できる LLM プロバイダーがある。
- OpenShift Lightspeed Operator がインストールされている。
手順
使用する LLM プロバイダーの YAML コンテンツを含む
OLSConfigファイルを作成します。OpenAI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - name: myOpenai type: openai credentialsSecretRef: name: credentials url: https://api.openai.com/v1 models: - name: <model_name> ols: hideIcon: true1 defaultModel: <model_name> defaultProvider: myOpenai- 1
- OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は
falseであり、アイコンは非表示になりません。hideIconフィールドをtrueに設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。
Red Hat Enterprise Linux AI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - credentialsSecretRef: name: <rhelai_api_keys>1 models: - name: models/<model_name> name: rhelai type: rhelai_vllm url: <url>2 ols: hideIcon: true3 defaultProvider: rhelai defaultModel: models/<model_name> additionalCAConfigMapRef: name: openshift-service-ca.crt- 1
- デフォルトでは、Red Hat Enterprise Linux AI API キーにはリクエストの一部としてトークンが必要です。Red Hat Enterprise Linux AI 設定でトークンが不要な場合は、要求を認証するためにトークン値を任意の有効な文字列に設定する必要があります。
- 2
- URL エンドポイントが有効であるためには、
v1で終わる必要があります。たとえば、https://http://3.23.103.8:8000/v1などです。 - 3
- OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は
falseであり、アイコンは非表示になりません。hideIconフィールドをtrueに設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。
Red Hat OpenShift AI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - credentialsSecretRef: name: <rhoai_api_keys>1 models: - name: <model_name> name: red_hat_openshift_ai type: rhoai_vllm url: <url>2 ols: hideIcon: true3 defaultProvider: red_hat_openshift_ai defaultModel: <model_name>- 1
- デフォルトでは、Red Hat OpenShift AI API キーにはリクエストの一部としてトークンが必要です。Red Hat OpenShift AI 設定でトークンが不要な場合は、リクエストを認証するためにトークン値を有効な文字列に設定する必要があります。
- 2
- URL エンドポイントが有効であるためには、
v1で終わる必要があります。たとえば、https://<model_name>.<domain_name>.com:443/v1です。 - 3
- OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は
falseであり、アイコンは非表示になりません。hideIconフィールドをtrueに設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。
Microsoft Azure OpenAI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - credentialsSecretRef: name: credentials apiVersion: <api_version_for_azure_model> deploymentName: <azure_ai_deployment_name> models: - name: <model_name> name: myAzure type: azure_openai url: <azure_ai_deployment_url> ols: hideIcon: true1 defaultModel: <model_name> defaultProvider: myAzure- 1
- OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は
falseであり、アイコンは非表示になりません。hideIconフィールドをtrueに設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。
IBM watsonx CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - name: myWatsonx type: watsonx credentialsSecretRef: name: credentials url: <ibm_watsonx_deployment_name> projectID: <ibm_watsonx_project_id> models: - name: ibm/<model_name> ols: hideIcon: true1 defaultModel: ibm/<model_name> defaultProvider: myWatsonx- 1
- OpenShift Container Platform Web コンソールで OpenShift Lightspeed アイコンを非表示にするかどうかを指定します。デフォルト設定は
falseであり、アイコンは非表示になりません。hideIconフィールドをtrueに設定すると、アイコンが非表示になります。たとえば、OpenShift Lightspeed API へのアクセス権を持たないクラスターユーザーに対してアイコンを非表示にすることができます。
以下のコマンドを実行します。
$ oc create -f /path/to/config-cr.yamlOperator は、YAML 設定ファイルの情報を使用して OpenShift Lightspeed をデプロイします。
1.4.1. 信頼できる CA 証明書と LLM プロバイダーのサポート リンクのコピーリンクがクリップボードにコピーされました!
TLS 証明書を使用して、大規模言語モデル (LLM) および OpenShift Lightspeed サービスとの通信を確立できます。通常、これはカスタムプロキシーを使用して LLM と通信する場合に必要です。
OpenShift Lightspeed サービスは、次の LLM プロバイダー用の信頼できる CA 証明書の追加をサポートしています。
- Red Hat Enterprise Linux AI vLLM
- Red Hat OpenShift AI vLLM
- OpenAI
- Microsoft Azure OpenAI
信頼できる CA 証明書を追加するには、証明書を含む ConfigMap オブジェクトを作成する必要があります。その後、次の例に示すように、オブジェクトの名前を OLSConfig カスタムリソース (CR) ファイルに追加します。
ols:
additionalCAConfigMapRef:
name: <config_map_name>
1.4.2. LLM 用の信頼できる CA 証明書を使用した OpenShift Lightspeed の設定 リンクのコピーリンクがクリップボードにコピーされました!
大規模言語モデル (LLM) プロバイダーに接続するために、信頼できる CA 証明書を使用して OpenShift Lightspeed を設定します。
使用している LLM プロバイダーが OpenShift Lightspeed サービスを認証するために信頼できる CA 証明書を必要とする場合は、この手順を実行する必要があります。LLM プロバイダーがサービスを認証するために信頼できる CA 証明書を必要としない場合は、この手順をスキップする必要があります。
手順
-
証明書ファイルの内容をコピーし、
caCertFileNameというファイルに貼り付けます。 次のコマンドを実行して、
trusted-certsというConfigMapオブジェクトを作成します。$ oc create configmap trusted-certs --from-file=caCertFileName --namespace openshift-lightspeed出力例
kind: ConfigMap apiVersion: v1 metadata: name: trusted-certs namespace: openshift-lightspeed data: caCertFileName: |1 -----BEGIN CERTIFICATE----- . . . -----END CERTIFICATE------ 1
- LLM プロバイダーへの接続に必要な CA 証明書を指定します。1 つ以上の証明書を含めることができます。
OLSConfigカスタムリソースファイルを更新して、作成したConfigMapオブジェクトの名前を含めます。Red Hat Enterprise Linux AI CR ファイルの例
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: ols: defaultProvider: rhelai defaultModel: models/<model_name> additionalCAConfigMapRef: name: trusted-certs1 - 1
ConfigMapオブジェクトの名前を指定します。
カスタム CR を作成します。
$ oc apply -f <olfconfig_cr_filename>