1.4. CLI を使用した Lightspeed カスタムリソースファイルの作成
カスタムリソース (CR) ファイルには、Operator が OpenShift Lightspeed をデプロイするために使用する情報が含まれています。CR ファイルの特定のコンテンツは、Large Language Model (LLM) プロバイダーごとに一意です。LLM プロバイダーに一致する設定ファイルを選択します。
前提条件
-
OpenShift CLI (oc) にアクセスでき、
cluster-adminロールを持つユーザーとしてログインしている。または、クラスタースコープの CR ファイルを作成する権限を持つユーザーアカウントにログインしています。 - OpenShift Lightspeed Operator がインストールされている。
手順
使用する LLM プロバイダーの YAML コンテンツを含む
OLSConfigファイルを作成します。OpenAI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - name: myOpenai type: openai credentialsSecretRef: name: credentials url: https://api.openai.com/v1 models: - name: gpt-3.5-turbo ols: defaultModel: gpt-3.5-turbo defaultProvider: myOpenaiRed Hat Enterprise Linux AI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - credentialsSecretRef: name: openai-api-keys models: - name: models/granite-7b-redhat-lab name: rhelai type: rhelai_vllm url: <URL> 1 ols: defaultProvider: rhelai defaultModel: models/granite-7b-redhat-lab additionalCAConfigMapRef: name: openshift-service-ca.crt- 1
- URL エンドポイントが有効であるためには、
v1で終わる必要があります。たとえば、https://http://3.23.103.8:8000/v1などです。
Red Hat OpenShift AI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - credentialsSecretRef: name: openai-api-keys models: - name: granite-8b-code-instruct-128k name: red_hat_openshift_ai type: rhoai_vllm url: <url> 1 ols: defaultProvider: red_hat_openshift_ai defaultModel: granite-8b-code-instruct-128k- 1
- URL エンドポイントが有効であるためには、
v1で終わる必要があります。たとえば、https://granite-8b-code-instruct.my-domain.com:443/v1などです。
Microsoft Azure OpenAI CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - credentialsSecretRef: name: credentials deploymentName: <azure_ai_deployment_name> models: - name: gpt-35-turbo-16k name: myAzure type: azure_openai url: <azure_ai_deployment_url> ols: defaultModel: gpt-35-turbo-16k defaultProvider: myAzureIBM watsonx CR ファイル
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: llm: providers: - name: myWatsonx type: watsonx credentialsSecretRef: name: credentials url: <ibm_watsonx_deployment_name> projectId: <ibm_watsonx_project_id> models: - name: ibm/granite-13b-chat-v2 ols: defaultModel: ibm/granite-13b-chat-v2 defaultProvider: myWatsonx以下のコマンドを実行します。
$ oc create -f /path/to/config-cr.yaml
Operator は、YAML 設定ファイルの情報を使用して OpenShift Lightspeed をデプロイします。
1.4.1. LLM の信頼プロバイダー証明書を使用した OpenShift Lightspeed の設定
この手順では、Large Language Model (LLM) プロバイダーの信頼プロバイダー証明書を使用して OpenShift Lightspeed を設定する方法を説明します。
使用している LLM プロバイダーが OpenShift Lightspeed サービスを認証するための信頼証明書が必要な場合は、この手順を実行する必要があります。LLM プロバイダーがサービスの認証に信頼証明書を必要としない場合は、この手順は省略する必要があります。
手順
-
証明書ファイルの内容をコピーし、
caCertFileNameというファイルに貼り付けます。 次のコマンドを実行して、
trusted-certsというConfigMapオブジェクトを作成します。$ oc create configmap trusted-certs --from-file=caCertFileName
出力例
kind: ConfigMap apiVersion: v1 metadata: name: trusted-certs namespace: openshift-lightspeed data: caCertFileName: | 1 -----BEGIN CERTIFICATE----- . . . -----END CERTIFICATE------ 1
- LLM プロバイダーへの接続に必要な CA 証明書を指定します。1 つ以上の証明書を含めることができます。
OLSConfigカスタムリソースファイルを更新して、作成したConfigMapオブジェクトの名前を含めます。Red Hat Enterprise Linux AI CR ファイルの例
apiVersion: ols.openshift.io/v1alpha1 kind: OLSConfig metadata: name: cluster spec: ols: defaultProvider: rhelai defaultModel: models/granite-7b-redhat-lab additionalCAConfigMapRef: name: trusted-certs 1- 1
ConfigMapオブジェクトの名前を指定します。
カスタム CR を作成します。
$ oc apply -f <olfconfig_cr_filename>
