1.2. 使用 Web 控制台创建 Lightspeed 自定义资源文件
自定义资源(CR)文件包含 Operator 用来部署 OpenShift Lightspeed 的信息。CR 文件的特定内容对于每个大型语言模型(LLM)供应商是唯一的。要创建 CR 文件,请选择您要使用的 LLM 供应商的配置文件。
先决条件
-
以具有
cluster-admin角色的用户身份登录到 OpenShift Container Platform Web 控制台。或者,您登录到有权创建集群范围的 CR 文件的用户帐户。 - 您有一个可用于 OpenShift Lightspeed Service 的 LLM 供应商。
- 已安装 OpenShift Lightspeed Operator。
流程
-
点击 OpenShift Web 控制台右上角的 Quick create (
)菜单,然后选择 Import YAML。
将您使用的 LLM 供应商的 YAML 内容粘贴到 web 控制台的文本区域。
OpenAI CR 文件
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为
false,它不会隐藏图标。将hideIcon字段设置为true可隐藏图标。例如,您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。
Red Hat Enterprise Linux AI CR file
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 默认情况下,Red Hat Enterprise Linux AI API 密钥需要一个令牌作为请求的一部分。如果您的 Red Hat Enterprise Linux AI 配置不需要令牌,您必须将令牌值设置为任何有效的字符串,以便请求进行身份验证。
- 2
- URL 端点必须以
v1结尾才能有效。例如:https://http://3.23.103.8:8000/v1。 - 3
- 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为
false,它不会隐藏图标。将hideIcon字段设置为true可隐藏图标。例如,您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。
Red Hat OpenShift AI CR file
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 默认情况下,Red Hat OpenShift AI API 密钥需要一个令牌作为请求的一部分。如果您的 Red Hat OpenShift AI 配置不需要令牌,您必须将令牌值设置为任何有效的字符串,以便请求进行身份验证。
- 2
- URL 端点必须以
v1结尾才能有效。例如:https://<model_name>.<domain_name>.com:443/v1。 - 3
- 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为
false,它不会隐藏图标。将hideIcon字段设置为true可隐藏图标。例如,您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。
Microsoft Azure OpenAI CR 文件
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为
false,它不会隐藏图标。将hideIcon字段设置为true可隐藏图标。例如,您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。
IBM watsonx CR 文件
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定是否在 OpenShift Container Platform web 控制台中隐藏 OpenShift Lightspeed 图标。默认设置为
false,它不会隐藏图标。将hideIcon字段设置为true可隐藏图标。例如,您可以隐藏无法访问 OpenShift Lightspeed API 的集群用户的图标。
- 点 Create。
1.2.1. 配置自定义 TLS 证书 复制链接链接已复制到粘贴板!
复制链接链接已复制到粘贴板!
为安全 OpenShift Lightspeed 服务通信配置自定义 TLS 证书。
先决条件
-
以具有
cluster-admin角色的用户身份登录到 OpenShift Container Platform Web 控制台。或者,您登录到有权创建或编辑OLSConfig自定义资源(CR)的用户帐户。 - 您有一个大型语言模型(LLM)供应商。
- 已安装 OpenShift Lightspeed Operator。
-
您已创建了凭证 secret 和
OLSconfigCR。
流程
-
在 OpenShift Container Platform web 控制台中,点击 Operators
Installed Operators。 - 在屏幕顶部的 Project 下拉菜单中选择 All Projects。
- 点 OpenShift Lightspeed Operator。
-
单击 OLSConfig,然后单击列表中的
集群配置实例。 - 点 YAML 标签。
修改
OLSconfigCR,使其包含包含 TLS secret 的文件。凭证 secret 和
OLSconfigCR 文件示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 点击 Save。
验证
运行以下命令,验证在
lightspeed-app-server部署中创建了新 pod:oc get pod -n openshift-lightspeed
$ oc get pod -n openshift-lightspeedCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME READY STATUS RESTARTS AGE lightspeed-app-server-5b45d6dd99-5599w 2/2 Running 2 8h lightspeed-console-plugin-88d878686-tjt5p 1/1 Running 1 8d lightspeed-operator-controller-manager-7d7cc4588-p7442 1/1 Running 9 8d lightspeed-postgres-server-5484fcfdfc-kcpjh 1/1 Running 2 8d
NAME READY STATUS RESTARTS AGE lightspeed-app-server-5b45d6dd99-5599w 2/2 Running 2 8h lightspeed-console-plugin-88d878686-tjt5p 1/1 Running 1 8d lightspeed-operator-controller-manager-7d7cc4588-p7442 1/1 Running 9 8d lightspeed-postgres-server-5484fcfdfc-kcpjh 1/1 Running 2 8dCopy to Clipboard Copied! Toggle word wrap Toggle overflow