安装
第 1 章 安装 OpenShift Lightspeed
Red Hat OpenShift Lightspeed 的安装过程由两个主要任务组成:安装 Lightspeed Operator 和配置 Lightspeed Service 与大型语言模型(LLM)供应商交互。
1.1. 大型语言模型(LLM)概述
大型语言模型(LLM)是一种人工智能计划,针对大量数据进行培训。OpenShift Lightspeed 服务与 LLM 交互,以生成问题的答案。
您可以配置 Red Hat Enterprise Linux AI 或 Red Hat OpenShift AI 作为 OpenShift Lightspeed Service 的 LLM 供应商。LLM 提供程序可以使用服务器,或对进程 inference 查询的服务推测。
另外,您可以将 OpenShift Lightspeed Service 连接到公开的 LLM 供应商,如 IBM watsonx、OpenAI 或 Microsoft Azure OpenAI。
在安装 OpenShift Lightspeed Operator 前配置 LLM 供应商。安装 Operator 不会安装 LLM 供应商。
1.1.1. Red Hat Enterprise Linux AI with OpenShift Lightspeed
您可以使用 Red Hat Enterprise Linux AI 来托管 LLM。
如需更多信息,请参阅使用 RHEL AI 生成自定义 LLM。
1.1.2. Red Hat OpenShift AI with OpenShift Lightspeed
您可以使用 Red Hat OpenShift AI 托管 LLM。
如需更多信息,请参阅 Single-model serving platform。
1.1.3. IBM watsonx with OpenShift Lightspeed
要将 IBM watsonx 配置为 LLM 供应商,您需要一个可访问 IBM watsonx 的 IBM Cloud 项目。您还需要 IBM watsonx API 密钥。
如需更多信息,请参阅官方 IBM watsonx 产品文档。
1.1.4. OpenAI with OpenShift Lightspeed
要使用 OpenShift Lightspeed 将 OpenAI 配置为 LLM 供应商,您需要在配置过程中使用 OpenAI API 密钥或 OpenAI 项目名称。
OpenAI 服务具有项目和服务帐户的功能。您可以在专用项目中使用服务帐户,以便您可以精确跟踪 OpenShift Lightspeed 的使用情况。
如需更多信息,请参阅官方 OpenAI 产品文档。
1.1.5. Microsoft Azure OpenAI with OpenShift Lightspeed
要将 Microsoft Azure OpenAI 配置为 LLM 供应商,您需要一个 Microsoft Azure OpenAI Service 实例。您必须在 Microsoft Azure OpenAI Studio 中为该实例至少有一个模型部署。
如需更多信息,请参阅官方 Microsoft Azure OpenAI 产品文档。
1.2. 关于订阅要求
Red Hat OpenShift Lightspeed 需要以下产品的活跃和有效的订阅:
- Red Hat OpenShift Kubernetes Engine,只支持虚拟机
- Red Hat OpenShift Virtualization Engine
- OpenShift Container Platform
- Red Hat OpenShift Platform Plus
1.3. 安装 OpenShift Lightspeed Operator
先决条件
- 您已部署了 OpenShift Container Platform 4.15 或更高版本。集群必须连接到互联网,并启用遥测。
-
以具有
cluster-admin
角色的用户身份登录到 OpenShift Container Platform Web 控制台。 - 您可以访问 OpenShift CLI (oc)。
- 您已成功配置了大型语言模型(LLM)供应商,以便 OpenShift Lightspeed 可以与它通信。
流程
- 在 OpenShift Container Platform web 控制台中进入到 Operators → OperatorHub 页。
- 搜索 Lightspeed。
- 找到 Lightspeed Operator,然后点将其选择。
- 出现讨论社区操作器的提示时,单击 Continue。
- 点 Install。
- 使用提供的默认安装设置,然后点 Install 继续。
-
点 Operators → Installed Operators 来验证是否安装了 Lightspeed Operator。
Succeeded
应显示在 Status 列中。