第 1 章 安装 OpenShift Lightspeed
Red Hat OpenShift Lightspeed 的安装过程由两个主要任务组成:安装 Lightspeed Operator 和配置 Lightspeed Service 与大型语言模型(LLM)供应商交互。
1.1. 大型语言模型(LLM)概述 复制链接链接已复制到粘贴板!
大型语言模型(LLM)是一种人工智能计划,针对大量数据进行培训。OpenShift Lightspeed 服务与 LLM 交互,以生成问题的答案。
您可以配置 Red Hat Enterprise Linux AI 或 Red Hat OpenShift AI 作为 OpenShift Lightspeed Service 的 LLM 供应商。LLM 提供程序可以使用服务器,或对进程 inference 查询的服务推测。
另外,您可以将 OpenShift Lightspeed Service 连接到公开的 LLM 供应商,如 IBM watsonx、OpenAI 或 Microsoft Azure OpenAI。
安装 OpenShift Lightspeed Operator 不会安装 LLM 供应商。在安装 OpenShift Lightspeed Operator 之前,您必须有一个 LLM 供应商可供使用。
您可以使用 Red Hat Enterprise Linux AI 来托管 LLM。
如需更多信息,请参阅使用 RHEL AI 生成自定义 LLM。
1.1.2. Red Hat OpenShift AI with OpenShift Lightspeed 复制链接链接已复制到粘贴板!
您可以使用 Red Hat OpenShift AI 托管 LLM。
如需更多信息,请参阅 Single-model serving platform。
1.1.3. IBM watsonx with OpenShift Lightspeed 复制链接链接已复制到粘贴板!
要将 IBM watsonx 配置为 LLM 供应商,您需要一个可访问 IBM watsonx 的 IBM Cloud 项目。您还需要 IBM watsonx API 密钥。
如需更多信息,请参阅官方 IBM watsonx 产品文档。
1.1.4. OpenAI with OpenShift Lightspeed 复制链接链接已复制到粘贴板!
要使用 OpenShift Lightspeed 将 OpenAI 配置为 LLM 供应商,您需要在配置过程中使用 OpenAI API 密钥或 OpenAI 项目名称。
OpenAI 服务具有项目和服务帐户的功能。您可以在专用项目中使用服务帐户,以便您可以精确跟踪 OpenShift Lightspeed 的使用情况。
如需更多信息,请参阅官方 OpenAI 产品文档。
1.1.5. Microsoft Azure OpenAI with OpenShift Lightspeed 复制链接链接已复制到粘贴板!
要将 Microsoft Azure OpenAI 配置为 LLM 供应商,您需要一个 Microsoft Azure OpenAI Service 实例。您必须在 Microsoft Azure OpenAI Studio 中为该实例至少有一个模型部署。
如需更多信息,请参阅官方 Microsoft Azure OpenAI 产品文档。