红帽全球峰会1.3. 大型语言模型(LLM)要求
大型语言模型(LLM)是一种计算机学习模型，用于解释和生成类类语言。当 LLM 与虚拟助手一起使用时，LLM 可以准确解释问题，并以对话方式提供有用的答案。
OpenShift Lightspeed 服务必须有权访问 LLM 提供程序。该服务不会为您提供一个 LLM，因此您必须在安装 OpenShift Lightspeed Operator 前配置 LLM。
红帽不提供任何特定模型或提出与模型相关的建议或支持声明的支持。
OpenShift Lightspeed 服务可以依赖以下软件作为服务(SaaS) LLM 供应商：
- OpenAI
- Microsoft Azure OpenAI
- IBM watsonx
如果要自我托管一个模型，您可以使用 Red Hat OpenShift AI 或 Red Hat Enterprise Linux AI 作为模型供应商。
1.3.1. IBM watsonx
要将 IBM watsonx 与 Red Hat OpenShift Lightspeed 搭配使用，您需要使用 IBM Cloud watsonx 的帐户。如需更多信息，请参阅 IBM watsonx 的文档作为服务。
1.3.2. Open AI
要将 OpenAI 与 Red Hat OpenShift Lightspeed 搭配使用，您需要访问 OpenAI API 平台。如需更多信息，请参阅 OpenAI 开发人员平台 文档。
1.3.3. Microsoft Azure OpenAI
要将 Microsoft Azure 与 Red Hat OpenShift Lightspeed 搭配使用，您需要访问 Microsoft Azure OpenAI。如需更多信息，请参阅 Azure OpenAI 文档。
1.3.4. Red Hat Enterprise Linux AI
Red Hat Enterprise Linux AI 与 OpenAI API 兼容，并以类似的方式配置 OpenAI 供应商。
您可以将 Red Hat Enterprise Linux AI 配置为 LLM 供应商。
由于 Red Hat Enterprise Linux 位于与 OpenShift Lightspeed 部署不同的环境中，模型部署必须允许使用安全连接进行访问。如需更多信息，请参阅 可选：允许从安全端点访问模型。
OpenShift Lightspeed 版本 1.0 及之后的版本支持 vLLM Server 版本 0.8.4 及更新版本。当使用 Red Hat Enterprise Linux AI 自我托管 LLM 时，您可以使用 vLLM Server 作为 inference 引擎。
1.3.5. Red Hat OpenShift AI
Red Hat OpenShift AI 与 OpenAI API 兼容，其配置与 OpenAI 供应商相同。
您必须在使用 Virtual Large Language Model (vLLM)运行时的 Red Hat OpenShift AI single-model 服务平台上部署 LLM。如果模型部署位于与 OpenShift Lightspeed 部署不同的 OpenShift 环境中，请包含一个路由来公开集群外的模型部署。如需更多信息 ，请参阅关于单模式服务平台。
OpenShift Lightspeed 版本 1.0 及之后的版本支持 vLLM Server 版本 0.8.4 及更新版本。当使用 Red Hat OpenShift AI 自我托管 LLM 时，您可以使用 vLLM Server 作为 inference 引擎。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}