1.7. 附录：LLM 要求

Developer Lightspeed for RHDH 遵循 Bring Your Own Model 方法。此模型意味着要正常工作的，RHDH 的 Developer Lightspeed 需要访问您必须提供的大型语言模型(LLM)。LLM 是一种 generative AI，用于解释自然语言并生成类类文本或音频响应。当将 LLM 用作虚拟助手时，LLM 可以解释问题并以对话方式提供答案。

LLMs 通常由一个服务或服务器提供。由于 RHDH 的 Developer Lightspeed 不提供 LLM，所以您必须在安装过程中配置您首选的 LLM 供应商。您可以将 Developer Lightspeed 用于 RHDH，其有很多 LLM 供应商提供 OpenAI API 接口，包括以下 LLMS ：

OpenAI 提供一系列常规的 AI 模型，如 GPT 5，可用于为 RHDH 的 Developer Lightspeed 等应用程序提供推测服务。

要将 OpenAI 与 Developer Lightspeed 用于 RHDH，您需要访问 OpenAI API 平台。如需更多信息，请参阅 OpenAI 开发人员平台文档。

Ollama 是一个强大且易用的开源项目，简化了计算机上本地运行大型语言模型(LLM)的过程。它为下载、管理和运行各种开源模型（如 Llama 3、Mistral 等）提供了简单的命令行界面，无需专门的服务器或云服务。通过提取复杂的设置和依赖项，Ollama 使其可供开发人员、研究人员和爱好者使用、构建并直接从个人机器将 state-of-art LLMs 集成到其应用程序中。

容器表单中 的开源 Ollama 服务器为 LLM 模型提供了一个方便的本地测试，并易于控制。

vLLM 是一个开源、高吞吐量的服务引擎，用于大型语言模型(LLM)，可在传统服务系统上显著提高。它通过引入几个关键优化来减少内存用量并消除冗余计算来实现此目标。vLLM 平均增加 LLM 可处理的并发请求数量，使其成为部署和扩展 LLM 的应用的强大工具。