第 6 章 在 OpenShift Container Platform 上部署 Ansible Lightspeed 智能助手

Red Hat Enterprise Linux AI

您可以将 Red Hat Enterprise Linux AI 配置为 LLM 供应商。因为 Red Hat Enterprise Linux 位于与 Ansible Lightspeed 部署不同的环境中，模型部署必须允许使用安全连接进行访问。如需更多信息，请参阅 可选：允许从安全端点访问模型。

Ansible Lightspeed 智能助手支持 vLLM 服务器。当使用 Red Hat Enterprise Linux AI 自我托管 LLM 时，您可以使用 vLLM Server 作为 inference 引擎。

Red Hat OpenShift AI

您必须在使用 Virtual Large Language Model (vLLM)运行时的 Red Hat OpenShift AI single-model 服务平台上部署 LLM。如果模型部署位于与 Ansible Lightspeed 部署不同的 OpenShift 环境中，请包含一个路由来公开集群外的模型部署。如需更多信息 ，请参阅关于单模式服务平台。

Ansible Lightspeed 智能助手支持 vLLM 服务器。当使用 Red Hat OpenShift AI 自我托管 LLM 时，您可以使用 vLLM Server 作为 inference 引擎。

Red Hat AI Inference Server

您可以使用 Red Hat AI Inference Server 作为您的 inference 运行时部署 LLM。红帽 AI Inference 服务器支持 vLLM 运行时以实现高效的模型服务，并可配置为使用 Ansible Lightspeed 智能助手。如需更多信息，请参阅 Red Hat AI Inference Server 文档。

如果红帽 AI Inference 服务器部署位于与 Ansible Lightspeed 部署不同的环境中，请确保模型部署允许使用安全连接并配置适当的网络路由。

Ansible Lightspeed 智能助手支持 vLLM Server，当将红帽 AI Inference Server 作为 inference 引擎进行自我托管时。

OpenAI

要将 OpenAI 与 Ansible Lightspeed 智能助手一起使用，您需要访问 OpenAI API 平台。

Microsoft Azure OpenAI

要将 Microsoft Azure 与 Ansible Lightspeed 智能助手一起使用，您需要访问 Microsoft Azure OpenAI 产品页面。