4.3. 在 Podman 桌面中配置 LLM

流程

1. 进入 Podman AI Lab 扩展，再单击 Models 下的目录。
2. 下载一个或多个模型。
3. 进入 Services，再单击 New Model Service。
4. 在 Model 下拉菜单中选择您下载的模型，然后点 Create Service。
5. 点部署的 model 服务打开 Service Details 页面。
6. 请注意服务器 URL 和模型名称。您必须在 Red Hat Developer Lightspeed 中配置这些规格，以进行 MTA 扩展。

7. 导出 inference 服务器 URL，如下所示：

   export OPENAI_API_BASE=<server-url>

   Copy to Clipboard Toggle word wrap
8. 在用于 MTA 扩展的 Red Hat Developer Lightspeed 中，键入 Open the GenAI model provider 配置文件，以打开 provider-settings.yaml 文件。

9. 输入 Podman 桌面的模型详情。例如，对 Mistral 模型使用以下配置：

   podman_mistral: &active
       provider: "ChatOpenAI"
        environment:
         OPENAI_API_KEY: "unused value"
       args:
         model: "mistral-7b-instruct-v0-2"
         base_url: "http://localhost:35841/v1"

   Copy to Clipboard Toggle word wrap
   注意

   Podman Desktop 服务端点不需要密码，但 OpenAI 库预期设置 OPENAI_API_KEY。在这种情况下，OPENAI_API_KEY 变量的值无关紧要。