6.3. 将 LLM 更改为自定义模型

流程

1. 确定正在运行的容器 ID：

   $ podman ps | grep ramalama
   6eef0fb344b7  quay.io/ramalama/ramalama:0.16.0                                                ramalama --store ...  7 seconds ago  Up 7 seconds  0.0.0.0:8000->8000/tcp, 0.0.0.0:8888->8888/tcp  rhel-cla-llamacpp-model

2. 通过将 < path_to_local_model> 替换为本地路径，将 < container_id > 替换为上一步中找到的容器 ID，将 LLM 模型 文件复制到 ramalama 容器中：

   $ podman cp path_to_local_llm_file.gguf 6eef0fb344b7:/models/

   或者，您可以将 LLM 模型文件复制到本地卷路径中：

   $ cp path_to_local_llm_file.gguf ~/.local/share/containers/storage/volumes/llamacpp-models/_data/

3. 停止 rhel-cla 服务：

   $ rhel-cla stop

4. 编辑 ~/.config/rhel-cla/.env，并将以下配置添加到 LLM 变量中：

   LLM="file:///models/llm_file.gguf"

5. 重启 rhel-cla 服务：

   $ rhel-cla start