2.4. 通过对 llm-d 使用分布式推测部署模型

1. 安装 OpenShift AI.
2. 启用单一模型服务平台。
3. 在 Kubernetes 集群上启用分布式干扰.
4. 创建 LLMInferenceService 自定义资源(CR)。
5. 部署模型。

流程

1. 以开发者身份登录 OpenShift 控制台。

2. 使用以下信息创建 LLMInferenceService CR：

   apiVersion: serving.kserve.io/v1alpha1
   kind: LLMInferenceService
   metadata:
     name: sample-llm-inference-service
   spec:
     replicas: 2
     model:
       uri: hf://RedHatAI/Qwen3-8B-FP8-dynamic
       name: RedHatAI/Qwen3-8B-FP8-dynamic
     router:
       route: {}
       gateway: {}
       scheduler: {}
     template:
       containers:
       - name: main
         resources:
           limits:
             cpu: '4'
             memory: 32Gi
             nvidia.com/gpu: "1"
           requests:
             cpu: '2'
             memory: 16Gi
             nvidia.com/gpu: "1"

   Copy to Clipboard Toggle word wrap

   在 inference 服务的 spec 部分自定义以下参数：

   • replicas - 指定副本数量。

   • model - 根据模型的存储方式(uri)和模型名称(名称)提供 URI。

     • S3 bucket: s3://<bucket-name>/<object-key>
     • 持久性卷声明(PVC)： pvc://<claim-name>/<pvc-path>
     • OCI 容器镜像： oci://<registry_host>/<org_or_username>/<repository_name><tag_or_digest>
     • HuggingFace: hf://<model>/<optional-hash>
   • router - 提供 HTTPRoute 和网关，或者留空来自动创建 HTTPRoute 和网关。
3. 保存该文件。