2.4. llm-d로 분산 유추를 사용하여 모델 배포

1. OpenShift AI 설치.
2. 단일 모델 제공 플랫폼 활성화.
3. Kubernetes 클러스터에서 llm-d를 사용하여 분산 유추 활성화.
4. CryostatInferenceService CR(사용자 정의 리소스) 생성.
5. 모델 배포.

프로세스

1. OpenShift 콘솔에 개발자로 로그인합니다.

2. 다음 정보를 사용하여 CryostatInferenceService CR을 생성합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: LLMInferenceService
   metadata:
     name: sample-llm-inference-service
   spec:
     replicas: 2
     model:
       uri: hf://RedHatAI/Qwen3-8B-FP8-dynamic
       name: RedHatAI/Qwen3-8B-FP8-dynamic
     router:
       route: {}
       gateway: {}
       scheduler: {}
     template:
       containers:
       - name: main
         resources:
           limits:
             cpu: '4'
             memory: 32Gi
             nvidia.com/gpu: "1"
           requests:
             cpu: '2'
             memory: 16Gi
             nvidia.com/gpu: "1"

   Copy to Clipboard Toggle word wrap

   유추 서비스의 spec 섹션에서 다음 매개변수를 사용자 지정합니다.

   • replicas - 복제본 수를 지정합니다.

   • 모델 - 모델이 저장되는 방법(uri)과 채팅 완료 요청(이름)에 사용할 모델 이름을 기반으로 모델에 URI를 제공합니다.

     • S3 bucket: s3://<bucket-name>/<object-key>
     • PVC(영구 볼륨 클레임): pvc://<claim-name>/<pvc-path>
     • OCI 컨테이너 이미지: oci://<registry_host>/<org_or_username>/<repository_name><tag_or_digest>
     • HuggingFace: hf://<model>/<optional-hash>
   • 라우터 - HTTPRoute 및 Gateway를 제공하거나 비워 자동으로 만듭니다.
3. 파일을 저장합니다.