2.3. CLI를 사용하여 OCI 이미지에 저장된 모델 배포

프로세스

1. 모델을 배포할 프로젝트를 생성합니다.

   oc new-project oci-model-example

   Copy to Clipboard Toggle word wrap

2. OpenShift AI Applications 프로젝트 kserve-ovms 템플릿을 사용하여 ServingRuntime 리소스를 생성하고 새 프로젝트에서 OpenVINO 모델 서버를 구성합니다.

   oc process -n redhat-ods-applications -o yaml kserve-ovms | oc apply -f -

   Copy to Clipboard Toggle word wrap

3. kserve-ovms 라는 ServingRuntime 이 생성되었는지 확인합니다.

   oc get servingruntimes

   Copy to Clipboard Toggle word wrap

   명령은 다음과 유사한 출력을 반환해야 합니다.

   NAME          DISABLED   MODELTYPE     CONTAINERS         AGE
   kserve-ovms              openvino_ir   kserve-container   1m

   Copy to Clipboard Toggle word wrap

4. 모델이 개인 또는 공용 OCI 리포지토리에서 저장되는지 여부에 따라 InferenceService YAML 리소스를 생성합니다.

   • 공용 OCI 리포지토리에 저장된 모델의 경우 InferenceService YAML 파일을 다음 값으로 생성하여 < user_name> , < repository_name > , < tag_name >을 해당 환경과 관련된 값으로 바꿉니다.

     apiVersion: serving.kserve.io/v1beta1
     kind: InferenceService
     metadata:
       name: sample-isvc-using-oci
     spec:
       predictor:
         model:
           runtime: kserve-ovms # Ensure this matches the name of the ServingRuntime resource
           modelFormat:
             name: onnx
           storageUri: oci://quay.io/<user_name>/<repository_name>:<tag_name>
           resources:
             requests:
               memory: 500Mi
               cpu: 100m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
             limits:
               memory: 4Gi
               cpu: 500m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it

     Copy to Clipboard Toggle word wrap

   • 프라이빗 OCI 리포지토리에 저장된 모델의 경우 다음 예와 같이 spec.predictor.imagePullSecrets 필드에 가져오기 보안을 지정하는 InferenceService YAML 파일을 생성합니다.

     apiVersion: serving.kserve.io/v1beta1
     kind: InferenceService
     metadata:
       name: sample-isvc-using-private-oci
     spec:
       predictor:
         model:
           runtime: kserve-ovms # Ensure this matches the name of the ServingRuntime resource
           modelFormat:
             name: onnx
           storageUri: oci://quay.io/<user_name>/<repository_name>:<tag_name>
           resources:
             requests:
               memory: 500Mi
               cpu: 100m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
             limits:
               memory: 4Gi
               cpu: 500m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
         imagePullSecrets: # Specify image pull secrets to use for fetching container images, including OCI model images
         - name: <pull-secret-name>

     Copy to Clipboard Toggle word wrap

     InferenceService 리소스를 생성한 후 KServe는 storageUri 필드에서 참조하는 OCI 이미지에 저장된 모델을 배포합니다.