모델 제공

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 설정 → 클러스터 설정을 클릭합니다.
2. 모델 제공 플랫폼 섹션을 찾습니다.
3. Multi-model serving platform 확인란을 선택합니다.
4. 변경 사항 저장을 클릭합니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 사용자 지정 런타임을 추가하려면 다음 옵션 중 하나를 선택합니다.

   • 기존 런타임(예: OpenVINO 모델 서버 런타임)으로 시작하려면 기존 런타임 옆에 있는 작업 메뉴( Cryostat)를 클릭한 다음 중복 을 클릭합니다.
   • 새 사용자 지정 런타임을 추가하려면 제공 런타임 추가 를 클릭합니다.

3. Select the model serving platforms this runtime supports list, select Multi-model serving platform.

   참고

   다중 모델 제공 플랫폼은 REST 프로토콜만 지원합니다. 따라서 이 런타임에서 지원하는 API 프로토콜 선택에서 기본값을 변경할 수 없습니다.

4. 선택 사항: 새 런타임을 시작한 경우(기존 런타임을 복제하지 않고) 다음 옵션 중 하나를 선택하여 코드를 추가합니다.

   • YAML 파일 업로드

     1. 파일 업로드 를 클릭합니다.

     2. 파일 브라우저에서 컴퓨터에서 YAML 파일을 선택합니다. 이 파일은 kserve/modelmesh-serving 리포지토리에서 다운로드한 예제 런타임 중 하나일 수 있습니다.

        포함된 YAML 편집기가 열리고 업로드한 파일의 내용이 표시됩니다.

   • 편집기에서 직접 YAML 코드를 입력합니다.

     1. 처음부터 시작을 클릭합니다.
     2. 포함된 편집기에서 YAML 코드를 직접 입력하거나 붙여넣습니다. 생성하는 YAML은 kserve/modelmesh-serving 리포지토리의 예제 런타임 중 하나에서 복사할 수 있습니다.

5. 선택 사항: kserve/modelmesh-serving 리포지토리에 예제 런타임 중 하나를 추가하는 경우 다음 수정을 수행합니다.

   1. YAML 편집기에서 런타임의 kind 필드를 찾습니다. 이 필드의 값을 ServingRuntime 으로 업데이트합니다.
   2. kserve/modelmesh-serving 리포지토리의 kustomization.yaml 파일에서 추가할 런타임의 newName 및 newTag 값을 기록해 둡니다. 이후 단계에서 이러한 값을 지정합니다.
   3. 사용자 지정 런타임의 YAML 편집기에서 containers.image 필드를 찾습니다.

   4. kustomization.yaml 파일에 명시된 값에 따라 newName:newTag 형식의 containers.image 필드 값을 업데이트합니다. 몇 가지 예가 표시되어 있습니다.

      NVIDIA Triton Inference Server

      image: nvcr.io/nvidia/tritonserver:23.04-py3

      Seldon Python MLServer

      이미지: seldonio/mlserver:1.3.2

      TorchServe

      이미지: pytorch/torchserve:0.7.1-cpu

6. metadata.name 필드에서 추가하는 런타임 값이 고유해야 합니다(즉, 값이 이미 추가한 런타임과 일치하지 않음).

7. 선택 사항: 추가하는 런타임에 사용자 정의 표시 이름을 구성하려면 metadata.annotations.openshift.io/display-name 필드를 추가하고 다음 예와 같이 값을 지정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: mlserver-0.x
     annotations:
       openshift.io/display-name: MLServer

   참고

   런타임에 대한 사용자 정의 표시 이름을 구성하지 않으면 OpenShift AI에 metadata.name 필드의 값이 표시됩니다.

8. 추가를 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 런타임이 자동으로 활성화되어 있는지 확인합니다.

9. 선택 사항: 사용자 지정 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 테스트 및 검증된 런타임을 추가하려면 Add serving runtime 을 클릭합니다.

3. Select the model serving platforms this runtime supports list, select Multi-model serving platform.

   참고

   다중 모델 제공 플랫폼은 REST 프로토콜만 지원합니다. 따라서 이 런타임에서 지원하는 API 프로토콜 선택에서 기본값을 변경할 수 없습니다.

4. 처음부터 시작을 클릭합니다.

5. 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     annotations:
       enable-route: "true"
     name: modelmesh-triton
     labels:
       opendatahub.io/dashboard: "true"
   spec:
     annotations:
       opendatahub.io/modelServingSupport: '["multi"x`x`]'
       prometheus.kserve.io/path: /metrics
       prometheus.kserve.io/port: "8002"
     builtInAdapter:
       env:
         - name: CONTAINER_MEM_REQ_BYTES
           value: "268435456"
         - name: USE_EMBEDDED_PULLER
           value: "true"
       memBufferBytes: 134217728
       modelLoadingTimeoutMillis: 90000
       runtimeManagementPort: 8001
       serverType: triton
     containers:
       - args:
           - -c
           - 'mkdir -p /models/_triton_models;  chmod 777
             /models/_triton_models;  exec
             tritonserver "--model-repository=/models/_triton_models" "--model-control-mode=explicit" "--strict-model-config=false" "--strict-readiness=false" "--allow-http=true" "--allow-grpc=true"  '
         command:
           - /bin/sh
         image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
         name: triton
         resources:
           limits:
             cpu: "1"
             memory: 2Gi
           requests:
             cpu: "1"
             memory: 2Gi
     grpcDataEndpoint: port:8001
     grpcEndpoint: port:8085
     multiModel: true
     protocolVersions:
       - grpc-v2
       - v2
     supportedModelFormats:
       - autoSelect: true
         name: onnx
         version: "1"
       - autoSelect: true
         name: pytorch
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "2"
       - autoSelect: true
         name: tensorrt
         version: "7"
       - autoSelect: false
         name: xgboost
         version: "1"
       - autoSelect: true
         name: python
         version: "1"

6. metadata.name 필드에서 추가하는 런타임 값이 이미 추가한 런타임 값과 일치하지 않는지 확인합니다.

7. 선택 사항: 추가하는 런타임에 사용자 정의 표시 이름을 사용하려면 metadata.annotations.openshift.io/display-name 필드를 추가하고 다음 예와 같이 값을 지정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: modelmesh-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   참고

   런타임에 대한 사용자 정의 표시 이름을 구성하지 않으면 OpenShift AI에 metadata.name 필드의 값이 표시됩니다.

8. 생성을 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 런타임이 자동으로 활성화되어 있는지 확인합니다.

9. 선택 사항: 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델 서버를 구성할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 다음 작업 중 하나를 수행합니다.

   • 플랫폼 타일을 제공하는 다중 모델이 표시되면 타일에서 모델 서버 추가 를 클릭합니다.
   • 타일이 표시되지 않으면 모델 서버 추가 버튼을 클릭합니다.

   모델 서버 추가 대화 상자가 열립니다.

5. 모델 서버 이름 필드에 모델 서버의 고유 이름을 입력합니다.

6. Serving 런타임 목록에서 OpenShift AI 배포에 설치 및 활성화된 모델 서비스 런타임을 선택합니다.

   참고

   모델 서버와 함께 사용자 지정 모델 서비스 런타임을 사용하고 GPU를 사용하려면 사용자 지정 런타임에서 GPU를 지원하고 이를 사용하도록 적절히 구성되어 있는지 확인해야 합니다.

7. 배포할 모델 복제본 수 에서 값을 지정합니다.
8. 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.

9. 선택 사항: 이전 단계에서 Custom 을 선택한 경우 모델 서버 크기 섹션에서 다음 설정을 구성하여 모델 서버 를 사용자 지정합니다.

   1. CPU 요청 필드에서 모델 서버와 함께 사용할 CPU 수를 지정합니다. 이 필드 옆에 있는 목록을 사용하여 코어 또는 밀리코어에 값을 지정합니다.
   2. CPU 제한 필드에서 모델 서버에 사용할 최대 CPU 수를 지정합니다. 이 필드 옆에 있는 목록을 사용하여 코어 또는 밀리코어에 값을 지정합니다.
   3. 메모리 요청 필드에서 모델 서버의 요청된 메모리를 기비바이트(Gi)로 지정합니다.
   4. 메모리 제한 필드에서 모델 서버의 최대 메모리 제한을 기가바이트(Gi)로 지정합니다.

10. 선택 사항: 액셀러레이터 목록에서 가속기를 선택합니다.

    1. 이전 단계에서 가속기를 선택한 경우 사용할 가속기 수를 지정합니다.
11. 선택 사항: 모델 경로 섹션에서 외부 경로 확인란을 통해 사용 가능한 배포된 모델 만들기 확인란을 선택하여 배포된 모델을 외부 클라이언트에서 사용할 수 있도록 합니다.

12. 선택 사항: 토큰 권한 부여 섹션에서 모델 서버에 대한 토큰 인증 필요 확인란을 선택합니다. 토큰 인증 구성을 완료하려면 다음 작업을 수행합니다.

    1. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다. 모델 서버가 구성되면 생성된 토큰이 토큰 시크릿 필드에 생성되고 표시됩니다.
    2. 추가 서비스 계정을 추가하려면 서비스 계정 추가를 클릭하고 다른 서비스 계정 이름을 입력합니다.

13. 추가를 클릭합니다.

    • 구성한 모델 서버는 모델 및 모델 서버 목록에 프로젝트의 모델 탭에 나타납니다.
14. 선택 사항: 모델 서버를 업데이트하려면 모델 서버 옆에 있는 작업 메뉴( Cryostat )를 클릭하고 모델 서버 편집을 선택합니다.

프로세스

1. OpenShift AI 대시보드에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델 서버를 삭제할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 삭제할프로젝트 옆에 있는 작업 메뉴( Cryostat )를 클릭한 다음 모델 서버 삭제 를 클릭합니다.

   모델 서버 삭제 대화 상자가 열립니다.

5. 텍스트 필드에 모델 서버의 이름을 입력하여 삭제하려는지 확인합니다.
6. 모델 서버 삭제를 클릭합니다.

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.
4. 모델 배포를 클릭합니다.

5. 다음과 같이 모델 배포를 위한 속성을 구성합니다.

   1. 모델 이름 필드에 배포하려는 모델의 고유 이름을 입력합니다.

   2. 모델 프레임워크 목록에서 모델의 프레임워크를 선택합니다.

      참고

      모델 프레임워크 목록은 모델 서버를 구성할 때 지정한 model-serving 런타임에서 지원하는 프레임워크만 표시합니다.

   3. S3 호환 오브젝트 스토리지에서 배포할 모델의 위치를 지정하려면 다음 작업 세트 중 하나를 수행합니다.

      • 기존 연결을 사용하려면 다음을 수행합니다.

        1. 기존 연결을 선택합니다.
        2. 이름 목록에서 이전에 정의한 연결을 선택합니다.
        3. 경로 필드에서 지정된 데이터 소스에 모델이 포함된 폴더 경로를 입력합니다.

      • 새 연결 사용

        1. 모델에 액세스할 수 있는 새 연결을 정의하려면 새 연결을 선택합니다.

        2. 연결 추가 모달에서 연결 유형을 선택합니다. S3 호환 오브젝트 스토리지 및 URI 옵션은 사전 설치된 연결 유형입니다. OpenShift AI 관리자가 이를 추가한 경우 추가 옵션을 사용할 수 있습니다.

           연결 추가 양식은 선택한 연결 유형과 관련된 필드를 사용하여 열립니다.

        3. 연결 세부 정보 필드를 입력합니다.

   4. (선택 사항) 구성 매개변수 섹션에서 런타임 매개변수를 사용자 지정합니다.

      1. 배포된 모델의 작동 방식을 정의하도록 추가 제공 런타임 인수 의 값을 수정합니다.
      2. 추가 환경 변수 의 값을 수정하여 모델의 환경에서 변수를 정의합니다.
   5. Deploy 를 클릭합니다.

프로세스

1. OpenShift AI 대시보드에서 Model Serving 을 클릭합니다.

   배포된 모델 페이지가 열립니다.

   각 모델에 대해 페이지에는 모델 이름, 모델이 배포되는 프로젝트, 모델이 사용하는 model-serving 런타임, 배포 상태와 같은 세부 정보가 표시됩니다.

2. 선택 사항: 지정된 모델의 경우 유추 끝점 열의 링크를 클릭하여 배포된 모델의 유추 끝점을 확인합니다.

프로세스

1. OpenShift AI 대시보드에서 Model Serving 을 클릭합니다.

   배포된 모델 페이지가 열립니다.

2. 업데이트할 배포 속성이 있는 모델 옆에 있는 작업 메뉴( )를 클릭하고 편집을 클릭합니다.

   모델 편집 대화 상자가 열립니다.

3. 다음과 같이 모델의 배포 속성을 업데이트합니다.

   1. 모델 이름 필드에 모델의 고유 이름을 새로 입력합니다.
   2. 모델 서버 목록에서 모델의 모델 서버를 선택합니다.

   3. 모델 프레임워크 목록에서 모델의 프레임워크를 선택합니다.

      참고

      모델 프레임워크 목록은 모델 서버를 구성할 때 지정한 model-serving 런타임에서 지원하는 프레임워크만 표시합니다.

   4. 선택적으로 기존 연결을 지정하거나 새 연결을 생성하여 연결을 업데이트합니다.
   5. Redeploy 를 클릭합니다.

프로세스

1. OpenShift AI 대시보드에서 모델 제공 을 클릭합니다.

   배포된 모델 페이지가 열립니다.

2. 삭제할배포된 모델 옆에 있는 작업 메뉴( Cryostat )를 클릭하고 삭제 를 클릭합니다.

   배포된 모델 삭제 대화 상자가 열립니다.

3. 텍스트 필드에 배포된 모델의 이름을 입력하여 삭제하려는지 확인합니다.
4. 배포된 모델 삭제를 클릭합니다.

프로세스

1. OpenShift AI 대시보드 탐색 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모니터링할 데이터 과학 모델이 포함된 프로젝트의 이름을 클릭합니다.
3. 프로젝트 세부 정보 페이지에서 모델 탭을 클릭합니다.
4. 관심 있는 모델 서버의 행에서 작업 메뉴( Cryostat)를 클릭한 다음 View model server metrics 를 선택합니다.

5. 선택 사항: 모델 서버의 메트릭 페이지에서 다음 옵션을 설정합니다.

   • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
   • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
6. 아래로 스크롤하여 5분당 HTTP 요청의 데이터 그래프, 평균 응답 시간, CPU 사용률, 메모리 사용률을 확인합니다.

프로세스

1. OpenShift AI 대시보드 탐색 메뉴에서 Model Serving 을 선택합니다.
2. 배포 모델 페이지에서 관심 있는 모델을 선택합니다.

3. 선택 사항: 끝점 성능 탭에서 다음 옵션을 설정합니다.

   • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
   • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.

프로세스

1. 다음과 같이 플랫폼을 제공하는 단일 모델을 활성화합니다.

   1. 왼쪽 메뉴에서 설정 → 클러스터 설정을 클릭합니다.
   2. 모델 제공 플랫폼 섹션을 찾습니다.
   3. 프로젝트에 단일 모델 제공 플랫폼을 활성화하려면 단일 모델 제공 플랫폼 확인란을 선택합니다.
   4. 변경 사항 저장을 클릭합니다.

2. 다음과 같이 단일 모델 제공 플랫폼에 대해 사전 설치된 런타임을 활성화합니다.

   1. OpenShift AI 대시보드의 왼쪽 메뉴에서 설정 → Serving 런타임 을 클릭합니다.

      Serving 런타임 페이지에는 사전 설치된 런타임 및 사용자가 추가한 모든 사용자 지정 런타임이 표시됩니다.

      사전 설치된 런타임에 대한 자세한 내용은 지원되는 런타임 을 참조하십시오.

   2. 사용할 런타임을 Enabled 로 설정합니다.

      단일 모델 제공 플랫폼은 이제 모델 배포에 사용할 수 있습니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 사용자 지정 런타임을 추가하려면 다음 옵션 중 하나를 선택합니다.

   • 기존 런타임(예: KServe의 경우 TGIS Standalone ServingRuntime)으로 시작하려면 기존 런타임 옆에 있는 작업 메뉴(예: TGIS Standalone ServingRuntime)를 클릭한 다음 중복 을 클릭합니다.
   • 새 사용자 지정 런타임을 추가하려면 제공 런타임 추가 를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 선택 사항: 새 런타임을 시작한 경우(기존 런타임을 복제하지 않고) 다음 옵션 중 하나를 선택하여 코드를 추가합니다.

   • YAML 파일 업로드

     1. 파일 업로드 를 클릭합니다.

     2. 파일 브라우저에서 컴퓨터에서 YAML 파일을 선택합니다.

        포함된 YAML 편집기가 열리고 업로드한 파일의 내용이 표시됩니다.

   • 편집기에서 직접 YAML 코드를 입력합니다.

     1. 처음부터 시작을 클릭합니다.
     2. 포함된 편집기에서 YAML 코드를 직접 입력하거나 붙여넣습니다.
   참고

   대부분의 경우 사용자 지정 런타임을 생성하려면 ServingRuntime 사양의 env 섹션에 새 또는 사용자 지정 매개변수를 추가해야 합니다.

6. 추가를 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 사용자 지정 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

7. 선택 사항: 사용자 지정 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 제공 런타임 추가를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 처음부터 시작을 클릭합니다.

   1. REST API 프로토콜을 선택한 경우 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

   2. gRPC API 프로토콜을 선택한 경우 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. metadata.name 필드에서 추가하는 런타임 값이 이미 추가한 런타임 값과 일치하지 않는지 확인합니다.

7. 선택 사항: 추가하는 런타임에 사용자 정의 표시 이름을 사용하려면 metadata.annotations.openshift.io/display-name 필드를 추가하고 다음 예와 같이 값을 지정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   참고

   런타임에 대한 사용자 정의 표시 이름을 구성하지 않으면 OpenShift AI에 metadata.name 필드의 값이 표시됩니다.

8. 생성을 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

9. 선택 사항: 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. 왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 다음 작업 중 하나를 수행합니다.

   • 플랫폼 타일을 제공하는 단일 모델이 표시되면 타일에 모델 배포를 클릭합니다.
   • 타일이 표시되지 않으면 모델 배포 버튼을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

5. 모델 배포 이름 필드에 배포 중인 모델의 고유 이름을 입력합니다.
6. Serving 런타임 필드에서 활성화된 런타임을 선택합니다.
7. 모델 프레임워크(이름 - 버전) 목록에서 값을 선택합니다.
8. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
9. 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.

10. 다음 옵션은 클러스터에서 가속기 지원을 활성화하고 가속기를 생성한 경우에만 사용할 수 있습니다.

    1. 액셀러레이터 목록에서 가속기 를 선택합니다.
    2. 이전 단계에서 가속기를 선택한 경우 수의 가속기 필드에 사용할 가속기의 수 를 지정합니다.
11. 선택 사항: 모델 경로 섹션에서 외부 경로 확인란을 통해 사용 가능한 배포된 모델 만들기 확인란을 선택하여 배포된 모델을 외부 클라이언트에서 사용할 수 있도록 합니다.

12. 배포된 모델에 대한 유추 요청에 대한 토큰 권한 부여가 필요한 경우 다음 작업을 수행합니다.

    1. 토큰 권한 부여 필요 를 선택합니다.
    2. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다.

13. 모델의 위치를 지정하려면 다음 작업 세트 중 하나를 수행합니다.

    • 기존 연결을 사용하려면 다음을 수행합니다.

      1. 기존 연결을 선택합니다.
      2. 이름 목록에서 이전에 정의한 연결을 선택합니다.

      3. 경로 필드에서 지정된 데이터 소스에 모델이 포함된 폴더 경로를 입력합니다.

         중요

         OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

    • 새 연결 사용

      1. 모델에 액세스할 수 있는 새 연결을 정의하려면 새 연결을 선택합니다.

         1. 연결 추가 모달에서 연결 유형을 선택합니다. S3 호환 오브젝트 스토리지 및 URI 옵션은 사전 설치된 연결 유형입니다. OpenShift AI 관리자가 이를 추가한 경우 추가 옵션을 사용할 수 있습니다.

            연결 추가 양식은 선택한 연결 유형과 관련된 필드를 사용하여 열립니다.

      2. 연결 세부 정보 필드를 작성합니다.

         중요

         연결 유형이 S3 호환 오브젝트 스토리지인 경우 데이터 파일이 포함된 폴더 경로를 제공해야 합니다. OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

14. (선택 사항) 구성 매개변수 섹션에서 런타임 매개변수를 사용자 지정합니다.

    1. 배포된 모델의 작동 방식을 정의하도록 추가 제공 런타임 인수 의 값을 수정합니다.

    2. 추가 환경 변수 의 값을 수정하여 모델의 환경에서 변수를 정의합니다.

       구성 매개 변수 섹션에는 사용 가능한 경우 사전 정의된 제공 런타임 매개변수가 표시됩니다.

       참고

       특정 값을 설정해야 하므로, 포트 또는 모델 제공 런타임 인수를 수정하지 마십시오. 이러한 매개 변수를 덮어쓰면 배포가 실패할 수 있습니다.

15. Deploy 를 클릭합니다.

프로세스

1. 클러스터 관리자로 OpenShift 콘솔에 로그인합니다.
2. 모델을 배포한 프로젝트를 선택합니다.
3. 관리자 화면에서 홈 → 검색을 클릭합니다.
4. Resources 드롭다운 메뉴에서 InferenceService 를 검색합니다.

5. spec.predictor.annotations 에서 새 시간 초과로 serving.knative.dev/progress-deadline 을 수정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   참고

   KServe InferenceService 에서 progress-deadline 을 KNative Service 오브젝트에 다시 복사할 수 있도록 spec.predictor.annotations 수준에서 progress-deadline 을 설정해야 합니다.

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 Model Serving 을 클릭합니다.

   배포된 모델 페이지가 열립니다.

2. 사용자 지정할 모델 이름 옆에 있는 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

   구성 매개 변수 섹션에는 사용 가능한 경우 사전 정의된 제공 런타임 매개변수가 표시됩니다.

3. 구성 매개변수 섹션에서 런타임 매개변수를 사용자 지정합니다.

   1. 배포된 모델의 작동 방식을 정의하도록 추가 제공 런타임 인수 의 값을 수정합니다.

   2. 추가 환경 변수 의 값을 수정하여 모델의 환경에서 변수를 정의합니다.

      참고

      특정 값을 설정해야 하므로, 포트 또는 모델 제공 런타임 인수를 수정하지 마십시오. 이러한 매개 변수를 덮어쓰면 배포가 실패할 수 있습니다.

4. 런타임 매개변수 사용자 지정을 완료한 후 Redeploy 를 클릭하여 변경 사항을 사용하여 모델을 저장하고 배포합니다.

프로세스

1. 단계에 따라 단일 모델 제공 플랫폼에서 모델 배포에 설명된 대로 모델을 배포합니다.
2. Serving 런타임 필드에서 KServe에 대해 vLLM ServingRuntime을 선택합니다.

3. meta-llama-3 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   –-distributed-executor-backend=mp 

   1

   
   --max-model-len=6144 

   2

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

   2

   모델의 최대 컨텍스트 길이를 6144 토큰으로 설정합니다.

4. granite-7B-instruct 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --distributed-executor-backend=mp 

   1

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

5. granite-20B-code-instruct 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --distributed-executor-backend=mp 

   1

   
   –-tensor-parallel-size=4 

   2

   
   --max-model-len=6448 

   3

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

   2

   단일 노드의 4 GPU에 추론 배포

   3

   모델의 최대 컨텍스트 길이를 6448 토큰으로 설정합니다.

6. mistral-7B-Instruct-v0.3 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --distributed-executor-backend=mp 

   1

   
   --max-model-len=15344 

   2

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

   2

   모델의 최대 컨텍스트 길이를 15344 토큰으로 설정합니다.

7. Deploy 를 클릭합니다.

프로세스

1. OpenShift AI 대시보드에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 배포된 모델이 포함된 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 모델 및 모델 서버 목록에서 모델의 섹션을 확장합니다.

   권한 부여 토큰은 토큰 권한 부여 섹션의 토큰 시크릿 필드에 표시됩니다.

5. 선택 사항: 유추 요청에 사용할 권한 부여 토큰을 복사하려면 토큰 값 옆에 있는 복사 버튼( )을 클릭합니다.

프로세스

1. OpenShift AI 대시보드에서 Model Serving 을 클릭합니다.

   모델의 유추 끝점은 유추 끝점 필드에 표시됩니다.

2. 모델에서 수행하려는 동작에 따라(및 모델이 해당 작업을 지원하는 경우) 유추 끝점을 복사한 다음 URL 끝에 경로를 추가합니다.
3. 배포된 모델에 API 요청을 만들려면 끝점을 사용합니다.

프로세스

1. OpenShift AI 대시보드 탐색 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모니터링할 데이터 과학 모델이 포함된 프로젝트의 이름을 클릭합니다.
3. 프로젝트 세부 정보 페이지에서 모델 탭을 클릭합니다.
4. 관심 있는 모델을 선택합니다.

5. 끝점 성능 탭에서 다음 옵션을 설정합니다.

   • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
   • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
6. 아래로 스크롤하여 요청 수, 평균 응답 시간, CPU 사용률 및 메모리 사용률에 대한 데이터 그래프를 봅니다.

프로세스

1. 단계에 따라 단일 모델 제공 플랫폼의 Depyoing 모델에 설명된 대로 모델을 배포합니다.
2. Serving 런타임 필드에서 KServe 런타임의 vLLM ServingRuntime을 선택합니다.

3. 프롬프트에서 n-grams를 일치시켜 추측 디코딩을 위해 vLLM 모델-serving 런타임을 구성하려면 구성 매개변수 섹션의 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --speculative-model=[ngram]
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --ngram-prompt-lookup-max=<NGRAM_PROMPT_LOOKUP_MAX>
   --use-v2-block-manager

   1. < NUM_SPECULATIVE_TOKENS > 및 < NGRAM_PROMPT_LOOKUP_MAX >를 사용자 값으로 바꿉니다.

      참고

      유추 처리량은 n-gram로 추측하는 데 사용되는 모델에 따라 다릅니다.

4. 초안 모델을 사용하여 추측 디코딩을 위해 vLLM 모델 제공 런타임을 구성하려면 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --port=8080
   --served-model-name={{.Name}}
   --distributed-executor-backend=mp
   --model=/mnt/models/<path_to_original_model>
   --speculative-model=/mnt/models/<path_to_speculative_model>
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --use-v2-block-manager

   1. < path_to_speculative_model > 및 < path_to_original_model >을 speculative model 및 original model의 경로로 S3 호환 오브젝트 스토리지의 경로로 바꿉니다.
   2. & lt;NUM_SPECULATIVE_TOKENS&gt;를 사용자 값으로 바꿉니다.

5. 다중 모드 추론에 대한 vLLM 모델 서비스 런타임을 구성하려면 구성 매개변수 섹션의 추가 제공 런타임 아래에 다음 인수를 추가합니다.

   --trust-remote-code

   참고

   신뢰할 수 있는 소스의 모델에는 --trust-remote-code 인수만 사용하십시오.

6. Deploy 를 클릭합니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 모델을 배포하는 데 사용한 런타임에 따라 다음 작업 중 하나를 수행합니다.

   • KServe 런타임에 사전 설치된 TGIS Standalone ServingRuntime을 사용한 경우 런타임을 복제하여 사용자 지정 버전을 생성한 다음 이 절차의 나머지 부분을 따릅니다. 사전 설치된 TGIS 런타임 중복에 대한 자세한 내용은 단일 모델 제공 플랫폼의 사용자 지정 모델 제공 런타임 추가를 참조하십시오.

   • 사용자 지정 TGIS 런타임을 이미 사용 중인 경우 런타임 옆에 있는 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

     포함된 YAML 편집기가 열리고 사용자 정의 model-serving 런타임 내용이 표시됩니다.

3. BATCH_SAFETY_MARGIN 환경 변수를 추가하거나 업데이트하고 값을 30으로 설정합니다. 마찬가지로 ESTIMATE_MEMORY_BATCH_SIZE 환경 변수를 추가하거나 업데이트하고 값을 8로 설정합니다.

   spec:
     containers:
       env:
       - name: BATCH_SAFETY_MARGIN
         value: 30
       - name: ESTIMATE_MEMORY_BATCH
         value: 8

   참고

   BATCH_SAFETY_MARGIN 매개변수는 OOM 조건을 피하기 위해 사용 가능한 GPU 메모리의 백분율을 설정합니다. BATCH_SAFETY_MARGIN 의 기본값은 20 입니다. ESTIMATE_MEMORY_BATCH_SIZE 매개 변수는 메모리 자동 튜닝 알고리즘에 사용되는 배치 크기를 설정합니다. ESTIMATE_MEMORY_BATCH_SIZE 의 기본값은 16 입니다.

4. 업데이트를 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 런타임 목록이 표시됩니다. 업데이트된 사용자 정의 모델 제공 런타임이 표시되는지 확인합니다.

5. 매개변수 업데이트를 적용하기 위해 모델을 재배포하려면 다음 작업을 수행합니다.

   1. OpenShift AI 대시보드에서 Model Serving > Deployed Models 를 클릭합니다.
   2. 재배포할 모델을 찾고 모델 옆에 있는 작업 메뉴( Cryostat)를 클릭하고 삭제 를 선택합니다.
   3. 단일 모델 제공 플랫폼에서 모델 배포에 설명된 대로 모델을 재배포합니다.

프로세스

1. OpenShift AI에 로그인합니다.
2. OpenShift AI 대시보드의 왼쪽 메뉴에서 애플리케이션 → 탐색을 클릭합니다.
3. 탐색 페이지에서 NVIDIA NIM 타일을 찾습니다.
4. 애플리케이션 타일에서 사용을 클릭합니다.
5. NGC API 키를 입력한 다음 Submit 을 클릭합니다.

프로세스

1. 왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 모델 섹션에서 다음 작업 중 하나를 수행합니다.

   • NVIDIA NIM 모델 서비스 플랫폼 타일에서 타일 에서 NVIDIA NIM 선택을 클릭한 다음 모델 배포를 클릭합니다.
   • 이전에 NVIDIA NIM 모델 제공 유형을 선택한 경우 모델 페이지에는 배포 모델 버튼과 함께 오른쪽 상단에 NVIDIA 모델 서비스가 활성화됩니다. 계속하려면 배포 모델을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

5. 다음과 같이 모델 배포를 위한 속성을 구성합니다.

   1. 모델 배포 이름 필드에 배포에 대한 고유한 이름을 입력합니다.
   2. NVIDIA NIM 목록에서 배포하려는 NVIDIA NIM 모델을 선택합니다. 자세한 내용은 지원 모델을 참조하십시오.
   3. NVIDIA NIM 스토리지 크기 필드에서 NVIDIA NIM 모델을 저장하도록 생성될 클러스터 스토리지 인스턴스의 크기를 지정합니다.
   4. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
   5. 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.

   6. 액셀러레이터 목록에서 가속기 를 선택합니다.

      액셀러레이터 필드가 표시됩니다.

   7. 수 의 가속기 필드에서 사용할 가속기의 수를 지정합니다. 기본값은 1입니다.
6. Deploy 를 클릭합니다.