3.12. 단일 모델 제공 플랫폼을 사용하여 모델 배포

프로세스

1. 다음과 같이 플랫폼을 제공하는 단일 모델을 활성화합니다.

   1. 왼쪽 메뉴에서 설정 클러스터 설정을 클릭합니다.
   2. 모델 제공 플랫폼 섹션을 찾습니다.
   3. 프로젝트에 단일 모델 제공 플랫폼을 활성화하려면 단일 모델 제공 플랫폼 확인란을 선택합니다.
   4. 변경 사항 저장을 클릭합니다.

2. 다음과 같이 단일 모델 제공 플랫폼에 대해 사전 설치된 런타임을 활성화합니다.

   1. OpenShift AI 대시보드의 왼쪽 메뉴에서 설정 Serving 런타임 을 클릭합니다.

      Serving 런타임 페이지에는 사전 설치된 런타임 및 사용자가 추가한 모든 사용자 지정 런타임이 표시됩니다.

      사전 설치된 런타임에 대한 자세한 내용은 지원되는 런타임 을 참조하십시오.

   2. 사용할 런타임을 Enabled 로 설정합니다.

      단일 모델 제공 플랫폼은 이제 모델 배포에 사용할 수 있습니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 사용자 지정 런타임을 추가하려면 다음 옵션 중 하나를 선택합니다.

   • 기존 런타임(예: KServe의 경우 TGIS Standalone ServingRuntime)으로 시작하려면 기존 런타임 옆에 있는 작업 메뉴(예: TGIS Standalone ServingRuntime)를 클릭한 다음 중복 을 클릭합니다.
   • 새 사용자 지정 런타임을 추가하려면 제공 런타임 추가 를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 선택 사항: 새 런타임을 시작한 경우(기존 런타임을 복제하지 않고) 다음 옵션 중 하나를 선택하여 코드를 추가합니다.

   • YAML 파일 업로드

     1. 파일 업로드 를 클릭합니다.

     2. 파일 브라우저에서 컴퓨터에서 YAML 파일을 선택합니다.

        포함된 YAML 편집기가 열리고 업로드한 파일의 내용이 표시됩니다.

   • 편집기에서 직접 YAML 코드를 입력합니다.

     1. 처음부터 시작을 클릭합니다.
     2. 포함된 편집기에서 YAML 코드를 직접 입력하거나 붙여넣습니다.
   참고

   대부분의 경우 사용자 지정 런타임을 생성하려면 ServingRuntime 사양의 env 섹션에 새 또는 사용자 지정 매개변수를 추가해야 합니다.

6. 추가를 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 사용자 지정 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

7. 선택 사항: 사용자 지정 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 제공 런타임 추가를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 처음부터 시작을 클릭합니다.

   1. REST API 프로토콜을 선택한 경우 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

   2. gRPC API 프로토콜을 선택한 경우 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. metadata.name 필드에서 추가하는 런타임 값이 이미 추가한 런타임 값과 일치하지 않는지 확인합니다.

7. 선택 사항: 추가하는 런타임에 사용자 정의 표시 이름을 사용하려면 metadata.annotations.openshift.io/display-name 필드를 추가하고 다음 예와 같이 값을 지정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   참고

   런타임에 대한 사용자 정의 표시 이름을 구성하지 않으면 OpenShift AI에 metadata.name 필드의 값이 표시됩니다.

8. 생성을 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

9. 선택 사항: 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. 왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 다음 작업 중 하나를 수행합니다.

   • 플랫폼 타일을 제공하는 단일 모델이 표시되면 타일에 모델 배포를 클릭합니다.
   • 타일이 표시되지 않으면 모델 배포 버튼을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

5. 모델 배포 이름 필드에 배포 중인 모델의 고유 이름을 입력합니다.
6. Serving 런타임 필드에서 활성화된 런타임을 선택합니다.
7. 모델 프레임워크(이름 - 버전) 목록에서 값을 선택합니다.
8. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
9. 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.

10. 다음 옵션은 클러스터에서 가속기 지원을 활성화하고 가속기를 생성한 경우에만 사용할 수 있습니다.

    1. 액셀러레이터 목록에서 가속기 를 선택합니다.
    2. 이전 단계에서 가속기를 선택한 경우 수의 가속기 필드에 사용할 가속기의 수 를 지정합니다.
11. 선택 사항: 모델 경로 섹션에서 외부 경로 확인란을 통해 사용 가능한 배포된 모델 만들기 확인란을 선택하여 배포된 모델을 외부 클라이언트에서 사용할 수 있도록 합니다.

12. 배포된 모델에 대한 유추 요청에 대한 토큰 권한 부여가 필요한 경우 다음 작업을 수행합니다.

    1. 토큰 권한 부여 필요 를 선택합니다.
    2. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다.

13. 모델의 위치를 지정하려면 다음 작업 세트 중 하나를 수행합니다.

    • 기존 연결을 사용하려면 다음을 수행합니다.

      1. 기존 연결을 선택합니다.
      2. 이름 목록에서 이전에 정의한 연결을 선택합니다.

      3. 경로 필드에서 지정된 데이터 소스에 모델이 포함된 폴더 경로를 입력합니다.

         중요

         OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

    • 새 연결 사용

      1. 모델에 액세스할 수 있는 새 연결을 정의하려면 새 연결을 선택합니다.

         1. 연결 추가 모달에서 연결 유형을 선택합니다. S3 호환 오브젝트 스토리지 및 URI 옵션은 사전 설치된 연결 유형입니다. OpenShift AI 관리자가 이를 추가한 경우 추가 옵션을 사용할 수 있습니다.

            연결 추가 양식은 선택한 연결 유형과 관련된 필드를 사용하여 열립니다.

      2. 연결 세부 정보 필드를 작성합니다.

         중요

         연결 유형이 S3 호환 오브젝트 스토리지인 경우 데이터 파일이 포함된 폴더 경로를 제공해야 합니다. OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

14. (선택 사항) 구성 매개변수 섹션에서 런타임 매개변수를 사용자 지정합니다.

    1. 배포된 모델의 작동 방식을 정의하도록 추가 제공 런타임 인수 의 값을 수정합니다.

    2. 추가 환경 변수 의 값을 수정하여 모델의 환경에서 변수를 정의합니다.

       구성 매개 변수 섹션에는 사용 가능한 경우 사전 정의된 제공 런타임 매개변수가 표시됩니다.

       참고

       특정 값을 설정해야 하므로, 포트 또는 모델 제공 런타임 인수를 수정하지 마십시오. 이러한 매개 변수를 덮어쓰면 배포가 실패할 수 있습니다.

15. Deploy 를 클릭합니다.

프로세스

1. 클러스터 관리자로 OpenShift 콘솔에 로그인합니다.
2. 모델을 배포한 프로젝트를 선택합니다.
3. 관리자 화면에서 홈 검색을 클릭합니다.
4. Resources 드롭다운 메뉴에서 InferenceService 를 검색합니다.

5. spec.predictor.annotations 에서 새 시간 초과로 serving.knative.dev/progress-deadline 을 수정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   참고

   KServe InferenceService 에서 progress-deadline 을 KNative Service 오브젝트에 다시 복사할 수 있도록 spec.predictor.annotations 수준에서 progress-deadline 을 설정해야 합니다.

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 Model Serving 을 클릭합니다.

   배포된 모델 페이지가 열립니다.

2. 사용자 지정할 모델 이름 옆에 있는 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

   구성 매개 변수 섹션에는 사용 가능한 경우 사전 정의된 제공 런타임 매개변수가 표시됩니다.

3. 구성 매개변수 섹션에서 런타임 매개변수를 사용자 지정합니다.

   1. 배포된 모델의 작동 방식을 정의하도록 추가 제공 런타임 인수 의 값을 수정합니다.

   2. 추가 환경 변수 의 값을 수정하여 모델의 환경에서 변수를 정의합니다.

      참고

      특정 값을 설정해야 하므로, 포트 또는 모델 제공 런타임 인수를 수정하지 마십시오. 이러한 매개 변수를 덮어쓰면 배포가 실패할 수 있습니다.

4. 런타임 매개변수 사용자 지정을 완료한 후 Redeploy 를 클릭하여 변경 사항을 사용하여 모델을 저장하고 배포합니다.

프로세스

1. 단계에 따라 단일 모델 제공 플랫폼에서 모델 배포에 설명된 대로 모델을 배포합니다.
2. Serving 런타임 필드에서 KServe에 대해 vLLM ServingRuntime을 선택합니다.

3. meta-llama-3 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   –-distributed-executor-backend=mp 1
   --max-model-len=6144 2

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

   2

   모델의 최대 컨텍스트 길이를 6144 토큰으로 설정합니다.

4. granite-7B-instruct 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --distributed-executor-backend=mp 1

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

5. granite-20B-code-instruct 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --distributed-executor-backend=mp 1
   –-tensor-parallel-size=4 2
   --max-model-len=6448 3

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

   2

   단일 노드의 4 GPU에 추론 배포

   3

   모델의 최대 컨텍스트 길이를 6448 토큰으로 설정합니다.

6. mistral-7B-Instruct-v0.3 모델을 배포하는 경우 구성 매개변수 섹션에서 추가 제공 런타임 인수 아래에 다음 인수를 추가합니다.

   --distributed-executor-backend=mp 1
   --max-model-len=15344 2

   1

   분산 모델 작업자의 다중 처리로 백엔드를 설정합니다.

   2

   모델의 최대 컨텍스트 길이를 15344 토큰으로 설정합니다.

7. Deploy 를 클릭합니다.