3.11. 단일 모델 제공 플랫폼을 사용하여 모델 배포

프로세스

1. 다음과 같이 플랫폼을 제공하는 단일 모델을 활성화합니다.

   1. 왼쪽 메뉴에서 설정 클러스터 설정을 클릭합니다.
   2. 모델 제공 플랫폼 섹션을 찾습니다.
   3. 프로젝트에 단일 모델 제공 플랫폼을 활성화하려면 단일 모델 제공 플랫폼 확인란을 선택합니다.
   4. 변경 사항 저장을 클릭합니다.

2. 다음과 같이 단일 모델 제공 플랫폼에 대해 사전 설치된 런타임을 활성화합니다.

   1. OpenShift AI 대시보드의 왼쪽 메뉴에서 설정 Serving 런타임 을 클릭합니다.

      Serving 런타임 페이지에는 사전 설치된 런타임 및 사용자가 추가한 모든 사용자 지정 런타임이 표시됩니다.

      사전 설치된 런타임에 대한 자세한 내용은 지원되는 런타임 을 참조하십시오.

   2. 사용할 런타임을 Enabled 로 설정합니다.

      단일 모델 제공 플랫폼은 이제 모델 배포에 사용할 수 있습니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 사용자 지정 런타임을 추가하려면 다음 옵션 중 하나를 선택합니다.

   • 기존 런타임(예: KServe의 경우 TGIS Standalone ServingRuntime)으로 시작하려면 기존 런타임 옆에 있는 작업 메뉴(예: TGIS Standalone ServingRuntime)를 클릭한 다음 중복 을 클릭합니다.
   • 새 사용자 지정 런타임을 추가하려면 제공 런타임 추가 를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 선택 사항: 새 런타임을 시작한 경우(기존 런타임을 복제하지 않고) 다음 옵션 중 하나를 선택하여 코드를 추가합니다.

   • YAML 파일 업로드

     1. 파일 업로드 를 클릭합니다.

     2. 파일 브라우저에서 컴퓨터에서 YAML 파일을 선택합니다.

        포함된 YAML 편집기가 열리고 업로드한 파일의 내용이 표시됩니다.

   • 편집기에서 직접 YAML 코드를 입력합니다.

     1. 처음부터 시작을 클릭합니다.
     2. 포함된 편집기에서 YAML 코드를 직접 입력하거나 붙여넣습니다.
   참고

   대부분의 경우 사용자 지정 런타임을 생성하려면 ServingRuntime 사양의 env 섹션에 새 또는 사용자 지정 매개변수를 추가해야 합니다.

6. 추가를 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 사용자 지정 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

7. 선택 사항: 사용자 지정 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. OpenShift AI 대시보드에서 설정 > Serving 런타임 을 클릭합니다.

   Serving 런타임 페이지가 열리고 이미 설치 및 활성화된 모델 제공 런타임이 표시됩니다.

2. 제공 런타임 추가를 클릭합니다.
3. Select the model serving platforms this runtime supports list, select Single-model serving platform.
4. Select the API protocol this runtime supports list에서 지원하는 REST 또는 gRPC 를 선택합니다.

5. 처음부터 시작을 클릭합니다.

   1. REST API 프로토콜을 선택한 경우 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver:23.05-py3
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: keras
            version: "2"

   2. gRPC API 프로토콜을 선택한 경우 포함된 편집기에 다음 YAML 코드를 직접 입력하거나 붙여넣습니다.

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver:23.05-py3
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: keras
            version: "2"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. metadata.name 필드에서 추가하는 런타임 값이 이미 추가한 런타임 값과 일치하지 않는지 확인합니다.

7. 선택 사항: 추가하는 런타임에 사용자 정의 표시 이름을 사용하려면 metadata.annotations.openshift.io/display-name 필드를 추가하고 다음 예와 같이 값을 지정합니다.

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   참고

   런타임에 대한 사용자 정의 표시 이름을 구성하지 않으면 OpenShift AI에 metadata.name 필드의 값이 표시됩니다.

8. 생성을 클릭합니다.

   Serving 런타임 페이지가 열리고 설치된 업데이트된 런타임 목록이 표시됩니다. 추가한 런타임이 자동으로 활성화되어 있는지 확인합니다. 런타임을 생성할 때 지정한 API 프로토콜이 표시됩니다.

9. 선택 사항: 런타임을 편집하려면 작업 메뉴( Cryostat)를 클릭하고 편집을 선택합니다.

프로세스

1. 왼쪽 메뉴에서 Data Science Projects 를 클릭합니다.

   Data Science Projects 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 다음 작업 중 하나를 수행합니다.

   • 플랫폼 타일을 제공하는 단일 모델이 표시되면 타일에 모델 배포를 클릭합니다.
   • 타일이 표시되지 않으면 모델 배포 버튼을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

5. 모델 배포 이름 필드에 배포 중인 모델의 고유 이름을 입력합니다.
6. Serving 런타임 필드에서 활성화된 런타임을 선택합니다.
7. 모델 프레임워크(이름 - 버전) 목록에서 값을 선택합니다.
8. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
9. 모델 서버 크기 목록에서 값을 선택합니다.From the Model server size list, select a value.

10. 다음 옵션은 클러스터에서 GPU 지원을 활성화하고 가속기를 생성한 경우에만 사용할 수 있습니다.

    1. 액셀러레이터 목록에서 가속기 를 선택합니다.
    2. 이전 단계에서 가속기를 선택한 경우 수의 가속기 필드에 사용할 가속기의 수 를 지정합니다.
11. 선택 사항: 모델 경로 섹션에서 외부 경로 확인란을 통해 사용 가능한 배포된 모델 만들기 확인란을 선택하여 배포된 모델을 외부 클라이언트에서 사용할 수 있도록 합니다.

12. 배포된 모델에 대한 유추 요청에 대한 토큰 권한 부여가 필요한 경우 다음 작업을 수행합니다.

    1. 토큰 권한 부여 필요 를 선택합니다.
    2. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다.

13. 모델의 위치를 지정하려면 다음 작업 세트 중 하나를 수행합니다.

    • 기존 데이터 연결 사용

      1. 기존 데이터 연결을 선택합니다.
      2. 이름 목록에서 이전에 정의한 데이터 연결을 선택합니다.

      3. 경로 필드에서 지정된 데이터 소스에 모델이 포함된 폴더 경로를 입력합니다.

         중요

         OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

    • 새 데이터 연결 사용

      1. 모델에 액세스할 수 있는 새 데이터 연결을 정의하려면 새 데이터 연결을 선택합니다.
      2. 이름 필드에 데이터 연결의 고유 이름을 입력합니다.
      3. 액세스 키 필드에 S3 호환 오브젝트 스토리지 공급자의 액세스 키 ID를 입력합니다.
      4. Secret 키 필드에 지정한 S3 호환 오브젝트 스토리지 계정의 시크릿 액세스 키를 입력합니다.
      5. Endpoint 필드에 S3 호환 오브젝트 스토리지 버킷의 끝점을 입력합니다.
      6. Region 필드에 S3 호환 오브젝트 스토리지 계정의 기본 리전을 입력합니다.
      7. Bucket 필드에 S3 호환 오브젝트 스토리지 버킷의 이름을 입력합니다.

      8. 경로 필드에 데이터 파일이 포함된 S3 호환 오브젝트 스토리지에 폴더 경로를 입력합니다.

         중요

         OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

14. Deploy 를 클릭합니다.