2.2. 단일 모델 제공 플랫폼에 모델 배포

프로세스

1. 왼쪽 메뉴에서 데이터 과학 프로젝트를 클릭합니다.

   데이터 사이언스 프로젝트 페이지가 열립니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. 모델 탭을 클릭합니다.

4. 다음 작업 중 하나를 수행합니다.

   • 플랫폼 타일을 제공하는 단일 모델이 표시되면 타일에 모델 배포를 클릭합니다.
   • 타일이 표시되지 않으면 모델 배포 버튼을 클릭합니다.

   모델 배포 대화 상자가 열립니다.

5. 모델 배포 이름 필드에 배포 중인 모델의 고유 이름을 입력합니다.
6. Serving 런타임 필드에서 활성화된 런타임을 선택합니다. 프로젝트 범위 런타임이 있는 경우 Serving 런타임 목록에는 글로벌 런타임과 프로젝트 범위 런타임을 구분하는 하위 제목이 포함됩니다.
7. 모델 프레임워크(이름 - 버전) 목록에서 값을 선택합니다.
8. 배포 모드 목록에서 표준 또는 고급을 선택합니다. 배포 모드에 대한 자세한 내용은 KServe 배포 모드 정보를 참조하십시오.
9. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.

10. 다음 옵션은 하드웨어 프로필을 만든 경우에만 사용할 수 있습니다.

    1. 하드웨어 프로필 목록에서 하드웨어 프로필을 선택합니다. 프로젝트 범위 하드웨어 프로필이 있는 경우 하드웨어 프로필 목록에는 글로벌 하드웨어 프로필과 프로젝트 범위 하드웨어 프로필을 구분하기 위한 하위 제목이 포함됩니다.

       중요

       기본적으로 하드웨어 프로필은 대시보드 탐색 메뉴 및 사용자 인터페이스에 숨겨져 있지만 액셀러레이터 프로필은 계속 표시됩니다. 또한 더 이상 사용되지 않는 가속기 프로필 기능과 관련된 사용자 인터페이스 구성 요소가 계속 표시됩니다. 하드웨어 프로필을 활성화하면 Accelerator 프로필 목록 대신 Hardware profiles 목록이 표시됩니다. 대시보드 탐색 메뉴에서 설정 하드웨어 프로필 옵션을 표시하려면 OpenShift의 OdhDashboardConfig CR(사용자 정의 리소스)에서 disableHardwareProfiles 값을 false 로 설정합니다. 대시보드 구성 옵션 설정에 대한 자세한 내용은 대시보드 사용자 지정을 참조하십시오.

    2. 이러한 기본값을 변경하려면 리소스 요청 사용자 지정 및 제한을 클릭하고 새 최소(요청) 및 최대값(제한) 값을 입력합니다. 하드웨어 프로필은 컨테이너에 할당된 CPU 수와 메모리 양을 지정하고 둘 다에 대해 보장된 최소(요청) 및 최대값(제한)을 설정합니다.
11. 선택 사항: 모델 경로 섹션에서 외부 경로 확인란을 통해 사용 가능한 배포된 모델 만들기 확인란을 선택하여 배포된 모델을 외부 클라이언트에서 사용할 수 있도록 합니다.

12. 배포된 모델에 대한 유추 요청에 대한 토큰 인증이 필요한 경우 다음 작업을 수행합니다.

    1. 토큰 인증 필요 를 선택합니다.
    2. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다.
    3. 추가 서비스 계정을 추가하려면 서비스 계정 추가를 클릭하고 다른 서비스 계정 이름을 입력합니다.

13. 모델의 위치를 지정하려면 다음 작업 세트 중 하나를 수행합니다.

    • 기존 연결을 사용하려면 다음을 수행합니다.

      1. 기존 연결을 선택합니다.

      2. 이름 목록에서 이전에 정의한 연결을 선택합니다.

         1. S3 호환 오브젝트 스토리지: 경로 필드에 지정된 데이터 소스에 모델이 포함된 폴더 경로를 입력합니다.

            중요

            OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

         2. Open Container Image connections: OCI 스토리지 위치 필드에 모델이 있는 모델 URI를 입력합니다.

            참고

            기존 S3, URI 또는 OCI 데이터 연결을 사용하여 등록된 모델 버전을 배포하는 경우 일부 연결 세부 정보가 자동으로 입력될 수 있습니다. 이는 데이터 연결 유형 및 데이터 사이언스 프로젝트에서 사용할 수 있는 일치 연결 수에 따라 달라집니다. 예를 들어 일치하는 연결이 하나만 있는 경우 경로, URI, 끝점, 모델 URI, 버킷 및 리전과 같은 필드가 자동으로 채워질 수 있습니다. 일치하는 연결의 레이블이 Recommended 로 지정됩니다.

    • 새 연결 사용

      1. 모델에 액세스할 수 있는 새 연결을 정의하려면 새 연결을 선택합니다.

         1. 연결 추가 모달에서 연결 유형을 선택합니다. OCI 호환 레지스트리,S3 호환 오브젝트 스토리지 및 URI 옵션은 사전 설치된 연결 유형입니다. OpenShift AI 관리자가 이를 추가한 경우 추가 옵션을 사용할 수 있습니다.

            연결 추가 양식은 선택한 연결 유형과 관련된 필드를 사용하여 열립니다.

      2. 연결 세부 정보 필드를 작성합니다.

         중요

         연결 유형이 S3 호환 오브젝트 스토리지인 경우 데이터 파일이 포함된 폴더 경로를 제공해야 합니다. OpenVINO 모델 서버 런타임에는 모델 경로를 지정하는 방법에 대한 특정 요구 사항이 있습니다. 자세한 내용은 OpenShift AI 릴리스 노트의 알려진 문제 RHOAIENG-3025 를 참조하십시오.

14. (선택 사항) 구성 매개변수 섹션에서 런타임 매개변수를 사용자 지정합니다.

    1. 배포된 모델의 작동 방식을 정의하도록 추가 제공 런타임 인수 의 값을 수정합니다.

    2. 추가 환경 변수 의 값을 수정하여 모델의 환경에서 변수를 정의합니다.

       구성 매개 변수 섹션에는 사용 가능한 경우 사전 정의된 제공 런타임 매개변수가 표시됩니다.

       참고

       특정 값을 설정해야 하므로, 포트 또는 모델 제공 런타임 인수를 수정하지 마십시오. 이러한 매개 변수를 덮어쓰면 배포가 실패할 수 있습니다.

15. Deploy 를 클릭합니다.