2.2. 단일 모델 제공 플랫폼에 모델 배포

프로세스

1. 왼쪽 메뉴에서 프로젝트를 클릭합니다.

2. 모델을 배포할 프로젝트의 이름을 클릭합니다.

   프로젝트 세부 정보 페이지가 열립니다.

3. Deployments 탭을 클릭합니다.

4. 배포 모델 버튼을 클릭합니다.

   모델 배포 마법사가 열립니다.

5. 모델 세부 정보 섹션에서 모델에 대한 정보를 제공합니다.

   1. 모델 위치 목록에서 모델이 저장된 위치를 지정하고 연결 세부 정보 필드를 완료합니다.From the Model location list, specify where your model is stored and complete the connection detail fields.

      참고
      • OCI 호환 레지스트리,S3 호환 오브젝트 스토리지 및 URI 옵션은 사전 설치된 연결 유형입니다. OpenShift AI 관리자가 이를 추가한 경우 추가 옵션을 사용할 수 있습니다.
      • 모델 파일을 PVC(영구 볼륨 클레임)에 업로드하고 PVC가 워크벤치에 연결된 경우 모델 위치 목록에서 클러스터 스토리지 옵션을 사용할 수 있게 됩니다. PVC를 선택하고 모델 파일의 경로를 지정하려면 이 옵션을 사용합니다.
   2. 모델 유형 목록에서 배포, 사전 또는Generative AI 모델 유형을 선택합니다.
   3. 다음을 클릭합니다.

6. 모델 배포 섹션에서 배포를 구성합니다.

   1. 모델 배포 이름 필드에 모델 배포에 대한 고유 이름을 입력합니다.
   2. 설명 필드에 배포에 대한 설명을 입력합니다.
   3. 하드웨어 프로필 목록에서 하드웨어 프로필을 선택합니다.
   4. 선택 사항: 기본 리소스 할당을 수정하려면 리소스 요청 및 제한 사용자 지정을 클릭하고 CPU 및 메모리 요청 및 제한에 대한 새 값을 입력합니다.

   5. Serving 런타임 필드에서 활성화된 런타임을 선택합니다.

      참고

      프로젝트 범위 런타임이 있는 경우 Serving 런타임 목록에는 글로벌 런타임과 프로젝트 범위 런타임을 구분하는 하위 제목이 포함됩니다.

   6. 선택 사항: 예측 모델 유형을 선택한 경우 모델 프레임워크(이름 - 버전) 목록에서 프레임워크 를 선택합니다. 이 필드는Generative AI 모델에 대해 숨겨집니다.
   7. 배포할 모델 서버 복제본 수에서 값을 지정합니다.In the Number of model server replicas to deploy field, specify a value.
   8. 다음을 클릭합니다.

7. 고급 설정 섹션에서 고급 옵션을 구성합니다.

   1. 선택 사항: (Generative AI 모델만 해당) 모델의 엔드포인트를 AI 자산 엔드포인트 페이지에 추가하려면 Add as AI asset endpoint 확인란을 선택합니다.

      1. 사용 사례 필드에 채팅, 멀티모달 또는 자연 언어 처리와 같이 모델이 수행하는 작업 유형을 입력합니다.

         참고

         GenAI 플레이네시크에서 모델을 테스트하려면 AI 자산 끝점으로 모델을 추가해야 합니다.

   2. 선택 사항: 외부 경로를 통해 모델 배포를 사용할 수 있도록 하려면 모델 액세스 확인란을 선택합니다.
   3. 선택 사항: 배포된 모델에 대한 유추 요청에 대한 토큰 인증이 필요한 경우 토큰 인증 필요 를 선택합니다.
   4. 서비스 계정 이름 필드에 토큰이 생성될 서비스 계정 이름을 입력합니다.
   5. 추가 서비스 계정을 추가하려면 서비스 계정 추가를 클릭하고 다른 서비스 계정 이름을 입력합니다.

   6. 선택 사항: 구성 매개변수 섹션에서 다음을 수행합니다.

      1. Add custom runtime arguments 를 선택한 다음 텍스트 필드에 인수를 입력합니다.
      2. 사용자 지정 런타임 환경 변수 추가 확인란을 선택한 다음 변수 추가 를 클릭하여 텍스트 필드에 사용자 지정 변수를 입력합니다.
8. Deploy 를 클릭합니다.