Red Hat Summit1장. 모델 서비스 정보
모델을 제공할 때 학습된 모델을 쿼리하기 위해 Red Hat OpenShift AI에 업로드하면 숙련된 모델을 지능형 애플리케이션에 통합할 수 있습니다.
S3 호환 오브젝트 스토리지, 영구 볼륨 클레임 또는 OCI(Open Container Initiative) 이미지에 모델을 업로드할 수 있습니다. 그런 다음 프로젝트 워크벤치에서 모델에 액세스하고 학습할 수 있습니다. 모델을 학습한 후에는 모델 서비스 플랫폼을 사용하여 모델을 제공하거나 배포할 수 있습니다.
모델을 제공하거나 배포하면 API를 사용하여 액세스할 수 있는 서비스 또는 모델 런타임 서버로 모델을 사용할 수 있습니다. 그런 다음 대시보드에서 배포된 모델의 유추 끝점에 액세스하고 API 호출을 통해 제공하는 데이터 입력을 기반으로 예측 사항을 볼 수 있습니다. API를 통해 모델을 쿼리하는 것도 모델 유추라고 합니다.
다음 모델 서비스 플랫폼 중 하나에서 모델을 제공할 수 있습니다.
- 단일 모델 제공 플랫폼
- 다중 모델 서비스 플랫폼
- 플랫폼을 제공하는 NVIDIA NIM 모델
선택한 모델 서비스 플랫폼은 비즈니스 요구 사항에 따라 다릅니다.
- 각 모델을 자체 런타임 서버에 배포하거나 서버리스 배포를 사용하려면 단일 모델 제공 플랫폼을 선택합니다. 단일 모델 제공 플랫폼은 프로덕션 용도로 사용하는 것이 좋습니다.
- 런타임 서버가 하나뿐인 여러 모델을 배포하려면 다중 모델 제공 플랫폼을 선택합니다. 이 옵션은 1,000개 이상의 소규모 및 중간 모델을 배포하고 리소스 소비를 줄이고자 하는 경우에 가장 적합합니다.
- NVIDIA Inference Microservices (NIMs)를 사용하여 모델을 배포하려면 NVIDIA NIM-model 서비스 플랫폼을 선택합니다.
1.1. 단일 모델 제공 플랫폼
단일 모델 제공 플랫폼에서 제공되는 전용 모델에서 각 모델을 배포할 수 있습니다. 전용 모델 서버에서 모델을 배포하면 증가된 리소스가 필요한 모델을 배포, 모니터링, 확장 및 유지 관리하는 데 도움이 될 수 있습니다. 이 모델 서비스 플랫폼은 대규모 모델을 지원합니다. 단일 모델 제공 플랫폼은 KServe 구성 요소를 기반으로 합니다.
단일 모델 제공 플랫폼은 다음과 같은 사용 사례에 유용합니다.
- LLM(Large Language Model)
- Acceptrative AI
단일 모델 제공 플랫폼 설정에 대한 자세한 내용은 단일 모델 제공 플랫폼 설치를 참조하십시오.
