1장. 모델 서비스 정보
Red Hat OpenShift AI에서 숙련된 모델을 제공하면 OpenShift 클러스터에 모델을 배포하여 이를 테스트하고 지능형 애플리케이션에 통합할 수 있습니다. 모델을 배포하면 API를 사용하여 액세스할 수 있는 서비스로 사용할 수 있습니다. 이를 통해 API 호출을 통해 제공하는 데이터 입력을 기반으로 예측 사항을 반환할 수 있습니다. 이 프로세스를 모델 유추라고 합니다. OpenShift AI에서 모델을 제공할 때 배포된 모델에 액세스할 수 있는 유추 엔드포인트가 대시보드에 표시됩니다.
OpenShift AI는 다음과 같은 모델 서비스 플랫폼을 제공합니다.
- 단일 모델 제공 플랫폼
- 대용량 언어 모델(LLM)과 같은 대규모 모델을 배포하기 위해 OpenShift AI에는 KServe 구성 요소를 기반으로 하는 단일 모델 제공 플랫폼이 포함되어 있습니다. 각 모델은 자체 모델 서버에서 배포되므로 단일 모델 제공 플랫폼은 증가된 리소스가 필요한 대규모 모델을 배포, 모니터링, 확장 및 유지 관리하는 데 도움이 됩니다.
- 다중 모델 서비스 플랫폼
- 소규모 및 중간 규모의 모델을 배포하기 위해 OpenShift AI에는 ModelMesh 구성 요소를 기반으로 하는 다중 모델 제공 플랫폼이 포함되어 있습니다. 다중 모델 제공 플랫폼에서는 동일한 모델 서버에 여러 모델을 배포할 수 있습니다. 배포된 각 모델은 서버 리소스를 공유합니다. 이러한 접근 방식은 제한된 컴퓨팅 리소스 또는 포드가 있는 OpenShift 클러스터에서 유용할 수 있습니다.
