2장. 단일 모델 제공 플랫폼에서 모델 제공

대용량 언어 모델(LLM)과 같은 대규모 모델을 배포하기 위해 Red Hat OpenShift AI에는 KServe 구성 요소를 기반으로 하는 단일 모델 제공 플랫폼이 포함되어 있습니다. 각 모델은 자체 모델 서버에서 배포되므로 단일 모델 제공 플랫폼은 증가된 리소스가 필요한 대규모 모델을 배포, 모니터링, 확장 및 유지 관리하는 데 도움이 됩니다.