3장. 대규모 모델 제공
대용량 언어 모델(LLM)과 같은 대규모 모델을 배포하기 위해 Red Hat OpenShift AI에는 KServe 구성 요소를 기반으로 하는 단일 모델 제공 플랫폼이 포함되어 있습니다. 각 모델은 자체 모델 서버에서 배포되므로 단일 모델 제공 플랫폼은 증가된 리소스가 필요한 대규모 모델을 배포, 모니터링, 확장 및 유지 관리하는 데 도움이 됩니다.
3.1. 단일 모델 제공 플랫폼 정보
대용량 언어 모델(LLM)과 같은 대규모 모델을 배포하기 위해 OpenShift AI에는 KServe 구성 요소를 기반으로 하는 단일 모델 제공 플랫폼이 포함되어 있습니다. 각 모델은 자체 모델 서버에 배포되므로 단일 모델 제공 플랫폼은 증가된 리소스가 필요한 대규모 모델을 배포, 모니터링, 확장 및 유지 관리하는 데 도움이 됩니다.
