3.9. KServe 배포 모드 정보
기본적으로 모델 서버리스 배포를 허용하는 클라우드 네이티브 개발 모델인 Red Hat OpenShift Serverless 를 사용하여 KServe와 함께 단일 모델 서비스 플랫폼에 모델을 배포할 수 있습니다. OpenShift Serverless는 오픈 소스 Knative 프로젝트를 기반으로 합니다. 또한 서버리스 모드는 Red Hat OpenShift Serverless Operator에 따라 다릅니다.
또는 Red Hat OpenShift Serverless Operator에 의존하지 않는 원시 배포 모드를 사용할 수 있습니다. 원시 배포 모드를 사용하면 Deployment,Service,Ingress, Horizontal Pod Autoscaler 와 같은 Kubernetes 리소스가 포함된 모델을 배포할 수 있습니다.
KServe 원시 배포 모드를 사용하여 머신 러닝 모델을 배포하는 것은 제한된 가용성 기능입니다. 제한된 가용성은 Red Hat AI Business Unit의 특정 승인에서만 해당 기능에 대한 지원을 설치하고 받을 수 있음을 의미합니다. 이러한 승인이 없으면 해당 기능은 지원되지 않습니다. 또한 이 기능은 단일 노드 OpenShift의 자체 관리형 배포에서만 지원됩니다.
이러한 배포 모드를 각각 사용하는 데에는 장단점이 있습니다.
3.9.1. 서버리스 모드
이점:
요청 볼륨에 따라 자동 스케일링을 활성화합니다.
- 들어오는 요청을 수신할 때 리소스가 자동으로 확장됩니다.
- 리소스 사용량을 최적화하고 최대 시간 동안 성능을 유지 관리합니다.
Knative를 사용하여 0으로 스케일링을 지원합니다.
- 들어오는 요청이 없을 때 리소스를 완전히 축소할 수 있습니다.
- 유휴 리소스를 실행하지 않고 비용을 절감합니다.
단점:
사용자 지정 제한 사항이 있습니다.
- 서버리스는 여러 볼륨을 마운트할 때와 같이 Knative로 제한됩니다.
스케일링을 위해 Knative에 대한 종속성:
- 기존의 확장 방법과 비교하여 설정 및 관리의 복잡성이 추가로 도입되었습니다.
3.9.2. 원시 배포 모드
이점:
Deployment,Service,Ingress,Horizontal Pod Autoscaler와 같은 Kubernetes 리소스로 배포를 활성화합니다.- Kubernetes 리소스를 완전히 제어하여 배포 설정의 세부 사용자 지정 및 구성을 수행할 수 있습니다.
Knative 제한 사항의 잠금 해제(예: 여러 볼륨을 마운트할 수 없음)
- 복잡한 구성 또는 여러 스토리지 마운트가 필요한 애플리케이션에 유용합니다.
단점:
자동 확장을 지원하지 않습니다.
- 유휴 상태일 때 리소스를 제로로 자동 축소하는 것은 지원하지 않습니다.
- 낮은 트래픽 기간 동안 비용이 증가할 수 있습니다.
- 확장을 수동으로 관리해야 합니다.
