Red Hat Summit2.10. KServe 배포 모드 정보
고급 또는 표준 배포 모드로 모델을 배포할 수 있습니다.
고급 배포 모드에서는 Knative Serverless를 사용합니다. 기본적으로 KServe는 Red Hat OpenShift Serverless 및 Red Hat OpenShift Service Mesh와 통합되어 단일 모델 서비스 플랫폼에 모델을 배포합니다. Red Hat Serverless는 오픈 소스 Knative 프로젝트를 기반으로 하며 Red Hat OpenShift Serverless Operator가 필요합니다.
또는 KServe RawDeployment 모드를 사용하고 Red Hat OpenShift Serverless Operator, Red Hat OpenShift Service Mesh 또는 Authorino가 필요하지 않은 표준 배포 모드를 사용할 수 있습니다.
고급 배포 모드를 위해 KServe를 구성하면 고급 및 표준 배포 모드에서 모델을 제공하도록 데이터 사이언 프로젝트를 설정할 수 있습니다. 그러나 표준 배포 모드에 대해서만 KServe를 구성하는 경우 표준 배포 모드만 사용할 수 있습니다.
이러한 배포 모드를 각각 사용하는 데에는 장단점이 있습니다.
2.10.1. 고급 모드
이점:
요청 볼륨에 따라 자동 스케일링을 활성화합니다.
- 들어오는 요청을 수신할 때 리소스가 자동으로 확장됩니다.
- 리소스 사용량을 최적화하고 최대 시간 동안 성능을 유지 관리합니다.
Knative를 사용하여 0으로 스케일링을 지원합니다.
- 들어오는 요청이 없을 때 리소스를 완전히 축소할 수 있습니다.
- 유휴 리소스를 실행하지 않고 비용을 절감합니다.
단점:
사용자 지정 제한 사항이 있습니다.
- 서버리스는 Knative에서 지원하며 여러 볼륨을 마운트할 때와 같이 동일한 설계 선택을 암시적으로 상속합니다.
스케일링을 위해 Knative에 대한 종속성:
- 기존의 확장 방법과 비교하여 설정 및 관리의 복잡성이 추가로 도입되었습니다.
클러스터 범위 구성 요소:
- 클러스터에 이미 Serverless가 구성되어 있는 경우 OpenShift AI에서 작동하도록 클러스터를 수동으로 구성해야 합니다.
2.10.2. 표준 모드
이점:
Red Hat Serverless, Red Hat
ServiceMesh 및 Authorino와 같은 추가 종속성 없이Deployment, Service ,Route,Horizontal Pod Autoscaler와 같은 Kubernetes 리소스로 배포를 활성화합니다.- 결과 모델 배포는 고급 모드에 비해 리소스 공간이 더 적습니다.
Knative를 사용하여 사용할 수 없는 여러 볼륨 마운트와 같은 기존 배포/Pod 구성을 활성화합니다.
- 복잡한 구성 또는 여러 스토리지 마운트가 필요한 애플리케이션에 유용합니다.
단점:
자동 확장을 지원하지 않습니다.
- 유휴 상태일 때 리소스를 제로로 자동 축소하는 것은 지원하지 않습니다.
- 낮은 트래픽 기간 동안 비용이 증가할 수 있습니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}