Red Hat Summit1장. 모델 서비스 플랫폼 정보
OpenShift AI 관리자는 선호하는 서비스 플랫폼을 활성화하고 모델을 제공하는 데 사용할 수 있도록 할 수 있습니다. 사용자 지정 또는 테스트 및 검증된 모델 제공 런타임을 추가할 수도 있습니다.
1.1. 모델 서비스 정보
모델을 제공할 때 학습된 모델을 쿼리하기 위해 Red Hat OpenShift AI에 업로드하면 숙련된 모델을 지능형 애플리케이션에 통합할 수 있습니다.
S3 호환 오브젝트 스토리지, 영구 볼륨 클레임 또는 OCI(Open Container Initiative) 이미지에 모델을 업로드할 수 있습니다. 그런 다음 프로젝트 워크벤치에서 모델에 액세스하고 학습할 수 있습니다. 모델을 학습한 후에는 모델 서비스 플랫폼을 사용하여 모델을 제공하거나 배포할 수 있습니다.
모델을 제공하거나 배포하면 API를 사용하여 액세스할 수 있는 서비스 또는 모델 런타임 서버로 모델을 사용할 수 있습니다. 그런 다음 대시보드에서 배포된 모델의 유추 끝점에 액세스하고 API 호출을 통해 제공하는 데이터 입력을 기반으로 예측 사항을 볼 수 있습니다. API를 통해 모델을 쿼리하는 것도 모델 유추라고 합니다.
다음 모델 서비스 플랫폼 중 하나에서 모델을 제공할 수 있습니다.
- 단일 모델 제공 플랫폼
- 다중 모델 서비스 플랫폼
- 플랫폼을 제공하는 NVIDIA NIM 모델
선택한 모델 서비스 플랫폼은 비즈니스 요구 사항에 따라 다릅니다.
- 각 모델을 자체 런타임 서버에 배포하거나 서버리스 배포를 사용하려면 단일 모델 제공 플랫폼을 선택합니다. 단일 모델 제공 플랫폼은 프로덕션 용도로 사용하는 것이 좋습니다.
- 런타임 서버가 하나뿐인 여러 모델을 배포하려면 다중 모델 제공 플랫폼을 선택합니다. 이 옵션은 1,000개 이상의 소규모 및 중간 모델을 배포하고 리소스 소비를 줄이고자 하는 경우에 가장 적합합니다.
- NVIDIA Inference Microservices (NIMs)를 사용하여 모델을 배포하려면 NVIDIA NIM-model 서비스 플랫폼을 선택합니다.
1.1.1. 단일 모델 제공 플랫폼
단일 모델 제공 플랫폼의 전용 모델 서버에서 각 모델을 배포할 수 있습니다. 전용 모델 서버에서 모델을 배포하면 증가된 리소스가 필요한 모델을 배포, 모니터링, 확장 및 유지 관리하는 데 도움이 될 수 있습니다. 이 모델 서비스 플랫폼은 대규모 모델을 제공하는 데 이상적입니다. 단일 모델 제공 플랫폼은 KServe 구성 요소를 기반으로 합니다.
단일 모델 제공 플랫폼은 다음과 같은 사용 사례에 유용합니다.
- LLM(Large Language Model)
- Acceptrative AI
단일 모델 제공 플랫폼 설정에 대한 자세한 내용은 단일 모델 제공 플랫폼 설치를 참조하십시오.
1.1.2. 다중 모델 서비스 플랫폼
다중 모델 서비스 플랫폼에 동일한 모델 서버의 여러 모델을 배포할 수 있습니다. 배포된 각 모델은 서버 리소스를 공유합니다. 동일한 모델 서버에서 여러 모델을 배포하면 유한 컴퓨팅 리소스 또는 포드가 있는 OpenShift 클러스터에서 이점을 얻을 수 있습니다. 이 모델 서비스 플랫폼은 대량의 소규모 및 중간 모델을 제공하는 데 이상적입니다. 다중 모델 제공 플랫폼은 ModelMesh 구성 요소를 기반으로 합니다.
다중 모델 서비스 플랫폼 설정에 대한 자세한 내용은 다중 모델 제공 플랫폼 설치를 참조하십시오.
1.1.3. 플랫폼을 제공하는 NVIDIA NIM 모델
NVIDIA NIM 모델 제공 플랫폼에서 NIM(Nvidia Inference Microservices)을 사용하여 모델을 배포할 수 있습니다.
NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 클라우드, 데이터 센터 및 워크스테이션 전반에 걸쳐 고성능 AI 모델 추론을 안전하고 안정적으로 배포하도록 설계된 일련의 마이크로서비스입니다.
NVIDIA NIM 추론 서비스는 다음과 같은 사용 사례에 유용합니다.
- NVIDIA에서 최적화된 GPU 가속 컨테이너 추론 모델 사용
- 가상 선별, 콘텐츠 생성, 아바타 생성을 위한 유전 AI 배포
NVIDIA NIM 모델 제공 플랫폼은 단일 모델 제공 플랫폼을 기반으로 합니다. NVIDIA NIM 모델 제공 플랫폼을 사용하려면 먼저 단일 모델 제공 플랫폼을 설치해야 합니다. 자세한 내용은 단일 모델 제공 플랫폼 설치를 참조하십시오.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}