Red Hat Summit2.8. 테스트 및 검증된 모델 제공 런타임
테스트 및 검증된 런타임은 특정 버전의 OpenShift AI에 대해 테스트 및 검증된 모델 제공 런타임의 커뮤니티 버전입니다.
Red Hat은 새로운 OpenShift AI 버전이 있을 때마다 테스트 및 검증된 런타임의 현재 버전을 테스트합니다. OpenShift AI 릴리스 사이클 중간에 테스트 및 검증된 새 버전의 런타임이 릴리스되는 경우 향후 릴리스에서 테스트 및 검증됩니다.
테스트 및 검증된 런타임은 Red Hat에서 직접 지원하지 않습니다. 사용자가 추가한 테스트 및 검증된 런타임을 사용하고 올바르게 구성 및 유지 관리할 수 있는 권한이 있는지 확인해야 합니다.
자세한 내용은 OpenShift AI에서 테스트 및 검증된 런타임 을 참조하십시오.
| 이름 | 설명 | 내보낸 모델 형식 |
|---|---|---|
| NVIDIA Triton Inference Server | 애플리케이션에서 빠르고 확장 가능한 AI를 위한 오픈 소스 추론 지원 소프트웨어. | TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL 등 |
| Seldon MLServer | 머신러닝 모델의 배포를 간소화하도록 설계된 오픈 소스 추론 서버입니다. | scnit- learn (sk Cryostat), XGBoost, LightGBM, CatBoost, HuggingFace 및 MLflow |
| 이름 | 기본 프로토콜 | 추가 프로토콜 | 모델 메시 지원 | 단일 노드 OpenShift 지원 | 배포 모드 |
|---|---|---|---|---|---|
| NVIDIA Triton Inference Server | gRPC | REST | 제공됨 | 제공됨 | 원시 및 서버리스 |
| Seldon MLServer | gRPC | REST | 없음 | 제공됨 | 원시 및 서버리스 |
Seldon의 alibi-detect 및 alibi-explain 라이브러리는 비즈니스 소스 라이센스 1.1(BSL 1.1)에 있습니다. 이러한 라이브러리는 인증된 Seldon MLServer 런타임의 일부로 Red Hat에서 테스트, 검증 또는 지원하지 않습니다. 런타임이 있는 프로덕션 환경에서 이러한 라이브러리를 사용하지 않는 것이 좋습니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}