3.7. 테스트 및 검증된 모델 제공 런타임

테스트 및 검증된 런타임은 특정 버전의 OpenShift AI에 대해 테스트 및 검증된 모델 제공 런타임의 커뮤니티 버전입니다.

Red Hat은 새로운 OpenShift AI 버전이 있을 때마다 테스트 및 검증된 런타임의 현재 버전을 테스트합니다. OpenShift AI 릴리스 사이클 중간에 테스트 및 검증된 새 버전의 런타임이 릴리스되는 경우 향후 릴리스에서 테스트 및 검증됩니다.

테스트 및 검증된 런타임 및 호환 버전 목록은 OpenShift AI 릴리스 노트 에서 확인할 수 있습니다.

참고

테스트 및 검증된 런타임은 Red Hat에서 직접 지원하지 않습니다. 사용자가 추가한 테스트 및 검증된 런타임을 사용하고 올바르게 구성 및 유지 관리할 수 있는 권한이 있는지 확인해야 합니다.

표 3.3. model-serving 런타임
이름	설명	내보낸 모델 형식
NVIDIA Triton Inference Server	애플리케이션에서 빠르고 확장 가능한 AI를 위한 오픈 소스 추론 지원 소프트웨어.	TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL 등

표 3.4. 배포 요구 사항
이름	기본 프로토콜	Additonal 프로토콜	모델 메시 지원	단일 노드 OpenShift 지원	배포 모드
NVIDIA Triton Inference Server	gRPC	REST	제공됨	제공됨	원시 및 서버리스

추가 리소스