3.7. 지원되는 model-serving 런타임
OpenShift AI에는 사전 설치된 여러 모델 제공 런타임이 포함되어 있습니다. 사전 설치된 model-serving 런타임을 사용하여 런타임을 직접 수정하거나 정의하지 않고도 모델 서비스를 시작할 수 있습니다. 사용자 지정 런타임을 추가하여 모델을 지원할 수도 있습니다.
사용자 지정 런타임을 추가하는 방법에 대한 자세한 내용은 단일 모델 제공 플랫폼에 대한 사용자 지정 모델 제공 런타임 추가를 참조하십시오.
| 이름 | 설명 | 내보낸 모델 형식 |
|---|---|---|
| KServe (1)에 대한 Cainitiatort text Generation Inference Server (Caikit-TGIS) ServingRuntime | Cakeygent 형식으로 모델을 제공하기 위한 복합 런타임 | Ca#159t text Generation |
| KServe 용 카피네트 Standalone ServingRuntime (2) | 작업 포함을 위한 Cakeygent embeddings 형식으로 모델을 제공하는 런타임 | Ca#159t Embeddings |
| OpenVino Model Server | Intel 아키텍처에 최적화된 모델을 제공하기 위한 확장 가능한 고성능 런타임 | PyTorch, TensorFlow, OpenVINO IR, PaddlePaddle, MXNet, Caffe, Kaldi |
| KServe (3)용 텍스트 생성 유추 서버(TGIS) Standalone ServingRuntime | TGI 지원 모델을 제공하는 런타임 | PyTorch 모델 형식 |
| KServe의 vLLM ServingRuntime | 대규모 언어 모델을 위한 높은 처리량 및 메모리 효율적인 추론 및 제공 런타임 | |
| Gaudi 액셀러레이터가 KServe에 지원되는 vLLM ServingRuntime | Intel Gaudi 액셀러레이터를 지원하는 높은 처리량 및 메모리 효율적인 추론 및 제공 런타임 | |
| KServe의 vLLM ROCm ServingRuntime | AMD GPU 액셀러레이터를 지원하는 높은 처리량 및 메모리 효율적인 추론 및 제공 런타임 |
- Comuppletion-TGIS 런타임은 T GIS (Chill Generation Inference Server) 를 기반으로 합니다. 이 런타임을 사용하려면 모델을 Caroutet 형식으로 변환해야 합니다. 예를 들어 caovnt-tgis-serving 리포지토리의 cakeyt 형식으로의 Hugging faces Hub 모델 변환을 참조하십시오.
- Ca#159t Standalone 런타임은 Caovnt NLP를 기반으로 합니다. 이 런타임을 사용하려면 모델을 Cakeygent 포함 형식으로 변환해야 합니다. 예를 들어 텍스트 포함 모듈에 대한 테스트를 참조하십시오.
- text Generation Inference Server (TGIS) 는 Hugging Cryostat TGI 의 초기 포크를 기반으로 합니다. Red Hat은 TGI 모델을 지원하기 위해 독립형 TGIS 런타임을 계속 개발할 예정입니다. 현재 OpenShift AI 버전에서 모델이 호환되지 않는 경우 향후 버전에 지원이 추가될 수 있습니다. 그동안 고유한 사용자 지정 런타임을 추가하여 TGI 모델을 지원할 수도 있습니다. 자세한 내용은 단일 모델 제공 플랫폼의 사용자 지정 모델 서비스 런타임 추가를 참조하십시오.
| 이름 | 기본 프로토콜 | Additonal 프로토콜 | 모델 메시 지원 | 단일 노드 OpenShift 지원 | 배포 모드 |
|---|---|---|---|---|---|
| KServe의 Cainitiatort text Generation Inference Server (Caikit-TGIS) ServingRuntime | REST | gRPC | 없음 | 제공됨 | 원시 및 서버리스 |
| KServe 용 카피네트 Standalone ServingRuntime | REST | gRPC | 없음 | 제공됨 | 원시 및 서버리스 |
| OpenVino Model Server | REST | 없음 | 제공됨 | 제공됨 | 원시 및 서버리스 |
| KServe용 텍스트 생성 유추 서버(TGIS) Standalone ServingRuntime | gRPC | 없음 | 없음 | 제공됨 | 원시 및 서버리스 |
| KServe의 vLLM ServingRuntime | REST | 없음 | 없음 | 제공됨 | 원시 및 서버리스 |
| Gaudi 액셀러레이터가 KServe에 지원되는 vLLM ServingRuntime | REST | 없음 | 없음 | 제공됨 | 원시 및 서버리스 |
| KServe의 vLLM ROCm ServingRuntime | REST | 없음 | 없음 | 제공됨 | 원시 및 서버리스 |
추가 리소스
