红帽全球峰会2.7. 支持的模型保留运行时
OpenShift AI 包含多个预安装的模型运行时。您可以使用预安装的模型服务运行时启动服务模型，而无需自行修改或定义运行时。您还可以添加自定义运行时来支持模型。
有关添加自定义运行时的帮助，请参阅为单模型服务平台添加自定义模型运行时。
| Name | 描述 | 导出模型格式 |
|---|---|---|
| Caikit 文本 Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe (1) | Caikit 格式的服务模型的复合运行时 | Caikit 文本生成 |
| Caikit Standalone ServingRuntime for KServe (2) | Caikit 嵌入了嵌入任务的 Caikit 服务模型的运行时 | Caikit Embeddings |
| OpenVINO Model Server | 为为 Intel 架构优化的服务模型提供可扩展的高性能运行时 | PyTorch, TensorFlow, OpenVINO IR, PaddlePaddle, XDPNet, Caffe, Kaldi |
| [已弃用] 文本 Generation Inference Server (TGIS) Standalone ServingRuntime for KServe (3) | 为支持 TGI 的模型提供服务的运行时 | PyTorch Model Formats |
| vLLM NVIDIA GPU ServingRuntime for KServe | 支持 NVIDIA GPU 加速器的大型语言模型的高吞吐量和内存效率推测和服务运行时 | |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | 支持 Intel Gaudi Accelerator 的高吞吐量和内存效率推测和服务运行时 | |
| vLLM AMD GPU ServingRuntime for KServe | 支持 AMD GPU 加速器的高吞吐量和内存效率推测和服务运行时 |
- 复合 Caikit-TGIS 运行时基于 Caikit 和 文本 Generation Inference Server (TGIS)。要使用此运行时，您必须将模型转换为 Caikit 格式。例如，请参阅 cai kit-tgis-serving 存储库中的 Hugging Face Hub 模型转换为 Caikit 格式。
- Caikit 独立运行时基于 Caikit NLP。要使用此运行时，您必须将模型转换为 Caikit 嵌入格式。例如，请参阅 嵌入模块的文本 测试。
- KServe 文本 Generation Inference Server (TGIS) Standalone ServingRuntime 已弃用。如需更多信息，请参阅 Red Hat OpenShift AI 发行注记。
| Name | 默认协议 | 附加组件协议 | 模型网格支持 | 单节点 OpenShift 支持 | 部署模式 |
|---|---|---|---|---|---|
| Caikit 文本 Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe | REST | gRPC | 否 | 是 | raw 和 serverless |
| Caikit Standalone ServingRuntime for KServe | REST | gRPC | 否 | 是 | raw 和 serverless |
| OpenVINO Model Server | REST | None | 是 | 是 | raw 和 serverless |
| [已弃用] 文本 Generation Inference Server (TGIS) Standalone ServingRuntime for KServe | gRPC | None | 否 | 是 | raw 和 serverless |
| vLLM NVIDIA GPU ServingRuntime for KServe | REST | None | 否 | 是 | raw 和 serverless |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | REST | None | 否 | 是 | raw 和 serverless |
| vLLM AMD GPU ServingRuntime for KServe | REST | None | 否 | 是 | raw 和 serverless |
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}