2.8. 测试和验证的模型保留运行时

测试和验证的运行时是社区版本，针对特定的 OpenShift AI 版本进行测试和验证。

每次有新版本的 OpenShift AI 时，红帽都会测试经过测试和验证的运行时的当前版本。如果在 OpenShift AI 发行周期中发布经过测试和验证的运行时的新版本，它将在以后的发行版本中进行测试和验证。

OpenShift AI 发行注记中提供了经过测试和验证的运行时和兼容版本的列表。

注意

红帽不支持经过测试和验证的运行时。您需要确保已授权使用您添加的任何经过测试和验证的运行时，以及正确配置和维护它们。

表 2.3. model-serving 运行时
Name	描述	导出模型格式
NVIDIA Triton Inference Server	为应用程序快速、可扩展的 AI 为开源服务软件提供服务。	TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL 等

表 2.4. 部署要求
Name	默认协议	附加组件协议	模型网格支持	单节点 OpenShift 支持	部署模式
NVIDIA Triton Inference Server	gRPC	REST	是	是	raw 和 serverless

其他资源