前言

您可以在 Red Hat AI Inference Server 中提供符合 OCI 的模型。在 OCI 兼容模型容器中存储模型（或 建模器）是语言模型基于 S3 或基于 URI 的存储的替代选择。OCI 模型镜像可让您使用相同的版本、缓存、安全性和分发基础架构来通过容器发布模型。

使用 modelcar 容器通过避免重复下载、降低磁盘使用以及通过预先抓取的镜像来提高性能，从而加快启动时间。Modelcar 容器可以和应用程序容器一起存储在标准容器 registry 中，支持统一模型版本控制和分发工作流。

在集群中的 modelcar 容器中部署语言模型前，您需要在 OCI 容器镜像中打包模型，然后在集群中部署容器镜像。