1.3. NVIDIA NIM 模型服务平台
您可以在 NVIDIA NIM 模型服务平台上使用 NVIDIA Inference microservices (NIM)部署模型。
NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分,是设计用于安全可靠的部署高性能 AI 模型影响云、数据中心和工作站的微服务。
NVIDIA NIM inference 服务对用例有用,例如:
- 使用 GPU 加速的容器推断模型由 NVIDIA 优化
- 为虚拟屏幕、内容生成和 avatar 创建部署 generative AI
NVIDIA NIM 模型服务平台基于单模式服务平台。要使用 NVIDIA NIM 模型服务平台,您必须首先安装单型号服务平台。如需更多信息 ,请参阅安装单模式服务平台。