第 1 章 Red Hat Enterprise Linux AI 硬件要求
各种硬件加速器需要不同要求提供和推断以及安装、生成和培训 Red Hat Enterprise Linux AI 上的 Granite 初学者模型。
1.1. Granite 模型的端到端工作流的硬件要求 复制链接链接已复制到粘贴板!
下图显示了运行完整的 InstructLab 端到端工作流的硬件要求,以自定义 Granite student 模型。这包括:整合数据生成(SDG)、多阶段培训,以及评估自定义 Granite 模型。
1.1.1. 裸机 复制链接链接已复制到粘贴板!
硬件供应商 | 支持的加速器(GPU) | 聚合 GPU 内存 | 推荐的附加磁盘存储 |
---|---|---|---|
NVIDIA | 2xA100 4xA100 8xA100 | 160 GB 320 GB 640 GB | 3 TB |
NVIDIA | 2xH100 4xH100 8xH100 | 160 GB 320 GB 640 GB | 3 TB |
NVIDIA | 2xH200 4xH200 8xH200 | 282 GB 564 GB 1128 GB | 3 TB |
NVIDIA | 4xL40S 8xL40S | 192 GB 384 GB | 3 TB |
AMD | 2xMI300X 4xMI300X 8xMI300X | 384 GB 768 GB 1536 GB | 3 TB |
1.1.2. IBM Cloud 复制链接链接已复制到粘贴板!
硬件供应商 | 支持的加速器(GPU) | 聚合 GPU 内存 | IBM Cloud Instances | 推荐的附加磁盘存储 |
---|---|---|---|---|
NVIDIA | 2xA100 | 160 GB | gx3d-48x240x2a100p | 3 TB |
NVIDIA | 8xH100 | 640 GB | gx3d-160x1792x8h100 | 3 TB |
NVIDIA | 8xH200 | 1128 GB | gx3d-160x1792x8h200 | 3 TB |
AMD | 8xMI300X | 1536 GB | gx3d-208x1792x8mi300x | 3 TB |
1.1.3. Amazon Web Services (AWS) 复制链接链接已复制到粘贴板!
硬件供应商 | 支持的加速器(GPU) | 聚合 GPU 内存 | AWS 实例 | 推荐的附加磁盘存储 |
---|---|---|---|---|
NVIDIA | 8xA100 | 320 GB | p4d.24xlarge | 3 TB |
NVIDIA | 8xA100 | 640 GB | p4de.24xlarge | 3 TB |
NVIDIA | 8xH100 | 640 GB | p5.48xlarge | 3 TB |
NVIDIA | 8xL40S | 384 GB | g6e.48xlarge | 3 TB |
1.1.4. Azure 复制链接链接已复制到粘贴板!
硬件供应商 | 支持的加速器(GPU) | 聚合 GPU 内存 | Azure 实例 | 推荐的附加磁盘存储 |
---|---|---|---|---|
NVIDIA | 8xA100 | 640 GB | Standard_ND96amsr_A100_v4 | 3 TB |
NVIDIA | 4xA100 | 320 GB | Standard_ND96asr_A100_v4 | 3 TB |
NVIDIA | 8xH100 | 640 GB | Standard_ND96isr_H100_v5 | 3 TB |
AMD | 8xMI300X | 1535 GB | Standard_ND96is_MI300X_v5 | 3 TB |
1.1.5. Google Cloud Platform (GCP) 复制链接链接已复制到粘贴板!
硬件供应商 | 支持的加速器(GPU) | 聚合 GPU 内存 | GCP 实例 | 推荐的附加磁盘存储 |
---|---|---|---|---|
NVIDIA | 8xA100 | 640 GB | a2-highgpu-8g | 3 TB |
NVIDIA | 8xH100 | 640 GB | a3-highgpu-8g a3-megagpu-8g | 3 TB |