第 1 章 Red Hat Enterprise Linux AI 硬件要求


各种硬件加速器需要不同要求提供和推断以及安装、生成和培训 Red Hat Enterprise Linux AI 上的 Granite 初学者模型。

1.1. Granite 模型的端到端工作流的硬件要求

下图显示了运行完整的 InstructLab 端到端工作流的硬件要求,以自定义 Granite student 模型。这包括:整合数据生成(SDG)、多阶段培训,以及评估自定义 Granite 模型。

1.1.1. 裸机

Expand
硬件供应商支持的加速器(GPU)聚合 GPU 内存推荐的附加磁盘存储

NVIDIA

2xA100

4xA100

8xA100

160 GB

320 GB

640 GB

3 TB

NVIDIA

2xH100

4xH100

8xH100

160 GB

320 GB

640 GB

3 TB

NVIDIA

2xH200

4xH200

8xH200

282 GB

564 GB

1128 GB

3 TB

NVIDIA

4xL40S

8xL40S

192 GB

384 GB

3 TB

AMD

2xMI300X

4xMI300X

8xMI300X

384 GB

768 GB

1536 GB

3 TB

1.1.2. IBM Cloud

Expand
硬件供应商支持的加速器(GPU)聚合 GPU 内存IBM Cloud Instances推荐的附加磁盘存储

NVIDIA

2xA100

160 GB

gx3d-48x240x2a100p

3 TB

NVIDIA

8xH100

640 GB

gx3d-160x1792x8h100

3 TB

NVIDIA

8xH200

1128 GB

gx3d-160x1792x8h200

3 TB

AMD

8xMI300X

1536 GB

gx3d-208x1792x8mi300x

3 TB

1.1.3. Amazon Web Services (AWS)

Expand
硬件供应商支持的加速器(GPU)聚合 GPU 内存AWS 实例推荐的附加磁盘存储

NVIDIA

8xA100

320 GB

p4d.24xlarge

3 TB

NVIDIA

8xA100

640 GB

p4de.24xlarge

3 TB

NVIDIA

8xH100

640 GB

p5.48xlarge

3 TB

NVIDIA

8xL40S

384 GB

g6e.48xlarge

3 TB

1.1.4. Azure

Expand
硬件供应商支持的加速器(GPU)聚合 GPU 内存Azure 实例推荐的附加磁盘存储

NVIDIA

8xA100

640 GB

Standard_ND96amsr_A100_v4

3 TB

NVIDIA

4xA100

320 GB

Standard_ND96asr_A100_v4

3 TB

NVIDIA

8xH100

640 GB

Standard_ND96isr_H100_v5

3 TB

AMD

8xMI300X

1535 GB

Standard_ND96is_MI300X_v5

3 TB

1.1.5. Google Cloud Platform (GCP)

Expand
硬件供应商支持的加速器(GPU)聚合 GPU 内存GCP 实例推荐的附加磁盘存储

NVIDIA

8xA100

640 GB

a2-highgpu-8g

3 TB

NVIDIA

8xH100

640 GB

a3-highgpu-8g

a3-megagpu-8g

3 TB

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat