このコンテンツは選択した言語では利用できません。

Chapter 3. Red Hat Enterprise Linux AI hardware requirements


Various hardware accelerators require different requirements for serving and inferencing as well as installing, generating and training the granite-7b-starter model on Red Hat Enterprise Linux AI.

3.1. Hardware requirements for end-to-end workflow of Granite models

The following charts show the hardware requirements for running the full InstructLab end-to-end workflow to customize the Granite student model. This includes: synthetic data generation (SDG), training, and evaluating a custom Granite model.

3.1.1. Bare metal

Hardware vendorSupported accelerators (GPUs)Aggregate GPU memoryRecommended additional disk storage

NVIDIA

2xA100

4xA100

8xA100

160 GB

320 GB

640 GB

1 TB

NVIDIA

2xH100

4xH100

8xH100

160 GB

320 GB

640 GB

1 TB

NVIDIA

4xL40S

8xL40S

192 GB

384 GB

1 TB

3.1.2. Amazon Web Services (AWS)

Hardware vendorSupported accelerators (GPUs)Aggregate GPU MemoryAWS InstanceRecommended additional disk storage

NVIDIA

8xA100

640 GB

p4de.24xlarge

1 TB

NVIDIA

8xH100

640 GB

p5.48xlarge

1 TB

3.2. Hardware requirements for inference serving Granite models

The following charts display the minimum hardware requirements for inference serving a model on Red Hat Enterprise Linux AI.

3.2.1. Bare metal

Hardware vendorSupported accelerators (GPUs)minimum Aggregate GPU memoryRecommended additional disk storage

NVIDIA

A100

80 GB

1 TB

NVIDIA

H100

80 GB

1 TB

NVIDIA

L40S

48 GB

1 TB

NVIDIA

L4

24 GB

1 TB

3.2.2. Amazon Web Services (AWS)

Hardware vendorSupported accelerators (GPUs)Minimum Aggregate GPU MemoryRecommended additional disk storage

NVIDIA

A100

80 GB

1 TB

NVIDIA

H100

80 GB

1 TB

NVIDIA

L40S

48 GB

1 TB

NVIDIA

L4

24 GB

1 TB

3.2.3. IBM cloud

Hardware vendorSupported accelerators (GPUs)Minimum Aggregate GPU MemoryRecommended additional disk storage

NVIDIA

L40S

48 GB

1 TB

NVIDIA

L4

24 GB

1 TB

Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.