第23章 大きなアーティファクトを受け入れるためのレジストリーの準備

大規模言語モデル (LLM)、ベクターグラフィック、トレーニング済みモデルファイル、大規模データセットなどの人工知能 (AI) または機械学習 (ML) アーティファクトでは、多くの場合、Red Hat Quay 管理者がレジストリーを変更して、このような大規模なアーティファクトをプッシュする要件に合わせる必要があります。デフォルトでは、Red Hat Quay は最小チャンクサイズ (またはアップロード中に大きなファイルが分割される部分) が 5 MB に設定されています。つまり、レイヤーが大きい場合 (たとえば 50 GB)、チャンクは 10,000 個になります。これは、以下の式に基づいて確認できます。

一部のバックエンドストレージプロバイダー (Amazon Web Services (AWS) S3 など) では、アップロードごとに 10,000 パーツという厳格な制限があるため、50 GB を超えるアーティファクトを保存できません。Red Hat Quay のデフォルトの 5 MB で 50 GB を超えるアーティファクトをプッシュしようとすると、S3 プロトコル違反が発生します。

この制限の回避策として、config.yaml ファイルの minimum_chunk_size_mb フィールドを 5 MB より大きい値に設定できます。以下に例を示します。

...
...

# ...
minimum_chunk_size_mb: 20
# ...

minimum_chunk_size_mb を 5 MB 以上に設定すると、レジストリーバックエンドは 50 GB から最大 200 GB までのアーティファクトを受け入れることができます。アーティファクトが 200 GB を超える場合は、minimum_chunk_size_mb の値を増やすことができます。

minimum_chunk_size_mb 設定フィールドを変更する前に、Red サポート にご相談ください。