第 23 章 准备 registry 以接受大型工件
在更改 minimum_chunk_size_mb
配置字段之前,建议 创建一个红帽支持问题单。更改 minimum_chunk_size_mb
可以对您的 registry 有意外的后果。
更改此字段也会减慢上传速度。只有在需要时,才应更改此字段。
人工智能(AI)或机器学习(ML)工件(如大型语言模型(LLM)、向量图形、受培训模型文件或大型数据集)通常需要 Red Hat Quay 管理员修改其 registry 以满足推送此类工件的需求。默认情况下,Red Hat Quay 被配置为最小块大小(或者在上传过程中将大型文件分成的片段)为 5 MB。这意味着更大的层(如 50 GB)会产生 10,000 个块。可以根据以下公式确认:
- 50 GB = 50,000 MB
- 50,000 MB 被 Red Hat Quay 的默认块大小为 5 MB = 10,000 个块
有些后端存储供应商(例如 Amazon Web Services (AWS) S3)S3 无法存储超过 50 GB 的工件,因为每个上传有 10,000 个部分的限制;尝试推送一个大于 50 GB 的工件,其默认为 5 MB 会导致 S3 协议违反。
作为临时解决方案,您可以将 config.yaml
文件中的 minimum_chunk_size_mb
字段设置为大于 5 MB 的值。例如:
# ... minimum_chunk_size_mb: 20 # ...
# ...
minimum_chunk_size_mb: 20
# ...
将 minimum_chunk_size_mb
配置为超过 5 MB,您的 registry 后端可以接受大于 50 GB 的工件,最多为 200 GB。如果工件大于 200 GB,您可以提高 minimum_chunk_size_mb
值。
在更改 minimum_chunk_size_mb
配置字段前,请咨询红帽支持。https://access.redhat.com/support