30.2. 系统要求
处理器架构
需要一个或多个实现 Intel 64 指令集的处理器:即 AMD64 或 Intel 64 架构的处理器。
RAM
每个 VDO 卷有不同的内存要求:
- VDO 模块每 1TB 物理存储管理需要 370 MB 加额外的 268 MB。
- 通用重复数据删除服务(UDS)索引至少需要 250 MB DRAM,这也是去除重复数据使用的默认数量。有关 UDS 内存用量的详情,请参考 第 30.2.1 节 “UDS Index 内存要求”。
存储
VDO 卷是一个精简配置的块设备。要防止物理空间不足,请将卷放在您可以稍后扩展的存储之上。这种可扩展存储示例为 LVM 卷或者 MD RAID 阵列。
可将单个 VDO 卷配置为使用最多 256TB 物理存储。有关从给出 VDO 存储池的物理大小中决定 VDO 管理的卷的可用大小,请参阅 第 30.2.2 节 “VDO 存储空间要求”。
额外的系统软件
VDO 依赖于以下软件:
- LVM
- Python 2.7
yum
软件包管理器将自动安装所有必要的软件依赖项。
在存储堆栈中放置 VDO
作为常规规则,您应该将某些存储层放在 VDO 下,其他存储层放在 VDO 之上:
- 在 VDO 下:DM-Multipath、DM-Crypt 和软件 RAID (LVM 或
mdraid
)。 - 在 VDO 之上:LVM 缓存、LVM 快照和 LVM Thin Provisioning。
不支持以下配置:
- VDO 位于 VDO 卷之上:storage
VDO LVM VDO - VDO 位于 LVM 快照之上
- VDO 位于 LVM Cache 之上
- VDO 位于回送设备之上
- VDO 位于 LVM Thin Provisioning 之上
- 加密的卷(位于 VDO 之上):storage
VDO DM-Crypt - VDO 卷中的分区:
fdisk
、parted
和类似的分区 - VDO 卷之上的 RAID (LVM、MD 或者任何其他类型)
重要
VDO 支持两种写入模式:
sync
和 async
。当 VDO 处于 同步
模式时,当底层存储永久写入数据时,会确认对 VDO 设备的写操作。当 VDO 处于 async
模式时,在写入持久性存储前会确认写入。
设置 VDO 写入策略以匹配底层存储的行为非常重要。默认情况下,VDO 写入策略被设置为
auto
选项,该选项会自动选择适当的策略。
如需更多信息,请参阅 第 30.4.2 节 “选择 VDO 写入模式”。
30.2.1. UDS Index 内存要求
UDS 索引由两个部分组成:
- 在内存中使用紧凑表示,每个唯一块最多包含一个条目。
- 记录在索引发生时的相关块名称的磁盘组件,按顺序记录它们。
UDS 在内存中平均使用 4 个字节(包括缓存)。
磁盘上的组件维护传递给 UDS 的数据的相关历史记录。UDS 为属于这个去除重复数据窗口中的数据提供去除重复数据建议,其中包括最近看到的块的名称。去除重复数据窗口允许 UDS 尽可能高效地索引数据,同时限制索引大型数据存储库所需的内存量。虽然去除重复数据窗口的性质,大多数具有高级别的去除重复数据的数据集也表现出高度的时间 局部性 - 换句话说,大多数重复数据删除发生在大约同时写入的块集合中。另外,通常要写入的数据通常可能会与最近写入的数据重复。因此,对于给定时间间隔的工作负载,去除重复数据比率通常相同,无论 UDS 仅索引了最新的数据还是所有数据。
由于重复数据往往会表现出时间局部性,因此很少需要对存储系统中的每个块进行索引。否则,索引内存的成本会耗尽导致复制性能降低的存储成本。索引大小要求与数据刷新率紧密相关。例如,假设存储系统的总容量为 100 TB,但每周的摄取率为 1 TB 。UDS 窗口的 deduplication 窗口为 4TB,UDS 可探测到上个月写入的数据的最大冗余度。
UDS 的 Sparse Indexing 功能(VDO 的推荐模式)进一步利用了临时性,方法是尝试在内存中保留最重要的索引条目。UDS 可以维护一个去除重复数据窗口,它在使用相同数量的内存时的十倍。稀疏索引提供了最大的覆盖范围,但密度索引提供了更多建议。对于大多数工作负载,如果内存量相同,则密度和稀疏索引间的重复数据删除率的不同会微不足道。
索引所需的内存由重复数据删除窗口所需的大小决定:
- 对于密度索引,UDS 将每 1 GB RAM 提供 1 TB 的去除重复数据窗口。对于最多 4 TB 的存储系统,1 GB 索引通常就足够了。
- 对于稀疏索引,UDS 将每 1 GB RAM 提供 10 TB 的去除重复数据窗口。1 GB 稀疏索引一般足以满足40TB 物理存储空间。
有关 UDS Index 内存要求的具体示例,请参阅 第 30.2.3 节 “按物理卷大小划分的 VDO 系统要求示例”
30.2.2. VDO 存储空间要求
VDO 需要 VDO 元数据和实际 UDS 重复数据删除索引的存储空间:
- VDO 将两种类型的元数据写入其底层物理存储:
- 第一个类型使用 VDO 卷的物理大小进行扩展,并为每个 4 GB 物理存储使用大约 1 MB,再加上每个 slab 的额外 1 MB。
- 第二种类型使用 VDO 卷的逻辑大小进行扩展,并为每个 1 GB 逻辑存储消耗大约 1.25 MB,舍入到最接近的 slab。
有关 slabs 的描述,请参阅 第 30.1.3 节 “VDO 卷”。 - UDS 索引存储在 VDO 卷组中,并由关联的 VDO 实例管理。所需的存储量取决于索引类型以及分配给索引的 RAM 量。对于每 1 GB RAM,密度 UDS 索引将使用 17 GB 存储,稀疏 UDS 索引将使用 170 GB 存储。
有关 VDO 存储要求的具体示例,请参阅 第 30.2.3 节 “按物理卷大小划分的 VDO 系统要求示例”
30.2.3. 按物理卷大小划分的 VDO 系统要求示例
下表根据基础物理卷的大小提供 VDO 大约系统要求。每个表列出了适合预期部署的需求,如主存储或备份存储。
具体数量取决于您的 VDO 卷的配置。
主存储部署
在主存储情形中,UDS 索引是物理卷大小的 0.01% 到 25%。
物理卷大小 | 10 GB - 1-TB | 2-10 TB | 11-50 TB | 51–100 TB | 101–256 TB |
---|---|---|---|---|---|
RAM 使用量 | 250 MB |
密度:1 GB
稀疏: 250 MB
| 2 GB | 3 GB | 12 GB |
磁盘用量 | 2.5 GB |
密度: 10 GB
稀疏:22 GB
| 170 GB | 255 GB | 1020 GB |
索引类型 | 密度 | dense 或 Sparse | 稀疏 | 稀疏 | 稀疏 |
备份存储部署
在备份存储中,UDS 索引覆盖了备份集的大小,但不大于物理卷。如果您预期备份集或物理大小在以后会增大,则需要把这个值加到索引大小中。
物理卷大小 | 10 GB - 1 TB | 2-10 TB | 11-50 TB | 51–100 TB | 101–256 TB |
---|---|---|---|---|---|
RAM 使用量 | 250 MB | 2 GB | 10 GB | 20 GB | 26 GB |
磁盘用量 | 2.5 GB | 170 GB | 850 GB | 1700 GB | 3400 GB |
索引类型 | 密度 | 稀疏 | 稀疏 | 稀疏 | 稀疏 |