5.13. 使用 OpenShift Virtualization 配置 OADP
5.13.1. 为 OpenShift Virtualization 的数据保护配置 OpenShift API 复制链接链接已复制到粘贴板!
您可以通过安装 OADP Operator 并配置备份位置,使用 OpenShift Virtualization 安装 OpenShift API for Data Protection (OADP)。然后,您可以安装数据保护应用程序。
使用 OpenShift API for Data Protection 来备份和恢复虚拟机。
OpenShift API for Data Protection with OpenShift Virtualization 支持以下备份和恢复存储选项:
- 容器存储接口 (CSI) 备份
- 使用 DataMover 进行容器存储接口 (CSI) 备份
排除以下存储选项:
- 文件系统备份和恢复
- 卷快照备份和恢复
如需更多信息,请参阅使用文件系统备份备份应用程序: Kopia 或 Restic。
要在受限网络环境中安装 OADP Operator,您必须首先禁用默认的 OperatorHub 源并镜像 Operator 目录。详情请参阅在断开连接的环境中使用 Operator Lifecycle Manager。
5.13.1.1. 使用 OpenShift Virtualization 安装和配置 OADP 复制链接链接已复制到粘贴板!
作为集群管理员,您可以通过安装 OADP Operator 来安装 OADP。
OADP Operator 的最新版本安装 Velero 1.16。
先决条件
-
使用具有
cluster-admin角色的用户访问集群。
流程
- 根据您的存储供应商说明安装 OADP Operator。
-
使用
kubevirt和openshiftOADP 插件安装数据保护应用程序(DPA)。 通过创建
Backup自定义资源(CR) 来备份虚拟机。警告红帽支持仅限于以下选项:
- CSI 备份
- 使用 DataMover 的 CSI 备份。
您可以通过创建一个 Restore CR来恢复 Backup CR。
5.13.1.2. 安装数据保护应用程序 复制链接链接已复制到粘贴板!
您可以通过创建 DataProtectionApplication API 的实例来安装数据保护应用程序(DPA)。
先决条件
- 您必须安装 OADP Operator。
- 您必须将对象存储配置为备份位置。
- 如果使用快照来备份 PV,云供应商必须支持原生快照 API 或 Container Storage Interface(CSI)快照。
如果备份和快照位置使用相同的凭证,您必须创建带有默认名称
cloud-credentials的Secret。注意如果您不想在安装过程中指定备份或快照位置,您可以使用空
credentials-velero文件创建默认Secret。如果没有默认Secret,安装将失败。
流程
-
点 Operators
Installed Operators 并选择 OADP Operator。 - 在 Provided APIs 下,点 DataProtectionApplication 框中的 Create 实例。
点 YAML View 并更新
DataProtectionApplication清单的参数:Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- OADP 的默认命名空间是
openshift-adp。命名空间是一个变量,可配置。 - 2
- OpenShift Virtualization 需要
kubevirt插件。 - 3
- 为备份供应商指定插件,如
gcp(如果存在)。 - 4
- 5
openshift插件是必需的。- 6
- 指定在超时发生前等待多个 Velero 资源的分钟,如 Velero CRD 可用、volumeSnapshot 删除和备份存储库可用。默认值为 10m。
- 7
- 将管理请求路由到服务器的管理代理。
- 8
- 如果要启用
nodeAgent并执行文件系统备份,则将此值设置为true。 - 9
- 输入
kopia作为您的上传程序,以使用 Built-in DataMover。nodeAgent部署守护进程集,这意味着nodeAgentpod 在每个工作节点上运行。您可以通过在BackupCR 中添加spec.defaultVolumesToFsBackup: true来配置文件系统备份。 - 10
- 指定 Kopia 可用的节点。默认情况下,Kopia 在所有节点上运行。
- 11
- 指定备份供应商。
- 12
- 如果备份供应商使用一个默认插件,为
Secret指定正确的默认名称,如cloud-credentials-gcp。如果指定了一个自定义名称,则使用自定义名称用于备份位置。如果没有指定Secret名称,则使用默认名称。 - 13
- 指定存储桶作为备份存储位置。如果存储桶不是 Velero 备份的专用存储桶,您必须指定一个前缀。
- 14
- 如果存储桶用于多个目的,请为 Velero 备份指定一个前缀,如
velero。
- 点 Create。
验证
运行以下命令,查看 OpenShift API for Data Protection (OADP) 资源来验证安装:
oc get all -n openshift-adp
$ oc get all -n openshift-adpCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令,验证
DataProtectionApplication(DPA) 是否已协调:oc get dpa dpa-sample -n openshift-adp -o jsonpath='{.status}'$ oc get dpa dpa-sample -n openshift-adp -o jsonpath='{.status}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
{"conditions":[{"lastTransitionTime":"2023-10-27T01:23:57Z","message":"Reconcile complete","reason":"Complete","status":"True","type":"Reconciled"}]}{"conditions":[{"lastTransitionTime":"2023-10-27T01:23:57Z","message":"Reconcile complete","reason":"Complete","status":"True","type":"Reconciled"}]}Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
验证
type被设置为Reconciled。 运行以下命令,验证备份存储位置并确认
PHASE为Available:oc get backupstoragelocations.velero.io -n openshift-adp
$ oc get backupstoragelocations.velero.io -n openshift-adpCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME PHASE LAST VALIDATED AGE DEFAULT dpa-sample-1 Available 1s 3d16h true
NAME PHASE LAST VALIDATED AGE DEFAULT dpa-sample-1 Available 1s 3d16h trueCopy to Clipboard Copied! Toggle word wrap Toggle overflow
如果您在虚拟机重启后马上运行 Microsoft Windows 虚拟机(VM)备份,备份可能会失败,并显示 PartiallyFailed 错误。这是因为,在虚拟机启动后,Microsoft Windows Volume Shadow Copy Service (VSS)和客户机代理(GA)服务未就绪。VSS 和 GA 服务未就绪会导致备份失败。在这种情况下,在虚拟机启动后几分钟后再重试备份。
5.13.1.3. 备份单个虚拟机 复制链接链接已复制到粘贴板!
如果您的命名空间具有多个虚拟机(VM),并且只想备份其中之一,您可以使用标签选择器过滤备份中需要包含的虚拟机。您可以使用 app: vmname 标签过滤虚拟机。
先决条件
- 已安装 OADP Operator。
- 在命名空间中运行了多个虚拟机。
-
您已在
DataProtectionApplication(DPA) 自定义资源(CR)中添加了kubevirt插件。 -
您已在
DataProtectionApplicationCR 和BackupStorageLocation中配置了BackupStorageLocationCR。
流程
配置
BackupCR,如下例所示:BackupCR 示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要创建
BackupCR,请运行以下命令:oc apply -f <backup_cr_file_name>
$ oc apply -f <backup_cr_file_name>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定
BackupCR 文件的名称。
5.13.1.4. 恢复单个虚拟机 复制链接链接已复制到粘贴板!
使用 Backup 自定义资源(CR)中的标签选择器备份单个虚拟机(VM)后,您可以创建一个 Restore CR 并将其指向备份。此恢复操作会恢复单个虚拟机。
先决条件
- 已安装 OADP Operator。
- 已使用标签选择器备份单个虚拟机。
流程
配置
RestoreCR,如下例所示:RestoreCR 示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定单个虚拟机的备份名称。
要恢复单个虚拟机,请运行以下命令:
oc apply -f <restore_cr_file_name>
$ oc apply -f <restore_cr_file_name>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定
RestoreCR 文件的名称。
注意在恢复一个虚拟机的备份时,您可能会注意到为恢复分配的 Ceph 存储容量高于预期。只有在
kubevirt恢复过程中,且虚拟机的卷类型是block时才会出现这个问题。使用
rbd sparsify工具在目标卷上回收空间。如需了解更多详细信息,请参阅目标卷上的回收空间。
5.13.1.5. 从多个虚拟机的备份中恢复单个虚拟机 复制链接链接已复制到粘贴板!
如果您有包含多个虚拟机(VM)的备份,且只想恢复一个虚拟机,您可以使用 Restore CR 中的 LabelSelectors 部分来选择要恢复的虚拟机。为确保附加到虚拟机的持久性卷声明(PVC)已被正确恢复,恢复的虚拟机不会处于 Provisioning 状态,请使用 app: <vm_name> 和 kubevirt.io/created-by 标签。要匹配 kubevirt.io/created-by 标签,请使用虚拟机的 DataVolume 的 UID。
先决条件
- 已安装 OADP Operator。
- 您已标记了需要备份的虚拟机。
- 您有多个虚拟机的备份。
流程
在备份多个虚拟机前,运行以下命令确保虚拟机已标记:
oc label vm <vm_name> app=<vm_name> -n openshift-adp
$ oc label vm <vm_name> app=<vm_name> -n openshift-adpCopy to Clipboard Copied! Toggle word wrap Toggle overflow 在
RestoreCR 中配置标签选择器,如下例所示:RestoreCR 示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要恢复虚拟机,请运行以下命令:
oc apply -f <restore_cr_file_name>
$ oc apply -f <restore_cr_file_name>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定
RestoreCR 文件的名称。
5.13.1.6. 使用客户端 burst 和 QPS 设置配置 DPA 复制链接链接已复制到粘贴板!
burst 设置决定在应用限制前可以发送到 velero 服务器的请求数量。达到 burst 限制后,查询每秒 (QPS) 设置决定了每秒可以发送多少个额外请求。
您可以使用 burst 和 QPS 值配置数据保护应用程序 (DPA) 来设置 velero 服务器的 burst 和 QPS 值。您可以使用 DPA 的 dpa.configuration.velero.client-burst 和 dpa.configuration.velero.client-qps 字段来设置 burst 和 QPS 值。
先决条件
- 已安装 OADP Operator。
5.13.1.7. 以非 root 和非特权用户配置节点代理 复制链接链接已复制到粘贴板!
要增强节点代理安全性,您可以使用 DataProtectionApplication (DPA) 自定义资源 (CR) 中的 spec.configuration.velero.disableFsBackup 设置将 OADP Operator 节点代理 daemonset 配置为以非 root 用户身份运行。
通过将 spec.configuration.velero.disableFsBackup 设置为 true,节点代理安全上下文将 root 文件系统设置为只读,并将 privileged 标志设置为 false。
将 spec.configuration.velero.disableFsBackup 设置为 true 可增强节点代理安全性,方法是删除特权容器并强制实施只读根文件系统。
但是,它还使用 Kopia 禁用文件系统备份 (FSB)。如果您的工作负载依赖 FSB 备份不支持原生快照的卷,您应该评估 disableFsBackup 配置是否适合您的用例。
先决条件
- 已安装 OADP Operator。
流程
在 DPA 中配置
disableFsBackup字段,如下例所示:Copy to Clipboard Copied! Toggle word wrap Toggle overflow
验证
运行以下命令,验证节点代理安全上下文是否被设置为以非 root 身份运行,并且 root 文件系统是
readOnly:oc get daemonset node-agent -o yaml
$ oc get daemonset node-agent -o yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例如下:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.13.1.8. 配置节点代理和节点标签 复制链接链接已复制到粘贴板!
Data Protection Application (DPA) 使用 nodeSelector 字段来选择哪些节点可以运行节点代理。nodeSelector 字段是推荐的节点选择约束形式。
流程
通过添加自定义标签,在您选择的任何节点上运行节点代理:
oc label node/<node_name> node-role.kubernetes.io/nodeAgent=""
$ oc label node/<node_name> node-role.kubernetes.io/nodeAgent=""Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意任何指定的标签都需要与每个节点上的标签匹配。
在
DPA.spec.configuration.nodeAgent.podConfig.nodeSelector字段中使用相同的自定义标签,用于标记节点。Copy to Clipboard Copied! Toggle word wrap Toggle overflow 以下示例是
nodeSelector的反模式,除非标签'node-role.kubernetes.io/infra: ""'和'node-role.kubernetes.io/worker: ""'都位于节点上,否则无法工作:Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.13.1.9. 配置节点代理负载关联性 复制链接链接已复制到粘贴板!
您可以使用 DataProtectionApplication (DPA) 自定义资源 (CR) 的 spec.podConfig.nodeSelector 对象将节点代理 pod 调度到特定的节点上。
请参阅以下示例,您可以在其中将节点代理 pod 调度到带有标签 label.io/role: cpu-1 和 other-label.io/other-role: cpu-2 的节点上。
您可以使用 DPA spec 中的 nodeagent.loadAffinity 对象对节点代理 pod 调度添加更多限制。
先决条件
-
您必须以具有
cluster-admin权限的用户身份登录。 - 已安装 OADP Operator。
- 您已配置了 DPA CR。
流程
配置 DPA spec
nodegent.loadAffinity对象,如下例所示。在示例中,您可以确保节点代理 pod 仅调度到具有标签
label.io/role: cpu-1的节点上,标签label.io/hostname与node1或node2匹配。Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.13.1.10. 节点代理负载均衡指南 复制链接链接已复制到粘贴板!
使用以下准则在 DataProtectionApplication (DPA) 自定义资源 (CR) 中配置节点代理 loadAffinity 对象。
-
使用
spec.nodeagent.podConfig.nodeSelector对象进行简单节点匹配。 -
对于更复杂的场景,使用没有
podConfig.nodeSelector对象的loadAffinity.nodeSelector对象。 -
您可以使用
podConfig.nodeSelector和loadAffinity.nodeSelector对象,但loadAffinity对象必须与podConfig对象相比相等或更严格。在这种情况下,podConfig.nodeSelector标签必须是loadAffinity.nodeSelector对象中使用的标签的子集。 -
如果您在 DPA 中配置了
podConfig.nodeSelector和loadAffinity.nodeSelector对象,则无法使用matchExpressions和matchLabels字段。 请参见以下示例在 DPA 中配置
podConfig.nodeSelector和loadAffinity.nodeSelector对象。Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.13.1.11. 配置节点代理负载并发 复制链接链接已复制到粘贴板!
您可以控制在集群中的每个节点上可以同时运行的最大节点代理操作数量。
您可以使用 Data Protection Application (DPA) 的以下字段之一配置它:
-
globalConfig:定义跨所有节点中的节点代理的默认并发限制。 -
perNodeConfig: 根据nodeSelector标签指定特定节点的不同并发限制。这为其中某些节点可能具有不同的作用或角色的环境提供了灵活性。
先决条件
-
您必须以具有
cluster-admin权限的用户身份登录。
流程
如果要对特定节点使用负载并发性,请在这些节点中添加标签:
oc label node/<node_name> label.io/instance-type='large'
$ oc label node/<node_name> label.io/instance-type='large'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 为您的 DPA 实例配置负载并发字段:
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.13.1.12. 配置存储库维护 复制链接链接已复制到粘贴板!
OADP 存储库维护是一个后台作业,您可以独立于节点代理 pod 配置它。这意味着,您可以将存储库维护 pod 调度到节点代理正在运行或没有运行的节点上。
只有在使用 Kopia 作为备份存储库时,您只能在 DataProtectionApplication (DPA)自定义资源(CR)中使用存储库维护作业关联性配置。
您可以选择在全局级别上配置负载关联性,会影响所有存储库。或者,您可以为每个存储库配置负载关联性。您还可以使用全局和每个存储库配置的组合。
先决条件
-
您必须以具有
cluster-admin权限的用户身份登录。 - 已安装 OADP Operator。
- 您已配置了 DPA CR。
流程
使用以下方法之一在 DPA spec 中配置
loadAffinity对象:
5.13.1.13. 配置 Velero 负载关联性 复制链接链接已复制到粘贴板!
对于每个 OADP 部署,有一个 Velero pod,其主要目的是调度 Velero 工作负载。要调度 Velero pod,您可以在 DataProtectionApplication (DPA) 自定义资源 (CR) spec 中使用 velero.podConfig.nodeSelector 和 velero.loadAffinity 对象。
使用 podConfig.nodeSelector 对象将 Velero pod 分配给特定的节点。您还可以为 pod 级别关联性和反关联性配置 velero.loadAffinity 对象。
OpenShift 调度程序应用规则并执行 Velero pod 部署调度。
先决条件
-
您必须以具有
cluster-admin权限的用户身份登录。 - 已安装 OADP Operator。
- 您已配置了 DPA CR。
流程
在 DPA spec 中配置
velero.podConfig.nodeSelector和velero.loadAffinity对象,如下例所示:velero.podConfig.nodeSelector对象配置:Copy to Clipboard Copied! Toggle word wrap Toggle overflow velero.loadAffinity对象配置:Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.13.1.14. 覆盖 DPA 中的 imagePullPolicy 设置 复制链接链接已复制到粘贴板!
在 OADP 1.4.0 或更早版本中,Operator 会将 Velero 和节点代理 pod 的 imagePullPolicy 字段设置为 Always。
在 OADP 1.4.1 或更高版本中,Operator 首先检查每个镜像是否有 sha256 或 sha512 摘要,并相应地设置 imagePullPolicy 字段:
-
如果镜像有摘要,Operator 会将
imagePullPolicy设置为IfNotPresent。 -
如果镜像没有摘要,Operator 会将
imagePullPolicy设置为Always。
您还可以使用 Data Protection Application (DPA)中的 spec.imagePullPolicy 字段覆盖 imagePullPolicy 字段。
先决条件
- 已安装 OADP Operator。
流程
在 DPA 中配置
spec.imagePullPolicy字段,如下例所示:数据保护应用程序示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 指定
imagePullPolicy的值。在本例中,imagePullPolicy字段设置为Never。
5.13.1.15. 关于增量备份支持 复制链接链接已复制到粘贴板!
OADP 支持对容器化和 OpenShift Virtualization 工作负载进行块和文件系统持久性卷的增量备份。下表总结了对文件系统备份 (FSB)、Container Storage Interface (CSI) 和 CSI Data Mover 的支持:
| 卷模式 | FSB - Restic | FSB - Kopia | CSI | CSI Data Mover |
|---|---|---|---|---|
| Filesystem | S [1], I [2] | S [1], I [2] | S [1] | S [1], I [2] |
| Block | N [3] | N [3] | S [1] | S [1], I [2] |
| 卷模式 | FSB - Restic | FSB - Kopia | CSI | CSI Data Mover |
|---|---|---|---|---|
| Filesystem | N [3] | N [3] | S [1] | S [1], I [2] |
| Block | N [3] | N [3] | S [1] | S [1], I [2] |
- 支持的备份
- 支持的增量备份
- 不支持
CSI Data Mover 备份使用 Kopia,无论 uploaderType 是什么。
红帽只支持 OADP 版本 1.3.0 及更新的版本,以及 OpenShift Virtualization 版本 4.14 及更新的版本。
在 1.3.0 前 OADP 版本不支持备份和恢复 OpenShift Virtualization。