OpenShift Container Storage is now OpenShift Data Foundation starting with version 4.9.
第 5 章 以独立模式部署容器存储
在遵循您首选解决方案的部署工作流前,请确保完成 第 5.1 节 “设置 RHGS 集群” 并查看 第 5.2 节 “指定高级安装程序变量” 以了解 ansible 变量和 playbook 建议和要求。要将存储设置为容器作为独立 Red Hat Gluster Storage 集群,请选择满足您的目标的工作流。
部署工作流 | Registry | 指标 | 日志 | Applications |
---|---|---|---|---|
✔ | ||||
✔ | ✔ | ✔ | ✔ |
- Red Hat Openshift Container Storage 不支持使用 ansible 工作流同时部署聚合和独立模式。因此,您必须部署聚合模式或独立模式:您无法在部署过程中混合这两种模式。
- s3 被手动部署,而不是通过 Ansible 安装程序部署。有关手动部署的更多信息,请参阅 https://access.redhat.com/documentation/en-us/red_hat_openshift_container_storage/3.11/html-single/operations_guide/#S3_Object_Store
本指南中通篇使用新的 registry 名称 registry.redhat.io
。
但是,如果您还没有迁移到新 registry
,在相关位置将将所有 registry.redhat.io
替换为适用的 registry.access.redhat.com
。
5.1. 设置 RHGS 集群 复制链接链接已复制到粘贴板!
在独立模式中,OpenShift Container Platform 外部有一个专用的 Red Hat Gluster Storage 集群。存储由 Red Hat Gluster Storage 置备。
分层安装涉及通过 Red Hat Enterprise Linux 安装 Red Hat Gluster Storage。
建议为日志文件、与其它文件创建足够大的独立 /var 分区(50GB - 100GB)。
执行 Red Hat Enterprise Linux 7 服务器的基本安装
独立模式只在 Red Hat Enterprise Linux 7 中被支持。
使用 Subscription Manager 注册系统
运行以下命令,并输入您的红帽网络用户名和密码以将系统注册到 Red Hat Network:
subscription-manager register
# subscription-manager register
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 确定可用的权利池
运行以下命令查找包含安装 Red Hat Gluster Storage 所需的库的权利池:
subscription-manager list --available
# subscription-manager list --available
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将权利池附加到系统
使用上一步中的池标识符将
Red Hat Enterprise Linux Server
和Red Hat Gluster Storage
权利附加到系统。运行以下命令来附加权利:subscription-manager attach --pool=[POOLID]
# subscription-manager attach --pool=[POOLID]
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 例如:
subscription-manager attach --pool=8a85f9814999f69101499c05aa706e47
# subscription-manager attach --pool=8a85f9814999f69101499c05aa706e47
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 启用所需的频道
运行以下命令,以启用在 Red Hat Enterprise Linux 7.7 上安装 Red Hat Gluster Storage 3.5 所需的软件仓库。
subscription-manager repos --enable=rhel-7-server-rpms subscription-manager repos --enable=rh-gluster-3-for-rhel-7-server-rpms subscription-manager repos --enable=rhel-7-server-extras-rpms
# subscription-manager repos --enable=rhel-7-server-rpms # subscription-manager repos --enable=rh-gluster-3-for-rhel-7-server-rpms # subscription-manager repos --enable=rhel-7-server-extras-rpms
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 验证频道是否已启用
运行以下命令验证是否启用了频道:
yum repolist
# yum repolist
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 更新所有软件包
运行以下命令,确保所有软件包都为最新版本。
+
yum update
# yum update
内核版本要求
独立模式需要在系统中使用 kernel-3.10.0-862.14.4.el7.x86_64 版本或更高的版本。运行以下命令验证已安装并运行的内核版本:
rpm -q kernel
# rpm -q kernel kernel-3.10.0-862.14.4.el7.x86_64
Copy to Clipboard Copied! Toggle word wrap Toggle overflow uname -r
# uname -r 3.10.0-862.14.4.el7.x86_64
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 重要如果更新了任何内核软件包,使用以下命令重启系统。
+
shutdown -r now
# shutdown -r now
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 安装 Red Hat Gluster Storage
运行以下命令来安装 Red Hat Gluster Storage:
yum install redhat-storage-server
# yum install redhat-storage-server
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 要启用 gluster-block 执行以下命令:
yum install gluster-block
# yum install gluster-block
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 重启
重启系统。
5.1.2. 配置端口访问 复制链接链接已复制到粘贴板!
这部分提供有关必须为独立模式打开的端口的信息。
Red Hat Gluster Storage 服务器使用列出的端口。您必须确保防火墙设置不会阻止访问这些端口。
执行以下命令,在所有 Red Hat Gluster Storage 节点上打开运行时和永久配置所需的端口:
firewall-cmd --zone=zone_name --add-port=24010/tcp --add-port=3260/tcp --add-port=111/tcp --add-port=22/tcp --add-port=24007/tcp --add-port=49152-49664/tcp firewall-cmd --zone=zone_name --add-port=24010/tcp --add-port=3260/tcp --add-port=111/tcp --add-port=22/tcp --add-port=24007/tcp --add-port=49152-49664/tcp --permanent
# firewall-cmd --zone=zone_name --add-port=24010/tcp --add-port=3260/tcp --add-port=111/tcp --add-port=22/tcp --add-port=24007/tcp --add-port=49152-49664/tcp
# firewall-cmd --zone=zone_name --add-port=24010/tcp --add-port=3260/tcp --add-port=111/tcp --add-port=22/tcp --add-port=24007/tcp --add-port=49152-49664/tcp --permanent
- 端口 24010 和 3260 分别用于 gluster-blockd 和 iSCSI 目标。
- 从 49664 开始,端口范围定义 GlusterFS 可用于与其卷 brick 通信的端口范围。在上面的示例中,允许的 brick 的总数为 512。根据可能在每个节点上托管的 brick 数量,配置端口范围。
-
如果设置了选项
client.bind-insecure
,则 Gluster 原生客户端(包括 gfapi 客户端)将使用从端口 1023 或 49152 启动的第一个可用端口。
5.1.3. 启用内核模块 复制链接链接已复制到粘贴板!
执行以下命令启用内核模块:
您必须确保 Red Hat Gluster Storage 节点载入 dm_thin_pool 和 target_core_user 模块。
modprobe target_core_user
# modprobe target_core_user
Copy to Clipboard Copied! Toggle word wrap Toggle overflow modprobe dm_thin_pool
# modprobe dm_thin_pool
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 执行以下命令来验证模块是否已载入:
lsmod | grep dm_thin_pool
# lsmod | grep dm_thin_pool
Copy to Clipboard Copied! Toggle word wrap Toggle overflow lsmod | grep target_core_user
# lsmod | grep target_core_user
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意要确保这些操作在重启后保留,请创建以下文件并更新每个文件,其内容如下:
cat /etc/modules-load.d/dm_thin_pool.conf dm_thin_pool
# cat /etc/modules-load.d/dm_thin_pool.conf dm_thin_pool
Copy to Clipboard Copied! Toggle word wrap Toggle overflow cat /etc/modules-load.d/target_core_user.conf target_core_user
# cat /etc/modules-load.d/target_core_user.conf target_core_user
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 您必须确保在所有 OpenShift Container Platform 节点上载入 dm_multipath 模块。
modprobe dm_multipath
# modprobe dm_multipath
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 执行以下命令来验证模块是否已载入:
lsmod | grep dm_multipath
# lsmod | grep dm_multipath
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 注意要确保这些操作在重启后保留,请创建以下文件并使用上述内容更新该文件:
cat /etc/modules-load.d/dm_multipath.conf dm_multipath
# cat /etc/modules-load.d/dm_multipath.conf dm_multipath
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.1.4. 启动和启用服务 复制链接链接已复制到粘贴板!
执行以下命令以启动 glusterd 和 gluster-blockd :
systemctl start sshd
# systemctl start sshd
systemctl enable sshd
# systemctl enable sshd
systemctl start glusterd
# systemctl start glusterd
systemctl enable glusterd
# systemctl enable glusterd
systemctl start gluster-blockd
# systemctl start gluster-blockd
systemctl enable gluster-blockd
# systemctl enable gluster-blockd
5.1.5. 创建 2 TB(或更多)块卷 复制链接链接已复制到粘贴板!
要在独立模式中创建块卷 2 TB 或更多(最大 2.5 TB),需要配置 GB_CLI_TIMEOUT
参数,如下所示:
-
编辑 /etc/sysconfig/gluster-blockd 配置文件。取消注释
GB_CLI_TIMEOUT
参数,并将参数值更新为900
。