容器镜像仓库(Registry)
为 OpenShift Container Platform 配置容器镜像仓库(Registry)
摘要
第 1 章 OpenShift Container Platform registry 概述
OpenShift Container Platform可以使用您的源代码构建镜像,并进行部署及管理其生命周期。它提供了一个内部集成的容器镜像 registry,它可以部署到 OpenShift Container Platform 环境中,以便本地管理镜像。此概述包含 OpenShift Container Platform 常用的 registry 的参考信息和链接,着重介绍内部镜像 registry。
1.1. OpenShift Container Platform registry 常用术语表
该术语表定义了 registry 内容中使用的常用术语。
- container
- 包括软件及其所有依赖项的轻量级和可执行镜像。由于容器虚拟化操作系统,因此您可以在数据中心、公共云或私有云或本地主机中运行容器。
- Image Registry Operator
-
Image Registry Operator 在
openshift-image-registry
命名空间中运行,并管理该位置中的 registry 实例。 - 镜像仓库
- 镜像仓库是相关容器镜像和标识它们的标签(tag)的集合。
- 镜像 registry
- mirror registry 是一个 registry,其中包含 OpenShift Container Platform 镜像的 mirror。
- namespace
- 命名空间隔离单个集群中的一组资源。
- OpenShift Container Platform registry
- OpenShift Container Platform registry 是 OpenShift Container Platform 提供的 registry,用于管理镜像。
- pod
- pod 是 Kubernetes 中的最小逻辑单元。pod 由一个或多个容器组成,可在 worker 节点上运行。
- 私有 registry
- registry 是实现容器镜像 registry API 的服务器。私有 registry 是需要身份验证的 registry,允许用户访问其内容。
- 公共 registry
- registry 是实现容器镜像 registry API 的服务器。公共 registry 是以公开方式提供其内容的 registry。
- Quay.io
- 由红帽提供和维护的公共 Red Hat Quay Container Registry 实例,为 OpenShift Container Platform 集群提供大多数容器镜像和 Operator。
- registry 身份验证
- 要将镜像推送 (push) 到私有镜像仓库,registry 需要根据凭据验证其用户。
- route
- 公开服务,以允许从 OpenShift Container Platform 实例外的用户和应用程序对 pod 进行网络访问。
- 缩减(scale down)
- 减少副本数。
- 扩展(scale up)
- 增加副本数量。
- service
- 服务在一组 pod 上公开正在运行的应用程序。
1.2. 集成的OpenShift Container Platform registry
OpenShift Container Platform 提供了一个内建的镜像 registry,它作为一个标准的工作负载在集群中运行。这个 registry 由一个 infrastructure Operator 配置并管理。它为用户提供了一种现成的解决方案,供用户管理在已有集群基础架构上运行的,用于处理实际工作负载的镜像。这个registry可以象集群中的其他负载一样进行扩展,且不需要置备特殊的基础架构。此外,它已被集成到集群用户身份验证和授权系统中。这意味着,通过定义镜像资源上的用户权限就可以控制对镜像的创建和访问权限。
该 registry 通常作为集群中构建的镜像的发布目标,以及在集群中运行的工作负载的镜像源。当一个新镜像被推送到registry时,集群会收到新镜像的通知,其他组件就可以对更新的镜像做出反应。
镜像数据会存储在两个位置。实际镜像数据存储在可配置的存储位置,例如云存储或一个文件系统卷中。镜像的元数据被保存为标准的API资源(镜像(image)及镜像流(imagestream)),它们可以通过标准的集群 API 进行访问。
1.3. 第三方 registry
OpenShift Container Platform可以使用由第三方 registry 提供的镜像创建容器,但是这些registry 可能不会象OpenShift Container Platform中集成的registry一样提供相同的镜像通知支持。在这种情况下,OpenShift Container Platform将在创建镜像流时从远程 registry 中获取 tag。要刷新获取的标签,请运行 oc import-image <stream>
。当检测到新的镜像时,以前的构建和部署将会被重新创建。
1.3.1. 身份验证
OpenShift Container Platform 使用用户提供的凭证与 registry 进行联系来访问私有镜像仓库。这样,OpenShift Container Platform就可以对私有仓库进行镜像的 push 和 pull 操作。
1.3.1.1. 使用 Podman 进行 registry 身份验证
有些容器镜像 registry 需要访问授权。Podman 是一个开源工具,用于管理容器和容器镜像,并与镜像 registry 交互。您可以使用 Podman 来验证凭证、拉取 registry 镜像,并将本地镜像存储在本地文件系统中。以下是使用 Podman 验证 registry 的通用示例:
流程
- 使用红帽生态系统目录从红帽仓库搜索特定容器镜像并选择所需的镜像。
- 点 Get this image 来查找您的容器镜像的命令。
运行以下命令,并输入您的用户名和密码进行验证:
$ podman login registry.redhat.io Username:<your_registry_account_username> Password:<your_registry_account_password>
运行以下命令下载镜像并将其保存在本地:
$ podman pull registry.redhat.io/<repository_name>
1.4. Red Hat Quay registries
Red Hat Quay 为您提供了一个企业级的容器镜像 registry。它可以作为一个托管的服务,也可以在您自己的数据中心或环境中安装它。Red Hat Quay中的高级 registry 功能包括跨区域复制、镜像扫描及镜像回滚(roll back)功能。
请通过 Quay.io 网站设置您自己的托管 Quay registry 帐户。之后,请按照Quay教程中的内容登录到Quay registry并开始管理镜像。
您可以象访问其他远程镜像 registry 一样,通过 OpenShift Container Platform 访问您的 Red Hat Quay registry。
其他资源
1.5. 启用了身份验证的红帽 registry
红帽生态系统目录的容器镜像部分提供的所有容器镜像都托管在镜像 registry 上(registry.redhat.io
)。
registry(Registry.redhat.io
)需要进行身份验证才能访问OpenShift Container Platform上的镜像及内容。当迁移到新registry后,现有的registry仍将在一段时间内可用。
OpenShift Container Platform从Registry.redhat.io中
提取(pull)镜像,因此需要配置集群以使用它。
新registry使用标准的OAuth机制进行身份验证:
- 身份验证令牌。令牌(token)是服务帐户,由管理员生成。系统可以使用它们与容器镜像registry进行身份验证。服务帐户不受用户帐户更改的影响,因此使用令牌进行身份验证是一个可靠且具有弹性的方法。这是生产环境集群中唯一受支持的身份验证选项。
-
Web用户名和密码。这是用于登录到诸如
access.redhat.com
之类的资源的标准凭据集。虽然可以在OpenShift Container Platform上使用此身份验证方法,但在生产环境部署中不支持此方法。此身份验证方法应该只限于在OpenShift Container Platform之外的独立项目中使用。
您可以在 podman login
中使用您的凭证(用户名和密码,或身份验证令牌)来访问新 registry 中的内容。
所有镜像流都指向使用安装 pull secret 进行身份验证的新 registry。
您必须将凭证放在以下任一位置:
-
OpenShift
命名空间。您的凭证必须存在于openshift
命名空间中,以便openshift
命名空间中的镜像流可以被导入。 - 您的主机。您的凭据必须存在于主机上,因为在抓取(pull)镜像时,Kubernetes会使用主机中的凭据。
其他资源
第 2 章 OpenShift Container Platform中的Image Registry Operator
2.1. 云平台和 OpenStack 上的镜像 registry
Image Registry Operator 安装一个单独的 OpenShift Container Platform registry 实例,并对 registry 的所有配置进行管理(包括设置 registry 存储)。
只有在 AWS、GCP、Azure 或 OpenStack 中安装一个由安装程序置备的基础架构集群时,存储才会被自动配置。
在 AWS 或 Azure 上安装或升级安装程序置备的基础架构集群时,Image Registry Operator 会将 spec.storage.managementState
参数设置为 Managed
。如果 spec.storage.managementState
参数设置为 Unmanaged
,则 Image Registry Operator 不会执行与存储相关的操作。
当部署了control plane后,Operator 将会根据集群中的配置创建一个默认的 configs.imageregistry.operator.openshift.io
资源实例。
如果没有足够的信息来定义完整的configs.imageregistry.operator.openshift.io
资源,则将定义不完整的资源,Operator 将更新资源状态以提供缺失的内容。
Image Registry Operator在openshift-image-registry
命名空间中运行,并管理该位置中的 registry 实例。registry的所有配置和工作负载资源都位于该命名空间中。
Image Registry Operator 管理修剪器的行为与在 Image Registry Operator 的 ClusterOperator
对象上指定的 managementState
关联。如果 Image Registry Operator 没有处于 Managed
状态,则镜像修剪器仍然可以被 Pruning
自定义资源配置和管理。
但是,Image Registry Operator 的 managementState
会更改部署的镜像修剪器任务的行为:
-
Managed
: 镜像修剪器的--prune-registry
标志被设置为true
。 -
Removed
: 镜像修剪器的--prune-registry
标志被设置为false
,这意味着它只在 etcd 中修剪镜像元数据。 -
Unmanaged
: 镜像修剪器的--prune-registry
标志设置为false
。
2.2. 裸机和 vSphere 上的镜像 registry
2.2.1. 安装过程中删除的镜像 registry
在不提供可共享对象存储的平台上,OpenShift Image Registry Operator bootstraps 本身为 Removed
。这允许 openshift-installer
在这些平台类型上完成安装。
安装后,您必须编辑 Image Registry Operator 配置,将 managementState
从 Removed
切换到 Managed
。
Prometheus 控制台提供了一个 ImageRegistryRemoved
警报,例如:
"镜像注册表已被删除。镜像流标签、
BuildConfig 和
DeploymentConfig,
引用 ImageStreamTags
可能无法正常工作。Please configure storage and update the config to Managed
state by editing configs.imageregistry.operator.openshift.io."
2.3. Image Registry Operator 配置参数
configs.imageregistry.operator.openshift.io
资源提供以下配置参数。
参数 | 描述 |
---|---|
|
|
|
设置 registry 实例的
|
| 安全上载时 registry 所需的值,默认生成。 |
| 定义在调用 master API 和上游 registry 时要使用的代理。 |
|
|
| registry 实例是否应该拒绝推送新镜像或删除现有镜像的尝试。 |
| API Request Limit 详情。控制在把请求放入队列前,registry 实例可以并行处理的请求数量。 |
|
确定是否使用默认主机名定义外部路由。如果启用,该路由将会对加密进行重新加密。默认值为 |
| 要创建的其他路由。您需要提供路由的主机名和证书。 |
| registry 的副本数量。 |
|
控制是否通过 registry 路由所有数据,而不是重定向到后端。默认值为 |
|
在 AWS 或 Azure 的安装程序置备的基础架构中的新安装或升级的集群中,Image Registry Operator 会把
|
2.4. 使用 CRD 启用 Image Registry 默认路由
在 OpenShift Container Platform 中 Registry
Operator 控制 registry 的功能。这个 Operator 由 configs.imageregistry.operator.openshift.io
CRD(Custom Resource Definition)定义。
如果您需要自动启用Image Registry默认路由,请对 Image Registry Operator CRD 进行 patch 处理。
流程
对 Image Registry Operator CRD 进行 patch 处理:
$ oc patch configs.imageregistry.operator.openshift.io/cluster --type merge -p '{"spec":{"defaultRoute":true}}'
2.5. 为镜像 registry 访问配置额外的信任存储
Image.config.openshift.io/cluster
自定资源可包含对配置映射的引用,该配置映射包含要在镜像 registry 访问期间被信任的额外证书颁发机构。
先决条件
- 证书颁发机构(CA)必须经过 PEM 编码。
流程
您可以在openshift-config
命名空间中创建配置映射,并在 image.config.openshift.io
子定义资源中的 AdditionalTrustedCA
中使用其名称,以提供与外部 registry 联系时可以被信任的额外CA。
对于每个要信任的额外 registry CA,配置映射键是带有信任此 CA 的端口的 registry 的主机名,而使用 base64 编码的证书是它的值。
镜像 registry CA 配置映射示例
apiVersion: v1
kind: ConfigMap
metadata:
name: my-registry-ca
data:
registry.example.com: |
-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----
registry-with-port.example.com..5000: | 1
-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----
- 1
- 如果 registry 带有端口,如
registry-with-port.example.com:5000
,:
需要被..
替换。
您可以按照以下过程配置其他CA。
配置其他CA:
$ oc create configmap registry-config --from-file=<external_registry_address>=ca.crt -n openshift-config
$ oc edit image.config.openshift.io cluster
spec: additionalTrustedCA: name: registry-config
2.6. 为 Image Registry Operator 配置一个存储凭证
除了configs.imageregistry.operator.openshift.io
及 ConfigMap 资源外,还可以通过openshift-image-registry
命名空间中的独立的 secret 资源为 Operator 提供存储凭证配置。
image-registry-private-configuration-user
secret 提供了存储访问和管理所需的凭证。如果找到默认凭据,它将覆盖 Operator 使用的默认凭据。
流程
创建一个包括了所需键的 OpenShift Container Platform secret。
$ oc create secret generic image-registry-private-configuration-user --from-literal=KEY1=value1 --from-literal=KEY2=value2 --namespace openshift-image-registry
2.7. 其他资源
第 3 章 设置和配置 registry
3.1. 为 AWS 用户置备的基础架构配置 registry
3.1.1. 为 Image Registry Operator 配置一个 secret
除了configs.imageregistry.operator.openshift.io
及 ConfigMap 资源外,还可以通过openshift-image-registry
命名空间中的独立的 secret 资源为 Operator 提供其他配置。
image-registry-private-configuration-user
secret 提供了存储访问和管理所需的凭证。如果找到默认凭据,它将覆盖 Operator 使用的默认凭据。
对于 AWS 上的 S3 存储,secret 应该包含以下两个键:
-
REGISTRY_STORAGE_S3_ACCESSKEY
-
REGISTRY_STORAGE_S3_SECRETKEY
流程
创建一个包括了所需键的 OpenShift Container Platform secret。
$ oc create secret generic image-registry-private-configuration-user --from-literal=REGISTRY_STORAGE_S3_ACCESSKEY=myaccesskey --from-literal=REGISTRY_STORAGE_S3_SECRETKEY=mysecretkey --namespace openshift-image-registry
3.1.2. 为使用用户置备的基础架构的AWS配置registry存储
在安装过程中,使用您的云凭据就可以创建一个 Amazon S3 存储桶,Registry Operator 将会自动配置存储。
如果 Registry Operator 无法创建 S3 存储桶或自动配置存储,您可以按照以下流程创建 S3 存储桶并配置存储。
先决条件
- 在带有用户置备的基础架构的 AWS 上有一个集群。
对于 Amazon S3 存储,secret 应该包含以下两个键:
-
REGISTRY_STORAGE_S3_ACCESSKEY
-
REGISTRY_STORAGE_S3_SECRETKEY
-
流程
如果 Registry Operator 无法创建 S3 存储桶并自动配置存储,请进行以下操作。
- 设置一个 Bucket Lifecycle Policy用来终止已有一天之久的未完成的分段上传操作。
在
configs.imageregistry.operator.openshift.io/cluster中
中输入存储配置:$ oc edit configs.imageregistry.operator.openshift.io/cluster
配置示例
storage: s3: bucket: <bucket-name> region: <region-name>
为了保护 AWS 中 registry 镜像的安全,阻止对 S3 存储桶的公共访问。
3.1.3. AWS S3 的 Image Registry Operator 配置参数
以下配置参数可用于AWS S3 registry 存储。
ImageRegistryConfigStorageS3
包含用于配置 registry 以将 AWS S3 服务用于后端存储的信息。如需更多信息,请参阅 S3 存储驱动程序文档。
参数 | 描述 |
---|---|
| 要在其中存储 registry 数据的存储桶名称。它是可选的,如果未提供会自动生成。 |
| 存储桶所在的 AWS 区。它是可选的,并根据已安装的 AWS 区域进行设置。 |
| RegionEndpoint 是 S3 兼容存储服务的端点。它是可选的,默认基于提供的 Region。 |
| VirtualHostedStyle 启用 S3 虚拟主机风格的存储桶路径,使用自定义的 RegionEndpoint。它是可选的,默认为 false。 设置此参数以将 OpenShift Container Platform 部署到隐藏的区域。 |
| 用来指定 registry 是否以加密的形式存储镜像。它是可选的,默认为 false。 |
| KeyID 是用于加密的 KMS 密钥 ID。它是可选的。encrypt 必须为 true,否则此参数将被忽略。 |
| CloudFront 将 Amazon Cloudfront 配置为 registry 中的存储中间件。它是可选的。 |
当 regionEndpoint
参数的值配置为 Rados 网关的 URL 时,必须指定显式端口。例如:
regionEndpoint: http://rook-ceph-rgw-ocs-storagecluster-cephobjectstore.openshift-storage.svc.cluster.local
3.2. 为 GCP 用户置备的基础架构配置 registry
3.2.1. 为 Image Registry Operator 配置一个 secret
除了configs.imageregistry.operator.openshift.io
及 ConfigMap 资源外,还可以通过openshift-image-registry
命名空间中的独立的 secret 资源为 Operator 提供其他配置。
image-registry-private-configuration-user
secret 提供了存储访问和管理所需的凭证。如果找到默认凭据,它将覆盖 Operator 使用的默认凭据。
对于 GCP 存储上的 GCS,secret 应该包含以下这个键,其值是 GCP 提供的凭据文件的内容:
-
REGISTRY_STORAGE_GCS_KEYFILE
流程
创建一个包括了所需键的 OpenShift Container Platform secret。
$ oc create secret generic image-registry-private-configuration-user --from-file=REGISTRY_STORAGE_GCS_KEYFILE=<path_to_keyfile> --namespace openshift-image-registry
3.2.2. 带有用户置备基础架构的 GCP 的 registry 存储
您必须手动设置存储介质,并在 registry CR 中配置设置。
先决条件
- 使用用户置备的 GCP 中的一个集群。
- 要为 GCP 配置 registry 存储,您需要提供 Registry Operator 云凭据。
对于 GCP 存储上的 GCS,secret 应该包含以下这个键,其值是 GCP 提供的凭据文件的内容:
-
REGISTRY_STORAGE_GCS_KEYFILE
-
3.2.3. GCP GCS 的 Image Registry Operator 配置参数
流程
以下配置参数可用于 GCP GCS registry 存储。
参数 | 描述 |
---|---|
| 要在其中存储 registry 数据的存储桶名称。它是可选的,如果未提供会自动生成。 |
| 存储桶所在的 GCS 的区。它是可选的,并根据已安装的 GCS 区域进行设置。 |
| ProjectID 是此存储桶应与之关联的 GCP 项目的项目 ID。它是可选的。 |
| KeyID 是用于加密的 KMS 密钥 ID。它是可选的,因为默认情况下,存储桶在 GCP 上是加密的。这将允许使用一个自定义加密密钥。 |
3.3. 为 OpenStack 用户置备的基础架构配置 registry
您可以配置在您自己的 Red Hat OpenStack Platform(RHOSP)基础架构中运行的集群的 registry。
3.3.1. 配置 Image Registry Operator 以信任 Swift 存储
您必须将 Image Registry Operator 配置为信任 Red Hat OpenStack Platform(RHOSP)Swift 存储。
流程
在命令行中输入以下命令将
config.imageregistry
对象中的spec.disableRedirect
字段的值更改为true
:$ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"disableRedirect":true}}'
3.3.2. 为 Image Registry Operator 配置一个 secret
除了configs.imageregistry.operator.openshift.io
及 ConfigMap 资源外,还可以通过openshift-image-registry
命名空间中的独立的 secret 资源为 Operator 提供其他配置。
image-registry-private-configuration-user
secret 提供了存储访问和管理所需的凭证。如果找到默认凭据,它将覆盖 Operator 使用的默认凭据。
对于 Red Hat OpenStack Platform(RHOSP)存储上的 Swift,secret 应该包含以下两个键:
-
REGISTRY_STORAGE_SWIFT_USER
-
REGISTRY_STORAGE_SWIFT_PASSWORD
流程
创建一个包括了所需键的 OpenShift Container Platform secret。
$ oc create secret generic image-registry-private-configuration-user --from-literal=REGISTRY_STORAGE_SWIFT_USER=<username> --from-literal=REGISTRY_STORAGE_SWIFT_PASSWORD=<password> -n openshift-image-registry
3.3.3. 使用用户置备的基础架构 RHOSP 的 registry 存储
您必须手动设置存储介质,并在 registry CR 中配置设置。
先决条件
- 在具有用户置备的 Red Hat OpenStack Platform(RHOSP)上的集群。
- 要为 RHOSP 配置 registry 存储,您需要提供 Registry Operator 云凭证。
对于 RHOSP 存储上的 Swift,secret 应该包含以下两个键:
-
REGISTRY_STORAGE_SWIFT_USER
-
REGISTRY_STORAGE_SWIFT_PASSWORD
-
3.3.4. RHOSP Swift 的 Image Registry Operator 配置参数
以下配置参数可用于 Red Hat OpenStack Platform(RHOSP)Swift registry 存储。
参数 | 描述 |
---|---|
| 这个值是可选的。 |
| 这个值是可选的。 |
| 这个值是可选的。 |
| 这个值是可选的。 |
| 这个值是可选的。 |
| 这个值是可选的。 |
| 这个值是可选的。 |
| 这个值是可选的。 |
3.4. 为 Azure 用户置备的基础架构配置 registry
3.4.1. 为 Image Registry Operator 配置一个 secret
除了configs.imageregistry.operator.openshift.io
及 ConfigMap 资源外,还可以通过openshift-image-registry
命名空间中的独立的 secret 资源为 Operator 提供其他配置。
image-registry-private-configuration-user
secret 提供了存储访问和管理所需的凭证。如果找到默认凭据,它将覆盖 Operator 使用的默认凭据。
对于 Azure registry 存储,secret 应该包含这个键,其值是 Azure 提供的凭据文件的内容:
-
REGISTRY_STORAGE_AZURE_ACCOUNTKEY
流程
创建一个包括了所需键的 OpenShift Container Platform secret。
$ oc create secret generic image-registry-private-configuration-user --from-literal=REGISTRY_STORAGE_AZURE_ACCOUNTKEY=<accountkey> --namespace openshift-image-registry
3.4.2. 为 Azure 配置 registry 存储
在安装过程中,使用您的云凭据就可以创建 Azure Blob Storage,Registry Operator 将会自动配置存储。
先决条件
- 用户置备的 Azure 中的集群。
- 要为 Azure 配置 registry 存储,您需要提供 Registry Operator 云凭据。
对于Azure 存储,secret 应该包含以下键:
-
REGISTRY_STORAGE_AZURE_ACCOUNTKEY
-
流程
- 创建一个 Azure 存储容器。
在
configs.imageregistry.operator.openshift.io/cluster中
中输入存储配置:$ oc edit configs.imageregistry.operator.openshift.io/cluster
配置示例
storage: azure: accountName: <storage-account-name> container: <container-name>
3.4.3. 为 Azure 政府配置 registry 存储
在安装过程中,使用您的云凭据就可以创建 Azure Blob Storage,Registry Operator 将会自动配置存储。
先决条件
- 在一个政府区域中使用用户置备基础架构的 Azure 中的一个集群。
- 要为 Azure 配置 registry 存储,您需要提供 Registry Operator 云凭据。
对于 Azure 存储,secret 应该包含以下一个键:
-
REGISTRY_STORAGE_AZURE_ACCOUNTKEY
-
流程
- 创建一个 Azure 存储容器。
在
configs.imageregistry.operator.openshift.io/cluster中
中输入存储配置:$ oc edit configs.imageregistry.operator.openshift.io/cluster
配置示例
storage: azure: accountName: <storage-account-name> container: <container-name> cloudName: AzureUSGovernmentCloud 1
- 1
CloudName
是 Azure 云环境的名称,可用于使用适当的 Azure API 端点配置 Azure SDK。默认为AzurePublicCloud
。在有足够凭证时,可以将cloudName
设置为AzureUSGovernmentCloud
、AzureChinaCloud
或AzureGermanCloud
。
3.5. 为 RHOSP 配置 registry
3.5.1. 在 RHOSP 上运行的集群中使用自定义存储配置镜像 registry
在 Red Hat OpenStack Platform(RHOSP)上安装集群后,您可以使用位于 registry 存储的特定可用区的 Cinder 卷。
流程
创建一个 YAML 文件,用于指定要使用的存储类和可用性区域。例如:
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: custom-csi-storageclass provisioner: cinder.csi.openstack.org volumeBindingMode: WaitForFirstConsumer allowVolumeExpansion: true parameters: availability: <availability_zone_name>
注意OpenShift Container Platform 不验证您选择的可用区是否存在。应用配置前,请验证可用性区域的名称。
在命令行中应用配置:
$ oc apply -f <storage_class_file_name>
输出示例
storageclass.storage.k8s.io/custom-csi-storageclass created
创建一个 YAML 文件,用于指定使用存储类和
openshift-image-registry
命名空间的持久性卷声明(PVC)。例如:apiVersion: v1 kind: PersistentVolumeClaim metadata: name: csi-pvc-imageregistry namespace: openshift-image-registry 1 annotations: imageregistry.openshift.io: "true" spec: accessModes: - ReadWriteOnce volumeMode: Filesystem resources: requests: storage: 100Gi 2 storageClassName: <your_custom_storage_class> 3
在命令行中应用配置:
$ oc apply -f <pvc_file_name>
输出示例
persistentvolumeclaim/csi-pvc-imageregistry created
将镜像 registry 配置中的原始持久性卷声明替换为新声明:
$ oc patch configs.imageregistry.operator.openshift.io/cluster --type 'json' -p='[{"op": "replace", "path": "/spec/storage/pvc/claim", "value": "csi-pvc-imageregistry"}]'
输出示例
config.imageregistry.operator.openshift.io/cluster patched
接下来的几分钟内,配置将更新。
验证
确认 registry 正在使用您定义的资源:
验证 PVC 声明值是否与您在 PVC 定义中提供的名称相同:
$ oc get configs.imageregistry.operator.openshift.io/cluster -o yaml
输出示例
... status: ... managementState: Managed pvc: claim: csi-pvc-imageregistry ...
验证 PVC 的状态是否为
Bound
:$ oc get pvc -n openshift-image-registry csi-pvc-imageregistry
输出示例
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE csi-pvc-imageregistry Bound pvc-72a8f9c9-f462-11e8-b6b6-fa163e18b7b5 100Gi RWO custom-csi-storageclass 11m
3.6. 为裸机配置 registry
3.6.1. 安装过程中删除的镜像 registry
在不提供可共享对象存储的平台上,OpenShift Image Registry Operator bootstraps 本身为 Removed
。这允许 openshift-installer
在这些平台类型上完成安装。
安装后,您必须编辑 Image Registry Operator 配置,将 managementState
从 Removed
切换到 Managed
。
Prometheus 控制台提供了一个 ImageRegistryRemoved
警报,例如:
"镜像注册表已被删除。镜像流标签、
BuildConfig 和
DeploymentConfig,
引用 ImageStreamTags
可能无法正常工作。Please configure storage and update the config to Managed
state by editing configs.imageregistry.operator.openshift.io."
3.6.2. 更改镜像 registry 的管理状态
要启动镜像 registry,您必须将 Image Registry Operator 配置的 managementState
从 Removed 改为
Managed
。
流程
将
managementState
Image Registry Operator 配置从Removed 改为
Managed
。例如:$ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"managementState":"Managed"}}'
3.6.3. 镜像 registry 存储配置
对于不提供默认存储的平台,Image Registry Operator 最初不可用。安装后,您必须将 registry 配置为使用存储,以便 Registry Operator 可用。
显示配置生产集群所需的持久性卷的说明。如果适用,显示有关将空目录配置为存储位置的说明,这仅适用于非生产集群。
提供了在升级过程中使用 Recreate
rollout 策略来允许镜像 registry 使用块存储类型的说明。
3.6.4. 为裸机和其他手动安装配置 registry 存储
作为集群管理员,在安装后需要配置 registry 来使用存储。
先决条件
-
您可以使用具有
cluster-admin
角色的用户访问集群。 - 您有一个使用手动置备的 Red Hat Enterprise Linux CoreOS(RHCOS)节点(如裸机)的集群。
已为集群置备了持久性存储,如 Red Hat OpenShift Container Storage。
重要当您只有一个副本时,OpenShift Container Platform 支持对镜像 registry 存储的
ReadWriteOnce
访问。ReadWriteOnce
访问还要求 registry 使用Recreate
rollout 策略。要部署支持高可用性的镜像 registry,需要两个或多个副本,ReadWriteMany
访问。- 必须具有 100Gi 容量。
流程
要将 registry 配置为使用存储,修改
configs.imageregistry/cluster
资源中的spec.storage.pvc
。注意使用共享存储时,请查看您的安全设置以防止外部访问。
验证您没有 registry pod:
$ oc get pod -n openshift-image-registry -l docker-registry=default
输出示例
No resourses found in openshift-image-registry namespace
注意如果您的输出中有一个 registry pod,则不需要继续这个过程。
检查 registry 配置:
$ oc edit configs.imageregistry.operator.openshift.io
输出示例
storage: pvc: claim:
将
claim
字段留空以允许自动创建image-registry-storage
PVC。检查
clusteroperator
状态:$ oc get clusteroperator image-registry
输出示例
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE image-registry 4.7 True False False 6h50m
确保 registry 设置为 managed,以启用镜像的构建和推送。
运行:
$ oc edit configs.imageregistry/cluster
然后,更改行
managementState: Removed
至
managementState: Managed
3.6.5. 在非生产集群中为镜像 registry 配置存储
您必须为 Image Registry Operator 配置存储。对于非生产集群,您可以将镜像 registry 设置为空目录。如果您这样做,重启 registry 时会丢失所有镜像。
流程
将镜像 registry 存储设置为空目录:
$ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"storage":{"emptyDir":{}}}}'
警告仅为非生产集群配置这个选项。
如果在 Image Registry Operator 初始化其组件前运行这个命令,
oc patch
命令会失败并显示以下错误:Error from server (NotFound): configs.imageregistry.operator.openshift.io "cluster" not found
等待几分钟,然后再次运行 命令。
3.6.6. 配置块 registry 存储
要允许镜像 registry 在作为集群管理员升级过程中使用块存储类型,您可以使用 Recreate rollout 策略
。
支持块存储卷,但不建议将其用于生产环境中的镜像 registry。在块存储上配置 registry 的安装不具有高可用性,因为 registry 无法具有多个副本。
流程
要将镜像 registry 存储设置为块存储类型,对 registry 进行补丁,使其使用
Recreate rollout 策略
,并只使用一个(1
)副本运行:$ oc patch config.imageregistry.operator.openshift.io/cluster --type=merge -p '{"spec":{"rolloutStrategy":"Recreate","replicas":1}}'
- 为块存储设备置备 PV,并为该卷创建 PVC。请求的块卷使用 ReadWriteOnce(RWO)访问模式。
- 编辑 registry 配置,使其引用正确的 PVC。
3.6.7. 其他资源
- 有关为裸机配置 registry 存储的详情,请参考推荐的可配置存储技术。
3.7. 为 vSphere 配置 registry
3.7.1. 安装过程中删除的镜像 registry
在不提供可共享对象存储的平台上,OpenShift Image Registry Operator bootstraps 本身为 Removed
。这允许 openshift-installer
在这些平台类型上完成安装。
安装后,您必须编辑 Image Registry Operator 配置,将 managementState
从 Removed
切换到 Managed
。
Prometheus 控制台提供了一个 ImageRegistryRemoved
警报,例如:
"镜像注册表已被删除。镜像流标签、
BuildConfig 和
DeploymentConfig,
引用 ImageStreamTags
可能无法正常工作。Please configure storage and update the config to Managed
state by editing configs.imageregistry.operator.openshift.io."
3.7.2. 更改镜像 registry 的管理状态
要启动镜像 registry,您必须将 Image Registry Operator 配置的 managementState
从 Removed 改为
Managed
。
流程
将
managementState
Image Registry Operator 配置从Removed 改为
Managed
。例如:$ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"managementState":"Managed"}}'
3.7.2.1. 镜像 registry 存储配置
对于不提供默认存储的平台,Image Registry Operator 最初不可用。安装后,您必须将 registry 配置为使用存储,以便 Registry Operator 可用。
显示配置生产集群所需的持久性卷的说明。如果适用,显示有关将空目录配置为存储位置的说明,这仅适用于非生产集群。
提供了在升级过程中使用 Recreate
rollout 策略来允许镜像 registry 使用块存储类型的说明。
3.7.3. 为 VMware vSphere 配置 registry 存储
作为集群管理员,在安装后需要配置 registry 来使用存储。
先决条件
- 集群管理员权限。
- VMware vSphere 上有一个集群。
为集群置备的持久性存储,如 Red Hat OpenShift Container Storage。
重要当您只有一个副本时,OpenShift Container Platform 支持对镜像 registry 存储的
ReadWriteOnce
访问。ReadWriteOnce
访问还要求 registry 使用Recreate
rollout 策略。要部署支持高可用性的镜像 registry,需要两个或多个副本,ReadWriteMany
访问。- 必须具有"100Gi"容量.
测试显示在 RHEL 中使用 NFS 服务器作为核心服务的存储后端的问题。这包括 OpenShift Container Registry 和 Quay,Prometheus 用于监控存储,以及 Elasticsearch 用于日志存储。因此,不建议使用 RHEL NFS 作为 PV 后端用于核心服务。
市场上的其他 NFS 实现可能没有这些问题。如需了解更多与此问题相关的信息,请联络相关的 NFS 厂商。
流程
要将 registry 配置为使用存储,修改
configs.imageregistry/cluster
资源中的spec.storage.pvc
。注意使用共享存储时,请查看您的安全设置以防止外部访问。
验证您没有 registry pod:
$ oc get pod -n openshift-image-registry -l docker-registry=default
输出示例
No resourses found in openshift-image-registry namespace
注意如果您的输出中有一个 registry pod,则不需要继续这个过程。
检查 registry 配置:
$ oc edit configs.imageregistry.operator.openshift.io
输出示例
storage: pvc: claim: 1
- 1
- 将
claim
字段留空以允许自动创建image-registry-storage
持久性卷声明(PVC)。PVC 基于默认存储类生成。但请注意,默认存储类可能会提供 ReadWriteOnce (RWO)卷,如 RADOS 块设备(RBD),这可能会在复制到多个副本时导致问题。
检查
clusteroperator
状态:$ oc get clusteroperator image-registry
输出示例
NAME VERSION AVAILABLE PROGRESSING DEGRADED SINCE MESSAGE image-registry 4.7 True False False 6h50m
3.7.4. 在非生产集群中为镜像 registry 配置存储
您必须为 Image Registry Operator 配置存储。对于非生产集群,您可以将镜像 registry 设置为空目录。如果您这样做,重启 registry 时会丢失所有镜像。
流程
将镜像 registry 存储设置为空目录:
$ oc patch configs.imageregistry.operator.openshift.io cluster --type merge --patch '{"spec":{"storage":{"emptyDir":{}}}}'
警告仅为非生产集群配置这个选项。
如果在 Image Registry Operator 初始化其组件前运行这个命令,
oc patch
命令会失败并显示以下错误:Error from server (NotFound): configs.imageregistry.operator.openshift.io "cluster" not found
等待几分钟,然后再次运行 命令。
3.7.5. 为 VMware vSphere 配置块 registry 存储
要允许镜像 registry 在作为集群管理员升级过程中使用块存储类型,如 vSphere Virtual Machine Disk(VMDK),您可以使用 Recreate rollout 策略
。
支持块存储卷,但不建议在生产环境中用于镜像 registry。在块存储上配置 registry 的安装不具有高可用性,因为 registry 无法具有多个副本。
流程
要将镜像 registry 存储设置为块存储类型,对 registry 进行补丁,使其使用
Recreate rollout 策略
,且只使用1
个副本运行:$ oc patch config.imageregistry.operator.openshift.io/cluster --type=merge -p '{"spec":{"rolloutStrategy":"Recreate","replicas":1}}'
为块存储设备置备 PV,并为该卷创建 PVC。请求的块卷使用 ReadWriteOnce(RWO)访问模式。
创建包含以下内容的
pvc.yaml
文件以定义 VMware vSpherePersistentVolumeClaim
对象:kind: PersistentVolumeClaim apiVersion: v1 metadata: name: image-registry-storage 1 namespace: openshift-image-registry 2 spec: accessModes: - ReadWriteOnce 3 resources: requests: storage: 100Gi 4
从文件创建
PersistentVolumeClaim
对象:$ oc create -f pvc.yaml -n openshift-image-registry
编辑 registry 配置,使其引用正确的 PVC:
$ oc edit config.imageregistry.operator.openshift.io -o yaml
输出示例
storage: pvc: claim: 1
- 1
- 通过创建自定义 PVC,您可以将
claim
字段留空,以便默认自动创建image-registry-storage
PVC。
有关配置 registry 存储以便引用正确的 PVC 的说明,请参阅 为 vSphere 配置 registry。
3.7.6. 其他资源
- 有关为 vSphere 配置 registry 存储的详情,请参考 推荐的可配置存储技术。
第 4 章 访问registry
使用以下部分介绍的内容来访问registry,包括查看日志和指标,以及保护和公开registry。
您可以使用podman
命令直接访问registry。您可以使用podman push
或podman pull
等操作直接从集成的registry中进行镜像的 pull 和 push 操作。要做到这一点,您必须使用 podman login
命令登录到registry。您可以执行的操作取决于您的用户权限,如以下各节所述。
4.1. 先决条件
- 您必须已经配置了一个身份供应商(IDP)。
为了抓取镜像,例如使用
podman pull
命令,用户必须具有registry-viewer
角色。要添加此角色,请运行以下命令:$ oc policy add-role-to-user registry-viewer <user_name>
在编写或推送镜像时,例如使用
podman push
命令时:用户必须具有
registry-editor
角色。要添加此角色,请运行以下命令:$ oc policy add-role-to-user registry-editor <user_name>
- 集群必须有一个可以推送镜像的现有项目。
4.2. 直接从集群访问registry
您可以从集群内部访问registry。
流程
通过使用内部路由从集群访问registry:
通过获取节点的名称来访问节点:
$ oc get nodes
$ oc debug nodes/<node_name>
要在节点上启用对
oc
和podman
等工具的访问,请将您的根目录改为/host
:sh-4.2# chroot /host
使用您的访问令牌登录到容器镜像registry:
sh-4.2# oc login -u kubeadmin -p <password_from_install_log> https://api-int.<cluster_name>.<base_domain>:6443
sh-4.2# podman login -u kubeadmin -p $(oc whoami -t) image-registry.openshift-image-registry.svc:5000
您应该看到一条确认登录的消息,例如:
Login Succeeded!
注意用户名可以是任何值,令牌包含了所有必要的信息。如果用户名包含冒号,则会导致登录失败。
因为 Image Registry Operator 创建了路由,所以它将与
default-route-openshift-image-registry.<cluster_name>
类似。针对您的registry执行
podman pull
和podman push
操作:重要您可以抓取任意镜像,但是如果已添加了system:registry角色,则只能将镜像推送到您自己的registry中。
在以下示例中,使用:
组件 值 <registry_ip>
172.30.124.220
<port>
5000
<project>
openshift
<image>
image
<tag>
忽略 (默认为
latest
)抓取任意镜像:
sh-4.2# podman pull name.io/image
使用
<registry_ip>:<port>/<project>/<image>
格式标记(tag)新镜像。项目名称必须出现在这个 pull 规范中,以供OpenShift Container Platform 把这个镜像正确放置在 registry 中,并在以后正确访问 registry 中的这个镜像:sh-4.2# podman tag name.io/image image-registry.openshift-image-registry.svc:5000/openshift/image
注意您必须具有指定项目的
system:image-builder
角色,该角色允许用户写或推送镜像。否则,下一步中的podman push
将失败。为了进行测试,您可以创建一个新项目来推送镜像。将新标记的镜像推送到 registry:
sh-4.2# podman push image-registry.openshift-image-registry.svc:5000/openshift/image
4.3. 检查 registry pod 的状态
作为集群管理员,您可以列出在 openshift-image-registry
项目中运行的镜像 registry pod,并检查其状态。
先决条件
-
您可以使用具有
cluster-admin
角色的用户访问集群。
流程
列出
openshift-image-registry
项目中的 pod 并查看其状态:$ oc get pods -n openshift-image-registry
输出示例
NAME READY STATUS RESTARTS AGE cluster-image-registry-operator-764bd7f846-qqtpb 1/1 Running 0 78m image-registry-79fb4469f6-llrln 1/1 Running 0 77m node-ca-hjksc 1/1 Running 0 73m node-ca-tftj6 1/1 Running 0 77m node-ca-wb6ht 1/1 Running 0 77m node-ca-zvt9q 1/1 Running 0 74m
4.4. 查看registry日志
使用oc logs
命令可以查看registry中的日志信息。
流程
使用带有 deployments 的
oc logs
命令查看容器镜像 registry 的日志:$ oc logs deployments/image-registry -n openshift-image-registry
输出示例
2015-05-01T19:48:36.300593110Z time="2015-05-01T19:48:36Z" level=info msg="version=v2.0.0+unknown" 2015-05-01T19:48:36.303294724Z time="2015-05-01T19:48:36Z" level=info msg="redis not configured" instance.id=9ed6c43d-23ee-453f-9a4b-031fea646002 2015-05-01T19:48:36.303422845Z time="2015-05-01T19:48:36Z" level=info msg="using inmemory layerinfo cache" instance.id=9ed6c43d-23ee-453f-9a4b-031fea646002 2015-05-01T19:48:36.303433991Z time="2015-05-01T19:48:36Z" level=info msg="Using OpenShift Auth handler" 2015-05-01T19:48:36.303439084Z time="2015-05-01T19:48:36Z" level=info msg="listening on :5000" instance.id=9ed6c43d-23ee-453f-9a4b-031fea646002
4.5. 访问registry的指标数据(metrics)
OpenShift Container Registry 为 Prometheus metrics 提供了一个端点。Prometheus是一个独立的开源系统监视和警报工具包。
metrics 可以通过registry端点的/extensions/v2/metrics路径获得。
流程
您可以通过两种方式访问指标数据:运行指标数据查询或使用集群角色。
指标数据查询
运行指标查询,例如:
$ curl --insecure -s -u <user>:<secret> \ 1 https://image-registry.openshift-image-registry.svc:5000/extensions/v2/metrics | grep imageregistry | head -n 20
输出示例
# HELP imageregistry_build_info A metric with a constant '1' value labeled by major, minor, git commit & git version from which the image registry was built. # TYPE imageregistry_build_info gauge imageregistry_build_info{gitCommit="9f72191",gitVersion="v3.11.0+9f72191-135-dirty",major="3",minor="11+"} 1 # HELP imageregistry_digest_cache_requests_total Total number of requests without scope to the digest cache. # TYPE imageregistry_digest_cache_requests_total counter imageregistry_digest_cache_requests_total{type="Hit"} 5 imageregistry_digest_cache_requests_total{type="Miss"} 24 # HELP imageregistry_digest_cache_scoped_requests_total Total number of scoped requests to the digest cache. # TYPE imageregistry_digest_cache_scoped_requests_total counter imageregistry_digest_cache_scoped_requests_total{type="Hit"} 33 imageregistry_digest_cache_scoped_requests_total{type="Miss"} 44 # HELP imageregistry_http_in_flight_requests A gauge of requests currently being served by the registry. # TYPE imageregistry_http_in_flight_requests gauge imageregistry_http_in_flight_requests 1 # HELP imageregistry_http_request_duration_seconds A histogram of latencies for requests to the registry. # TYPE imageregistry_http_request_duration_seconds summary imageregistry_http_request_duration_seconds{method="get",quantile="0.5"} 0.01296087 imageregistry_http_request_duration_seconds{method="get",quantile="0.9"} 0.014847248 imageregistry_http_request_duration_seconds{method="get",quantile="0.99"} 0.015981195 imageregistry_http_request_duration_seconds_sum{method="get"} 12.260727916000022
- 1
<user>
可以是任意的,但<secret>
必须与registry配置中指定的值匹配。
集群角色
如果还没有一个访问指标的集群角色,创建一个集群角色:
$ cat <<EOF | oc create -f - apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: prometheus-scraper rules: - apiGroups: - image.openshift.io resources: - registry/metrics verbs: - get EOF
将此角色添加到用户,运行以下命令:
$ oc adm policy add-cluster-role-to-user prometheus-scraper <username>
使用集群角色访问指标数据。配置文件中与指标数据相关的部分应如下所示:
openshift: version: 1.0 metrics: enabled: true ...
4.6. 其他资源
- 如需有关允许项目中的 pod 引用另一项目中的镜像的更多信息,请参阅允许 Pod 在项目间引用镜像。
-
kubeadmin
可以访问 registry,直到其被删除。如需更多信息,请参阅删除 kubeadmin 用户。 - 有关配置身份提供程序的更多信息,请参阅了解身份提供程序配置。
第 5 章 开放registry
默认情况下,OpenShift Container Platform registry在集群安装期间是加密的,它需要使用TLS进行访问。与早期版本的OpenShift Container Platform不同,安装时registry不会向集群外部公开。
5.1. 手动公开默认 registry
通过使用路由可以开放从外部访问OpenShift Container Platform registry的通道,用户不再需要从集群内部登录到默认的 OpenShift Container Platform registry。通过外部访问,您可以使用路由地址从集群外部登录 registry,并使用路由主机标记并推送到现有项目。
先决条件
以下的先决条件会被自动执行:
- 部署 Registry Operator。
- 部署 Ingress Operator。
流程
您可以使用 configs.imageregistry.operator.openshift.io
资源中的 defaultRoute
参数来公开路由。
使用 defaultRoute
公开 registry:
将
defaultRoute
设为true
:$ oc patch configs.imageregistry.operator.openshift.io/cluster --patch '{"spec":{"defaultRoute":true}}' --type=merge
获取默认 registry 路由:
$ HOST=$(oc get route default-route -n openshift-image-registry --template='{{ .spec.host }}')
获取 Ingress Operator 的证书:
$ oc get secret -n openshift-ingress router-certs-default -o go-template='{{index .data "tls.crt"}}' | base64 -d | sudo tee /etc/pki/ca-trust/source/anchors/${HOST}.crt > /dev/null
使用以下命令启用集群的默认证书来信任路由:
$ sudo update-ca-trust enable
使用默认路由通过 podman 登录:
$ sudo podman login -u kubeadmin -p $(oc whoami -t) $HOST
5.2. 手动公开受保护的registry
通过使用路由可以开放从外部访问OpenShift Container Platform registry的通道,用户不再需要从集群内部登录到OpenShift Container Platform registry。这样,您可以使用路由地址从集群外部登录 registry,并使用路由主机标记并推送到现有项目。
先决条件
以下的先决条件会被自动执行:
- 部署 Registry Operator。
- 部署 Ingress Operator。
流程
您可以使用configs.imageregistry.operator.openshift.io
资源中的DefaultRoute
参数或使用自定义路由来公开路由。
使用DefaultRoute
公开registry:
将
DefaultRoute
设置为True
:$ oc patch configs.imageregistry.operator.openshift.io/cluster --patch '{"spec":{"defaultRoute":true}}' --type=merge
使用
podman
登录:$ HOST=$(oc get route default-route -n openshift-image-registry --template='{{ .spec.host }}')
$ podman login -u kubeadmin -p $(oc whoami -t) --tls-verify=false $HOST 1
- 1
- 如果集群的默认路由证书不受信任,则需要
--tls-verify=false
。您可以将一个自定义的可信证书设置为 Ingress Operator 的默认证书。
使用自定义路由公开registry:
使用路由的 TLS 密钥创建一个 secret:
$ oc create secret tls public-route-tls \ -n openshift-image-registry \ --cert=</path/to/tls.crt> \ --key=</path/to/tls.key>
此步骤是可选的。如果不创建一个secret,则路由将使用Ingress Operator的默认TLS配置。
在 Registry Operator 中:
spec: routes: - name: public-routes hostname: myregistry.mycorp.organization secretName: public-route-tls ...
注意如果为registry的路由提供了一个自定义的 TLS 配置,则仅需设置
secretName
。
Legal Notice
Copyright © 2024 Red Hat, Inc.
OpenShift documentation is licensed under the Apache License 2.0 (https://www.apache.org/licenses/LICENSE-2.0).
Modified versions must remove all Red Hat trademarks.
Portions adapted from https://github.com/kubernetes-incubator/service-catalog/ with modifications by Red Hat.
Red Hat, Red Hat Enterprise Linux, the Red Hat logo, the Shadowman logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation’s permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.