2.3. 使用 GitOps 在 OpenShift 上配置 AWS Secrets Manager
本指南提供了一些示例,可帮助您将 GitOps 工作流与 Secrets Store Container Storage Interface (SSCSI) Driver Operator 搭配使用,将 secret 从 AWS Secret Manager 挂载到 OpenShift Container Platform 中的 CSI 卷。
例如,假设您使用 AWS Secret Manager 作为带有 SSCSI Driver Operator 的 secret 存储供应商。以下示例显示了 GitOps 存储库中的目录结构,它可以使用 AWS Secret Manager 中的 secret:
GitOps 存储库中的目录结构示例
2.3.1. 在 GitOps 仓库中存储 AWS Secret Manager 资源 复制链接链接已复制到粘贴板!
您可以将 AWS Secret Manager 配置存储在 GitOps 存储库中,以进行声明性和版本控制的 secret 管理。
在托管的 control plane 集群中不支持使用带有 AWS Secret Manager 的 SSCSI Driver Operator。
先决条件
-
您可以使用
cluster-admin
权限访问集群。 - 访问 OpenShift Container Platform web 控制台。
-
您已提取并准备好
ccoctl
二进制文件。 -
已安装
jq
CLI 工具。 - 您的集群安装在 AWS 上,并使用 AWS 安全令牌服务 (STS)。
- 您已将 AWS Secrets Manager 配置为存储所需的 secret。
- 在集群中安装了 SSCSI Driver Operator。
- 在集群中安装了 Red Hat OpenShift GitOps Operator。
- 您有一个 GitOps 存储库可以使用 secret。
- 您可以使用 Argo CD admin 帐户登录到 Argo CD 实例。
流程
安装 AWS Secrets Manager 供应商并添加资源:
在 GitOps 仓库中,创建一个目录并添加
aws-provider.yaml
文件,使用以下配置来部署 AWS Secret Manager 供应商的资源:重要SSCSI 驱动程序的 AWS Secret Manager 供应商是一个上游供应商。
此配置会根据上游 AWS 文档中提供的配置进行修改,以便它可以与 OpenShift Container Platform 正常工作。对此配置的更改可能会影响功能。
aws-provider.yaml
文件示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在 GitOps 仓库中添加
secret-provider-app.yaml
文件,为 AWS Secret Manager 创建应用程序和部署资源:secret-provider-app.yaml
文件示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 更新
repoURL
字段的值,以指向您的 GitOps 存储库。
将资源与默认的 Argo CD 实例同步,以在集群中部署这些资源:
在部署应用程序的
openshift-cluster-csi-drivers
命名空间中添加标签,以便openshift-gitops
命名空间中的 Argo CD 实例可以管理它:oc label namespace openshift-cluster-csi-drivers argocd.argoproj.io/managed-by=openshift-gitops
$ oc label namespace openshift-cluster-csi-drivers argocd.argoproj.io/managed-by=openshift-gitops
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 将 GitOps 存储库中的资源应用到集群,包括您刚才推送的
aws-provider.yaml
文件:输出示例
application.argoproj.io/argo-app created application.argoproj.io/secret-provider-app created ...
application.argoproj.io/argo-app created application.argoproj.io/secret-provider-app created ...
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
在 Argo CD UI 中,您可以观察 csi-secrets-store-provider-aws
daemonset 继续同步资源。要解决这个问题,您必须配置 SSCSI 驱动程序来从 AWS Secret Manager 挂载 secret。
2.3.2. 配置 SSCSI 驱动程序以从 AWS Secret Manager 挂载 secret 复制链接链接已复制到粘贴板!
要安全地存储和管理您的 secret,请使用 GitOps 工作流,并将 Secret Store Container Storage Interface (SSCSI) Driver Operator 将 secret 从 AWS Secret Manager 挂载到 OpenShift Container Platform 中的 CSI 卷。例如,请考虑您要将 secret 挂载到 dev
命名空间下的部署 pod 中,该 pod 位于 /environments/dev/
目录下。
先决条件
- 您有 AWS Secrets Manager 资源存储在 GitOps 存储库中。
流程
运行以下命令,授予
csi-secrets-store-provider-aws
服务帐户的特权访问权限:oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-aws -n openshift-cluster-csi-drivers
$ oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-aws -n openshift-cluster-csi-drivers
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
clusterrole.rbac.authorization.k8s.io/system:openshift:scc:privileged added: "csi-secrets-store-provider-aws"
clusterrole.rbac.authorization.k8s.io/system:openshift:scc:privileged added: "csi-secrets-store-provider-aws"
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 授予服务帐户读取 AWS secret 对象的权限:
在 GitOps 仓库的命名空间范围的目录下创建一个
credentialsrequest-dir-aws
文件夹,因为凭据请求是命名空间范围的。例如,运行以下命令,在dev
命名空间下创建一个credentialsrequest-dir-aws
文件夹,它位于/environments/dev/
目录中:mkdir credentialsrequest-dir-aws
$ mkdir credentialsrequest-dir-aws
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 使用
/environments/dev/credentialsrequest-dir-aws/
路径中的凭证请求创建 YAML 文件,将 secret 挂载到dev
命名空间中的部署 pod:credentialsrequest.yaml
文件示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 提示要查找集群区域,请运行以下命令:
oc get infrastructure cluster -o jsonpath='{.status.platformStatus.aws.region}'
$ oc get infrastructure cluster -o jsonpath='{.status.platformStatus.aws.region}'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
us-west-2
us-west-2
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令来检索 OIDC 供应商:
oc get --raw=/.well-known/openid-configuration | jq -r '.issuer'
$ oc get --raw=/.well-known/openid-configuration | jq -r '.issuer'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
https://<oidc_provider_name>
https://<oidc_provider_name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 从输出中复制 OIDC 供应商名称
<oidc_provider_name>
,在下一步中使用。运行以下命令,使用
ccoctl
工具处理凭证请求:ccoctl aws create-iam-roles \ --name my-role --region=<aws_region> \ --credentials-requests-dir=credentialsrequest-dir-aws \ --identity-provider-arn arn:aws:iam::<aws_account>:oidc-provider/<oidc_provider_name> --output-dir=credrequests-ccoctl-output
$ ccoctl aws create-iam-roles \ --name my-role --region=<aws_region> \ --credentials-requests-dir=credentialsrequest-dir-aws \ --identity-provider-arn arn:aws:iam::<aws_account>:oidc-provider/<oidc_provider_name> --output-dir=credrequests-ccoctl-output
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
2023/05/15 18:10:34 Role arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds created 2023/05/15 18:10:34 Saved credentials configuration to: credrequests-ccoctl-output/manifests/my-namespace-aws-creds-credentials.yaml 2023/05/15 18:10:35 Updated Role policy for Role my-role-my-namespace-aws-creds
2023/05/15 18:10:34 Role arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds created 2023/05/15 18:10:34 Saved credentials configuration to: credrequests-ccoctl-output/manifests/my-namespace-aws-creds-credentials.yaml 2023/05/15 18:10:35 Updated Role policy for Role my-role-my-namespace-aws-creds
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 从输出中复制
<aws_role_arn>
以在下一步中使用。例如,arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds
。检查 AWS 上的角色策略,以确认角色策略中
"Resource"
的<aws_region
> 与集群区域匹配:角色策略示例
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令,使用角色 ARN 绑定服务帐户:
oc annotate -n <namespace> sa/<app_service_account> eks.amazonaws.com/role-arn="<aws_role_arn>"
$ oc annotate -n <namespace> sa/<app_service_account> eks.amazonaws.com/role-arn="<aws_role_arn>"
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 示例命令
oc annotate -n dev sa/default eks.amazonaws.com/role-arn="<aws_role_arn>"
$ oc annotate -n dev sa/default eks.amazonaws.com/role-arn="<aws_role_arn>"
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
serviceaccount/default annotated
serviceaccount/default annotated
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
创建命名空间范围的
SecretProviderClass
资源来定义您的 secret 存储供应商。例如,您可以在 GitOps 存储库的/environments/dev/apps/app-taxi/services/taxi/base/config
目录中创建SecretProviderClass
资源。在目标部署位于 GitOps 存储库中的同一目录中创建一个
secret-provider-class-aws.yaml
文件:secret-provider-class-aws.yaml
示例Copy to Clipboard Copied! Toggle word wrap Toggle overflow 在将此 YAML 文件推送到 GitOps 存储库后,验证命名空间范围的
SecretProviderClass
资源是否在 Argo CD UI 中的目标应用程序页面中填充。注意如果应用程序的 Sync Policy 没有设置为
Auto
,您可以通过点 Argo CD UI 中的 Sync 来手动同步SecretProviderClass
资源。
2.3.3. 配置 GitOps 受管资源以使用挂载的 secret 复制链接链接已复制到粘贴板!
您必须通过将卷挂载配置添加到部署,并将容器 pod 配置为使用挂载的 secret 来配置 GitOps 管理的资源。
先决条件
- 您有 AWS Secrets Manager 资源存储在 GitOps 存储库中。
- 您已将 Secret Store Container Storage Interface (SSCSI)驱动程序配置为从 AWS Secret Manager 挂载 secret。
流程
配置 GitOps 受管资源。例如,请考虑将卷挂载配置添加到
app-taxi
应用的部署中,且100-deployment.yaml
文件位于/environments/dev/apps/app-taxi/services/taxi/base/config/
目录中。- 在 Argo CD UI 中,点目标应用程序页面中的 REFRESH 以应用更新的部署清单。
- 验证目标应用程序页面中都已成功同步所有资源。
验证您是否可以从 pod 卷挂载中的 AWS Secret Manager 访问 secret:
列出 pod 挂载中的 secret:
oc exec <deployment_name>-<hash> -n <namespace> -- ls /mnt/secrets-store/
$ oc exec <deployment_name>-<hash> -n <namespace> -- ls /mnt/secrets-store/
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 示例命令
oc exec taxi-5959644f9-t847m -n dev -- ls /mnt/secrets-store/
$ oc exec taxi-5959644f9-t847m -n dev -- ls /mnt/secrets-store/
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
<secret_name>
<secret_name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 查看 pod 挂载中的 secret:
oc exec <deployment_name>-<hash> -n <namespace> -- cat /mnt/secrets-store/<secret_name>
$ oc exec <deployment_name>-<hash> -n <namespace> -- cat /mnt/secrets-store/<secret_name>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 示例命令
oc exec taxi-5959644f9-t847m -n dev -- cat /mnt/secrets-store/testSecret
$ oc exec taxi-5959644f9-t847m -n dev -- cat /mnt/secrets-store/testSecret
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
<secret_value>
<secret_value>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow