2.3. 使用 GitOps 在 OpenShift 上配置 AWS Secrets Manager


本指南提供了一些示例,可帮助您将 GitOps 工作流与 Secrets Store Container Storage Interface (SSCSI) Driver Operator 搭配使用,将 secret 从 AWS Secret Manager 挂载到 OpenShift Container Platform 中的 CSI 卷。

例如,假设您使用 AWS Secret Manager 作为带有 SSCSI Driver Operator 的 secret 存储供应商。以下示例显示了 GitOps 存储库中的目录结构,它可以使用 AWS Secret Manager 中的 secret:

GitOps 存储库中的目录结构示例

├── config
│   ├── argocd
│   │   ├── argo-app.yaml
│   │   ├── secret-provider-app.yaml 
1

│   │   ├── ...
│   └── sscsid 
2

│       └── aws-provider.yaml 
3

├── environments
│   ├── dev 
4

│   │   ├── apps
│   │   │   └── app-taxi 
5

│   │   │       ├── ...
│   │   ├── credentialsrequest-dir-aws 
6

│   │   └── env
│   │       ├── ...
│   ├── new-env
│   │   ├── ...
Copy to Clipboard Toggle word wrap

2
存储 aws-provider.yaml 文件的目录。
3
安装 AWS Secret Manager 供应商并为它部署资源的配置文件。
1
创建应用程序并为 AWS Secret Manager 部署资源的配置文件。
4
存储部署 pod 和凭证请求的目录。
5
存储 SecretProviderClass 资源的目录,以定义您的 secret 存储供应商。
6
存储 credentialsrequest.yaml 文件的文件夹。此文件包含凭据请求的配置,用于将 secret 挂载到部署 pod。

2.3.1. 在 GitOps 仓库中存储 AWS Secret Manager 资源

您可以将 AWS Secret Manager 配置存储在 GitOps 存储库中,以进行声明性和版本控制的 secret 管理。

重要

在托管的 control plane 集群中不支持使用带有 AWS Secret Manager 的 SSCSI Driver Operator。

先决条件

  • 您可以使用 cluster-admin 权限访问集群。
  • 访问 OpenShift Container Platform web 控制台。
  • 您已提取并准备好 ccoctl 二进制文件。
  • 已安装 jq CLI 工具。
  • 您的集群安装在 AWS 上,并使用 AWS 安全令牌服务 (STS)。
  • 您已将 AWS Secrets Manager 配置为存储所需的 secret。
  • 在集群中安装了 SSCSI Driver Operator
  • 在集群中安装了 Red Hat OpenShift GitOps Operator。
  • 您有一个 GitOps 存储库可以使用 secret。
  • 您可以使用 Argo CD admin 帐户登录到 Argo CD 实例。

流程

  1. 安装 AWS Secrets Manager 供应商并添加资源:

    1. 在 GitOps 仓库中,创建一个目录并添加 aws-provider.yaml 文件,使用以下配置来部署 AWS Secret Manager 供应商的资源:

      重要

      SSCSI 驱动程序的 AWS Secret Manager 供应商是一个上游供应商。

      此配置会根据上游 AWS 文档中提供的配置进行修改,以便它可以与 OpenShift Container Platform 正常工作。对此配置的更改可能会影响功能。

      aws-provider.yaml 文件示例

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRole
      metadata:
        name: csi-secrets-store-provider-aws-cluster-role
      rules:
      - apiGroups: [""]
        resources: ["serviceaccounts/token"]
        verbs: ["create"]
      - apiGroups: [""]
        resources: ["serviceaccounts"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["pods"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["nodes"]
        verbs: ["get"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: csi-secrets-store-provider-aws-cluster-rolebinding
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: csi-secrets-store-provider-aws-cluster-role
      subjects:
      - kind: ServiceAccount
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        namespace: openshift-cluster-csi-drivers
        name: csi-secrets-store-provider-aws
        labels:
          app: csi-secrets-store-provider-aws
      spec:
        updateStrategy:
          type: RollingUpdate
        selector:
          matchLabels:
            app: csi-secrets-store-provider-aws
        template:
          metadata:
            labels:
              app: csi-secrets-store-provider-aws
          spec:
            serviceAccountName: csi-secrets-store-provider-aws
            hostNetwork: false
            containers:
              - name: provider-aws-installer
                image: public.ecr.aws/aws-secrets-manager/secrets-store-csi-driver-provider-aws:1.0.r2-50-g5b4aca1-2023.06.09.21.19
                imagePullPolicy: Always
                args:
                    - --provider-volume=/etc/kubernetes/secrets-store-csi-providers
                resources:
                  requests:
                    cpu: 50m
                    memory: 100Mi
                  limits:
                    cpu: 50m
                    memory: 100Mi
                securityContext:
                  privileged: true
                volumeMounts:
                  - mountPath: "/etc/kubernetes/secrets-store-csi-providers"
                    name: providervol
                  - name: mountpoint-dir
                    mountPath: /var/lib/kubelet/pods
                    mountPropagation: HostToContainer
            tolerations:
            - operator: Exists
            volumes:
              - name: providervol
                hostPath:
                  path: "/etc/kubernetes/secrets-store-csi-providers"
              - name: mountpoint-dir
                hostPath:
                  path: /var/lib/kubelet/pods
                  type: DirectoryOrCreate
            nodeSelector:
              kubernetes.io/os: linux
      Copy to Clipboard Toggle word wrap

    2. 在 GitOps 仓库中添加 secret-provider-app.yaml 文件,为 AWS Secret Manager 创建应用程序和部署资源:

      secret-provider-app.yaml 文件示例

      apiVersion: argoproj.io/v1alpha1
      kind: Application
      metadata:
        name: secret-provider-app
        namespace: openshift-gitops
      spec:
        destination:
          namespace: openshift-cluster-csi-drivers
          server: https://kubernetes.default.svc
        project: default
        source:
          path: path/to/aws-provider/resources
          repoURL: https://github.com/<my-domain>/<gitops>.git 
      1
      
        syncPolicy:
          automated:
          prune: true
          selfHeal: true
      Copy to Clipboard Toggle word wrap

      1
      更新 repoURL 字段的值,以指向您的 GitOps 存储库。
  2. 将资源与默认的 Argo CD 实例同步,以在集群中部署这些资源:

    1. 在部署应用程序的 openshift-cluster-csi-drivers 命名空间中添加标签,以便 openshift-gitops 命名空间中的 Argo CD 实例可以管理它:

      $ oc label namespace openshift-cluster-csi-drivers argocd.argoproj.io/managed-by=openshift-gitops
      Copy to Clipboard Toggle word wrap
    2. 将 GitOps 存储库中的资源应用到集群,包括您刚才推送的 aws-provider.yaml 文件:

      输出示例

      application.argoproj.io/argo-app created
      application.argoproj.io/secret-provider-app created
      ...
      Copy to Clipboard Toggle word wrap

在 Argo CD UI 中,您可以观察 csi-secrets-store-provider-aws daemonset 继续同步资源。要解决这个问题,您必须配置 SSCSI 驱动程序来从 AWS Secret Manager 挂载 secret。

要安全地存储和管理您的 secret,请使用 GitOps 工作流,并将 Secret Store Container Storage Interface (SSCSI) Driver Operator 将 secret 从 AWS Secret Manager 挂载到 OpenShift Container Platform 中的 CSI 卷。例如,请考虑您要将 secret 挂载到 dev 命名空间下的部署 pod 中,该 pod 位于 /environments/dev/ 目录下。

先决条件

  • 您有 AWS Secrets Manager 资源存储在 GitOps 存储库中。

流程

  1. 运行以下命令,授予 csi-secrets-store-provider-aws 服务帐户的特权访问权限:

    $ oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-aws -n openshift-cluster-csi-drivers
    Copy to Clipboard Toggle word wrap

    输出示例

    clusterrole.rbac.authorization.k8s.io/system:openshift:scc:privileged added: "csi-secrets-store-provider-aws"
    Copy to Clipboard Toggle word wrap

  2. 授予服务帐户读取 AWS secret 对象的权限:

    1. 在 GitOps 仓库的命名空间范围的目录下创建一个 credentialsrequest-dir-aws 文件夹,因为凭据请求是命名空间范围的。例如,运行以下命令,在 dev 命名空间下创建一个 credentialsrequest-dir-aws 文件夹,它位于 /environments/dev/ 目录中:

      $ mkdir credentialsrequest-dir-aws
      Copy to Clipboard Toggle word wrap
    2. 使用 /environments/dev/credentialsrequest-dir-aws/ 路径中的凭证请求创建 YAML 文件,将 secret 挂载到 dev 命名空间中的部署 pod:

      credentialsrequest.yaml 文件示例

      apiVersion: cloudcredential.openshift.io/v1
      kind: CredentialsRequest
      metadata:
        name: aws-provider-test
        namespace: openshift-cloud-credential-operator
      spec:
        providerSpec:
          apiVersion: cloudcredential.openshift.io/v1
          kind: AWSProviderSpec
          statementEntries:
          - action:
            - "secretsmanager:GetSecretValue"
            - "secretsmanager:DescribeSecret"
            effect: Allow
            resource: "<aws_secret_arn>" 
      1
      
      secretRef:
        name: aws-creds
        namespace: dev 
      2
      
      serviceAccountNames:
        - default
      Copy to Clipboard Toggle word wrap

      2
      secret 引用的命名空间。根据项目部署设置更新此 namespace 字段的值。
      1
      集群所在的区域中的 secret 的 ARN。& lt;aws_ secret_arn> 的 <aws_ region> 必须与集群区域匹配。如果不匹配,在集群所在的区域中创建 secret 复制。
      提示

      要查找集群区域,请运行以下命令:

      $ oc get infrastructure cluster -o jsonpath='{.status.platformStatus.aws.region}'
      Copy to Clipboard Toggle word wrap

      输出示例

      us-west-2
      Copy to Clipboard Toggle word wrap

    3. 运行以下命令来检索 OIDC 供应商:

      $ oc get --raw=/.well-known/openid-configuration | jq -r '.issuer'
      Copy to Clipboard Toggle word wrap

      输出示例

      https://<oidc_provider_name>
      Copy to Clipboard Toggle word wrap

      从输出中复制 OIDC 供应商名称 <oidc_provider_name>,在下一步中使用。

    4. 运行以下命令,使用 ccoctl 工具处理凭证请求:

      $ ccoctl aws create-iam-roles \
          --name my-role --region=<aws_region> \
          --credentials-requests-dir=credentialsrequest-dir-aws \
          --identity-provider-arn arn:aws:iam::<aws_account>:oidc-provider/<oidc_provider_name> --output-dir=credrequests-ccoctl-output
      Copy to Clipboard Toggle word wrap

      输出示例

      2023/05/15 18:10:34 Role arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds created
      2023/05/15 18:10:34 Saved credentials configuration to: credrequests-ccoctl-output/manifests/my-namespace-aws-creds-credentials.yaml
      2023/05/15 18:10:35 Updated Role policy for Role my-role-my-namespace-aws-creds
      Copy to Clipboard Toggle word wrap

      从输出中复制 <aws_role_arn> 以在下一步中使用。例如,arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds

    5. 检查 AWS 上的角色策略,以确认角色策略中 "Resource"<aws_region > 与集群区域匹配:

      角色策略示例

      {
      	"Version": "2012-10-17",
      	"Statement": [
      		{
      			"Effect": "Allow",
      			"Action": [
      				"secretsmanager:GetSecretValue",
      				"secretsmanager:DescribeSecret"
      			],
      			"Resource": "arn:aws:secretsmanager:<aws_region>:<aws_account_id>:secret:my-secret-xxxxxx"
      		}
      	]
      }
      Copy to Clipboard Toggle word wrap

    6. 运行以下命令,使用角色 ARN 绑定服务帐户:

      $ oc annotate -n <namespace> sa/<app_service_account> eks.amazonaws.com/role-arn="<aws_role_arn>"
      Copy to Clipboard Toggle word wrap

      示例命令

      $ oc annotate -n dev sa/default eks.amazonaws.com/role-arn="<aws_role_arn>"
      Copy to Clipboard Toggle word wrap

      输出示例

      serviceaccount/default annotated
      Copy to Clipboard Toggle word wrap

  3. 创建命名空间范围的 SecretProviderClass 资源来定义您的 secret 存储供应商。例如,您可以在 GitOps 存储库的 /environments/dev/apps/app-taxi/services/taxi/base/config 目录中创建 SecretProviderClass 资源。

    1. 在目标部署位于 GitOps 存储库中的同一目录中创建一个 secret-provider-class-aws.yaml 文件:

      secret-provider-class-aws.yaml示例

      apiVersion: secrets-store.csi.x-k8s.io/v1
      kind: SecretProviderClass
      metadata:
        name: my-aws-provider 
      1
      
        namespace: dev 
      2
      
      spec:
        provider: aws 
      3
      
        parameters: 
      4
      
          objects: |
            - objectName: "testSecret" 
      5
      
              objectType: "secretsmanager"
      Copy to Clipboard Toggle word wrap

      1
      secret 供应商类的名称。
      2
      secret 供应商类的命名空间。命名空间必须与将使用 secret 的资源的命名空间匹配。
      3
      secret 存储供应商的名称。
      4
      指定特定于供应商的配置参数。
      5
      您在 AWS 中创建的 secret 名称。
    2. 在将此 YAML 文件推送到 GitOps 存储库后,验证命名空间范围的 SecretProviderClass 资源是否在 Argo CD UI 中的目标应用程序页面中填充。

      注意

      如果应用程序的 Sync Policy 没有设置为 Auto,您可以通过点 Argo CD UI 中的 Sync 来手动同步 SecretProviderClass 资源。

2.3.3. 配置 GitOps 受管资源以使用挂载的 secret

您必须通过将卷挂载配置添加到部署,并将容器 pod 配置为使用挂载的 secret 来配置 GitOps 管理的资源。

先决条件

  • 您有 AWS Secrets Manager 资源存储在 GitOps 存储库中。
  • 您已将 Secret Store Container Storage Interface (SSCSI)驱动程序配置为从 AWS Secret Manager 挂载 secret。

流程

  1. 配置 GitOps 受管资源。例如,请考虑将卷挂载配置添加到 app-taxi 应用的部署中,且 100-deployment.yaml 文件位于 /environments/dev/apps/app-taxi/services/taxi/base/config/ 目录中。

    1. 将卷挂载添加到部署 YAML 文件中,并将容器 pod 配置为使用 secret 供应商类资源和挂载的 secret:

      YAML 文件示例

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: taxi
        namespace: dev 
      1
      
      spec:
        replicas: 1
        template:
          metadata:
      # ...
          spec:
            containers:
              - image: nginxinc/nginx-unprivileged:latest
                imagePullPolicy: Always
                name: taxi
                ports:
                  - containerPort: 8080
                volumeMounts:
                  - name: secrets-store-inline
                    mountPath: "/mnt/secrets-store" 
      2
      
                    readOnly: true
                resources: {}
          serviceAccountName: default
          volumes:
            - name: secrets-store-inline
              csi:
                driver: secrets-store.csi.k8s.io
                readOnly: true
                volumeAttributes:
                  secretProviderClass: "my-aws-provider" 
      3
      
          status: {}
      # ...
      Copy to Clipboard Toggle word wrap

      1
      部署的命名空间。这必须与 secret 供应商类相同。
      2
      在卷挂载中挂载 secret 的路径。
      3
      secret 供应商类的名称。
    2. 将更新的资源 YAML 文件推送到 GitOps 存储库。
  2. 在 Argo CD UI 中,点目标应用程序页面中的 REFRESH 以应用更新的部署清单。
  3. 验证目标应用程序页面中都已成功同步所有资源。
  4. 验证您是否可以从 pod 卷挂载中的 AWS Secret Manager 访问 secret:

    1. 列出 pod 挂载中的 secret:

      $ oc exec <deployment_name>-<hash> -n <namespace> -- ls /mnt/secrets-store/
      Copy to Clipboard Toggle word wrap

      示例命令

      $ oc exec taxi-5959644f9-t847m -n dev -- ls /mnt/secrets-store/
      Copy to Clipboard Toggle word wrap

      输出示例

      <secret_name>
      Copy to Clipboard Toggle word wrap

    2. 查看 pod 挂载中的 secret:

      $ oc exec <deployment_name>-<hash> -n <namespace> -- cat /mnt/secrets-store/<secret_name>
      Copy to Clipboard Toggle word wrap

      示例命令

      $ oc exec taxi-5959644f9-t847m -n dev -- cat /mnt/secrets-store/testSecret
      Copy to Clipboard Toggle word wrap

      输出示例

      <secret_value>
      Copy to Clipboard Toggle word wrap

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat