セキュリティー

手順

1. OpenShift Container Platform Web コンソールにログインします。

2. autotls を有効にして Argo CD インスタンスを作成します。

   1. Web コンソールの Administrator パースペクティブで、左側のナビゲーションパネルを使用して、Administration → CustomResourceDefinitions に移動します。
   2. argocds.argoproj.io を検索し、ArgoCD カスタムリソース定義 (CRD) をクリックします。
   3. CustomResourceDefinition の詳細 ページで、Instances タブをクリックし、Create ArgoCD をクリックします。

   4. 次の例のように YAML を編集または置換します。

      autotls を有効にした Argo CD CR の例

      apiVersion: argoproj.io/v1beta1
      kind: ArgoCD
      metadata:
        name: argocd 

      1

      
        namespace: openshift-gitops 

      2

      
      spec:
        redis:
          autotls: openshift 

      3

      
        ha:
          enabled: true 

      4

      1

      Argo CD インスタンスの名前。

      2

      Argo CD インスタンスを実行する namespace。

      3

      autotls 設定を有効にし、Redis の TLS 証明書を作成するフラグ。

      4

      HA 機能を有効にするフラグの値。HA を有効にしたくない場合は、この行を含めないか、フラグ値を false に設定します。

      ヒント

      あるいは、次のコマンドを実行して、既存の Argo CD インスタンスで autotls に設定を有効にすることもできます。

      $ oc patch argocds.argoproj.io <instance-name> --type=merge -p '{"spec":{"redis":{"autotls":"openshift"}}}'

   5. Create をクリックします。

   6. Argo CD Pod が準備ができており、実行中であることを確認します。

      $ oc get pods -n <namespace> 

      1

      1

      Argo CD インスタンスが実行されている namespace (例: openshift-gitops) を指定します。

      HA を無効にした場合の出力例

      NAME                                  READY   STATUS    RESTARTS   AGE
      argocd-application-controller-0       1/1     Running   0          26s
      argocd-redis-84b77d4f58-vp6zm         1/1     Running   0          37s
      argocd-repo-server-5b959b57f4-znxjq   1/1     Running   0          37s
      argocd-server-6b8787d686-wv9zh        1/1     Running   0          37s

      注記

      HA 対応の TLS 設定には、少なくとも 3 つのワーカーノードを備えたクラスターが必要です。HA 設定で Argo CD インスタンスを有効にしている場合は、出力が表示されるまでに数分かかることがあります。

      HA を有効にした場合の出力例

      NAME                                       READY   STATUS    RESTARTS   AGE
      argocd-application-controller-0            1/1     Running   0          10m
      argocd-redis-ha-haproxy-669757fdb7-5xg8h   1/1     Running   0          10m
      argocd-redis-ha-server-0                   2/2     Running   0          9m9s
      argocd-redis-ha-server-1                   2/2     Running   0          98s
      argocd-redis-ha-server-2                   2/2     Running   0          53s
      argocd-repo-server-576499d46d-8hgbh        1/1     Running   0          10m
      argocd-server-9486f88b7-dk2ks              1/1     Running   0          10m

3. argocd-operator-redis-tls シークレットが作成されていることを確認します。

   $ oc get secrets argocd-operator-redis-tls -n <namespace> 

   1

   1

   Argo CD インスタンスが実行されている namespace (例: openshift-gitops) を指定します。

   出力例

   NAME                        TYPE                DATA   AGE
   argocd-operator-redis-tls   kubernetes.io/tls   2      30s

   シークレットは kubernetes.io/tls タイプで、サイズが 2 である必要があります。

手順

1. OpenShift Container Platform Web コンソールにログインします。

2. Argo CD インスタンスを作成します。

   1. Web コンソールの Administrator パースペクティブで、左側のナビゲーションパネルを使用して、Administration → CustomResourceDefinitions に移動します。
   2. argocds.argoproj.io を検索し、ArgoCD カスタムリソース定義 (CRD) をクリックします。
   3. CustomResourceDefinition の詳細 ページで、Instances タブをクリックし、Create ArgoCD をクリックします。

   4. 次の例のように YAML を編集または置換します。

      autotls を無効にした ArgoCD CR の例

      apiVersion: argoproj.io/v1beta1
      kind: ArgoCD
      metadata:
        name: argocd 

      1

      
        namespace: openshift-gitops 

      2

      
      spec:
        ha:
          enabled: true 

      3

      1

      Argo CD インスタンスの名前。

      2

      Argo CD インスタンスを実行する namespace。

      3

      HA 機能を有効にするフラグの値。HA を有効にしたくない場合は、この行を含めないか、フラグ値を false に設定します。

   5. Create をクリックします。

   6. Argo CD Pod が準備ができており、実行中であることを確認します。

      $ oc get pods -n <namespace> 

      1

      1

      Argo CD インスタンスが実行されている namespace (例: openshift-gitops) を指定します。

      HA を無効にした場合の出力例

      NAME                                  READY   STATUS    RESTARTS   AGE
      argocd-application-controller-0       1/1     Running   0          26s
      argocd-redis-84b77d4f58-vp6zm         1/1     Running   0          37s
      argocd-repo-server-5b959b57f4-znxjq   1/1     Running   0          37s
      argocd-server-6b8787d686-wv9zh        1/1     Running   0          37s

      注記

      HA 対応の TLS 設定には、少なくとも 3 つのワーカーノードを備えたクラスターが必要です。HA 設定で Argo CD インスタンスを有効にしている場合は、出力が表示されるまでに数分かかることがあります。

      HA を有効にした場合の出力例

      NAME                                       READY   STATUS    RESTARTS   AGE
      argocd-application-controller-0            1/1     Running   0          10m
      argocd-redis-ha-haproxy-669757fdb7-5xg8h   1/1     Running   0          10m
      argocd-redis-ha-server-0                   2/2     Running   0          9m9s
      argocd-redis-ha-server-1                   2/2     Running   0          98s
      argocd-redis-ha-server-2                   2/2     Running   0          53s
      argocd-repo-server-576499d46d-8hgbh        1/1     Running   0          10m
      argocd-server-9486f88b7-dk2ks              1/1     Running   0          10m

3. HA 設定に応じて、次のいずれかのオプションを使用して、Redis サーバーの自己署名証明書を作成します。

   • HA が無効になっている Argo CD インスタンスの場合は、次のコマンドを実行します。

     $ openssl req -new -x509 -sha256 \
       -subj "/C=XX/ST=XX/O=Testing/CN=redis" \
       -reqexts SAN -extensions SAN \
       -config <(printf "\n[SAN]\nsubjectAltName=DNS:argocd-redis.<namespace>.svc.cluster.local\n[req]\ndistinguished_name=req") \ 

     1

     
       -keyout /tmp/redis.key \
       -out /tmp/redis.crt \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -days 10

     1

     Argo CD インスタンスが実行されている namespace (例: openshift-gitops) を指定します。

     出力例

     Generating a RSA private key
     ...............++++
     ............................++++
     writing new private key to '/tmp/redis.key'

   • HA が有効になっている Argo CD インスタンスの場合は、以下のコマンドを実行します。

     $ openssl req -new -x509 -sha256 \
       -subj "/C=XX/ST=XX/O=Testing/CN=redis" \
       -reqexts SAN -extensions SAN \
       -config <(printf "\n[SAN]\nsubjectAltName=DNS:argocd-redis-ha-haproxy.<namespace>.svc.cluster.local\n[req]\ndistinguished_name=req") \ 

     1

     
       -keyout /tmp/redis-ha.key \
       -out /tmp/redis-ha.crt \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -days 10

     1

     Argo CD インスタンスが実行されている namespace (例: openshift-gitops) を指定します。

     出力例

     Generating a RSA private key
     ...............++++
     ............................++++
     writing new private key to '/tmp/redis-ha.key'

4. 次のコマンドを実行して、生成された証明書とキーが /tmp ディレクトリーで利用できることを確認します。

   $ cd /tmp

   $ ls

   HA を無効にした場合の出力例

   ...
   redis.crt
   redis.key
   ...

   HA を有効にした場合の出力例

   ...
   redis-ha.crt
   redis-ha.key
   ...

5. HA 設定に応じて、次のいずれかのオプションを使用して、argocd-operator-redis-tls シークレットを作成します。

   • HA が無効になっている Argo CD インスタンスの場合は、次のコマンドを実行します。

     $ oc create secret tls argocd-operator-redis-tls --key=/tmp/redis.key --cert=/tmp/redis.crt

   • HA が有効になっている Argo CD インスタンスの場合は、以下のコマンドを実行します。

     $ oc create secret tls argocd-operator-redis-tls --key=/tmp/redis-ha.key --cert=/tmp/redis-ha.crt

     出力例

     secret/argocd-operator-redis-tls created

6. シークレットにアノテーションを付けて、それが Argo CD CR に属していることを示します。

   $ oc annotate secret argocd-operator-redis-tls argocds.argoproj.io/name=<instance-name> 

   1

   1

   Argo CD インスタンスの名前を指定します (例: argocd)。

   出力例

   secret/argocd-operator-redis-tls annotated

7. Argo CD Pod が準備ができており、実行中であることを確認します。

   $ oc get pods -n <namespace> 

   1

   1

   Argo CD インスタンスが実行されている namespace (例: openshift-gitops) を指定します。

   HA を無効にした場合の出力例

   NAME                                  READY   STATUS    RESTARTS   AGE
   argocd-application-controller-0       1/1     Running   0          26s
   argocd-redis-84b77d4f58-vp6zm         1/1     Running   0          37s
   argocd-repo-server-5b959b57f4-znxjq   1/1     Running   0          37s
   argocd-server-6b8787d686-wv9zh        1/1     Running   0          37s

   注記

   HA 設定で Argo CD インスタンスを有効にしている場合は、出力が表示されるまでに数分かかることがあります。

   HA を有効にした場合の出力例

   NAME                                       READY   STATUS    RESTARTS   AGE
   argocd-application-controller-0            1/1     Running   0          10m
   argocd-redis-ha-haproxy-669757fdb7-5xg8h   1/1     Running   0          10m
   argocd-redis-ha-server-0                   2/2     Running   0          9m9s
   argocd-redis-ha-server-1                   2/2     Running   0          98s
   argocd-redis-ha-server-2                   2/2     Running   0          53s
   argocd-repo-server-576499d46d-8hgbh        1/1     Running   0          10m
   argocd-server-9486f88b7-dk2ks              1/1     Running   0          10m

1. GitOps リポジトリーへの AWS Secrets Manager リソースの保存
2. AWS Secrets Manager からシークレットをマウントする SSCSI ドライバーの設定
3. マウントされたシークレットを使用するための GitOps 管理リソースの設定

手順

1. AWS Secrets Manager プロバイダーをインストールし、リソースを追加します。

   1. GitOps リポジトリーでディレクトリーを作成し、aws-provider.yaml ファイルを次の設定に追加して、AWS Secrets Manager プロバイダーのリソースをデプロイします。

      重要

      SSCSI ドライバー用の AWS Secrets Manager プロバイダーは、アップストリームのプロバイダーです。

      この設定は、OpenShift Container Platform で適切に動作するように、アップストリームの AWS ドキュメント で提供されている設定から変更されています。この設定を変更すると、機能に影響が出る場合があります。

      aws-provider.yaml ファイルの例

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRole
      metadata:
        name: csi-secrets-store-provider-aws-cluster-role
      rules:
      - apiGroups: [""]
        resources: ["serviceaccounts/token"]
        verbs: ["create"]
      - apiGroups: [""]
        resources: ["serviceaccounts"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["pods"]
        verbs: ["get"]
      - apiGroups: [""]
        resources: ["nodes"]
        verbs: ["get"]
      ---
      apiVersion: rbac.authorization.k8s.io/v1
      kind: ClusterRoleBinding
      metadata:
        name: csi-secrets-store-provider-aws-cluster-rolebinding
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: ClusterRole
        name: csi-secrets-store-provider-aws-cluster-role
      subjects:
      - kind: ServiceAccount
        name: csi-secrets-store-provider-aws
        namespace: openshift-cluster-csi-drivers
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        namespace: openshift-cluster-csi-drivers
        name: csi-secrets-store-provider-aws
        labels:
          app: csi-secrets-store-provider-aws
      spec:
        updateStrategy:
          type: RollingUpdate
        selector:
          matchLabels:
            app: csi-secrets-store-provider-aws
        template:
          metadata:
            labels:
              app: csi-secrets-store-provider-aws
          spec:
            serviceAccountName: csi-secrets-store-provider-aws
            hostNetwork: false
            containers:
              - name: provider-aws-installer
                image: public.ecr.aws/aws-secrets-manager/secrets-store-csi-driver-provider-aws:1.0.r2-50-g5b4aca1-2023.06.09.21.19
                imagePullPolicy: Always
                args:
                    - --provider-volume=/etc/kubernetes/secrets-store-csi-providers
                resources:
                  requests:
                    cpu: 50m
                    memory: 100Mi
                  limits:
                    cpu: 50m
                    memory: 100Mi
                securityContext:
                  privileged: true
                volumeMounts:
                  - mountPath: "/etc/kubernetes/secrets-store-csi-providers"
                    name: providervol
                  - name: mountpoint-dir
                    mountPath: /var/lib/kubelet/pods
                    mountPropagation: HostToContainer
            tolerations:
            - operator: Exists
            volumes:
              - name: providervol
                hostPath:
                  path: "/etc/kubernetes/secrets-store-csi-providers"
              - name: mountpoint-dir
                hostPath:
                  path: /var/lib/kubelet/pods
                  type: DirectoryOrCreate
            nodeSelector:
              kubernetes.io/os: linux

   2. GitOps リポジトリーに secret-provider-app.yaml ファイルを追加して、アプリケーションを作成し、AWS Secrets Manager のリソースをデプロイします。

      secret-provider-app.yaml ファイルの例

      apiVersion: argoproj.io/v1alpha1
      kind: Application
      metadata:
        name: secret-provider-app
        namespace: openshift-gitops
      spec:
        destination:
          namespace: openshift-cluster-csi-drivers
          server: https://kubernetes.default.svc
        project: default
        source:
          path: path/to/aws-provider/resources
          repoURL: https://github.com/<my-domain>/<gitops>.git 

      1

      
        syncPolicy:
          automated:
          prune: true
          selfHeal: true

      1

      repoURL フィールドの値を更新して、GitOps リポジトリーを指すようにします。

2. リソースをデフォルトの Argo CD インスタンスと同期して、それらをクラスターにデプロイします。

   1. アプリケーションがデプロイされている openshift-cluster-csi-drivers namespace にラベルを追加し、openshift-gitops namespace の Argo CD インスタンスが管理できるようにします。

      $ oc label namespace openshift-cluster-csi-drivers argocd.argoproj.io/managed-by=openshift-gitops

   2. プッシュした aws-provider.yaml ファイルを含む、GitOps リポジトリー内のリソースをクラスターに適用します。

      出力例

      application.argoproj.io/argo-app created
      application.argoproj.io/secret-provider-app created
      ...

手順

1. 次のコマンドを実行して、csi-secrets-store-provider-aws サービスアカウントへの特権アクセスを付与します。

   $ oc adm policy add-scc-to-user privileged -z csi-secrets-store-provider-aws -n openshift-cluster-csi-drivers

   出力例

   clusterrole.rbac.authorization.k8s.io/system:openshift:scc:privileged added: "csi-secrets-store-provider-aws"

2. サービスアカウントに AWS シークレットオブジェクトの読み取りを許可するアクセス許可を付与します。

   1. 認証情報要求は namespace スコープであるため、GitOps リポジトリーの namespace スコープディレクトリーに credentialsrequest-dir-aws フォルダーを作成します。たとえば、次のコマンドを実行して、/environments/dev/ ディレクトリーにある dev namespace に credentialsrequest-dir-aws フォルダーを作成します。

      $ mkdir credentialsrequest-dir-aws

   2. /environments/dev/credentialsrequest-dir-aws/ パスに認証情報リクエスト用の次の設定を含む YAML ファイルを作成し、dev namespace のデプロイメント Pod にシークレットをマウントします。

      credentialsrequest.yaml ファイルの例

      apiVersion: cloudcredential.openshift.io/v1
      kind: CredentialsRequest
      metadata:
        name: aws-provider-test
        namespace: openshift-cloud-credential-operator
      spec:
        providerSpec:
          apiVersion: cloudcredential.openshift.io/v1
          kind: AWSProviderSpec
          statementEntries:
          - action:
            - "secretsmanager:GetSecretValue"
            - "secretsmanager:DescribeSecret"
            effect: Allow
            resource: "<aws_secret_arn>" 

      1

      
      secretRef:
        name: aws-creds
        namespace: dev 

      2

      
      serviceAccountNames:
        - default

      2

      シークレット参照の namespace。プロジェクトのデプロイメント設定に従って、この namespace フィールドの値を更新します。

      1

      クラスターが置かれているリージョンのシークレットの ARN。<aws_secret_arn> の <aws_region> は、クラスターのリージョンと一致する必要があります。一致しない場合は、クラスターが置かれているリージョンにシークレットのレプリケーションを作成します。

      ヒント

      クラスターリージョンを見つけるには、次のコマンドを実行します。

      $ oc get infrastructure cluster -o jsonpath='{.status.platformStatus.aws.region}'

      出力例

      us-west-2

   3. 次のコマンドを実行して、OIDC プロバイダーを取得します。

      $ oc get --raw=/.well-known/openid-configuration | jq -r '.issuer'

      出力例

      https://<oidc_provider_name>

      次のステップで使用するために、出力から OIDC プロバイダー名 <oidc_provider_name> をコピーします。

   4. ccoctl ツールを使用して、次のコマンドを実行して認証情報リクエストを処理します。

      $ ccoctl aws create-iam-roles \
          --name my-role --region=<aws_region> \
          --credentials-requests-dir=credentialsrequest-dir-aws \
          --identity-provider-arn arn:aws:iam::<aws_account>:oidc-provider/<oidc_provider_name> --output-dir=credrequests-ccoctl-output

      出力例

      2023/05/15 18:10:34 Role arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds created
      2023/05/15 18:10:34 Saved credentials configuration to: credrequests-ccoctl-output/manifests/my-namespace-aws-creds-credentials.yaml
      2023/05/15 18:10:35 Updated Role policy for Role my-role-my-namespace-aws-creds

      次のステップで使用するために、出力から <aws_role_arn> をコピーします。たとえば、arn:aws:iam::<aws_account_id>:role/my-role-my-namespace-aws-creds です。

   5. AWS のロールポリシーをチェックして、ロールポリシー内の "Resource" の <aws_region> がクラスターリージョンと一致していることを確認します。

      ロールポリシーの例

      {
      	"Version": "2012-10-17",
      	"Statement": [
      		{
      			"Effect": "Allow",
      			"Action": [
      				"secretsmanager:GetSecretValue",
      				"secretsmanager:DescribeSecret"
      			],
      			"Resource": "arn:aws:secretsmanager:<aws_region>:<aws_account_id>:secret:my-secret-xxxxxx"
      		}
      	]
      }

   6. 次のコマンドを実行して、ロール ARN を持つサービスアカウントをバインドします。

      $ oc annotate -n <namespace> sa/<app_service_account> eks.amazonaws.com/role-arn="<aws_role_arn>"

      コマンドの例

      $ oc annotate -n dev sa/default eks.amazonaws.com/role-arn="<aws_role_arn>"

      出力例

      serviceaccount/default annotated

3. namespace スコープの SecretProviderClass リソースを作成し、シークレットストアプロバイダーを定義します。たとえば、GitOps リポジトリーの /environments/dev/apps/app-taxi/services/taxi/base/config ディレクトリーに SecretProviderClass リソースを作成します。

   1. ターゲットのデプロイメントが GitOps リポジトリーにあるのと同じディレクトリーに、secret-provider-class-aws.yaml ファイルを作成します。

      secret-provider-class-aws.yaml の例

      apiVersion: secrets-store.csi.x-k8s.io/v1
      kind: SecretProviderClass
      metadata:
        name: my-aws-provider 

      1

      
        namespace: dev 

      2

      
      spec:
        provider: aws 

      3

      
        parameters: 

      4

      
          objects: |
            - objectName: "testSecret" 

      5

      
              objectType: "secretsmanager"

      1

      シークレットプロバイダークラスの名前。

      2

      シークレットプロバイダークラスの namespace。namespace は、シークレットを使用するリソースの namespace と一致する必要があります。

      3

      シークレットストアプロバイダーの名前。

      4

      プロバイダー固有の設定パラメーターを指定します。

      5

      AWS で作成したシークレット名。

   2. この YAML ファイルを GitOps リポジトリーにプッシュした後、namespace スコープの SecretProviderClass リソースが Argo CD UI のターゲットアプリケーションページに設定されていることを確認します。

      注記

      アプリケーションの Sync Policy が Auto に設定されていない場合は、Argo CD UI で Sync をクリックして、SecretProviderClass リソースを手動で同期できます。

手順

1. GitOps 管理リソースを設定します。たとえば、app-taxi アプリケーションのデプロイメントにボリュームのマウント設定を追加し、100-deployment.yaml ファイルが /environments/dev/apps/app-taxi/services/taxi/base/config/ ディレクトリーにあるとします。

   1. デプロイメント YAML ファイルにボリュームマウントを追加し、シークレットプロバイダークラスリソースおよびマウントされたシークレットを使用するようにコンテナー Pod を設定します。

      サンプル YAML ファイル

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: taxi
        namespace: dev 

      1

      
      spec:
        replicas: 1
        template:
          metadata:
      # ...
          spec:
            containers:
              - image: nginxinc/nginx-unprivileged:latest
                imagePullPolicy: Always
                name: taxi
                ports:
                  - containerPort: 8080
                volumeMounts:
                  - name: secrets-store-inline
                    mountPath: "/mnt/secrets-store" 

      2

      
                    readOnly: true
                resources: {}
          serviceAccountName: default
          volumes:
            - name: secrets-store-inline
              csi:
                driver: secrets-store.csi.k8s.io
                readOnly: true
                volumeAttributes:
                  secretProviderClass: "my-aws-provider" 

      3

      
          status: {}
      # ...

      1

      デプロイメントの namespace。これは、シークレットプロバイダークラスと同じ namespace である必要があります。

      2

      ボリュームマウントにシークレットをマウントするパス。

      3

      シークレットプロバイダークラスの名前。

   2. 更新されたリソース YAML ファイルを GitOps リポジトリーにプッシュします。
2. Argo CD UI で、ターゲットアプリケーションページで REFRESH をクリックし、更新されたデプロイメントマニフェストを適用します。
3. ターゲットアプリケーションページですべてのリソースが正常に同期されていることを確認します。

4. Pod ボリュームマウントの AWS Secrets Manager からシークレットにアクセスできることを確認します。

   1. Pod マウント内のシークレットをリスト表示します。

      $ oc exec <deployment_name>-<hash> -n <namespace> -- ls /mnt/secrets-store/

      コマンドの例

      $ oc exec taxi-5959644f9-t847m -n dev -- ls /mnt/secrets-store/

      出力例

      <secret_name>

   2. Pod マウントのシークレットを表示します。

      $ oc exec <deployment_name>-<hash> -n <namespace> -- cat /mnt/secrets-store/<secret_name>

      コマンドの例

      $ oc exec taxi-5959644f9-t847m -n dev -- cat /mnt/secrets-store/testSecret

      出力例

      <secret_value>