ビルダーとイメージの自動化

手順

1. ビルドが実行されるプロジェクト (例: bare-metal-builder) を作成するには、次のコマンドを入力します。

   $ oc new-project bare-metal-builder

2. 次のコマンドを入力して、bare-metal-builder namespace に新しい ServiceAccount を作成します。

   $ oc create sa -n bare-metal-builder quay-builder

3. 次のコマンドを入力して、ユーザーに bare-metal-builder namespace 内での edit ロールを付与します。

   $ oc policy add-role-to-user -n bare-metal-builder edit system:serviceaccount:bare-metal-builder:quay-builder

4. 次のコマンドを入力して、bare-metal-builder namespace の quay-builder サービスアカウントに関連付けられたトークンを取得します。このトークンは、OpenShift Container Platform クラスターの API サーバーの認証と対話に使用されます。

   1. OpenShift Container Platform クラスターのバージョンが 4.11 以上の場合は、次のコマンドを入力します。

      oc create token quay-builder  -n bare-metal-builder --duration 24h

   2. OpenShift Container Platform クラスターがバージョン 4.11 より前 (たとえばバージョン 4.10) の場合は、次のコマンドを入力します。

      $ oc sa get-token -n bare-metal-builder quay-builder

5. OpenShift Container Platform クラスターの API サーバーの URL を特定します。これは、OpenShift Container Platform Web コンソールで確認できます。

6. ビルドジョブ をスケジュールするときに使用するワーカーノードラベルを識別します。ビルド Pod はベアメタルワーカーノード上で実行する必要があるため、これらは通常、特定のラベルで識別されます。

   どのノードラベルを使用すべきかは、クラスター管理者に確認してください。

7. Red Hat Quay の追加証明書に追加するには、Kube API Server の認証局 (CA) を取得します。

   1. OpenShift Container Platform バージョン 4.15 以降では、次のコマンドを入力して、CA を含むシークレットの名前を取得します。

      $ oc extract cm/kube-root-ca.crt -n openshift-apiserver

      $ mv ca.crt build_cluster.crt

   2. OpenShift Container Platform バージョン 4.15 より前 (例: 4.14) の場合は、次のコマンドを入力します。

      $ oc get sa openshift-apiserver-sa --namespace=openshift-apiserver -o json | jq '.secrets[] | select(.name | contains("openshift-apiserver-sa-token"))'.name

   3. OpenShift Container Platform Web コンソールで、シークレットから ca.crt キーの値を取得します。値は "-----BEGIN CERTIFICATE-----"` で始まります。
   4. CA を Red Hat Quay にインポートします。このファイルの名前が、手順 9 で使用した K8S_API_TLS_CA フィールドと一致していることを確認します。

8. ServiceAccount に対して次の SecurityContextConstraints リソースを作成します。

   apiVersion: security.openshift.io/v1
   kind: SecurityContextConstraints
   metadata:
     name: quay-builder
   priority: null
   readOnlyRootFilesystem: false
   requiredDropCapabilities: null
   runAsUser:
     type: RunAsAny
   seLinuxContext:
     type: RunAsAny
   seccompProfiles:
   - '*'
   supplementalGroups:
     type: RunAsAny
   volumes:
   - '*'
   allowHostDirVolumePlugin: true
   allowHostIPC: true
   allowHostNetwork: true
   allowHostPID: true
   allowHostPorts: true
   allowPrivilegeEscalation: true
   allowPrivilegedContainer: true
   allowedCapabilities:
   - '*'
   allowedUnsafeSysctls:
   - '*'
   defaultAddCapabilities: null
   fsGroup:
     type: RunAsAny
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: Role
   metadata:
     name: quay-builder-scc
     namespace: bare-metal-builder
   rules:
   - apiGroups:
     - security.openshift.io
     resourceNames:
     - quay-builder
     resources:
     - securitycontextconstraints
     verbs:
     - use
   ---
   apiVersion: rbac.authorization.k8s.io/v1
   kind: RoleBinding
   metadata:
     name: quay-builder-scc
     namespace: bare-metal-builder
   subjects:
   - kind: ServiceAccount
     name: quay-builder
   roleRef:
     apiGroup: rbac.authorization.k8s.io
     kind: Role
     name: quay-builder-scc

9. OpenShift Container Platform Web コンソールを使用して、Red Hat Quay on OpenShift Container Platform デプロイメントの config.yaml ファイルを更新し、適切な ベアメタルビルド 設定を含めます。

   1. Operators → Installed Operators → Red Hat Quay → Quay Registry をクリックします。
   2. レジストリーの名前 (例: example-registry) をクリックします。
   3. Config Bundle Secret の下で、設定バンドルの名前 (例: extra-ca-certificate-config-bundle-secret) をクリックします。
   4. Actions → Edit Secret をクリックします。

   5. 以下の情報を Red Hat Quay の config.yaml ファイルに追加し、各値をお客様のインストールに関連する情報に置き換えます。

      FEATURE_USER_INITIALIZE: true
      BROWSER_API_CALLS_XHR_ONLY: false
      SUPER_USERS:
      - <superusername>
      FEATURE_USER_CREATION: false
      FEATURE_QUOTA_MANAGEMENT: true
      FEATURE_BUILD_SUPPORT: True
      BUILDMAN_HOSTNAME: ${BUILDMAN_HOSTNAME}:443 1
      BUILD_MANAGER:
      - ephemeral
      - ALLOWED_WORKER_COUNT: 10
        ORCHESTRATOR_PREFIX: buildman/production/
          ORCHESTRATOR:
            REDIS_HOST: <sample_redis_hostname> 2
            REDIS_PASSWORD: ""
            REDIS_SSL: false
            REDIS_SKIP_KEYSPACE_EVENT_SETUP: false
        EXECUTORS:
        - EXECUTOR: kubernetes
          BUILDER_NAMESPACE: <sample_builder_namespace> 3
          K8S_API_SERVER: <sample_k8s_api_server> 4
          K8S_API_TLS_CA: <sample_crt_file> 5
          VOLUME_SIZE: 8G
          KUBERNETES_DISTRIBUTION: openshift
          CONTAINER_MEMORY_LIMITS: 1G 6
          CONTAINER_CPU_LIMITS: 300m 7
          CONTAINER_MEMORY_REQUEST: 1G 8
          CONTAINER_CPU_REQUEST: 300m 9
          NODE_SELECTOR_LABEL_KEY: beta.kubernetes.io/instance-type
          NODE_SELECTOR_LABEL_VALUE: n1-standard-4
          CONTAINER_RUNTIME: podman
          SERVICE_ACCOUNT_NAME: <sample_service_account_name>
          SERVICE_ACCOUNT_TOKEN: <sample_account_token> 10
          QUAY_USERNAME: <quay_username>
          QUAY_PASSWORD: <quay_password>
          WORKER_IMAGE: <registry>/quay-quay-builder
          WORKER_TAG: <some_tag>
          BUILDER_VM_CONTAINER_IMAGE: registry.redhat.io/quay/quay-builder-qemu-rhcos-rhel8:v3.9.10-4
          SETUP_TIME: 180
          MINIMUM_RETRY_THRESHOLD: 0
          SSH_AUTHORIZED_KEYS: 11
          - <ssh-rsa 12345 someuser@email.com>
          - <ssh-rsa 67890 someuser2@email.com>
          HTTP_PROXY: <http://10.0.0.1:80>
          HTTPS_PROXY: <http://10.0.0.1:80>
          NO_PROXY: <hostname.example.com>

      1

      次のコマンドを実行して取得します: $ oc get route quayregistry-quay-builder -n ${QUAY_PROJECT} -o jsonpath='{.spec.host}'

      2

      Redis サービスのホスト名。

      3

      ベアメタルビルド namespace の名前と一致するように設定します。この例では bare-metal-builder を使用しました。

      4

      K8S_API_SERVER は、$ oc cluster-info を実行して取得します。

      5

      カスタム CA 証明書を手動で作成して追加する必要があります (例 K8S_API_TLS_CA: /conf/stack/extra_ca_certs/build-cluster.crt)。

      6

      指定しないと、デフォルトは 5120Mi です。

      7

      指定しないと、デフォルトは 1000m です。

      8

      指定しないと、デフォルトは 3968Mi です。

      9

      指定しないと、デフォルトは 500m です。

      10

      $ oc create sa の実行時に取得します。

      11

      リモートトラブルシューティングアクセス用に、ビルド環境に公開 SSH キーを追加できるようにします。このキーは、管理者または開発者がデバッグの目的でビルドワーカーに SSH 接続するために使用する秘密鍵に対応している必要があります。このキーは、特定の SSH キーとポートを使用してリモートホストへの SSH 接続を確立することによって取得できます。例: $ ssh -i /path/to/ssh/key/set/in/ssh_authorized_keys -p 9999 core@localhost

10. ビルド 機能を有効にするには、Red Hat Quay レジストリーを再起動します。

手順

1. 次のコマンドを実行して、仮想ビルダーが実行される新しいプロジェクト (virtual-builders など) を作成します。

   $ oc new-project virtual-builders

2. 次のコマンドを入力して、ビルド の実行に使用されるプロジェクトに ServiceAccount を作成します。

   $ oc create sa -n virtual-builders quay-builder

   出力例

   serviceaccount/quay-builder created

3. 作成されたサービスアカウントに編集権限を付与して、ビルド を実行できるようにします。

   $ oc adm policy -n virtual-builders add-role-to-user edit system:serviceaccount:virtual-builders:quay-builder

   出力例

   clusterrole.rbac.authorization.k8s.io/edit added: "system:serviceaccount:virtual-builders:quay-builder"

4. 次のコマンドを入力して、ビルダー ワーカーに anyuid scc 権限を付与します。これにはクラスター管理者権限が必要です。これは、権限のないビルドまたはルートレスビルドが機能するためには、ビルダー を Podman ユーザーとして実行する必要があるために必要です。

   $ oc adm policy -n virtual-builders add-scc-to-user anyuid -z quay-builder

   出力例

   clusterrole.rbac.authorization.k8s.io/system:openshift:scc:anyuid added: "quay-builder"

5. 次のコマンドを入力して、builder サービスアカウントのトークンを取得します。

   $ oc create token quay-builder -n virtual-builders

   注記

   トークンの有効期限が切れたら、新しいトークンを要求する必要があります。必要に応じて、カスタムの有効期限を追加することもできます。たとえば、トークンを 2 週間保持するには、--duration 20160m と指定します。

   出力例

   eyJhbGciOiJSUzI1NiIsImtpZCI6IldfQUJkaDVmb3ltTHZ0dGZMYjhIWnYxZTQzN2dJVEJxcDJscldSdEUtYWsifQ...

6. 次のコマンドを入力して、ビルダー ルートを決定します。

   $ oc get route -n quay-enterprise

   出力例

   NAME: example-registry-quay-builder
   HOST/PORT: example-registry-quay-builder-quay-enterprise.apps.stevsmit-cluster-new.gcp.quaydev.org
   PATH:
   SERVICES: example-registry-quay-app
   PORT: grpc
   TERMINATION: passthrough/Redirect
   WILDCARD: None

7. 次のコマンドを入力して、.crt エクステンションを持つ自己署名 SSL/TLS 証明書を生成します。

   $ oc extract cm/kube-root-ca.crt -n openshift-apiserver

   出力例

   ca.crt

8. 次のコマンドを入力して、ca.crt ファイルの名前を build-cluster.crt に変更します。

   $ mv ca.crt build-cluster.crt

9. OpenShift Container Platform Web コンソールを使用して、Red Hat Quay on OpenShift Container Platform デプロイメントの config.yaml ファイルを更新し、適切な 仮想ビルド 設定を含めます。

   1. Operators → Installed Operators → Red Hat Quay → Quay Registry をクリックします。
   2. レジストリーの名前 (例: example-registry) をクリックします。
   3. Config Bundle Secret の下で、設定バンドルの名前 (例: extra-ca-certificate-config-bundle-secret) をクリックします。
   4. Actions → Edit Secret をクリックします。

   5. 以下を参考にして適切な 仮想ビルド 設定を追加します。

      FEATURE_USER_INITIALIZE: true
      BROWSER_API_CALLS_XHR_ONLY: false
      SUPER_USERS:
      - <superusername>
      FEATURE_USER_CREATION: false
      FEATURE_QUOTA_MANAGEMENT: true
      FEATURE_BUILD_SUPPORT: True
      BUILDMAN_HOSTNAME: <sample_build_route> 1
      BUILD_MANAGER:
        - ephemeral
        - ALLOWED_WORKER_COUNT: 1
          ORCHESTRATOR_PREFIX: buildman/production/
          JOB_REGISTRATION_TIMEOUT: 3600 2
          ORCHESTRATOR:
            REDIS_HOST: <sample_redis_hostname> 3
            REDIS_PASSWORD: ""
            REDIS_SSL: false
            REDIS_SKIP_KEYSPACE_EVENT_SETUP: false
          EXECUTORS:
            - EXECUTOR: kubernetesPodman
              NAME: openshift
              BUILDER_NAMESPACE: <sample_builder_namespace> 4
              SETUP_TIME: 180
              MINIMUM_RETRY_THRESHOLD: 0
              BUILDER_CONTAINER_IMAGE: quay.io/projectquay/quay-builder:{producty}
              # Kubernetes resource options
              K8S_API_SERVER: <sample_k8s_api_server> 5
              K8S_API_TLS_CA: <sample_crt_file> 6
              VOLUME_SIZE: 8G
              KUBERNETES_DISTRIBUTION: openshift
              CONTAINER_MEMORY_LIMITS: 1G 7
              CONTAINER_CPU_LIMITS: 300m 8
              CONTAINER_MEMORY_REQUEST: 1G 9
              CONTAINER_CPU_REQUEST: 300m 10
              NODE_SELECTOR_LABEL_KEY: ""
              NODE_SELECTOR_LABEL_VALUE: ""
              SERVICE_ACCOUNT_NAME: <sample_service_account_name>
              SERVICE_ACCOUNT_TOKEN: <sample_account_token> 11
              HTTP_PROXY: <http://10.0.0.1:80>
              HTTPS_PROXY: <http://10.0.0.1:80>
              NO_PROXY: <hostname.example.com>

      1

      ビルドルートは、OpenShift Container Platform デプロイメント上の Red Hat Quay の namespace を使用して $ oc get route -n を実行することで取得されます。ルートの最後にポートを指定する必要があり、[quayregistry-cr-name]-quay-builder-[ocp-namespace].[ocp-domain-name]:443 の形式を使用する必要があります。

      2

      JOB_REGISTRATION_TIMEOUT パラメーターの設定が低すぎると、failed to register job to build manager: rpc error: code = Unauthenticated desc = Invalid build token: Signature has expired エラーが発生する可能性があります。このパラメーターは少なくとも 240 に設定する必要があります。

      3

      Redis ホストにパスワードまたは SSL/TLS 証明書がある場合は、それに応じてこのフィールドを更新する必要があります。

      4

      仮想ビルド namespace の名前と一致するように設定します。この例では、virtual-builders を使用しました。

      5

      K8S_API_SERVER は、$ oc cluster-info を実行して取得します。

      6

      カスタム CA 証明書を手動で作成して追加する必要があります (例 K8S_API_TLS_CA: /conf/stack/extra_ca_certs/build-cluster.crt)。

      7

      指定しないと、デフォルトは 5120Mi です。

      8

      仮想ビルド の場合、クラスター内に十分なリソースがあることを確認する必要があります。指定しないと、デフォルトは 1000m です。

      9

      指定しないと、デフォルトは 3968Mi です。

      10

      指定しないと、デフォルトは 500m です。

      11

      $ oc create sa の実行時に取得します。

      仮想ビルド 設定の例

      FEATURE_USER_INITIALIZE: true
      BROWSER_API_CALLS_XHR_ONLY: false
      SUPER_USERS:
      - quayadmin
      FEATURE_USER_CREATION: false
      FEATURE_QUOTA_MANAGEMENT: true
      FEATURE_BUILD_SUPPORT: True
      BUILDMAN_HOSTNAME: example-registry-quay-builder-quay-enterprise.apps.docs.quayteam.org:443
      BUILD_MANAGER:
        - ephemeral
        - ALLOWED_WORKER_COUNT: 1
          ORCHESTRATOR_PREFIX: buildman/production/
          JOB_REGISTRATION_TIMEOUT: 3600
          ORCHESTRATOR:
            REDIS_HOST: example-registry-quay-redis
            REDIS_PASSWORD: ""
            REDIS_SSL: false
            REDIS_SKIP_KEYSPACE_EVENT_SETUP: false
          EXECUTORS:
            - EXECUTOR: kubernetesPodman
              NAME: openshift
              BUILDER_NAMESPACE: virtual-builders
              SETUP_TIME: 180
              MINIMUM_RETRY_THRESHOLD: 0
              BUILDER_CONTAINER_IMAGE: quay.io/projectquay/quay-builder:{producty}
              # Kubernetes resource options
              K8S_API_SERVER: api.docs.quayteam.org:6443
              K8S_API_TLS_CA: /conf/stack/extra_ca_certs/build-cluster.crt
              VOLUME_SIZE: 8G
              KUBERNETES_DISTRIBUTION: openshift
              CONTAINER_MEMORY_LIMITS: 1G
              CONTAINER_CPU_LIMITS: 300m
              CONTAINER_MEMORY_REQUEST: 1G
              CONTAINER_CPU_REQUEST: 300m
              NODE_SELECTOR_LABEL_KEY: ""
              NODE_SELECTOR_LABEL_VALUE: ""
              SERVICE_ACCOUNT_NAME: quay-builder
              SERVICE_ACCOUNT_TOKEN: "eyJhbGciOiJSUzI1NiIsImtpZCI6IldfQUJkaDVmb3ltTHZ0dGZMYjhIWnYxZTQzN2dJVEJxcDJscldSdEUtYWsifQ"
              HTTP_PROXY: <http://10.0.0.1:80>
              HTTPS_PROXY: <http://10.0.0.1:80>
              NO_PROXY: <hostname.example.com>

   6. Edit Secret ページで Save をクリックします。
10. 新しい設定を使用して、OpenShift Container Platform レジストリー上の Red Hat Quay を再起動します。

手順

1. Red Hat Quay レジストリーにログインします。
2. ナビゲーションペインで、Repositories をクリックします。
3. Create Repository をクリックします。
4. Builds タブをクリックします。
5. Builds ページで、Create Build Trigger をクリックします。
6. Github、Bitbucket、Gitlab などの目的のプラットフォームを選択するか、カスタム Git リポジトリーを使用します。この例では、Custom Git Repository Push をクリックします。
7. カスタム Git リポジトリー名を入力します (例: git@github.com:<username>/<repo>.git)。Next をクリックします。

8. プロンプトが表示されたら、次のオプションのいずれかまたは両方を選択して、タグ付けオプションを設定します。

   • Tag manifest with the branch or tag name。このオプションを選択すると、ビルドされたマニフェストにブランチの名前または git コミットのタグがタグ付けされます。

   • Add latest tag if on default branch。このオプションを選択すると、リポジトリーのデフォルトブランチでビルドが行われた場合に、ビルドされたマニフェストに latest がタグ付けされます。

     オプションで、カスタムのタグ付けテンプレートを追加できます。ここに入力できるタグテンプレートは複数あります。短い SHA ID、タイムスタンプ、作成者名、コミッター、コミットからのブランチ名をタグとして使用することもできます。詳細は、「ビルドトリガーのタグ命名」を参照してください。

     タグ付けを設定したら、Next をクリックします。

9. プロンプトが表示されたら、トリガーの呼び出し時にビルドする Dockerfile の場所を選択します。Dockerfile が git リポジトリーのルートにあり、Dockerfile という名前が付けられている場合は、Dockerfile パスとして /Dockerfile を入力します。Next をクリックします。
10. プロンプトが表示されたら、Docker ビルドのコンテキストを選択します。Dockerfile が Git リポジトリーのルートにある場合は、ビルドコンテキストディレクトリーとして / を入力します。Next をクリックします。
11. オプション: 任意のロボットアカウントを選択します。これにより、ビルドプロセス中にプライベートのベースイメージをプルできます。プライベートベースイメージが使用されていないことを把握している場合は、この手順を省略できます。
12. Next をクリックします。検証の警告がないか確認します。必要に応じて、Finish をクリックする前に問題を修正します。

13. トリガーが正常にアクティベートされたという警告が表示されます。このトリガーを使用するには、以下のアクションが必要になることに注意してください。

    • 以下の公開鍵に git リポジトリーへの読み取りアクセス権を与える必要があります。

    • ビルドをトリガーするには、リポジトリーを POST に設定する必要があります。

      SSH 公開鍵を保存し、Return to <organization_name>/<repository_name> をクリックします。リポジトリーの Builds ページにリダイレクトされます。

14. Builds ページに、ビルドトリガー が表示されます。以下に例を示します。

    

    カスタム Git トリガーを作成した後、追加の手順が必要になります。「カスタム Git トリガーのセットアップ」に進みます。

    Github、Gitlab、または Bitbucket の ビルドトリガー をセットアップする場合は、「ビルドの手動トリガー」に進んでください。

手順

1. Builds ページで、Start new build をクリックします。
2. プロンプトが表示されたら、Invoke Build Trigger を選択します。
3. Run Trigger Now をクリックして、プロセスを手動で開始します。

4. ビルドを開始するコミット ID を入力します (例: 1c002dd)。

   ビルドが開始したら、Repository Builds ページで ビルド ID を確認できます。

5. ビルド のステータスを確認するには、Build History ページでコミットをクリックするか、次のコマンドを実行します。

   $ oc get pods -n virtual-builders

   出力例

   NAME                                               READY   STATUS    RESTARTS   AGE
   f192fe4a-c802-4275-bcce-d2031e635126-9l2b5-25lg2   1/1     Running   0          7s

6. ビルド の完了後、oc get pods -n virtual-builders コマンドはリソースを返しません。

   $ oc get pods -n virtual-builders

   出力例

   No resources found in virtual-builders namespace.

手順

1. GitHub Enterprise にログインします。
2. ナビゲーションペインで、ユーザー名 → Your organizations を選択します。
3. ナビゲーションペインで、Applications → Developer Settings を選択します。

4. ナビゲーションペインで、OAuth Apps → New OAuth App をクリックします。次のページに移動します:

   

5. Application name テキストボックスにアプリケーションの名前を入力します。

6. Homepage URL テキストボックスに、Red Hat Quay URL を入力します。

   注記

   公開されている GitHub を使用する場合、入力するホームページの URL は、ユーザーがアクセスできるものである必要があります。その URL が内部用のままである可能性があります。

7. Authorization callback URL に、https://<RED_HAT_QUAY_URL>/oauth2/github/callback と入力します。
8. Register application をクリックして設定を保存します。
9. 新しいアプリケーションの概要が表示されたら、新しいアプリケーションに対して表示されたクライアント ID とクライアントシークレットを記録します。

手順

1. 次のコマンドを入力して、ローカルマシンと OpenShift Container Platform クラスターまたは Kubernetes クラスターのいずれかで実行されている Pod の間にポート転送トンネルを作成します。

   $ oc port-forward <builder_pod> 9999:2222

2. 指定した SSH 鍵とポートを使用して、リモートホストへの SSH 接続を確立します。次に例を示します。

   $ ssh -i /path/to/ssh/key/set/in/ssh_authorized_keys -p 9999 core@localhost

3. 次のコマンドを入力して、quay-builder サービスログを取得します。

   $ systemctl status quay-builder

   $ journalctl -f -u quay-builder