2.5. GCP でコンピュートマシンセットを作成する

手順

1. コンピュートマシンセットのカスタムリソース (CR) サンプルを含む新しい YAML ファイルを作成し、<file_name>.yaml という名前を付けます。

   <clusterID> および <role> パラメーターの値を設定していることを確認します。

2. オプション: 特定のフィールドに設定する値がわからない場合は、クラスターから既存のコンピュートマシンセットを確認できます。

   1. クラスター内のコンピュートマシンセットをリスト表示するには、次のコマンドを実行します。

      $ oc get machinesets -n openshift-machine-api

      出力例

      NAME                                DESIRED   CURRENT   READY   AVAILABLE   AGE
      agl030519-vplxk-worker-us-east-1a   1         1         1       1           55m
      agl030519-vplxk-worker-us-east-1b   1         1         1       1           55m
      agl030519-vplxk-worker-us-east-1c   1         1         1       1           55m
      agl030519-vplxk-worker-us-east-1d   0         0                             55m
      agl030519-vplxk-worker-us-east-1e   0         0                             55m
      agl030519-vplxk-worker-us-east-1f   0         0                             55m

   2. 特定のコンピュートマシンセットカスタムリソース (CR) 値を表示するには、以下のコマンドを実行します。

      $ oc get machineset <machineset_name> \
        -n openshift-machine-api -o yaml

      出力例

      apiVersion: machine.openshift.io/v1beta1
      kind: MachineSet
      metadata:
        labels:
          machine.openshift.io/cluster-api-cluster: <infrastructure_id> 1
        name: <infrastructure_id>-<role> 2
        namespace: openshift-machine-api
      spec:
        replicas: 1
        selector:
          matchLabels:
            machine.openshift.io/cluster-api-cluster: <infrastructure_id>
            machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
        template:
          metadata:
            labels:
              machine.openshift.io/cluster-api-cluster: <infrastructure_id>
              machine.openshift.io/cluster-api-machine-role: <role>
              machine.openshift.io/cluster-api-machine-type: <role>
              machine.openshift.io/cluster-api-machineset: <infrastructure_id>-<role>
          spec:
            providerSpec: 3
              ...

      1

      クラスターインフラストラクチャー ID。

      2

      デフォルトのノードラベル。

      注記

      user-provisioned infrastructure を持つクラスターの場合、コンピュートマシンセットは worker および infra タイプのマシンのみを作成できます。

      3

      コンピュートマシンセット CR の <providerSpec> セクションの値は、プラットフォーム固有です。CR の <providerSpec> パラメーターの詳細は、プロバイダーのサンプルコンピュートマシンセット CR 設定を参照してください。

3. 次のコマンドを実行して MachineSet CR を作成します。

   $ oc create -f <file_name>.yaml

手順

1. テキストエディターで、既存のマシンセットの YAML ファイルを開くか、新しいマシンセットを作成します。

2. providerSpec フィールドの下で以下の行を編集します。

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   ...
   spec:
     template:
       spec:
         providerSpec:
           value:
             disks:
               type: <pd-disk-type> 1

   1

   永続ディスクのタイプを指定します。有効な値は、pd-ssd、pd-standard、および pd-balanced です。デフォルト値は pd-standard です。

手順

1. テキストエディターで、既存のマシンセットの YAML ファイルを開くか、新しいマシンセットを作成します。

2. providerSpec フィールドの下の次のセクションを編集します。

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   ...
   spec:
     template:
       spec:
         providerSpec:
           value:
             confidentialCompute: Enabled 1
             onHostMaintenance: Terminate 2
             machineType: n2d-standard-8 3
   ...

   1

   Confidential VM を有効にするかどうかを指定します。有効な値は Disabled または Enabled です。

   2

   ハードウェアやソフトウェアの更新など、ホストのメンテナンスイベント中の VM の動作を指定します。Confidential VM を使用するマシンの場合は、この値を Terminate に設定する必要があります。これにより、VM が停止します。Confidential VM はライブ VM 移行をサポートしていません。

   3

   Confidential VM をサポートするマシンタイプを指定します。Confidential VM は、N2D および C2D シリーズのマシンタイプをサポートしています。

手順

1. テキストエディターで、既存のマシンセットの YAML ファイルを開くか、新しいマシンセットを作成します。

2. providerSpec フィールドの下の次のセクションを編集します。

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   # ...
   spec:
     template:
       spec:
         providerSpec:
           value:
             shieldedInstanceConfig: 1
               integrityMonitoring: Enabled 2
               secureBoot: Disabled 3
               virtualizedTrustedPlatformModule: Enabled 4
   # ...

   1

   このセクションでは、必要な Shielded VM オプションを指定します。

   2

   整合性監視を有効にするかどうかを指定します。有効な値は Disabled または Enabled です。

   注記

   整合性監視が有効になっている場合、仮想トラステッドプラットフォームモジュール (vTPM) を無効にしないでください。

   3

   UEFI セキュアブートを有効にするかどうかを指定します。有効な値は Disabled または Enabled です。

   4

   vTPM を有効にするかどうかを指定します。有効な値は Disabled または Enabled です。

手順

1. 特定のサービスアカウントが KMS キーを使用できるようにし、サービスアカウントに正しい IAM ロールを付与するには、KMS キー名、キーリング名、場所を指定して次のコマンドを実行します。

   $ gcloud kms keys add-iam-policy-binding <key_name> \
     --keyring <key_ring_name> \
     --location <key_ring_location> \
     --member "serviceAccount:service-<project_number>@compute-system.iam.gserviceaccount.com” \
     --role roles/cloudkms.cryptoKeyEncrypterDecrypter

2. マシンセット YAML ファイルの providerSpec フィールドで暗号化キーを設定します。以下に例を示します。

   apiVersion: machine.openshift.io/v1beta1
   kind: MachineSet
   ...
   spec:
     template:
       spec:
         providerSpec:
           value:
             disks:
             - type:
               encryptionKey:
                 kmsKey:
                   name: machine-encryption-key 1
                   keyRing: openshift-encrpytion-ring 2
                   location: global 3
                   projectID: openshift-gcp-project 4
                 kmsKeyServiceAccount: openshift-service-account@openshift-gcp-project.iam.gserviceaccount.com 5

   1

   ディスク暗号化に使用される顧客管理の暗号鍵の名前。

   2

   KMS キーが属する KMS キーリングの名前。

   3

   KMS キーリングが存在する GCP の場所。

   4

   オプション: KMS キーリングが存在するプロジェクトの ID。プロジェクト ID が設定されていない場合、マシンセットが作成されたマシンセットの projectID が使用されます。

   5

   オプション: 指定の KMS キーの暗号化要求に使用されるサービスアカウント。サービスアカウントが設定されていない場合、Compute Engine のデフォルトのサービスアカウントが使用されます。

   更新された providerSpec オブジェクト設定を使用して新しいマシンが作成されると、ディスク暗号化キーが KMS キーで暗号化されます。

1. 仕様、互換性、地域の可用性、制限など、マシンタイプの詳細は、N1 マシンシリーズ、A2 マシンシリーズ、GPU リージョンとゾーンの可用性 に関する GCP Compute Engine のドキュメントをご覧ください。

手順

1. テキストエディターで、既存のコンピュートマシンセットの YAML ファイルを開くか、新しいマシンセットを作成します。

2. コンピュートマシンセットの YAML ファイルの providerSpec フィールドで GPU 設定を指定します。有効な設定の次の例を参照してください。

   A2 マシンシリーズの設定例:

     providerSpec:
       value:
         machineType: a2-highgpu-1g 1
         onHostMaintenance: Terminate 2
         restartPolicy: Always 3

   1

   マシンタイプを指定します。マシンタイプが A2 マシンシリーズに含まれていることを確認してください。

   2

   GPU サポートを使用する場合は、onHostMaintenance を Terminate に設定する必要があります。

   3

   コンピュートマシンセットによってデプロイされたマシンの再起動ポリシーを指定します。許可される値は、Always または Never です。

   N1 マシンシリーズの設定例:

   providerSpec:
     value:
       gpus:
       - count: 1 1
         type: nvidia-tesla-p100 2
       machineType: n1-standard-1 3
       onHostMaintenance: Terminate 4
       restartPolicy: Always 5

   1

   マシンに接続する GPU の数を指定します。

   2

   マシンに接続する GPU のタイプを指定します。マシンタイプと GPU タイプに互換性があることを確認してください。

   3

   マシンタイプを指定します。マシンタイプと GPU タイプに互換性があることを確認してください。

   4

   GPU サポートを使用する場合は、onHostMaintenance を Terminate に設定する必要があります。

   5

   コンピュートマシンセットによってデプロイされたマシンの再起動ポリシーを指定します。許可される値は、Always または Never です。

手順

1. 既存の MachineSet のコピーを作成します。
2. 新しいコピーで、metadata.name と machine.openshift.io/cluster-api-machineset の両方のインスタンスで、マシンセットの name を変更します。

3. インスタンスタイプを変更して、新しくコピーした MachineSet に次の 2 行を追加します。

   machineType: a2-highgpu-1g
   onHostMaintenance: Terminate

   a2-highgpu-1g.json ファイルの例

   {
       "apiVersion": "machine.openshift.io/v1beta1",
       "kind": "MachineSet",
       "metadata": {
           "annotations": {
               "machine.openshift.io/GPU": "0",
               "machine.openshift.io/memoryMb": "16384",
               "machine.openshift.io/vCPU": "4"
           },
           "creationTimestamp": "2023-01-13T17:11:02Z",
           "generation": 1,
           "labels": {
               "machine.openshift.io/cluster-api-cluster": "myclustername-2pt9p"
           },
           "name": "myclustername-2pt9p-worker-gpu-a",
           "namespace": "openshift-machine-api",
           "resourceVersion": "20185",
           "uid": "2daf4712-733e-4399-b4b4-d43cb1ed32bd"
       },
       "spec": {
           "replicas": 1,
           "selector": {
               "matchLabels": {
                   "machine.openshift.io/cluster-api-cluster": "myclustername-2pt9p",
                   "machine.openshift.io/cluster-api-machineset": "myclustername-2pt9p-worker-gpu-a"
               }
           },
           "template": {
               "metadata": {
                   "labels": {
                       "machine.openshift.io/cluster-api-cluster": "myclustername-2pt9p",
                       "machine.openshift.io/cluster-api-machine-role": "worker",
                       "machine.openshift.io/cluster-api-machine-type": "worker",
                       "machine.openshift.io/cluster-api-machineset": "myclustername-2pt9p-worker-gpu-a"
                   }
               },
               "spec": {
                   "lifecycleHooks": {},
                   "metadata": {},
                   "providerSpec": {
                       "value": {
                           "apiVersion": "machine.openshift.io/v1beta1",
                           "canIPForward": false,
                           "credentialsSecret": {
                               "name": "gcp-cloud-credentials"
                           },
                           "deletionProtection": false,
                           "disks": [
                               {
                                   "autoDelete": true,
                                   "boot": true,
                                   "image": "projects/rhcos-cloud/global/images/rhcos-412-86-202212081411-0-gcp-x86-64",
                                   "labels": null,
                                   "sizeGb": 128,
                                   "type": "pd-ssd"
                               }
                           ],
                           "kind": "GCPMachineProviderSpec",
                           "machineType": "a2-highgpu-1g",
                           "onHostMaintenance": "Terminate",
                           "metadata": {
                               "creationTimestamp": null
                           },
                           "networkInterfaces": [
                               {
                                   "network": "myclustername-2pt9p-network",
                                   "subnetwork": "myclustername-2pt9p-worker-subnet"
                               }
                           ],
                           "preemptible": true,
                           "projectID": "myteam",
                           "region": "us-central1",
                           "serviceAccounts": [
                               {
                                   "email": "myclustername-2pt9p-w@myteam.iam.gserviceaccount.com",
                                   "scopes": [
                                       "https://www.googleapis.com/auth/cloud-platform"
                                   ]
                               }
                           ],
                           "tags": [
                               "myclustername-2pt9p-worker"
                           ],
                           "userDataSecret": {
                               "name": "worker-user-data"
                           },
                           "zone": "us-central1-a"
                       }
                   }
               }
           }
       },
       "status": {
           "availableReplicas": 1,
           "fullyLabeledReplicas": 1,
           "observedGeneration": 1,
           "readyReplicas": 1,
           "replicas": 1
       }
   }

4. 次のコマンドを実行して、既存のノード、マシン、およびマシンセットを表示します。各ノードは、特定の GCP リージョンと OpenShift Container Platform ロールを持つマシン定義のインスタンスであることに注意してください。

   $ oc get nodes

   出力例

   NAME                                                             STATUS     ROLES                  AGE     VERSION
   myclustername-2pt9p-master-0.c.openshift-qe.internal             Ready      control-plane,master   8h      v1.28.5
   myclustername-2pt9p-master-1.c.openshift-qe.internal             Ready      control-plane,master   8h      v1.28.5
   myclustername-2pt9p-master-2.c.openshift-qe.internal             Ready      control-plane,master   8h      v1.28.5
   myclustername-2pt9p-worker-a-mxtnz.c.openshift-qe.internal       Ready      worker                 8h      v1.28.5
   myclustername-2pt9p-worker-b-9pzzn.c.openshift-qe.internal       Ready      worker                 8h      v1.28.5
   myclustername-2pt9p-worker-c-6pbg6.c.openshift-qe.internal       Ready      worker                 8h      v1.28.5
   myclustername-2pt9p-worker-gpu-a-wxcr6.c.openshift-qe.internal   Ready      worker                 4h35m   v1.28.5

5. 次のコマンドを実行して、openshift-machine-api namespace に存在するマシンとマシンセットを表示します。各コンピュートマシンセットは、GCP リージョン内の異なるアベイラビリティーゾーンに関連付けられています。インストーラーは、アベイラビリティゾーン全体でコンピュートマシンの負荷を自動的に分散します。

   $ oc get machinesets -n openshift-machine-api

   出力例

   NAME                               DESIRED   CURRENT   READY   AVAILABLE   AGE
   myclustername-2pt9p-worker-a       1         1         1       1           8h
   myclustername-2pt9p-worker-b       1         1         1       1           8h
   myclustername-2pt9p-worker-c       1         1                             8h
   myclustername-2pt9p-worker-f       0         0                             8h

6. 次のコマンドを実行して、openshift-machine-api namespace に存在するマシンを表示します。セットごとに設定できるコンピュートマシンは 1 つだけですが、コンピュートマシンセットをスケーリングして、特定のリージョンとゾーンにノードを追加することはできます。

   $ oc get machines -n openshift-machine-api | grep worker

   出力例

   myclustername-2pt9p-worker-a-mxtnz       Running   n2-standard-4   us-central1   us-central1-a   8h
   myclustername-2pt9p-worker-b-9pzzn       Running   n2-standard-4   us-central1   us-central1-b   8h
   myclustername-2pt9p-worker-c-6pbg6       Running   n2-standard-4   us-central1   us-central1-c   8h

7. 次のコマンドを実行して、既存のコンピュート MachineSet 定義のいずれかのコピーを作成し、結果を JSON ファイルに出力します。これは、GPU 対応のコンピュートマシンセット定義の基礎となります。

   $ oc get machineset myclustername-2pt9p-worker-a -n openshift-machine-api -o json  > <output_file.json>

8. JSON ファイルを編集し、新しい MachineSet 定義に次の変更を加えます。

   • サブストリング gpu を metadata.name と machine.openshift.io/cluster-api-machineset の両方のインスタンスに挿入し、マシンセット name を変更します。

   • 新しい MachineSet 定義の machineType を、NVIDIA A100 GPU を含む a2-highgpu-1g に変更します。

     jq .spec.template.spec.providerSpec.value.machineType ocp_4.15_machineset-a2-highgpu-1g.json
     
     "a2-highgpu-1g"

     <output_file.json> ファイルは ocp_4.15_machineset-a2-highgpu-1g.json として保存されます。

9. ocp_4.15_machineset-a2-highgpu-1g.json の次のフィールドを更新します。

   • .metadata.name を gpu を含む名前に変更します。
   • .spec.selector.matchLabels["machine.openshift.io/cluster-api-machineset"] を変更して新しい .metadata.name に一致させます。
   • .spec.template.metadata.labels["machine.openshift.io/cluster-api-machineset"] を変更して新しい .metadata.name に一致させます。
   • .spec.template.spec.providerSpec.value.MachineType を a2-highgpu-1g に変更します。

   • machineType の下に次の行を追加します: `"onHostMaintenance": "Terminate"。以下に例を示します。

     "machineType": "a2-highgpu-1g",
     "onHostMaintenance": "Terminate",

10. 変更を確認するには、次のコマンドを実行して、元のコンピュート定義と新しい GPU 対応ノード定義の diff を実行します。

    $ oc get machineset/myclustername-2pt9p-worker-a -n openshift-machine-api -o json | diff ocp_4.15_machineset-a2-highgpu-1g.json -

    出力例

    15c15
    <         "name": "myclustername-2pt9p-worker-gpu-a",
    ---
    >         "name": "myclustername-2pt9p-worker-a",
    25c25
    <                 "machine.openshift.io/cluster-api-machineset": "myclustername-2pt9p-worker-gpu-a"
    ---
    >                 "machine.openshift.io/cluster-api-machineset": "myclustername-2pt9p-worker-a"
    34c34
    <                     "machine.openshift.io/cluster-api-machineset": "myclustername-2pt9p-worker-gpu-a"
    ---
    >                     "machine.openshift.io/cluster-api-machineset": "myclustername-2pt9p-worker-a"
    59,60c59
    <                         "machineType": "a2-highgpu-1g",
    <                         "onHostMaintenance": "Terminate",
    ---
    >                         "machineType": "n2-standard-4",

11. 次のコマンドを実行して、定義ファイルから GPU 対応のコンピュートマシンセットを作成します。

    $ oc create -f ocp_4.15_machineset-a2-highgpu-1g.json

    出力例

    machineset.machine.openshift.io/myclustername-2pt9p-worker-gpu-a created

検証

1. 次のコマンドを実行して、作成したマシンセットを表示します。

   $ oc -n openshift-machine-api get machinesets | grep gpu

   MachineSet レプリカ数は 1 に設定されているため、新しい Machine オブジェクトが自動的に作成されます。

   出力例

   myclustername-2pt9p-worker-gpu-a   1         1         1       1           5h24m

2. 次のコマンドを実行して、マシンセットが作成した Machine オブジェクトを表示します。

   $ oc -n openshift-machine-api get machines | grep gpu

   出力例

   myclustername-2pt9p-worker-gpu-a-wxcr6   Running   a2-highgpu-1g   us-central1   us-central1-a   5h25m

手順

1. OpenShift Container Platform コンソールの OperatorHub から Node Feature Discovery Operator をインストールします。
2. NFD Operator を OperatorHub にインストールした後、インストールされた Operator リストから Node Feature Discovery を選択し、Create instance を選択します。これにより、openshift-nfd namespace に、nfd-master Pod と nfd-worker Pod (各コンピュートノードに 1 つの nfd-worker Pod) がインストールされます。

3. 次のコマンドを実行して、Operator がインストールされ、実行されていることを確認します。

   $ oc get pods -n openshift-nfd

   出力例

   NAME                                       READY    STATUS     RESTARTS   AGE
   
   nfd-controller-manager-8646fcbb65-x5qgk    2/2      Running 7  (8h ago)   1d

4. コンソールでインストール済みの Operator へ移動し、Create Node Feature Discovery を選択します。
5. Create を選択して、NFD カスタムリソースをビルドします。これにより、OpenShift Container Platform ノードのハードウェアリソースをポーリングしてカタログ化する NFD Pod が openshift-nfd namespace に作成されます。

検証

1. ビルドが成功したら、次のコマンドを実行して、各ノードで NFD Pod が実行されていることを確認します。

   $ oc get pods -n openshift-nfd

   出力例

   NAME                                       READY   STATUS      RESTARTS        AGE
   nfd-controller-manager-8646fcbb65-x5qgk    2/2     Running     7 (8h ago)      12d
   nfd-master-769656c4cb-w9vrv                1/1     Running     0               12d
   nfd-worker-qjxb2                           1/1     Running     3 (3d14h ago)   12d
   nfd-worker-xtz9b                           1/1     Running     5 (3d14h ago)   12d

   NFD Operator は、ベンダー PCI ID を使用してノード内のハードウェアを識別します。NVIDIA は PCI ID 10de を使用します。

2. 次のコマンドを実行して、NFD Operator によって検出された NVIDIA GPU を表示します。

   $ oc describe node ip-10-0-132-138.us-east-2.compute.internal | egrep 'Roles|pci'

   出力例

   Roles: worker
   
   feature.node.kubernetes.io/pci-1013.present=true
   
   feature.node.kubernetes.io/pci-10de.present=true
   
   feature.node.kubernetes.io/pci-1d0f.present=true

   GPU 対応ノードのノード機能リストに 10de が表示されます。これは、NFD Operator が GPU 対応の MachineSet からノードを正しく識別したことを意味します。