Microsoft Azure への RHEL 9 のデプロイ

1. 要件と市場の現在のオファーに基づいて、ユースケースに最適なクラウドプロバイダーを選択します。

   現在、RHEL インスタンスの実行が認定されているクラウドプロバイダーは次のとおりです。

   • Amazon Web Services (AWS)
   • Google Cloud

   • Microsoft Azure

     注記

     このドキュメントでは、Microsoft Azure への RHEL のデプロイについて特に説明します。

2. 選択したクラウドプラットフォーム上に RHEL クラウドインスタンスを作成します。詳細は、RHEL クラウドインスタンスを作成する方法 を参照してください。
3. RHEL デプロイメントを最新の状態に保つには、Red Hat Update Infrastructure (RHUI) を使用します。

手順

1. イメージを qcow2 形式から raw 形式に変換します。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 以下の内容でシェルスクリプトを作成します。

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. スクリプトを実行します。この例では align.sh という名前を使用します。

   $ sh align.sh <image-xxx>.raw

   • "Your image is already aligned. You do not need to resize." と表示されたら、次の手順に進みます。
   • 値が表示されると、イメージは調整されません。

4. 次のコマンドを使用して、ファイルを固定 VHD 形式に変換します。

   サンプルでは qemu-img バージョン 2.12.0 を使用します。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   変換されると、VHD ファイルは Azure にアップロードする準備が整います。

5. raw イメージが整列していない場合は、以下の手順で整列させてください。

   1. 検証スクリプトの実行時に表示される丸め値を使用して、raw ファイルのサイズを変更します。

      $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

   2. raw イメージファイルを VHD 形式に変換します。

      サンプルでは qemu-img バージョン 2.12.0 を使用します。

      $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

      変換されると、VHD ファイルは Azure にアップロードする準備が整います。

手順

1. Microsoft リポジトリーキーをインポートします。

   $ sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc

2. ローカル Azure CLI リポジトリーエントリーを作成します。

   $ sudo sh -c 'echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo'

3. dnf パッケージインデックスを更新します。

   $ dnf check-update

4. Python バージョンを確認 (python --version) し、必要に応じて Python 3.x をインストールします。

   $ sudo dnf install python3

5. Azure CLI をインストールします。

   $ sudo dnf install -y azure-cli

6. Azure CLI を実行します。

   $ az

手順

1. Azure でシステムを認証し、ログインします。

   $ az login

   注記

   お使いの環境でブラウザーが利用可能な場合、CLI は Azure サインインページでブラウザーを開きます。詳細およびオプションは、Sign in with Azure CLI を参照してください。

2. Azure リージョンにリソースグループを作成します。

   $ az group create --name <resource-group> --location <azure-region>

   以下に例を示します。

   [clouduser@localhost]$ az group create --name azrhelclirsgrp --location southcentralus
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. ストレージアカウントを作成します。有効な SKU 値の詳細は、SKU Types を参照してください。

   $ az storage account create -l <azure-region> -n <storage-account-name> -g <resource-group> --sku <sku_type>

   以下に例を示します。

   [clouduser@localhost]$ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. ストレージアカウントの接続文字列を取得します。

   $ az storage account show-connection-string -n <storage-account-name> -g <resource-group>

   以下に例を示します。

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 接続文字列をコピーし、次のコマンドに貼り付けて、接続文字列をエクスポートします。この文字列は、システムをストレージアカウントに接続します。

   $ export AZURE_STORAGE_CONNECTION_STRING="<storage-connection-string>"

   以下に例を示します。

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. ストレージコンテナーを作成します。

   $ az storage container create -n <container-name>

   以下に例を示します。

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   {
     "created": true
   }

7. 仮想ネットワークを作成します。

   $ az network vnet create -g <resource group> --name <vnet-name> --subnet-name <subnet-name>

   以下に例を示します。

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

手順

1. ストレージコンテナーに VHD ファイルをアップロードします。これには数分かかる場合があります。ストレージコンテナーのリストを表示するには、az storage container list を実行します。

   $ az storage blob upload \
       --account-name <storage-account-name> --container-name <container-name> \
       --type page --file <path-to-vhd> --name <image-name>.vhd

   以下に例を示します。

   [clouduser@localhost]$ az storage blob upload \
   --account-name azrhelclistact --container-name azrhelclistcont \
   --type page --file rhel-image-{ProductNumber}.vhd --name rhel-image-{ProductNumber}.vhd
   
   Percent complete: %100.0

2. アップロードした VHD ファイルの URL を以下の手順で取得します。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   以下に例を示します。

   $ az storage blob url -c azrhelclistcont -n rhel-image-9.vhd "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd"

3. Azure カスタムイメージを作成します。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注記

   仮想マシンのハイパーバイザーのデフォルトの生成は V1 です。必要に応じて、--hyper-v-generation V2 オプションを使用して V2 ハイパーバイザーの世代を指定できます。第 2 世代の仮想マシンは、UEFI ベースのブートアーキテクチャーを使用します。第 2 世代の仮想マシンの詳細は、Support for generation 2 VMs on Azure を参照してください。

   このコマンドは"Only blobs formatted as VHDs can be imported." (VHD としてフォーマットされたブロブのみがインポート可能) というエラーを返す場合があります。このエラーは、イメージが VHD に変換される前に最も近い 1 MB の境界に合致していないことを意味します。

   以下に例を示します。

   $ az image create -n rhel9 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd --os-type linux

手順

1. 次のコマンドを実行して仮想マシンを作成します。

   $ az vm create \
       -g <resource-group> -l <azure-region> -n <vm-name> \
       --vnet-name <vnet-name> --subnet <subnet-name> --size Standard_A2 \
       --os-disk-name <simple-name> --admin-username <administrator-name> \
       --generate-ssh-keys --image <path-to-image>

   注記

   --generate-ssh-keys オプションを指定すると、秘密鍵と公開鍵のペアが作成されます。秘密鍵ファイルと公開鍵ファイルが、システムの ~/.ssh に作成されます。公開鍵は、--admin-username オプションで指定したユーザーの仮想マシン上の authorized_keys ファイルに追加されます。詳細は、その他認証方法 を参照してください。

   以下に例を示します。

   [clouduser@localhost]$ az vm create \
   -g azrhelclirsgrp2 -l southcentralus -n rhel-azure-vm-1 \
   --vnet-name azrhelclivnet1 --subnet azrhelclisubnet1 --size Standard_A2 \
   --os-disk-name vm-1-osdisk --admin-username clouduser \
   --generate-ssh-keys --image rhel9
   
   {
     "fqdns": "",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/virtualMachines/rhel-azure-vm-1",
     "location": "southcentralus",
     "macAddress": "",
     "powerState": "VM running",
     "privateIpAddress": "10.0.0.4",
     "publicIpAddress": "<public-IP-address>",
     "resourceGroup": "azrhelclirsgrp2"

   publicIpAddress を書き留めます。以下の手順で仮想マシンにログインするには、このアドレスが必要です。

2. SSH セッションを開始し、仮想マシンにログインします。

   [clouduser@localhost]$ ssh -i /home/clouduser/.ssh/id_rsa clouduser@<public-IP-address>.
   The authenticity of host ',<public-IP-address>' can't be established.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added '<public-IP-address>' (ECDSA) to the list of known hosts.
   
   [clouduser@rhel-azure-vm-1 ~]$

手順

1. システムを登録します。

   # subscription-manager register

2. サブスクリプションを割り当てます。

   • アクティベーションキーを使用して、サブスクリプションを割り当てることができます。詳細は、カスタマーポータルのアクティベーションキーを作成する を参照してください。
   • また、サブスクリプションプール(Pool ID)の ID を使用してサブスクリプションを手動で割り当てることもできます。ホストベースのサブスクリプションのハイパーバイザーへの割り当て を参照してください。

3. オプション： Red Hat Hybrid Cloud Console のインスタンスに関するさまざまなシステムメトリックを収集するには、インスタンスを Red Hat Lightspeed に登録できます。

   # insights-client register --display-name <display_name_value>

   Red Hat Lightspeed の詳細な設定の詳細は、Client Configuration Guide for Red Hat Lightspeed 参照してください。

手順

1. Gold Image を使用して、Azure インスタンスに RHEL 9 仮想マシンを作成します。手順については、Creating and starting the VM in Azure を参照してください。
2. 作成した仮想マシンを起動します。

3. RHEL 9 仮想マシンで、自動登録を有効にします。

   # subscription-manager config --rhsmcertd.auto_registration=1

4. rhsmcertd サービスを有効にします。

   # systemctl enable rhsmcertd.service

5. redhat.repo リポジトリーを無効にします。

   # subscription-manager config --rhsm.manage_repos=0

6. 仮想マシンの電源を切り、Azure 上で管理イメージとして保存します。手順については、How to create a managed image of a virtual machine or VHD を参照してください。
7. 管理イメージを使用して仮想マシンを作成します。自動的に RHSM に登録されます。

手順

1. kdump およびその他の必要なパッケージがシステムにインストールされていることを確認します。

   # dnf install kexec-tools

2. クラッシュダンプファイルのデフォルトの場所が kdump 設定ファイルで設定されており、/var/crash ファイルが使用可能であることを確認します。

   # grep -v "#" /etc/kdump.conf
   
   path /var/crash
   core_collector makedumpfile -l --message-level 7 -d 31

3. RHEL 仮想マシン (VM) インスタンスのサイズとバージョンに基づいて、/mnt/crash などのより多くの空き領域を持つ vmcore ターゲットが必要かどうかを判断します。これを行うには、次の表を使用します。

   Expand

   表3.4 Azure 上の GEN2 VM でテストされた仮想マシンのサイズ

   RHEL バージョン	Standard DS1 v2 (1 vCPU、3.5GiB)	Standard NV16as v4 (16 vCPU、56 GiB)	Standard M416-208s v2 (208 vCPU、5700 GiB)	Standard M416ms v2 (416 vCPU、11400 GiB)
   RHEL 9.0 - RHEL 9.3	デフォルト	デフォルト	Target	Target

   Show more
   • Default は、デフォルトのメモリーとデフォルトの kdump ターゲットで kdump が期待どおりに動作することを示します。デフォルトの kdump ターゲットは /var/crash です。
   • Target は、kdump がデフォルトのメモリーで期待どおりに動作することを示します。ただし、より多くの空き領域を持つターゲットを割り当てる必要がある場合があります。

4. インスタンスで必要な場合は、/mnt/crash など、より多くの空き領域を持つターゲットを割り当てます。これを行うには、/etc/kdump.conf ファイルを編集し、デフォルトのパスを置き換えます。

   $ sed s/"path /var/crash"/"path /mnt/crash"

   オプションパス /mnt/crash は、kdump がクラッシュダンプファイルを保存するファイルシステムへのパスを表します。

   クラッシュダンプファイルを別のパーティションに書き込む、デバイスに直接書き込む、リモートマシンに保存するなどのその他のオプションは、kdump ターゲットの設定 を参照してください。

5. インスタンスで必要な場合は、それぞれのブートパラメーターを追加して、クラッシュカーネルのサイズを、kdump が vmcore をキャプチャーするのに十分なサイズまで増やします。

   たとえば、Standard M416-208s v2 仮想マシンの場合、十分なサイズは 512 MB なので、ブートパラメーターは crashkernel=512M になります。

   1. GRUB 設定ファイルを開き、ブートパラメーター行に crashkernel=512M を追加します。

      # vi /etc/default/grub
      
      GRUB_CMDLINE_LINUX="console=tty1 console=ttyS0 earlyprintk=ttyS0 rootdelay=300 crashkernel=512M"

   2. GRUB 設定ファイルを更新します。

      • RHEL 9.2 以前

        # grub2-mkconfig -o /boot/grub2/grub.cfg

      • RHEL 9.3 以降の場合:

        # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

6. 仮想マシンを再起動して、仮想マシンに個別のカーネルクラッシュメモリーを割り当てます。

手順

1. Azure でシステムを認証し、ログインします。

   $ az login

   注記

   お使いの環境でブラウザーが利用可能な場合、CLI は Azure サインインページでブラウザーを開きます。

   以下に例を示します。

   [clouduser@localhost]$ az login
   
   To sign in, use a web browser to open the page https://aka.ms/devicelogin and enter the code FDMSCMETZ to authenticate.
     [
       {
         "cloudName": "AzureCloud",
         "id": "Subscription ID",
         "isDefault": true,
         "name": "MySubscriptionName",
         "state": "Enabled",
         "tenantId": "Tenant ID",
         "user": {
           "name": "clouduser@company.com",
           "type": "user"
         }
       }
     ]

2. Azure リージョンにリソースグループを作成します。

   $ az group create --name resource-group --location azure-region

   以下に例を示します。

   [clouduser@localhost]$ az group create --name azrhelclirsgrp --location southcentralus
   
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. ストレージアカウントを作成します。

   $ az storage account create -l azure-region -n storage-account-name -g resource-group --sku sku_type --kind StorageV2

   以下に例を示します。

   [clouduser@localhost]$ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS --kind StorageV2
   
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. ストレージアカウントの接続文字列を取得します。

   $ az storage account show-connection-string -n storage-account-name -g resource-group

   以下に例を示します。

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 接続文字列をコピーし、次のコマンドに貼り付けて、接続文字列をエクスポートします。この文字列は、システムをストレージアカウントに接続します。

   $ export AZURE_STORAGE_CONNECTION_STRING="storage-connection-string"

   以下に例を示します。

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. ストレージコンテナーを作成します。

   $ az storage container create -n container-name

   以下に例を示します。

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   
   {
     "created": true
   }

7. 仮想ネットワークを作成します。すべてのクラスターノードが同じ仮想ネットワークにある必要があります。

   $ az network vnet create -g resource group --name vnet-name --subnet-name subnet-name

   以下に例を示します。

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

8. 可用性セットを作成します。すべてのクラスターノードは同じ可用性セットにある必要があります。

   $ az vm availability-set create --name MyAvailabilitySet --resource-group MyResourceGroup

   以下に例を示します。

   [clouduser@localhost]$ az vm availability-set create --name rhelha-avset1 --resource-group azrhelclirsgrp
   {
     "additionalProperties": {},
       "id": "/subscriptions/.../resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/availabilitySets/rhelha-avset1",
       "location": "southcentralus",
       "name": “rhelha-avset1",
       "platformFaultDomainCount": 2,
       "platformUpdateDomainCount": 5,
   
   [omitted]

手順

1. 以下の grep コマンドを実行して、必要な Hyper-V デバイスドライバーがインストールされているかどうかを確認します。

   # lsinitrd | grep hv

   以下の例では、必要なドライバーがすべてインストールされています。

   # lsinitrd | grep hv
   drwxr-xr-x   2 root     root            0 Aug 12 14:21 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/hv
   -rw-r--r--   1 root     root        31272 Aug 11 08:45 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/hv/hv_vmbus.ko.xz
   -rw-r--r--   1 root     root        25132 Aug 11 08:46 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/net/hyperv/hv_netvsc.ko.xz
   -rw-r--r--   1 root     root         9796 Aug 11 08:45 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/scsi/hv_storvsc.ko.xz

   すべてのドライバーがインストールされていない場合は、残りの手順を完了してください。

   注記

   hv_vmbus ドライバーは、すでにこの環境に追加されている可能性があります。このドライバーが存在する場合でも、次の手順を実行してください。

2. /etc/dracut.conf.d に hv.conf という名前のファイルを作成します。

3. 以下のドライバーパラメーターを hv.conf ファイルに追加します。

   add_drivers+=" hv_vmbus "
   add_drivers+=" hv_netvsc "
   add_drivers+=" hv_storvsc "
   add_drivers+=" nvme "

   注記

   引用符の前後に空白に注意してください (例: add_drivers+=" hv_VMBus ")。これにより、環境内にその他の Hyper-V ドライバーが存在している場合に、一意のドライバーが読み込まれます。

4. initramfs イメージを再生成します。

   # dracut -f -v --regenerate-all

検証

1. マシンを再起動します。
2. lsinitrd | grep hv コマンドを実行して、ドライバーがインストールされていることを確認します。

手順

1. 仮想マシンにログインします。

2. 仮想マシンを登録し、Red Hat Enterprise Linux 9 リポジトリーを有効にします。

   # subscription-manager register
   Installed Product Current Status:
   Product Name: Red Hat Enterprise Linux for x86_64
   Status: Subscribed

3. cloud-init および hyperv-daemons パッケージがインストールされていることを確認します。

   # dnf install cloud-init hyperv-daemons -y

4. Azure サービスとの統合に必要な cloud-init 設定ファイルを作成します。

   1. Hyper-V Data Exchange Service (KVP) へのログ記録を有効にするには、/etc/cloud/cloud.cfg.d/10-azure-kvp.cfg 設定ファイルを作成し、そのファイルに次の行を追加します。

      reporting:
          logging:
              type: log
          telemetry:
              type: hyperv

   2. Azure をデータソースとして追加するには、/etc/cloud/cloud.cfg.d/91-azure_datasource.cfg 設定ファイルを作成し、そのファイルに次の行を追加します。

      datasource_list: [ Azure ]
      datasource:
          Azure:
              apply_network_config: False

   3. 一時ディスクにスワップ領域を設定するには、/etc/cloud/cloud.cfg.d/00-azure-swap.cfg 設定ファイルを作成し、次の行を追加します。

      重要

      一時ディスクは一時ストレージです。したがって、スワップ領域を含む 保存したデータは、VM が割り当て解除されたり、移動されたりすると失われます。一時ディスクは、スワップ領域などの一時データにのみ使用します。

      #cloud-config
      disk_setup:
        ephemeral0:
          table_type: gpt
          layout: [66, [33,82]]
          overwrite: true
      fs_setup:
        - device: ephemeral0.1
          filesystem: ext4
        - device: ephemeral0.2
          filesystem: swap
      mounts:
        - ["ephemeral0.1", "/mnt"]
        - ["ephemeral0.2", "none", "swap", "sw,nofail,x-systemd.requires=cloud-init.service", "0", "0"]

5. 特定のカーネルモジュールが自動的にロードされないようにするには、/etc/modprobe.d/blocklist.conf ファイルを編集または作成し、そのファイルに次の行を追加します。

   blacklist nouveau
   blacklist lbm-nouveau
   blacklist floppy
   blacklist amdgpu
   blacklist skx_edac
   blacklist intel_cstate

6. udev ネットワークデバイスルールを変更します。

   1. 次の永続的なネットワークデバイスルールが存在する場合は削除します。

      # rm -f /etc/udev/rules.d/70-persistent-net.rules
      # rm -f /etc/udev/rules.d/75-persistent-net-generator.rules
      # rm -f /etc/udev/rules.d/80-net-name-slot-rules

   2. Azure で Accelerated Networking が意図したとおりに動作するようにするには、新しいネットワークデバイスルール /etc/udev/rules.d/68-azure-sriov-nm-unmanaged.rules を作成し、次の行を追加します。

      SUBSYSTEM=="net", DRIVERS=="hv_pci", ACTION=="add", ENV{NM_UNMANAGED}="1"

7. sshd サービスが自動的に起動するように設定します。

   # systemctl enable sshd
   # systemctl is-enabled sshd

8. カーネルブートパラメーターを変更します。

   1. /etc/default/grub ファイルを開き、GRUB_TIMEOUT 行に次の値があることを確認します。

      GRUB_TIMEOUT=10

   2. 次のオプションがある場合は、GRUB_CMDLINE_LINUX 行の末尾から削除します。

      rhgb quiet

   3. /etc/default/grub ファイルに、指定されたすべてのオプションを含む次の行が含まれていることを確認します。

      GRUB_CMDLINE_LINUX="loglevel=3 crashkernel=auto console=tty1 console=ttyS0 earlyprintk=ttyS0 rootdelay=300"
      GRUB_TIMEOUT_STYLE=countdown
      GRUB_TERMINAL="serial console"
      GRUB_SERIAL_COMMAND="serial --speed=115200 --unit=0 --word=8 --parity=no --stop=1"

      注記

      HDD でワークロードを実行していない場合は、GRUB_CMDLINE_LINUX 行の最後に elevator=none を追加します。これにより、I/O スケジューラーが none に設定され、SSD ベースのシステムでの I/O パフォーマンスが向上します。

   4. grub.cfg ファイルを再生成します。

      • BIOS ベースのマシンの場合:

        • RHEL 9.2 以前

          # grub2-mkconfig -o /boot/grub2/grub.cfg

        • RHEL 9.3 以降の場合:

          # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

      • UEFI ベースのマシンの場合:

        • RHEL 9.2 以前

          # grub2-mkconfig -o /boot/grub2/grub.cfg

        • RHEL 9.3 以降の場合:

          # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

          警告

          grub.cfg を再構築するパスは、BIOS ベースと UEFI ベースの両マシンで同じです。実際の grub.cfg は BIOS パスにのみ存在します。UEFI パスには、grub2-mkconfig コマンドを使用して変更または再作成してはならないスタブファイルがあります。

          システムが grub.cfg にデフォルト以外の場所を使用している場合は、それに応じてコマンドを調整してください。

9. Windows Azure Linux Agent (WALinuxAgent) を設定します。

   1. WALinuxAgent パッケージをインストールして有効にします。

      # dnf install WALinuxAgent -y
      # systemctl enable waagent

   2. WALinuxAgent でスワップ設定を無効にするには( cloud-init を使用して swap を管理する場合に必要)、/etc/waagent.conf ファイルの以下の行を編集します。

      Provisioning.DeleteRootPassword=y
      ResourceDisk.Format=n
      ResourceDisk.EnableSwap=n
      ResourceDisk.SwapSizeMB=0

      注記

      WALinuxAgent で swap を無効にすると、cloud-init が一時ディスクのスワップ設定を管理できます。

10. Azure プロビジョニング用に VM を準備します。

    1. Red Hat Subscription Manager から仮想マシンの登録を解除します。

       # subscription-manager unregister

    2. 既存のプロビジョニングの詳細をクリーンアップします。

       # waagent -force -deprovision

       注記

       このコマンドは警告を生成しますが、Azure が VM のプロビジョニングを自動的に処理するため、これは想定されています。

    3. シェル履歴をクリーンアップし、仮想マシンをシャットダウンします。

       # export HISTSIZE=0
       # poweroff

手順

1. HA クラスター内の任意のノードで、Azure アカウントにログインします。

   $ az login

2. Azure フェンスエージェントのカスタムロールの json 設定ファイルを作成します。次の設定を使用します。ただし、<subscription-id> はご自身のサブスクリプション ID に置き換えます。

   {
         "Name": "Linux Fence Agent Role",
         "description": "Allows to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<subscription-id>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }

3. Azure フェンスエージェントのカスタムロールを定義します。前の手順で作成した json ファイルを使用します。

   $ az role definition create --role-definition azure-fence-role.json
   
   {
     "assignableScopes": [
       "/subscriptions/<my-subscription-id>"
     ],
     "description": "Allows to power-off and start virtual machines",
     "id": "/subscriptions/<my-subscription-id>/providers/Microsoft.Authorization/roleDefinitions/<role-id>",
     "name": "<role-id>",
     "permissions": [
       {
         "actions": [
           "Microsoft.Compute/*/read",
           "Microsoft.Compute/virtualMachines/powerOff/action",
           "Microsoft.Compute/virtualMachines/start/action"
         ],
         "dataActions": [],
         "notActions": [],
         "notDataActions": []
       }
     ],
     "roleName": "Linux Fence Agent Role",
     "roleType": "CustomRole",
     "type": "Microsoft.Authorization/roleDefinitions"
   }

4. Azure Web コンソールインターフェイスで、Virtual Machine を選択 → 左側のメニューの Identity をクリックします。
5. On を選択→ Save をクリック→ Yes をクリックして確認します。
6. Azure role assignments → Add role assignment をクリックします。
7. ロールに必要な Scope (例: Resource Group) を選択します。
8. 必要な Resource Group を選択します。
9. オプション: 必要に応じて Subscription を変更します。
10. Linux Fence Agent Role ロールを選択します。
11. Save をクリックします。

手順

1. イメージを qcow2 形式から raw 形式に変換します。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 以下の内容でシェルスクリプトを作成します。

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. スクリプトを実行します。この例では align.sh という名前を使用します。

   $ sh align.sh <image-xxx>.raw

   • "Your image is already aligned. You do not need to resize." と表示されたら、次の手順に進みます。
   • 値が表示されると、イメージは調整されません。

4. 次のコマンドを使用して、ファイルを固定 VHD 形式に変換します。

   サンプルでは qemu-img バージョン 2.12.0 を使用します。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   変換されると、VHD ファイルは Azure にアップロードする準備が整います。

5. raw イメージが整列していない場合は、以下の手順で整列させてください。

   1. 検証スクリプトの実行時に表示される丸め値を使用して、raw ファイルのサイズを変更します。

      $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

   2. raw イメージファイルを VHD 形式に変換します。

      サンプルでは qemu-img バージョン 2.12.0 を使用します。

      $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

      変換されると、VHD ファイルは Azure にアップロードする準備が整います。

手順

1. ストレージコンテナーに VHD ファイルをアップロードします。これには数分かかる場合があります。ストレージコンテナーのリストを表示するには、az storage container list を実行します。

   $ az storage blob upload \
       --account-name <storage-account-name> --container-name <container-name> \
       --type page --file <path-to-vhd> --name <image-name>.vhd

   以下に例を示します。

   [clouduser@localhost]$ az storage blob upload \
   --account-name azrhelclistact --container-name azrhelclistcont \
   --type page --file rhel-image-{ProductNumber}.vhd --name rhel-image-{ProductNumber}.vhd
   
   Percent complete: %100.0

2. アップロードした VHD ファイルの URL を以下の手順で取得します。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   以下に例を示します。

   $ az storage blob url -c azrhelclistcont -n rhel-image-9.vhd "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd"

3. Azure カスタムイメージを作成します。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注記

   仮想マシンのハイパーバイザーのデフォルトの生成は V1 です。必要に応じて、--hyper-v-generation V2 オプションを使用して V2 ハイパーバイザーの世代を指定できます。第 2 世代の仮想マシンは、UEFI ベースのブートアーキテクチャーを使用します。第 2 世代の仮想マシンの詳細は、Support for generation 2 VMs on Azure を参照してください。

   このコマンドは"Only blobs formatted as VHDs can be imported." (VHD としてフォーマットされたブロブのみがインポート可能) というエラーを返す場合があります。このエラーは、イメージが VHD に変換される前に最も近い 1 MB の境界に合致していないことを意味します。

   以下に例を示します。

   $ az image create -n rhel9 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd --os-type linux

手順

1. SSH ターミナルセッションを起動し、管理者名とパブリック IP アドレスを使用して仮想マシンに接続します。

   $ ssh administrator@PublicIP

   Azure 仮想マシンのパブリック IP アドレスを取得するには、Azure ポータルで仮想マシンプロパティーを開くか、以下の Azure CLI コマンドを入力します。

   $ az vm list -g <resource_group> -d --output table

   以下に例を示します。

   [clouduser@localhost ~] $ az vm list -g azrhelclirsgrp -d --output table
   Name    ResourceGroup           PowerState      PublicIps        Location
   ------  ----------------------  --------------  -------------    --------------
   node01  azrhelclirsgrp          VM running      192.98.152.251    southcentralus

2. 仮想マシンを Red Hat に登録します。

   $ sudo -i
   # subscription-manager register

3. すべてのリポジトリーを無効にします。

   # subscription-manager repos --disable=*

4. RHEL9 サーバーの HA リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-9-for-x86_64-highavailability-rpms

5. すべてのパッケージを更新します。

   # dnf update -y

6. High Availability チャネルから、Red Hat High Availability Add-On ソフトウェアパッケージと Azure フェンスエージェントをインストールします。

   # dnf install pcs pacemaker fence-agents-azure-arm

7. hacluster ユーザーは、最後に pcs および pacemaker のインストール時に作成されました。すべてのクラスターノードに hacluster のパスワードを作成します。すべてのノードに同じパスワードを使用します。

   # passwd hacluster

8. firewalld.service がインストールされている場合は、RHEL ファイアウォールに 高可用性 サービスを追加します。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

9. pcs サービスを起動し、システムの起動時に開始できるようにします。

   # systemctl start pcsd.service
   # systemctl enable pcsd.service
   
   Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.

手順

1. ノードのいずれかで以下のコマンドを実行し、pcs ユーザー hacluster を認証します。コマンドで、クラスター内の各ノードの名前を指定します。

   # pcs host auth <hostname1> <hostname2> <hostname3>

   以下に例を示します。

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. クラスターを作成します。

   # pcs cluster setup <cluster_name> <hostname1> <hostname2> <hostname3>

   以下に例を示します。

   [root@node01 clouduser]# pcs cluster setup new_cluster node01 node02 node03
   
   [...]
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

検証

1. クラスターを有効にします。

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled

2. クラスターを起動します。

   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

手順

1. 各 RHEL 仮想マシンの Azure ノード名を特定します。Azure ノード名を使用してフェンスデバイスを設定します。

   # fence_azure_arm \
       -l <AD-Application-ID> -p <AD-Password> \
       --resourceGroup <MyResourceGroup> --tenantId <Tenant-ID> \
       --subscriptionId <Subscription-ID> -o list

   以下に例を示します。

   [root@node01 clouduser]# fence_azure_arm \
   -l e04a6a49-9f00-xxxx-xxxx-a8bdda4af447 -p z/a05AwCN0IzAjVwXXXXXXXEWIoeVp0xg7QT//JE=
   --resourceGroup azrhelclirsgrp --tenantId 77ecefb6-cff0-XXXX-XXXX-757XXXX9485
   --subscriptionId XXXXXXXX-38b4-4527-XXXX-012d49dfc02c -o list
   
   node01,
   node02,
   node03,

2. Azure ARM STONITH エージェントのオプションを表示します。

   # pcs stonith describe fence_azure_arm

   以下に例を示します。

   # pcs stonith describe fence_apc
   Stonith options:
   password: Authentication key
   password_script: Script to run to retrieve password

   警告

   method オプションを提供するフェンスエージェントでは、cycle の値を指定しないため、データの破損が発生する可能性があるため、この値は指定しないでください。

   1 つのノードのみをフェンスできるフェンスデバイスや、複数のノードをフェンスできるデバイスもあります。フェンスデバイスの作成時に指定するパラメーターは、フェンスデバイスが対応しているか、必要としているかにより異なります。

   フェンシングデバイスの作成時に pcmk_host_list パラメーターを使用すると、フェンスデバイスで制御されるすべてのマシンを指定できます。

   フェンシングデバイスの作成時に pcmk_host_map パラメーターを使用すると、フェンスデバイスに関する仕様にホスト名をマッピングできます。

3. フェンスデバイスを作成します。

   # pcs stonith create clusterfence fence_azure_arm

4. 即時かつ完全なフェンシングを確実に行うために、すべてのクラスターノードで ACPI Soft-Off を無効にします。ACPI Soft-Off を無効にする方法については、統合フェンスデバイスで使用する ACPI の無効化 を参照してください。

検証

1. 他のノードのいずれかに対してフェンスエージェントをテストします。

   # pcs stonith fence azurenodename

   以下に例を示します。

   [root@node01 clouduser]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: node01 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Feb 23 11:44:35 2018
   Last change: Fri Feb 23 11:21:01 2018 by root via cibadmin on node01
   
   3 nodes configured
   1 resource configured
   
   Online: [ node01 node03 ]
   OFFLINE: [ node02 ]
   
   Full list of resources:
   
     clusterfence  (stonith:fence_azure_arm):  Started node01
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

2. 前の手順でフェンシングされたノードを起動します。

   # pcs cluster start <hostname>

3. ステータスを確認して、ノードが起動したことを確認します。

   # pcs status

   以下に例を示します。

   [root@node01 clouduser]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: node01 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Feb 23 11:34:59 2018
   Last change: Fri Feb 23 11:21:01 2018 by root via cibadmin on node01
   
   3 nodes configured
   1 resource configured
   
   Online: [ node01 node02 node03 ]
   
   Full list of resources:
   
   clusterfence    (stonith:fence_azure_arm):  Started node01
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

手順

1. 基本ロードバランサーを作成 します。IP アドレスの割り当てタイプの場合は、内部ロードバランサー、基本 SKU、および 動的 を選択します。
2. バックエンドのアドレスプールを作成します。バックエンドプールを HA に Azure リソースを作成した時に作成された可用性セットに関連付けます。ターゲットネットワーク IP 設定は設定しないでください。
3. ヘルスプローブを作成します。ヘルスプローブの場合は TCP を選択し、ポート 61000 を入力します。別のサービスに干渉しない TCP ポート番号を使用できます。特定の HA 製品アプリケーション (SAP HANA や SQL Server など) については、Microsoft と連携して使用する正しいポートを指定する必要がある場合があります。
4. ロードバランサールールを作成します。ロードバランシングルールを作成する場合は、デフォルト値が事前に設定されます。フローティング IP (ダイレクトサーバーを返す) を 有効 に設定してください。

手順

1. 全ノードに nmap-ncat リソースエージェントをインストールします。

   # dnf install nmap-ncat resource-agents-cloud

   単一ノードで以下の手順を実行します。

2. pcs リソースおよびグループを作成します。IPaddr2 アドレスにロードバランサーの FrontendIP を使用します。

   # pcs resource create resource-name IPaddr2 ip="10.0.0.7" --group cluster-resources-group

3. ロードバランサー リソースエージェントを設定します。

   # pcs resource create resource-loadbalancer-name azure-lb port=port-number --group cluster-resources-group

手順

1. Azure コマンド az disk create を使用して、共有ブロックボリュームを作成します。

   $ az disk create -g <resource_group> -n <shared_block_volume_name> --size-gb <disk_size> --max-shares <number_vms> -l <location>

   たとえば、以下のコマンドは、Azure Availability Zone westcentralus 内のリソースグループ sharedblock に shared-block-volume.vhd という名前の共有ブロックボリュームを作成します。

   $ az disk create -g sharedblock-rg -n shared-block-volume.vhd --size-gb 1024 --max-shares 3 -l westcentralus
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

2. Azure コマンド az disk show を使用して、共有ブロックボリュームが作成されたことを確認します。

   $ az disk show -g <resource_group> -n <shared_block_volume_name>

   たとえば、次のコマンドは、リソースグループ sharedblock-rg 内の共有ブロックボリューム shared-block-volume.vhd の詳細を表示します。

   $ az disk show -g sharedblock-rg -n shared-block-volume.vhd
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

3. Azure コマンド az network nic create を使用して、3 つのネットワークインターフェイスを作成します。それぞれ異なる <nic_name> を使用して、以下のコマンドを 3 回実行します。

   $ az network nic create \
       -g <resource_group> -n <nic_name> --subnet <subnet_name> \
       --vnet-name <virtual_network> --location <location> \
       --network-security-group <network_security_group> --private-ip-address-version IPv4

   たとえば、以下のコマンドは、shareblock-nodea-vm-nic-protected という名前のネットワークインターフェイスを作成します。

   $ az network nic create \
       -g sharedblock-rg -n sharedblock-nodea-vm-nic-protected --subnet sharedblock-subnet-protected \
       --vnet-name sharedblock-vn --location westcentralus \
       --network-security-group sharedblock-nsg --private-ip-address-version IPv4

4. Azure コマンド az vm create を使用して 3 つの仮想マシンを作成し、共有ブロックボリュームを割り当てます。オプションの値は、各仮想マシンに独自の <vm_name>、<new_vm_disk_name> および <nic_name> が指定される点で異なります。

   $ az vm create \
       -n <vm_name> -g <resource_group> --attach-data-disks <shared_block_volume_name> \
       --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name <new-vm-disk-name> \
       --os-disk-size-gb <disk_size> --location <location> --size <virtual_machine_size> \
       --image <image_name> --admin-username <vm_username> --authentication-type ssh \
       --ssh-key-values <ssh_key> --nics <nic_name> --availability-set <availability_set> --ppg <proximity_placement_group>

   たとえば、次のコマンドは、sharedblock-nodea-vm という名前の仮想マシンを作成します。

   $ az vm create \
   -n sharedblock-nodea-vm -g sharedblock-rg --attach-data-disks shared-block-volume.vhd \
   --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name sharedblock-nodea-vm.vhd \
   --os-disk-size-gb 64 --location westcentralus --size Standard_D2s_v3 \
   --image /subscriptions/12345678910-12345678910/resourceGroups/sample-azureimagesgroupwestcentralus/providers/Microsoft.Compute/images/sample-azure-rhel-9.3.0-20200713.n.0.x86_64 --admin-username sharedblock-user --authentication-type ssh \
   --ssh-key-values @sharedblock-key.pub --nics sharedblock-nodea-vm-nic-protected --availability-set sharedblock-as --ppg sharedblock-ppg
   
   {
     "fqdns": "",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/virtualMachines/sharedblock-nodea-vm",
     "location": "westcentralus",
     "macAddress": "00-22-48-5D-EE-FB",
     "powerState": "VM running",
     "privateIpAddress": "198.51.100.3",
     "publicIpAddress": "",
     "resourceGroup": "sharedblock-rg",
     "zones": ""
   }

検証

1. クラスター内の VM ごとに、ssh コマンドと VM の IP アドレスを使用して、ブロックデバイスが使用可能であることを確認します。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T '"

   たとえば、次のコマンドは、仮想マシン IP 198.51.100.3 のホスト名およびブロックデバイスを含む詳細をリスト表示します。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   sdb    8:16   0    1T  0 disk

2. SSH コマンドを使用して、クラスター内の各仮想マシンが同じ共有ディスクを使用していることを確認します。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   たとえば、以下のコマンドは、インスタンスの IP アドレスが 198.51.100.3 のホスト名および共有ディスクボリューム ID が含まれる詳細をリスト表示します。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=3600224808dd8eb102f6ffc5822c41d89

手順

1. openssl ユーティリティーを使用してカスタム証明書 custom_db.cer を生成します。

   $ openssl req -quiet \
   -newkey rsa:4096 \
   -nodes -keyout custom_db.key \
   -new -x509 \
   -sha256 -days 3650 \
   -subj "/CN=Signature Database key/" \
   --outform DER \
   -out custom_db.cer

2. 証明書を base64 エンコード形式に変換します。

   $ echo base64 -w0 custom_db.cer
   
   MIIFIjCCAwqgAwIBAgITNf23J4k0d8c0NR ....

3. 新しい Azure Compute Gallery イメージバージョンを登録するための azure-example-template.json Azure Resource Manager (ARM) ファイルを作成して編集します。

   $ vi azure-example-template.json
   
   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "resources": [
           {
               "type": "Microsoft.Compute/galleries/images/versions",
               "apiVersion": "2023-07-03",
               "name": "<your compute gallery/your image definition/version>",
               "location": "<location of the VHD>",
               "properties": {
                   "storageProfile": {
                       "osDiskImage": {
                           "source": {
                               "id": "<your-storage-account-id>",
                               "uri": "<url-with-the-vhd>"
                           },
                           "hostCaching": "ReadOnly"
                       }
                   },
                   "securityProfile": {
                       "uefiSettings": {
                           "signatureTemplateNames": [
                               "MicrosoftUefiCertificateAuthorityTemplate"
                           ],
                           "additionalSignatures": {
                               "db": [
                                   {
                                       "type": "x509",
                                       "value": [
                                           "<base64 of custom_db.cer>"
                                       ]
                                   }
                               ]
                           }
                       }
                   }
               }
           }
       ]
   }

4. azure-cli ユーティリティーを使用して、イメージバージョンを登録します。

   $ az deployment group create --name <example-deployment> \
   --resource-group <example-resource-group> \
   --template-file <example-template.json>

5. Azure ポータルからインスタンスを再起動します。

検証

1. 新しく作成された RHEL インスタンスでセキュアブートが有効になっているか確認します。

   $ mokutil --sb-state
   SecureBoot enabled

2. keyctl ユーティリティーを使用して、カスタム証明書のカーネルキーリングを確認します。

   $ sudo keyctl list %:.platform
   
   keys in keyring:
   ...
   586621657: ---lswrv   0   0
   asymmetric: Signature Database key: f064979641c24e1b935e402bdbc3d5c4672a1acc
   ...

1. 初期化と測定: TDX 対応ハイパーバイザーは、仮想マシンの初期状態を設定します。このハイパーバイザーは、ファームウェアバイナリーファイルを仮想マシンメモリーに読み込み、初期レジスター状態を設定します。Intel プロセッサーは、仮想マシンの初期状態を測定し、仮想マシンの初期状態を確認する詳細を提供します。
2. ファームウェア: 仮想マシンは UEFI ファームウェアを開始します。ファームウェアには、ステートフルまたはステートレスの Virtual Trusted Platform Module (vTPM)実装が含まれる可能性があります。stateful vTPM は、VM の再起動と移行後も永続的な暗号化状態を維持しますが、ステートレス vTPM は、永続性のない各 VM セッションの新しい暗号化状態を生成します。仮想マシンの権限レベル(VMPL)テクノロジーは、vTPM をゲストから分離します。VMPL は、異なる仮想マシンコンポーネントとハイパーバイザーの間で、ハードウェアで強制された権限の分離を提供します。
3. vTPM: クラウドサービスプロバイダーによっては、ステートフル vTPM 実装によっては、UEFI ファームウェアがリモートアテステーションを実行して、vTPM の永続的な状態を復号化する可能性があります。vTPM は、セキュアブート状態、ブートアーティファクトの署名に使用される証明書、UEFI バイナリーハッシュなど、ブートプロセスに関するデータを収集します。

4. shim : UEFI ファームウェアが初期化プロセスを終了すると、拡張ファームウェアインターフェイス(EFI)システムパーティションを検索します。次に、UEFI ファームウェアは、そこから最初のステージブートローダーを検証し、実行します。RHEL の場合、これは shim です。shim プログラムでは、Microsoft 以外のオペレーティングシステムが EFI システムパーティションから第 2 段階のブートローダーをロードすることができます。

   1. shim は Red Hat 証明書を使用して、2 番目のステージブートローダー(grub)または Red Hat Unified Kernel Image (UKI)を検証します。
   2. GRUB または UKI は、Linux カーネルと initramfs、およびカーネルコマンドラインをアンパックして検証し、実行します。このプロセスにより、Linux カーネルが信頼できるセキュアな環境に読み込まれるようになります。

5. initramfs: initramfs では、完全なディスク暗号化テクノロジーの場合、vTPM 情報は暗号化されたルートパーティションを自動的にアンロックします。

   1. ルートボリュームが利用可能になると、initramfs はそこで実行フローを転送します。
6. アテステーション：VM テナントはシステムにアクセスし、リモート認証を実行して、アクセスされた VM が改ざんされていない Confidential Virtual Machine (CVM)であることを確認できます。認証は、Intel プロセッサーと vTPM からの情報に基づいて実行されます。このプロセスは、RHEL インスタンスと Intel プロセッサーの初期 CPU およびメモリーの状態の信頼性および信頼性を確認します。
7. TEE: このプロセスは、Trusted Execution Environment (TEE)を作成し、仮想マシンの起動が信頼できるセキュアな環境にあることを確認します。

手順

1. azure cli ユーティリティーを使用して Azure にログインします。

   $ az login

2. 選択したアベイラビリティーゾーンの Azure リソースグループを作成します。

   $ az group create --name <example_resource_group> --location westeurope

3. TDX を有効にして RHEL インスタンスをデプロイします（例： Standard_DC2eds_v5 インスタンスタイプ）。

   $ az vm create --resource-group <example_resource_group> \
   --name <example_rhel_instance> \
   --image <"RedHat:rhel-cvm:9_5_cvm:latest"> \
   --size <Standard_DC2eds_v5> \
   --admin-username <example_azure_user> \
   --generate-ssh-keys \
   --security-type ConfidentialVM \
   --os-disk-security-encryption-type DiskWithVMGuestState

4. RHEL インスタンスに接続します。

   $ ssh <example_azure_user>@<example_ip_address_of_the_instance>

1. 初期化と測定: SEV-SNP 対応ハイパーバイザーは、仮想マシンの初期状態を設定します。このハイパーバイザーは、ファームウェアバイナリーを仮想マシンメモリーに読み込み、初期レジスター状態を設定します。AMD Secure Processor (SP)は、仮想マシンの初期状態を測定し、仮想マシンの初期状態を検証する情報を提供します。
2. ファームウェア: 仮想マシンは UEFI ファームウェアを開始します。ファームウェアには、ステートフルまたはステートレスの Virtual Trusted Platform Module (vTPM)実装が含まれる可能性があります。stateful vTPM は、VM の再起動と移行後も永続的な暗号化状態を維持しますが、ステートレス vTPM は、永続性のない各 VM セッションの新しい暗号化状態を生成します。仮想マシンの権限レベル(VMPL)テクノロジーは、vTPM をゲストから分離します。VMPL は、異なる仮想マシンコンポーネントとハイパーバイザーの間で、ハードウェアで強制された権限の分離を提供します。

3. vTPM: クラウドサービスプロバイダーによっては、ステートフル vTPM 実装によっては、UEFI ファームウェアがリモートアテステーションを実行して、vTPM の永続的な状態を復号化する可能性があります。

   1. vTPM は、セキュアブート状態、ブートアーティファクトの署名に使用される証明書、UEFI バイナリーハッシュなどのブートプロセスに関するファクトも測定します。

4. shim: UEFI ファームウェアが初期化プロセスを終了すると、拡張ファームウェアインターフェイス(EFI)システムパーティションを検索します。次に、UEFI ファームウェアは、そこから最初のステージブートローダーを検証し、実行します。RHEL の場合、これは shim です。shim プログラムでは、Microsoft 以外のオペレーティングシステムが EFI システムパーティションから第 2 段階のブートローダーをロードすることができます。

   1. shim は Red Hat 証明書を使用して、2 番目のステージブートローダー(grub)または Red Hat Unified Kernel Image (UKI)を検証します。
   2. GRUB または UKI は、Linux カーネルと初期 RAM ファイルシステム(initramfs)、およびカーネルコマンドラインをアンパックし、検証し、実行します。このプロセスにより、Linux カーネルが信頼できるセキュアな環境に読み込まれるようになります。

5. initramfs: initramfs では、ディスク暗号化技術が完全な場合に、vTPM 情報は暗号化されたルートパーティションを自動的にアンロックします。

   1. ルートボリュームが利用可能になると、initramfs により実行フローがルートボリュームに転送されます。
6. アテステーション：VM テナントはシステムにアクセスし、リモート認証を実行して、アクセスされた VM が改ざんされていない Confidential Virtual Machine (CVM)であることを確認できます。テストは、AMD SP および vTPM からの情報に基づいて実行されます。このプロセスは、RHEL インスタンスと AMD プロセッサーの初期 CPU およびメモリーの状態の信頼性および信頼性を確認します。
7. TEE: このプロセスは、Trusted Execution Environment (TEE)を作成し、仮想マシンの起動が信頼できるセキュアな環境にあることを確認します。

手順

1. Azure CLI ユーティリティーを使用して Azure にログインします。

   $ az login

2. 選択したアベイラビリティーゾーンの Azure リソースグループを作成します。

   $ az group create --name <example_resource_group> --location eastus

3. SEV-SNP を使用して RHEL インスタンスをデプロイします（例： Standard_DC4as_V5 インスタンスタイプ）。

   $ az vm create --resource-group <example_resource_group> \
   --name <example-rhel-9-instance> \
   --image <"RedHat:rhel-cvm:9_5_cvm:latest"> \
   --size <Standard_DC4as_V5> \
   --admin-username <example_azure_user> \
   --generate-ssh-keys \
   --security-type ConfidentialVM \
   --os-disk-security-encryption-type DiskWithVMGuestState

4. RHEL インスタンスに接続します。

   $ ssh <example_azure_user>@<example_ip_address_of_VM>

手順

1. SSH 経由で仮想マシンに接続します。

   $ ssh -i <example_private_key.pem> <example_azureuser>@<192.0.2.101>

2. 一時的なユーザー、ネットワーク、およびホストの情報を削除します。

   $ sudo waagent -deprovision+user -force

3. ログアウトするか、Ctrl + D を押して SSH セッションを閉じます。

4. 仮想マシンを停止します。

   $ az vm stop --name <example_vm_name> --resource-group <example_vm_resource_group>

5. Azure 課金を停止するためにリソースの割り当てを解除します。

   $ az vm deallocate --name <example_vm_name> --resource-group <example_vm_resource_group>

6. 仮想マシンを一般化して、このイメージが汎用的で、クローン作成の準備ができていることを確認します。

   $ az vm generalize --name <example_vm_name> --resource-group <example_vm_resource_group>

手順

1. ギャラリーをホストするためのリソースグループを作成します。

   $ az group create --name <example_image_resource_group>

2. 上記のリソースグループにギャラリーを作成します。

   $ az sig create --resource-group <example_image_resource_group> \
   --gallery-name <example_image_gallery_name>

3. サブスクリプションのセキュリティータイプを Standard に設定します。

   $ az feature register --name UseStandardSecurityType \
   --namespace Microsoft.Compute

4. プロバイダーを登録します。

   $ az provider register --namespace Microsoft.Compute

5. イメージのバージョンを管理するイメージ定義を作成します。

   $ az sig image-definition create --resource-group <example_image_resource_group> \
   --gallery-name <example_image_gallery_name> \
   --gallery-image-definition <example_image_definition> \
   --publisher <example_publisher> \
   --offer <example_offer> \
   --sku <example_sky> \
   --os-type Linux \
   --os-state Generalized \
   --hyper-v-generation V2 \
   --features SecurityType=Standard

   <publisher>

   イメージを提供するエンティティーまたは組織。

   <offer>

   パブリッシャーからの関連イメージのコレクションです。

   <stock Keeping Unit (SKU)>

   メジャーリリースを示すオファー内のエディション。

   <VERSION>

   特定の SKU のバージョン番号。

6. イメージに関する情報を取得します。

   $ az vm list --output table

7. 出力から一般化されたイメージ名を使用します。

   $ az vm get-instance-view --resource-group <example_vm_resource_group> \
   --name <example_vm_name> \
   --query id

8. 出力からイメージ定義の ID をコピーします。

9. 前のステップで取得したイメージ ID を使用して、イメージバージョンを作成します。

   $ az sig image-version create \
   --resource-group <example_image_resource_group> \
   --gallery-name <example_image_gallery_name> \
   --gallery-image-definition <example_image_definition> \
   --gallery-image-version <example_version> \
   --virtual-machine <example_id>

10. 必要に応じて、VM および関連するリソースを削除します。

    $ az vm delete --resource-group <example_image_resource_group> \
    --name <example_vm_name>

手順

1. Azure に CycleCloud をインストールし、デプロイします。

   • Azure Marketplace のインストールについては、Install Azure CycleCloud from Azure Marketplace を参照してください。
   • 手動インストールは Azure CycleCloud を手動でインストールする を参照し てください。

2. カスタム RHEL HPC イメージの ID を表示します。

   $ az sig image-version show --resource-group="<example_resource_group>" \
   --gallery-name="<example_gallery>" \
   --gallery-image-definition="<example_image>" \
   --gallery-image-version="<example_version>" \
   --query="id" \
   --output="tsv"

3. Run Slurm with CycleCloud の手順に従って、Slurm ワークロードマネージャーをプロビジョニングします。

   警告

   IPv4 アドレスの既知の制限により、Public Head Node オプションを選択すると、Slurm ヘッドノードでプロビジョニングが失敗します。回避策として、Public Head Node オプションがオフになっていることを確認し、環境内の Slurm head ノードにアクセスするのに最適な方法を決定します。詳細は、GitHub の関連する Slurm issue を参照し てください。

   注記

   すべてのクラスターノードで、前の手順で取得したカスタム RHEL イメージ ID を使用します。詳細は、カスタム OS イメージの指定方法 を 参照してください。

4. CycleCloud ホームページで、既存の Slurm クラスターを選択します。
5. Slurm クラスターを起動するには、Start をクリックします。
6. クラスター ビューを選択し、Connect をクリックして、Slurm ヘッドノードにログインします。標準の Slurm コマンドラインツールを使用して HPC ジョブをスケジュールします。詳細は、How do I submit jobs? を参照してください。(Slurm)セクション を参照してください。