在 Microsoft Azure 上部署 RHEL 9

1. 根据您的需求和当前市场提供的，为您的使用案例选择最佳云提供商。

   当前认证的运行 RHEL 实例的云提供商有：

   • Amazon Web Services (AWS)
   • Google Cloud

   • Microsoft Azure

     注意

     本文档专门讨论在 Microsoft Azure 上部署 RHEL。

2. 在您选择的云平台上创建 RHEL 云实例。如需更多信息，请参阅 创建 RHEL 云实例的方法。
3. 要让您的 RHEL 部署保持最新状态，请使用 红帽更新基础设施 (RHUI)。

流程

1. 将镜像从 qcow2 转换为 raw 格式。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 创建一个具有以下内容的 shell 脚本：

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. 运行脚本。本例使用名称 align.sh 。

   $ sh align.sh <image-xxx>.raw

   • 如需显示 "Your image is already aligned.You do not need to resize."，执行以下步骤。
   • 如果显示了一个值，代表您的镜像没有被对齐。

4. 使用以下命令来将文件转换为固定的 VHD 格式：

   示例使用 qemu-img 版本 2.12.0。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   转换后，VHD 文件就可以上传到 Azure。

5. 如果 raw 镜像不一致，请完成以下步骤使其保持一致。

   1. 在运行验证脚本时，使用显示的舍入值来调整 raw 文件的大小。

      $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

   2. 将 raw 镜像文件转换为 VHD 格式。

      示例使用 qemu-img 版本 2.12.0。

      $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

      转换后，VHD 文件就可以上传到 Azure。

流程

1. 导入 Microsoft 软件仓库密钥。

   $ sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc

2. 创建本地 Azure CLI 存储库条目。

   $ sudo sh -c 'echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo'

3. 更新 dnf 软件包索引。

   $ dnf check-update

4. 检查您的 Python 版本(python --version)，并根据需要安装 Python 3.x。

   $ sudo dnf install python3

5. 安装 Azure CLI。

   $ sudo dnf install -y azure-cli

6. 运行 Azure CLI。

   $ az

步骤

1. 使用 Azure 验证您的系统并登录。

   $ az login

   注意

   如果在您的环境中有浏览器，则 CLI 会打开浏览器到 Azure 登录页面。如需更多信息和选项，请参阅使用 Azure CLI 登录。

2. 在 Azure 区域中创建资源组。

   $ az group create --name <resource-group> --location <azure-region>

   例如：

   [clouduser@localhost]$ az group create --name azrhelclirsgrp --location southcentralus
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. 创建存储帐户。有关有效 SKU 值的更多信息，请参阅 SKU Types。

   $ az storage account create -l <azure-region> -n <storage-account-name> -g <resource-group> --sku <sku_type>

   例如：

   [clouduser@localhost]$ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. 获取存储帐户连接字符串。

   $ az storage account show-connection-string -n <storage-account-name> -g <resource-group>

   例如：

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 通过复制连接字符串并将其粘贴到以下命令来导出连接字符串。这个字符串将您的系统连接到存储帐户。

   $ export AZURE_STORAGE_CONNECTION_STRING="<storage-connection-string>"

   例如：

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. 创建存储容器。

   $ az storage container create -n <container-name>

   例如：

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   {
     "created": true
   }

7. 创建虚拟网络。

   $ az network vnet create -g <resource group> --name <vnet-name> --subnet-name <subnet-name>

   例如：

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

流程

1. 将 VHD 文件上传到存储容器。它可能需要几分钟时间。要获取存储容器的列表，请输入 az storage container list 命令。

   $ az storage blob upload \
       --account-name <storage-account-name> --container-name <container-name> \
       --type page --file <path-to-vhd> --name <image-name>.vhd

   例如：

   [clouduser@localhost]$ az storage blob upload \
   --account-name azrhelclistact --container-name azrhelclistcont \
   --type page --file rhel-image-{ProductNumber}.vhd --name rhel-image-{ProductNumber}.vhd
   
   Percent complete: %100.0

2. 获取上传的 VHD 文件的 URL，以便在下面的步骤中使用。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   例如：

   $ az storage blob url -c azrhelclistcont -n rhel-image-9.vhd "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd"

3. 创建 Azure 自定义镜像。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注意

   虚拟机的默认 hypervisor 系列为 V1。您可以通过包含 --hyper-v-generation V2 选项来（可选）指定 V2 管理程序生成。第二代虚拟机使用基于 UEFI 的引导架构。如需有关第 2 代虚拟机的信息，请参阅 对 Azure 上第 2 代虚拟机的支持。

   命令可能会返回错误"Only blobs formatted as VHDs can be imported."此错误可能意味着在转换为 VHD 之前，镜像与最接近的 1 MB 边界不一致。

   例如：

   $ az image create -n rhel9 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd --os-type linux

流程

1. 输入以下命令来创建虚拟机。

   $ az vm create \
       -g <resource-group> -l <azure-region> -n <vm-name> \
       --vnet-name <vnet-name> --subnet <subnet-name> --size Standard_A2 \
       --os-disk-name <simple-name> --admin-username <administrator-name> \
       --generate-ssh-keys --image <path-to-image>

   注意

   选项 --generate-ssh-keys 创建私钥/公钥对。私钥和公钥文件创建在您系统上的 ~/.ssh 中。公钥被添加到 --admin-username 选项所指定的用户的虚拟机上的 authorized_keys 文件中。如需更多信息，请参阅其他身份验证方法 。

   示例:

   [clouduser@localhost]$ az vm create \
   -g azrhelclirsgrp2 -l southcentralus -n rhel-azure-vm-1 \
   --vnet-name azrhelclivnet1 --subnet azrhelclisubnet1 --size Standard_A2 \
   --os-disk-name vm-1-osdisk --admin-username clouduser \
   --generate-ssh-keys --image rhel9
   
   {
     "fqdns": "",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/virtualMachines/rhel-azure-vm-1",
     "location": "southcentralus",
     "macAddress": "",
     "powerState": "VM running",
     "privateIpAddress": "10.0.0.4",
     "publicIpAddress": "<public-IP-address>",
     "resourceGroup": "azrhelclirsgrp2"

   请注意 publicIpAddress。在以下步骤中，您需要这个地址来登录到虚拟机。

2. 启动 SSH 会话并登录到虚拟机。

   [clouduser@localhost]$ ssh -i /home/clouduser/.ssh/id_rsa clouduser@<public-IP-address>.
   The authenticity of host ',<public-IP-address>' can't be established.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added '<public-IP-address>' (ECDSA) to the list of known hosts.
   
   [clouduser@rhel-azure-vm-1 ~]$

流程

1. 注册您的系统。

   # subscription-manager register

2. 附加您的订阅。

   • 您可以使用激活码来附加订阅。如需更多信息，请参阅创建红帽客户门户网站激活码。
   • 另外，您可以使用订阅池（池 ID）的 ID 手动附加订阅。请参阅 将基于主机的订阅附加到 hypervisor。

3. 可选： 要在 Red Hat Hybrid Cloud Console 中收集有关实例的各种系统指标，您可以使用 红帽 Lightspeed 注册实例。

   # insights-client register --display-name <display_name_value>

   有关 Red Hat Lightspeed 配置的更多信息，请参阅 Red Hat Lightspeed 的客户端配置指南。

步骤

1. 使用 Gold Image 在 Azure 实例中创建 RHEL 9 虚拟机。具体步骤请参阅在 Azure 中创建和启动虚拟机。
2. 启动创建的虚拟机。

3. 在 RHEL 9 虚拟机中，启用自动注册。

   # subscription-manager config --rhsmcertd.auto_registration=1

4. 启用 rhsmcertd 服务。

   # systemctl enable rhsmcertd.service

5. 禁用 redhat.repo 存储库。

   # subscription-manager config --rhsm.manage_repos=0

6. 关闭虚拟机，并将它保存为 Azure 上的受管镜像。具体说明请查看 如何创建虚拟机的受管镜像或 VHD。
7. 使用受管的镜像创建虚拟机。他们将自动订阅 RHSM。

流程

1. 确保 kdump 和其他必要的软件包已安装在您的系统上。

   # dnf install kexec-tools

2. 验证崩溃转储文件的默认位置是否在 kdump 配置文件中设置了，并且 /var/crash 文件是否可用。

   # grep -v "#" /etc/kdump.conf
   
   path /var/crash
   core_collector makedumpfile -l --message-level 7 -d 31

3. 根据 RHEL 虚拟机(VM)实例的大小和版本，决定是否需要一个具有更多可用空间的 vmcore 目标，如 /mnt/crash。为此，请使用下表。

   Expand

   表 3.4. 已在 Azure 上使用 GEN2 虚拟机 测试了的虚拟机大小

   RHEL 版本	标准 DS1 v2 (1 vCPU, 3.5GiB)	标准 NV16as v4 (16 vCPU, 56 GiB)	标准 M416-208s v2 (208 vCPU, 5700 GiB)	标准 M416ms v2 (416 vCPU, 11400 GiB)
   RHEL 9.0 - RHEL 9.3	default	default	目标	目标

   Show more
   • Default 表示 kdump 使用默认的内存和默认的 kdump 目标可以正常工作。默认的 kdump 目标为 /var/crash。
   • Target 表示 kdump 可以使用默认内存按预期工作。但是，您可能需要分配一个具有更多可用空间的目标。

4. 如果您的实例需要它，请分配一个具有更多可用空间的目标，如 /mnt/crash。为此，请编辑 /etc/kdump.conf 文件并替换默认路径。

   $ sed s/"path /var/crash"/"path /mnt/crash"

   选项 path /mnt/crash 代表 kdump 在文件系统中保存崩溃转储文件的路径。

   有关更多选项，比如将崩溃转储文件写入不同的分区，直接写入设备或将其保存到远程机器，请参阅 配置 kdump 目标。

5. 如果您的实例需要它，请将崩溃内核的大小增加到足够大，以便 kdump 能够通过添加相应的引导参数来捕获 vmcore。

   例如，对于标准 M416-208s v2 虚拟机，足够的大小为 512 MB，因此引导参数应为 crashkernel=512M。

   1. 打开 GRUB 配置文件，并将 crashkernel=512M 添加到引导参数行中。

      # vi /etc/default/grub
      
      GRUB_CMDLINE_LINUX="console=tty1 console=ttyS0 earlyprintk=ttyS0 rootdelay=300 crashkernel=512M"

   2. 更新 GRUB 配置文件。

      • 在 RHEL 9.2 及更早版本中：

        # grub2-mkconfig -o /boot/grub2/grub.cfg

      • 在 RHEL 9.3 及更高版本中：

        # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

6. 重启虚拟机，来向虚拟机分配单独的内核崩溃内存。

流程

1. 使用 Azure 验证您的系统并登录。

   $ az login

   注意

   如果在您的环境中有浏览器，则 CLI 会打开浏览器到 Azure 登录页面。

   例如：

   [clouduser@localhost]$ az login
   
   To sign in, use a web browser to open the page https://aka.ms/devicelogin and enter the code FDMSCMETZ to authenticate.
     [
       {
         "cloudName": "AzureCloud",
         "id": "Subscription ID",
         "isDefault": true,
         "name": "MySubscriptionName",
         "state": "Enabled",
         "tenantId": "Tenant ID",
         "user": {
           "name": "clouduser@company.com",
           "type": "user"
         }
       }
     ]

2. 在 Azure 区域中创建资源组。

   $ az group create --name resource-group --location azure-region

   例如：

   [clouduser@localhost]$ az group create --name azrhelclirsgrp --location southcentralus
   
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. 创建存储帐户。

   $ az storage account create -l azure-region -n storage-account-name -g resource-group --sku sku_type --kind StorageV2

   例如：

   [clouduser@localhost]$ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS --kind StorageV2
   
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. 获取存储帐户连接字符串。

   $ az storage account show-connection-string -n storage-account-name -g resource-group

   例如：

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 通过复制连接字符串并将其粘贴到以下命令来导出连接字符串。这个字符串将您的系统连接到存储帐户。

   $ export AZURE_STORAGE_CONNECTION_STRING="storage-connection-string"

   例如：

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. 创建存储容器。

   $ az storage container create -n container-name

   例如：

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   
   {
     "created": true
   }

7. 创建虚拟网络。所有群集节点必须位于同一个虚拟网络中。

   $ az network vnet create -g resource group --name vnet-name --subnet-name subnet-name

   例如：

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

8. 创建可用性集。所有集群节点都必须处于相同的可用性集。

   $ az vm availability-set create --name MyAvailabilitySet --resource-group MyResourceGroup

   例如：

   [clouduser@localhost]$ az vm availability-set create --name rhelha-avset1 --resource-group azrhelclirsgrp
   {
     "additionalProperties": {},
       "id": "/subscriptions/.../resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/availabilitySets/rhelha-avset1",
       "location": "southcentralus",
       "name": “rhelha-avset1",
       "platformFaultDomainCount": 2,
       "platformUpdateDomainCount": 5,
   
   [omitted]

流程

1. 输入以下 grep 命令，来确定是否已安装了所需的 Hyper-V 设备驱动程序：

   # lsinitrd | grep hv

   在以下示例中安装了所有必需的驱动程序。

   # lsinitrd | grep hv
   drwxr-xr-x   2 root     root            0 Aug 12 14:21 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/hv
   -rw-r--r--   1 root     root        31272 Aug 11 08:45 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/hv/hv_vmbus.ko.xz
   -rw-r--r--   1 root     root        25132 Aug 11 08:46 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/net/hyperv/hv_netvsc.ko.xz
   -rw-r--r--   1 root     root         9796 Aug 11 08:45 usr/lib/modules/3.10.0-932.el9.x86_64/kernel/drivers/scsi/hv_storvsc.ko.xz

   如果没有安装所有驱动程序，请完成剩余的步骤。

   注意

   环境中可能存在 hv_vmbus 驱动程序。即使存在这个驱动程序，请完成以下步骤。

2. 在 /etc/dracut.conf.d 中创建一个名为 hv.conf 的文件。

3. 在 hv.conf 文件中添加以下驱动程序参数。

   add_drivers+=" hv_vmbus "
   add_drivers+=" hv_netvsc "
   add_drivers+=" hv_storvsc "
   add_drivers+=" nvme "

   注意

   请注意引号前后的空格，例如 add_drivers+=" hv_vmbus "。这样可确保在环境中存在其他 Hyper-V 驱动程序时载入唯一驱动程序。

4. 重新生成 initramfs 镜像。

   # dracut -f -v --regenerate-all

验证

1. 重启机器。
2. 运行 lsinitrd | grep hv 命令来验证是否已安装了驱动程序。

流程

1. 登录到虚拟机。

2. 注册虚拟机并启用 Red Hat Enterprise Linux 9 软件仓库。

   # subscription-manager register
   Installed Product Current Status:
   Product Name: Red Hat Enterprise Linux for x86_64
   Status: Subscribed

3. 确保安装了 cloud-init 和 hyperv-daemons 软件包。

   # dnf install cloud-init hyperv-daemons -y

4. 创建与 Azure 服务集成所需的 cloud-init 配置文件：

   1. 要启用对 Hyper-V Data Exchange Service(KVP)的日志记录，请创建 /etc/cloud/cloud.cfg.d/10-azure-kvp.cfg 配置文件，并将以下行添加到该文件中。

      reporting:
          logging:
              type: log
          telemetry:
              type: hyperv

   2. 要将 Azure 添加为数据源，请创建 /etc/cloud/cloud.cfg.d/91-azure_datasource.cfg 配置文件，并将以下行添加到该文件中。

      datasource_list: [ Azure ]
      datasource:
          Azure:
              apply_network_config: False

   3. 要在临时磁盘上配置交换空间，请创建 /etc/cloud/cloud.cfg.d/00-azure-swap.cfg 配置文件并添加以下行。

      重要

      临时磁盘是临时存储。因此，当虚拟机被取消或移动时，存储的数据（包括交换空间）将会丢失。将临时磁盘仅用于临时数据，如交换空间。

      #cloud-config
      disk_setup:
        ephemeral0:
          table_type: gpt
          layout: [66, [33,82]]
          overwrite: true
      fs_setup:
        - device: ephemeral0.1
          filesystem: ext4
        - device: ephemeral0.2
          filesystem: swap
      mounts:
        - ["ephemeral0.1", "/mnt"]
        - ["ephemeral0.2", "none", "swap", "sw,nofail,x-systemd.requires=cloud-init.service", "0", "0"]

5. 要确保特定内核模块自动被阻止加载，请编辑或创建 /etc/modprobe.d/blocklist.conf 文件，并将以下行添加到该文件中。

   blacklist nouveau
   blacklist lbm-nouveau
   blacklist floppy
   blacklist amdgpu
   blacklist skx_edac
   blacklist intel_cstate

6. 修改 udev 网络设备规则：

   1. 如果存在，请删除以下持久性网络设备规则。

      # rm -f /etc/udev/rules.d/70-persistent-net.rules
      # rm -f /etc/udev/rules.d/75-persistent-net-generator.rules
      # rm -f /etc/udev/rules.d/80-net-name-slot-rules

   2. 要确保在 Azure 上的加速网络按预期工作，请创建一个新的网络设备规则 /etc/udev/rules.d/68-azure-sriov-nm-unmanaged.rules，并将以下行添加到其中。

      SUBSYSTEM=="net", DRIVERS=="hv_pci", ACTION=="add", ENV{NM_UNMANAGED}="1"

7. 将 sshd 服务设置为自动启动。

   # systemctl enable sshd
   # systemctl is-enabled sshd

8. 修改内核引导参数：

   1. 打开 /etc/default/grub 文件，并确保 GRUB_TIMEOUT 行有以下值：

      GRUB_TIMEOUT=10

   2. 如果存在的话，从 GRUB_CMDLINE_LINUX 行的末尾删除以下选项。

      rhgb quiet

   3. 确保 /etc/default/grub 文件包含具有所有指定选项的以下行：

      GRUB_CMDLINE_LINUX="loglevel=3 crashkernel=auto console=tty1 console=ttyS0 earlyprintk=ttyS0 rootdelay=300"
      GRUB_TIMEOUT_STYLE=countdown
      GRUB_TERMINAL="serial console"
      GRUB_SERIAL_COMMAND="serial --speed=115200 --unit=0 --word=8 --parity=no --stop=1"

      注意

      如果您没有在 HDD 上运行工作负载，请将 elevator=none 添加到 GRUB_CMDLINE_LINUX 行的末尾。这会将 I/O 调度程序设置为 none，这可以提高基于 SSD 的系统上的 I/O 性能。

   4. 重新生成 grub.cfg 文件。

      • 在基于 BIOS 的机器上：

        • 在 RHEL 9.2 及更早版本中：

          # grub2-mkconfig -o /boot/grub2/grub.cfg

        • 在 RHEL 9.3 及更高版本中：

          # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

      • 在基于 UEFI 的机器上：

        • 在 RHEL 9.2 及更早版本中：

          # grub2-mkconfig -o /boot/grub2/grub.cfg

        • 在 RHEL 9.3 及更高版本中：

          # grub2-mkconfig -o /boot/grub2/grub.cfg --update-bls-cmdline

          警告

          对于基于 BIOS 和 UEFI 的机器，重建 grub.cfg 的路径是一样的。实际的 grub.cfg 只在 BIOS 路径中存在。UEFI 路径有一个 stub 文件，不能使用 grub2-mkconfig 命令修改或重新创建。

          如果您的系统对 grub.cfg 使用非默认位置，请相应地调整命令。

9. 配置 Windows Azure Linux 代理(WALinuxAgent)：

   1. 安装并启用 WALinuxAgent 软件包。

      # dnf install WALinuxAgent -y
      # systemctl enable waagent

   2. 要在 WALinuxAgent 中禁用交换配置（在使用 cloud-init 管理交换时必需），请编辑 /etc/waagent.conf 文件中的以下行。

      Provisioning.DeleteRootPassword=y
      ResourceDisk.Format=n
      ResourceDisk.EnableSwap=n
      ResourceDisk.SwapSizeMB=0

      注意

      通过在 WALinuxAgent 中禁用 swap，您可以启用 cloud-init 来管理临时磁盘上的交换配置。

10. 为 Azure 置备准备虚拟机：

    1. 从 Red Hat Subscription Manager 取消注册虚拟机。

       # subscription-manager unregister

    2. 清理现有置备详情。

       # waagent -force -deprovision

       注意

       这个命令会产生警告，这是预期的，因为 Azure 会自动处理虚拟机的置备。

    3. 清理 shell 历史记录并关闭虚拟机。

       # export HISTSIZE=0
       # poweroff

流程

1. 在 HA 集群的任何节点上，登录到您的 Azure 帐户。

   $ az login

2. 为 Azure 隔离代理的自定义角色创建一个 json 配置文件。使用以下配置，但将 <subscription-id> 替换为您的订阅 ID。

   {
         "Name": "Linux Fence Agent Role",
         "description": "Allows to power-off and start virtual machines",
         "assignableScopes": [
                 "/subscriptions/<subscription-id>"
         ],
         "actions": [
                 "Microsoft.Compute/*/read",
                 "Microsoft.Compute/virtualMachines/powerOff/action",
                 "Microsoft.Compute/virtualMachines/start/action"
         ],
         "notActions": [],
         "dataActions": [],
         "notDataActions": []
   }

3. 为 Azure 隔离代理定义自定义角色。使用上一步中创建的 json 文件进行此操作。

   $ az role definition create --role-definition azure-fence-role.json
   
   {
     "assignableScopes": [
       "/subscriptions/<my-subscription-id>"
     ],
     "description": "Allows to power-off and start virtual machines",
     "id": "/subscriptions/<my-subscription-id>/providers/Microsoft.Authorization/roleDefinitions/<role-id>",
     "name": "<role-id>",
     "permissions": [
       {
         "actions": [
           "Microsoft.Compute/*/read",
           "Microsoft.Compute/virtualMachines/powerOff/action",
           "Microsoft.Compute/virtualMachines/start/action"
         ],
         "dataActions": [],
         "notActions": [],
         "notDataActions": []
       }
     ],
     "roleName": "Linux Fence Agent Role",
     "roleType": "CustomRole",
     "type": "Microsoft.Authorization/roleDefinitions"
   }

4. 在 Azure web 控制台界面中，选择 Virtual Machine → 点左侧菜单中的 Identity 。
5. 选择 On → 点Save → 点 Yes 确认。
6. 点 Azure role assignments → Add role assignment。
7. 选择角色所需的Scope，如 Resource Group。
8. 选择所需的 Resource Group。
9. 可选：如果需要，请修改 订阅。
10. 选择 Linux Fence Agent Role 角色。
11. 点击 Save。

流程

1. 将镜像从 qcow2 转换为 raw 格式。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 创建一个具有以下内容的 shell 脚本：

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. 运行脚本。本例使用名称 align.sh 。

   $ sh align.sh <image-xxx>.raw

   • 如需显示 "Your image is already aligned.You do not need to resize."，执行以下步骤。
   • 如果显示了一个值，代表您的镜像没有被对齐。

4. 使用以下命令来将文件转换为固定的 VHD 格式：

   示例使用 qemu-img 版本 2.12.0。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   转换后，VHD 文件就可以上传到 Azure。

5. 如果 raw 镜像不一致，请完成以下步骤使其保持一致。

   1. 在运行验证脚本时，使用显示的舍入值来调整 raw 文件的大小。

      $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

   2. 将 raw 镜像文件转换为 VHD 格式。

      示例使用 qemu-img 版本 2.12.0。

      $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

      转换后，VHD 文件就可以上传到 Azure。

流程

1. 将 VHD 文件上传到存储容器。它可能需要几分钟时间。要获取存储容器的列表，请输入 az storage container list 命令。

   $ az storage blob upload \
       --account-name <storage-account-name> --container-name <container-name> \
       --type page --file <path-to-vhd> --name <image-name>.vhd

   示例:

   [clouduser@localhost]$ az storage blob upload \
   --account-name azrhelclistact --container-name azrhelclistcont \
   --type page --file rhel-image-{ProductNumber}.vhd --name rhel-image-{ProductNumber}.vhd
   
   Percent complete: %100.0

2. 获取上传的 VHD 文件的 URL，以便在下面的步骤中使用。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   示例:

   $ az storage blob url -c azrhelclistcont -n rhel-image-9.vhd "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd"

3. 创建 Azure 自定义镜像。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注意

   虚拟机的默认 hypervisor 系列为 V1。您可以通过包含 --hyper-v-generation V2 选项来（可选）指定 V2 管理程序生成。第二代虚拟机使用基于 UEFI 的引导架构。如需有关第 2 代虚拟机的信息，请参阅 对 Azure 上第 2 代虚拟机的支持。

   命令可能会返回错误"Only blobs formatted as VHDs can be imported."此错误可能意味着在转换为 VHD 之前，镜像与最接近的 1 MB 边界不一致。

   示例:

   $ az image create -n rhel9 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-9.vhd --os-type linux

流程

1. 启动一个 SSH 终端会话，并使用管理员名称和公共 IP 地址连接到虚拟机。

   $ ssh administrator@PublicIP

   要获取 Azure 虚拟机的公共 IP 地址，请在 Azure 门户网站中打开虚拟机属性，或者输入以下 Azure CLI 命令。

   $ az vm list -g <resource_group> -d --output table

   例如：

   [clouduser@localhost ~] $ az vm list -g azrhelclirsgrp -d --output table
   Name    ResourceGroup           PowerState      PublicIps        Location
   ------  ----------------------  --------------  -------------    --------------
   node01  azrhelclirsgrp          VM running      192.98.152.251    southcentralus

2. 在红帽注册虚拟机。

   $ sudo -i
   # subscription-manager register

3. 禁用所有软件仓库。

   # subscription-manager repos --disable=*

4. 启用 RHEL 9 服务器 HA 软件仓库。

   # subscription-manager repos --enable=rhel-9-for-x86_64-highavailability-rpms

5. 更新所有软件包。

   # dnf update -y

6. 安装红帽高可用性附加组件软件包，以及来自高可用性渠道中的 Azure 隔离代理。

   # dnf install pcs pacemaker fence-agents-azure-arm

7. 用户 hacluster 在最后一步中的 pcs 和 pacemaker 安装过程中创建。在所有群集节点上为 hacluster 创建密码。所有节点都使用相同的密码。

   # passwd hacluster

8. 如果安装了 firewalld.service，请在 RHEL Firewall 中添加 high availability 服务。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

9. 启动 pcs 服务，并使其在引导时启动。

   # systemctl start pcsd.service
   # systemctl enable pcsd.service
   
   Created symlink from /etc/systemd/system/multi-user.target.wants/pcsd.service to /usr/lib/systemd/system/pcsd.service.

流程

1. 在其中一个节点上，输入以下命令来验证 pcs 用户 hacluster。在该命令中，指定集群中的每个节点的名称。

   # pcs host auth <hostname1> <hostname2> <hostname3>

   示例:

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. 创建集群。

   # pcs cluster setup <cluster_name> <hostname1> <hostname2> <hostname3>

   示例:

   [root@node01 clouduser]# pcs cluster setup new_cluster node01 node02 node03
   
   [...]
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

验证

1. 启用集群。

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled

2. 启动集群。

   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

流程

1. 识别每个 RHEL 虚拟机的 Azure 节点名称。您可以使用 Azure 节点名称来配置隔离设备。

   # fence_azure_arm \
       -l <AD-Application-ID> -p <AD-Password> \
       --resourceGroup <MyResourceGroup> --tenantId <Tenant-ID> \
       --subscriptionId <Subscription-ID> -o list

   例如：

   [root@node01 clouduser]# fence_azure_arm \
   -l e04a6a49-9f00-xxxx-xxxx-a8bdda4af447 -p z/a05AwCN0IzAjVwXXXXXXXEWIoeVp0xg7QT//JE=
   --resourceGroup azrhelclirsgrp --tenantId 77ecefb6-cff0-XXXX-XXXX-757XXXX9485
   --subscriptionId XXXXXXXX-38b4-4527-XXXX-012d49dfc02c -o list
   
   node01,
   node02,
   node03,

2. 查看 Azure ARM STONITH 代理的选项。

   # pcs stonith describe fence_azure_arm

   例如：

   # pcs stonith describe fence_apc
   Stonith options:
   password: Authentication key
   password_script: Script to run to retrieve password

   警告

   对于提供方法选项的隔离代理，请不要指定循环值，因为它不被支持，并可能导致数据崩溃。

   有些隔离设备只能隔离一个节点，其他设备则可能隔离多个节点。您创建隔离设备时指定的参数取决于您的隔离设备的支持和要求。

   您可以在创建隔离设备时使用 pcmk_host_list 参数，以指定由该隔离设备控制的所有机器。

   在创建隔离设备时，您可以使用 pcmk_host_map 参数将主机名映射到包含隔离设备的规范。

3. 创建隔离设备。

   # pcs stonith create clusterfence fence_azure_arm

4. 要确保即时和完全的隔离，请在所有群集节点上禁用 ACPI Soft-Off。有关禁用 ACPI Soft-Off 的详情，请参考 禁用 ACPI 以用于集成的隔离设备。

验证

1. 测试其他其中一个节点的隔离代理。

   # pcs stonith fence azurenodename

   例如：

   [root@node01 clouduser]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: node01 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Feb 23 11:44:35 2018
   Last change: Fri Feb 23 11:21:01 2018 by root via cibadmin on node01
   
   3 nodes configured
   1 resource configured
   
   Online: [ node01 node03 ]
   OFFLINE: [ node02 ]
   
   Full list of resources:
   
     clusterfence  (stonith:fence_azure_arm):  Started node01
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

2. 启动上一步中隔离的节点。

   # pcs cluster start <hostname>

3. 检查状态以验证节点已启动。

   # pcs status

   例如：

   [root@node01 clouduser]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: node01 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Feb 23 11:34:59 2018
   Last change: Fri Feb 23 11:21:01 2018 by root via cibadmin on node01
   
   3 nodes configured
   1 resource configured
   
   Online: [ node01 node02 node03 ]
   
   Full list of resources:
   
   clusterfence    (stonith:fence_azure_arm):  Started node01
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

流程

1. 创建基本负载均衡器。为 IP 地址分配类型选择 Internal load balancer、Basic SKU 和 Dynamic。
2. 创建后端地址池。将后端池与在 HA 中创建 Azure 资源时创建的可用性集关联。不要设置任何目标网络 IP 配置。
3. 创建健康探测。对于健康探测，选择 TCP 并输入端口 61000。您可以使用不会影响到另一个服务的 TCP 端口号。对于某些 HA 产品应用（如 SAP HANA 和 SQL Server），您可能需要与 Microsoft 合作以确定要使用的正确端口。
4. 创建负载均衡规则。要创建负载均衡规则，默认值会预先填充。确保将 Floating IP (direct server return) 设置为 Enabled。

流程

1. 在所有节点上安装 nmap-ncat 资源代理。

   # dnf install nmap-ncat resource-agents-cloud

   在单个节点上执行以下步骤。

2. 创建 pcs 资源和组。将负载均衡器 FrontendIP 用于 IPaddr2 地址。

   # pcs resource create resource-name IPaddr2 ip="10.0.0.7" --group cluster-resources-group

3. 配置 负载平衡 资源代理。

   # pcs resource create resource-loadbalancer-name azure-lb port=port-number --group cluster-resources-group

流程

1. 使用 Azure 命令 az disk create 创建共享块卷。

   $ az disk create -g <resource_group> -n <shared_block_volume_name> --size-gb <disk_size> --max-shares <number_vms> -l <location>

   例如，以下命令在 Azure Availability Zone westcentralus 的资源组 sharedblock 中创建名为 shared-block-volume.vhd 的共享块卷。

   $ az disk create -g sharedblock-rg -n shared-block-volume.vhd --size-gb 1024 --max-shares 3 -l westcentralus
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

2. 使用 Azure 命令 az disk show 验证您是否已创建了共享块卷。

   $ az disk show -g <resource_group> -n <shared_block_volume_name>

   例如，以下命令显示资源组 sharedblock-rg 中共享块卷 shared-block-volume.vhd 的详细信息。

   $ az disk show -g sharedblock-rg -n shared-block-volume.vhd
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

3. 使用 Azure 命令 az network nic create 创建三个网络接口。对每个使用不同的 <nic_name> 来运行以下命令三次。

   $ az network nic create \
       -g <resource_group> -n <nic_name> --subnet <subnet_name> \
       --vnet-name <virtual_network> --location <location> \
       --network-security-group <network_security_group> --private-ip-address-version IPv4

   例如，以下命令创建一个名为 shareblock-nodea-vm-nic-protected 的网络接口：

   $ az network nic create \
       -g sharedblock-rg -n sharedblock-nodea-vm-nic-protected --subnet sharedblock-subnet-protected \
       --vnet-name sharedblock-vn --location westcentralus \
       --network-security-group sharedblock-nsg --private-ip-address-version IPv4

4. 使用 Azure 命令 az vm create 创建三个虚拟机，并附加共享块卷。每个虚拟机的选项值都相同，但每个虚拟机都有自己的 <vm_name>、<new_vm_disk_name> 和 <nic_name>。

   $ az vm create \
       -n <vm_name> -g <resource_group> --attach-data-disks <shared_block_volume_name> \
       --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name <new-vm-disk-name> \
       --os-disk-size-gb <disk_size> --location <location> --size <virtual_machine_size> \
       --image <image_name> --admin-username <vm_username> --authentication-type ssh \
       --ssh-key-values <ssh_key> --nics <nic_name> --availability-set <availability_set> --ppg <proximity_placement_group>

   例如，以下命令创建名为 sharedblock-nodea-vm 的虚拟机：

   $ az vm create \
   -n sharedblock-nodea-vm -g sharedblock-rg --attach-data-disks shared-block-volume.vhd \
   --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name sharedblock-nodea-vm.vhd \
   --os-disk-size-gb 64 --location westcentralus --size Standard_D2s_v3 \
   --image /subscriptions/12345678910-12345678910/resourceGroups/sample-azureimagesgroupwestcentralus/providers/Microsoft.Compute/images/sample-azure-rhel-9.3.0-20200713.n.0.x86_64 --admin-username sharedblock-user --authentication-type ssh \
   --ssh-key-values @sharedblock-key.pub --nics sharedblock-nodea-vm-nic-protected --availability-set sharedblock-as --ppg sharedblock-ppg
   
   {
     "fqdns": "",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/virtualMachines/sharedblock-nodea-vm",
     "location": "westcentralus",
     "macAddress": "00-22-48-5D-EE-FB",
     "powerState": "VM running",
     "privateIpAddress": "198.51.100.3",
     "publicIpAddress": "",
     "resourceGroup": "sharedblock-rg",
     "zones": ""
   }

验证

1. 对于集群中的每个虚拟机，使用的 ssh 命令及虚拟机的 IP 地址验证块设备是否可用。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T '"

   例如，以下命令列出了虚拟机 IP 198.51.100.3 的详细信息，其中包括主机名和块设备。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   sdb    8:16   0    1T  0 disk

2. 使用 ssh 命令来验证集群中的每个虚拟机是否使用相同的共享磁盘。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   例如，以下命令列出了 IP 地址为 198.51.100.3 的实例的详细信息，其中包括主机名和共享磁盘卷 ID 。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=3600224808dd8eb102f6ffc5822c41d89

流程

1. 使用 openssl 工具生成自定义证书 custom_db.cer ：

   $ openssl req -quiet \
   -newkey rsa:4096 \
   -nodes -keyout custom_db.key \
   -new -x509 \
   -sha256 -days 3650 \
   -subj "/CN=Signature Database key/" \
   --outform DER \
   -out custom_db.cer

2. 将证书转换为 base64编码的格式：

   $ echo base64 -w0 custom_db.cer
   
   MIIFIjCCAwqgAwIBAgITNf23J4k0d8c0NR ....

3. 创建并编辑 azure-example-template.json Azure Resource Manager (ARM)文件，以注册新的 Azure Compute Gallery 镜像版本：

   $ vi azure-example-template.json
   
   {
       "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
       "contentVersion": "1.0.0.0",
       "resources": [
           {
               "type": "Microsoft.Compute/galleries/images/versions",
               "apiVersion": "2023-07-03",
               "name": "<your compute gallery/your image definition/version>",
               "location": "<location of the VHD>",
               "properties": {
                   "storageProfile": {
                       "osDiskImage": {
                           "source": {
                               "id": "<your-storage-account-id>",
                               "uri": "<url-with-the-vhd>"
                           },
                           "hostCaching": "ReadOnly"
                       }
                   },
                   "securityProfile": {
                       "uefiSettings": {
                           "signatureTemplateNames": [
                               "MicrosoftUefiCertificateAuthorityTemplate"
                           ],
                           "additionalSignatures": {
                               "db": [
                                   {
                                       "type": "x509",
                                       "value": [
                                           "<base64 of custom_db.cer>"
                                       ]
                                   }
                               ]
                           }
                       }
                   }
               }
           }
       ]
   }

4. 使用 azure-cli 工具注册镜像版本：

   $ az deployment group create --name <example-deployment> \
   --resource-group <example-resource-group> \
   --template-file <example-template.json>

5. 从 Azure 门户重启实例。

验证

1. 检查新创建的 RHEL 实例是否启用了安全引导机制：

   $ mokutil --sb-state
   SecureBoot enabled

2. 使用 keyctl 工具验证自定义证书的内核密钥环：

   $ sudo keyctl list %:.platform
   
   keys in keyring:
   ...
   586621657: ---lswrv   0   0
   asymmetric: Signature Database key: f064979641c24e1b935e402bdbc3d5c4672a1acc
   ...

1. 初始化和测量 ：启用 TDX 的 hypervisor 设置虚拟机的初始状态。这个 hypervisor 将固件二进制文件加载到虚拟机内存中，并设置初始注册状态。Intel 处理器测量虚拟机的初始状态，并提供验证虚拟机初始状态的详细信息。
2. firmware : 虚拟机启动 UEFI 固件。固件可能包含有状态或无状态的虚拟可信平台模块(vTPM)实现。有状态 vTPM 在虚拟机重启和迁移之间维护持久加密状态，而无状态 vTPM 会为每个虚拟机会话生成一个新的加密状态，而无需持久性。虚拟机特权级别(VMPL)技术将 vTPM 与客户机隔离。VMPL 在不同虚拟机组件和 hypervisor 之间提供硬件强制的特权隔离。
3. vTPM ：根据有状态 vTPM 的云服务供应商，UEFI 固件可能会执行远程测试来解密 vTPM 的持久状态。vTPM 还收集有关引导过程的数据，如安全引导状态、用于签名引导工件或 UEFI 二进制哈希的证书。

4. shim ：当 UEFI 固件完成初始化过程时，它会搜索扩展的固件接口(EFI)系统分区。然后，UEFI 固件从那里验证并执行第一个阶段引导装载程序。对于 RHEL，这是 shim。shim 程序允许非 Microsoft 操作系统从 EFI 系统分区加载第二阶段引导装载程序。

   1. shim 使用红帽证书来验证第二阶段引导装载程序(grub)或 Red Hat Unified Kernel Image (UKI)。
   2. GRUB 或 UKI 解压缩、验证并执行 Linux 内核及 initramfs 以及内核命令行。这个过程可确保在可信和安全的环境中载入 Linux 内核。

5. initramfs ：在 initramfs 中，如果完全磁盘加密技术，vTPM 信息会自动解锁加密的 root 分区。

   1. 当根卷可用时，initramfs 会在其中传输执行流。
6. attestation : VM 租户可以访问系统，并可执行远程测试，以确保访问的虚拟机是未修改的虚拟机(CVM)。attestation 基于 Intel 处理器和 vTPM 的信息执行。这个过程确认 RHEL 实例和 Intel 处理器的初始 CPU 和内存状态的真实性和可靠性。
7. TEE ：此过程创建受信任的执行环境(TEE)，以确保引导虚拟机处于可信和安全的环境中。

流程

1. 使用 azure cli 工具登录到 Azure：

   $ az login

2. 为所选可用区创建 Azure 资源组：

   $ az group create --name <example_resource_group> --location westeurope

3. 部署启用了 TDX 的 RHEL 实例，例如 Standard_DC2eds_v5 实例类型：

   $ az vm create --resource-group <example_resource_group> \
   --name <example_rhel_instance> \
   --image <"RedHat:rhel-cvm:9_5_cvm:latest"> \
   --size <Standard_DC2eds_v5> \
   --admin-username <example_azure_user> \
   --generate-ssh-keys \
   --security-type ConfidentialVM \
   --os-disk-security-encryption-type DiskWithVMGuestState

4. 连接到 RHEL 实例：

   $ ssh <example_azure_user>@<example_ip_address_of_the_instance>

1. 初始化和测量 ：启用 SEV-SNP 的 hypervisor 设置虚拟机的初始状态。这个 hypervisor 将固件二进制文件加载到虚拟机内存中，并设置初始注册状态。AMD Secure Processor (SP)测量虚拟机的初始状态，并提供验证虚拟机初始状态的详细信息。
2. firmware : 虚拟机启动 UEFI 固件。固件可能包含有状态或无状态的虚拟可信平台模块(vTPM)实现。有状态 vTPM 在虚拟机重启和迁移之间维护持久加密状态，而无状态 vTPM 会为每个虚拟机会话生成一个新的加密状态，而无需持久性。虚拟机特权级别(VMPL)技术将 vTPM 与客户机隔离。VMPL 在不同虚拟机组件和 hypervisor 之间提供硬件强制的特权隔离。

3. vTPM ：根据有状态 vTPM 的云服务供应商，UEFI 固件可能会执行远程测试来解密 vTPM 的持久状态。

   1. vTPM 还测量引导过程的事实，如安全引导状态、用于签名引导工件的证书、UEFI 二进制哈希等。

4. shim ：当 UEFI 固件完成初始化过程时，它会搜索扩展的固件接口(EFI)系统分区。然后，UEFI 固件从那里验证并执行第一个阶段引导装载程序。对于 RHEL，这是 shim。shim 程序允许非 Microsoft 操作系统从 EFI 系统分区加载第二阶段引导装载程序。

   1. shim 使用红帽证书来验证第二阶段引导装载程序(grub)或 Red Hat Unified Kernel Image (UKI)。
   2. GRUB 或 UKI 解压缩、验证并执行 Linux 内核和初始 RAM 文件系统(initramfs)和内核命令行。这个过程可确保在可信和安全的环境中载入 Linux 内核。

5. initramfs ：在 initramfs 中，如果完全磁盘加密技术，vTPM 信息会自动解锁加密的 root 分区。

   1. 当根卷可用时，initramfs 会将执行流传输到根卷。
6. attestation : VM 租户可以访问系统，并可执行远程测试，以确保访问的虚拟机是未修改的虚拟机(CVM)。attestation 基于 AMD SP 和 vTPM 的信息执行。这个过程确认 RHEL 实例和 AMD 处理器的初始 CPU 和内存状态的真实性和可靠性。
7. TEE ：此过程创建受信任的执行环境(TEE)，以确保引导虚拟机处于可信和安全的环境中。

流程

1. 使用 Azure CLI 实用程序登录到 Azure：

   $ az login

2. 为所选可用区创建 Azure 资源组：

   $ az group create --name <example_resource_group> --location eastus

3. 使用 SEV-SNP 部署 RHEL 实例，例如 Standard_DC4as_V5 实例类型：

   $ az vm create --resource-group <example_resource_group> \
   --name <example-rhel-9-instance> \
   --image <"RedHat:rhel-cvm:9_5_cvm:latest"> \
   --size <Standard_DC4as_V5> \
   --admin-username <example_azure_user> \
   --generate-ssh-keys \
   --security-type ConfidentialVM \
   --os-disk-security-encryption-type DiskWithVMGuestState

4. 连接到 RHEL 实例：

   $ ssh <example_azure_user>@<example_ip_address_of_VM>

流程

1. 通过 SSH 连接到虚拟机：

   $ ssh -i <example_private_key.pem> <example_azureuser>@<192.0.2.101>

2. 删除任何临时用户、网络和主机信息：

   $ sudo waagent -deprovision+user -force

3. 注销或按 Ctrl + D 关闭 SSH 会话。

4. 停止虚拟机：

   $ az vm stop --name <example_vm_name> --resource-group <example_vm_resource_group>

5. 取消分配资源以停止对 Azure 的收费：

   $ az vm deallocate --name <example_vm_name> --resource-group <example_vm_resource_group>

6. 常规化虚拟机，以确保此镜像是通用的，并准备好克隆：

   $ az vm generalize --name <example_vm_name> --resource-group <example_vm_resource_group>

流程

1. 创建用于托管 gallery 的资源组：

   $ az group create --name <example_image_resource_group>

2. 在以上资源组中创建 gallery：

   $ az sig create --resource-group <example_image_resource_group> \
   --gallery-name <example_image_gallery_name>

3. 为订阅将安全类型设置为 Standard ：

   $ az feature register --name UseStandardSecurityType \
   --namespace Microsoft.Compute

4. 注册供应商：

   $ az provider register --namespace Microsoft.Compute

5. 创建镜像定义来管理镜像版本：

   $ az sig image-definition create --resource-group <example_image_resource_group> \
   --gallery-name <example_image_gallery_name> \
   --gallery-image-definition <example_image_definition> \
   --publisher <example_publisher> \
   --offer <example_offer> \
   --sku <example_sky> \
   --os-type Linux \
   --os-state Generalized \
   --hyper-v-generation V2 \
   --features SecurityType=Standard

   <publisher>

   提供镜像的实体或机构。

   <offer>

   来自发布者的相关镜像集合。

   <stock Keeping Unit (SKU)>

   提供的版本，表示主版本。

   <VERSION>

   给定 SKU 的版本号。

6. 获取有关镜像的信息：

   $ az vm list --output table

7. 使用输出中的常规镜像名称：

   $ az vm get-instance-view --resource-group <example_vm_resource_group> \
   --name <example_vm_name> \
   --query id

8. 从输出中复制镜像定义的 ID。

9. 使用上一步中获取的镜像 ID 创建镜像版本：

   $ az sig image-version create \
   --resource-group <example_image_resource_group> \
   --gallery-name <example_image_gallery_name> \
   --gallery-image-definition <example_image_definition> \
   --gallery-image-version <example_version> \
   --virtual-machine <example_id>

10. 可选：删除虚拟机和相关资源：

    $ az vm delete --resource-group <example_image_resource_group> \
    --name <example_vm_name>

流程

1. 在 Azure 上安装和部署 CycleCloud：

   • 对于 Azure Marketplace 安装，请参阅从 Azure Marketplace 安装 Azure CycleCloud。
   • 有关手动安装，请参阅 手动安装 Azure CycleCloud。

2. 显示自定义 RHEL HPC 镜像的 ID：

   $ az sig image-version show --resource-group="<example_resource_group>" \
   --gallery-name="<example_gallery>" \
   --gallery-image-definition="<example_image>" \
   --gallery-image-version="<example_version>" \
   --query="id" \
   --output="tsv"

3. 按照带有 CycleCloud 的 Run Slurm 中的步骤，使用 Azure CycleCloud 配置 Slurm 工作负载管理器：

   警告

   由于 IPv4 地址有已知的限制，选择 Public Head Node 选项会导致使用 Slurm head 节点进行置备失败。作为临时解决方案，请确保选中 Public Head Node 选项，并确定访问环境中 Slurm head 节点的最合适的方法。详情请参阅 GitHub 上的相关 Slurm 问题。

   注意

   将上一步中获取的自定义 RHEL 镜像 ID 用于所有集群节点。详情请参阅 如何指定自定义操作系统镜像。

4. 在 CycleCloud 主页上，选择现有的 Slurm 集群。
5. 要启动 Slurm 集群，请点击 Start。
6. 通过选择 集群 视图并单击 Connect 来登录到 Slurm head 节点。使用标准的 Slurm 命令行工具来计划 HPC 作业。详情请查看 如何提交作业？(Slurm)部分。