分散コンピュートノード (DCN) アーキテクチャーのデプロイ

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. undercloud.conf ファイルがまだない場合には、サンプルのテンプレートファイルをコピーします。

   [stack@director ~]$ cp /usr/share/python-tripleoclient/undercloud.conf.sample ~/undercloud.conf

3. undercloud.conf ファイルを編集します。

4. [DEFAULT] セクションに以下の値を設定します。

   1. local_ip を leaf0 上のアンダークラウド IP に設定します。

      local_ip = 192.168.10.1/24

   2. undercloud_public_host をアンダークラウドの外部向け IP アドレスに設定します。

      undercloud_public_host = 10.1.1.1

   3. undercloud_admin_host をアンダークラウドの管理用 IP アドレスに設定します。この IP アドレスは、通常 leaf0 上にあります。

      undercloud_admin_host = 192.168.10.2

   4. local_interface を、ローカルネットワーク用にブリッジを設定するインターフェイスに設定します。

      local_interface = eth1

   5. enable_routed_networks を true に設定します。

      enable_routed_networks = true

   6. subnets パラメーターを使用してサブネットのリストを定義します。ルーティング対応のスパイン/リーフ内の各 L2 セグメントにサブネットを 1 つ定義します。

      subnets = leaf0,leaf1,leaf2

   7. local_subnet パラメーターを使用して、アンダークラウドにローカルな物理 L2 セグメントに関連付けられるサブネットを指定します。

      local_subnet = leaf0

   8. undercloud_nameservers の値を設定します。

      undercloud_nameservers = 10.11.5.19,10.11.5.20

      ヒント

      アンダークラウドのネームサーバーに使用する DNS サーバーの現在の IP アドレスは、/etc/resolv.conf を参照して確認することができます。

5. subnets パラメーターで定義するサブネットごとに、新規セクションを作成します。

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   [leaf1]
   cidr = 192.168.11.0/24
   dhcp_start = 192.168.11.10
   dhcp_end = 192.168.11.90
   inspection_iprange = 192.168.11.100,192.168.11.190
   gateway = 192.168.11.1
   masquerade = False
   
   [leaf2]
   cidr = 192.168.12.0/24
   dhcp_start = 192.168.12.10
   dhcp_end = 192.168.12.90
   inspection_iprange = 192.168.12.100,192.168.12.190
   gateway = 192.168.12.1
   masquerade = False

6. undercloud.conf ファイルを保存します。

7. アンダークラウドをインストールするコマンドを実行します。

   [stack@director ~]$ openstack undercloud install

手順

1. stackrc ファイルを取得します。

   [stack@director ~]$ source ~/stackrc

2. ノードリストを取得して UUID を把握します。

   (undercloud)$ openstack baremetal node list

3. リーフネットワークとロールを識別するカスタムリソースクラスを使用して、ロールに指定する各ベアメタルノードを割り当てます。

   openstack baremetal node set \
    --resource-class baremetal.<ROLE> <node>

   • <ROLE> をロールを識別する名前に置き換えます。

   • <node> をベアメタルノードの ID に置き換えます。

     たとえば、以下のコマンドを実行して、UUID 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13 のノードを Leaf2 上の Compute ロールにタグ付けします。

     (undercloud)$ openstack baremetal node set \
      --resource-class baremetal.COMPUTE-LEAF2 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13

4. 各ロールがまだ定義されていない場合は、overcloud-baremetal-deploy.yaml に追加します。

5. ロールのノードに割り当てるリソースクラスを定義します。

   - name: <role>
     count: 1
     defaults:
       resource_class: baremetal.<ROLE>

   • <role> をロールの名前に置き換えます。
   • <ROLE> をロールを識別する名前に置き換えます。

6. Baremetal-deploy.yaml ファイルで、ロールのノードに割り当てるリソースクラスを定義します。展開するロール、プロファイル、数量、および関連付けられているネットワークを指定します。

   - name: <role>
     count: 1
     hostname_format: <role>-%index%
     ansible_playbooks:
       - playbook: bm-deploy-playbook.yaml
     defaults:
       resource_class: baremetal.<ROLE>
       profile: control
       networks:
         - network: external
           subnet: external_subnet
         - network: internal_api
           subnet: internal_api_subnet01
         - network: storage
           subnet: storage_subnet01
         - network: storage_mgmt
           subnet: storage_mgmt_subnet01
         - network: tenant
           subnet: tenant_subnet01
       network_config:
         template: templates/multiple_nics/multiple_nics_dvr.j2
         default_route_network:
           - external

   • <role> をロールの名前に置き換えます。

   • <ROLE> をロールを識別する名前に置き換えます。

     注記

     /home/stack/<stack> に、デプロイするすべてのスタックに対して、baremetal-deploy.yaml 環境ファイルを作成する必要があります。

手順

1. stackrc ファイルを取得します。

   $ source ~/stackrc

2. ベアメタルノードをチェックします。

   $ openstack baremetal node list

3. ベアメタルノードは enroll または manageable の状態であることを確認してください。ベアメタルノードがこれらのいずれかの状態にない場合、ベアメタルポートで physical_network プロパティーを設定するコマンドは失敗します。全ノードを manageable の状態に設定するには、以下のコマンドを実行します。

   $ for node in $(openstack baremetal node list -f value -c Name); do openstack baremetal node manage $node --wait; done

4. ベアメタルポートとベアメタルノードの関連付けを確認します。

   $ openstack baremetal port list --node <node-uuid>

5. ポートの physical-network パラメーターを設定します。以下の例では、leaf0、leaf1、および leaf2 の 3 つのサブネットが設定で定義されています。local_subnet は leaf0 です。local_subnet の物理ネットワークは常に ctlplane であるため、leaf0 に接続されたベアメタルポートは必ず ctlplane を使用します。残りのポートは他のリーフ名を使用します。

   $ openstack baremetal port set --physical-network ctlplane <port-uuid>
   $ openstack baremetal port set --physical-network leaf1 <port-uuid>
   $ openstack baremetal port set --physical-network leaf2 <port-uuid>

6. オーバークラウドをデプロイする前に、ノードをイントロスペクションします。--all-manageable オプションと -provide オプションを付けて、デプロイ可能なノードとして設定します。

   $ openstack overcloud node introspect --all-manageable --provide

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. stackrc アンダークラウド認証情報ファイルを入手します。

   $ source ~/stackrc

3. /home/stack/undercloud.conf ファイルで、以下の手順を実施します。

   1. subnets パラメーターを特定し、追加するリーフ用の新規サブネットを追加します。

      サブネットは、ルーティング対応のスパイン/リーフ内の L2 セグメントを表します。

      例

      以下の例では、新しいリーフ (leaf3) に新規サブネット (leaf3) が追加されます。

      subnets = leaf0,leaf1,leaf2,leaf3

   2. 追加したサブネットのセクションを作成します。

      例

      以下の例では、新しいサブネット (leaf3 に [leaf3] セクションが追加されます。

      [leaf0]
      cidr = 192.168.10.0/24
      dhcp_start = 192.168.10.10
      dhcp_end = 192.168.10.90
      inspection_iprange = 192.168.10.100,192.168.10.190
      gateway = 192.168.10.1
      masquerade = False
      
      [leaf1]
      cidr = 192.168.11.0/24
      dhcp_start = 192.168.11.10
      dhcp_end = 192.168.11.90
      inspection_iprange = 192.168.11.100,192.168.11.190
      gateway = 192.168.11.1
      masquerade = False
      
      [leaf2]
      cidr = 192.168.12.0/24
      dhcp_start = 192.168.12.10
      dhcp_end = 192.168.12.90
      inspection_iprange = 192.168.12.100,192.168.12.190
      gateway = 192.168.12.1
      masquerade = False
      
      [leaf3]
      cidr = 192.168.13.0/24
      dhcp_start = 192.168.13.10
      dhcp_end = 192.168.13.90
      inspection_iprange = 192.168.13.100,192.168.13.190
      gateway = 192.168.13.1
      masquerade = False

4. undercloud.conf ファイルを保存します。

5. アンダークラウドを再インストールします。

   $ openstack undercloud install

手順

1. central heat スタックを定義します。

   $ mkdir central
   $ touch central/overrides.yaml

2. central heat スタックから、データを全 DCN サイト用の共通ディレクトリーに抽出します。

   $ mkdir dcn-common
   $ touch dcn-common/overrides.yaml

3. dcn0 サイトを定義します。

   $ mkdir dcn0
   $ touch dcn0/overrides.yaml

手順

1. containers.yaml にレジストリーサービスアカウントの認証情報を追加します。

   parameter_defaults:
     ContainerImagePrepare:
     - push_destination: true
       set:
         ceph_namespace: registry.redhat.io/rhceph
         ceph_image: rhceph-6-rhel9
         ceph_tag: latest
         name_prefix: openstack-
         namespace: registry.redhat.io/rhosp17-rhel9
         tag: latest
     ContainerImageRegistryCredentials:
       # https://access.redhat.com/RegistryAuthentication
       registry.redhat.io:
         registry-service-account-username: registry-service-account-password

2. images-env.yaml として環境ファイルを生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file images-env.yaml

   作成される images-env.yaml ファイルは、ファイルを生成したスタックのデプロイメント手順の一部として追加されます。

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. デフォルトの roles ディレクトリーをコピーします。

   cp -r /usr/share/openstack-tripleo-heat-templates/roles ~/.

3. DistributedCompute.yaml ファイルから DistributedComputeDpdk.yaml という新しいファイルを作成します。

   cp roles/DistributedCompute.yaml roles/DistributedComputeDpdk.yaml

4. DPDK サービスを新しい DistributedComputeDpdk.yaml ファイルに追加します。DistributedComputeDpdk.yaml ファイルにないパラメーターを ComputeOvsDpdk.yaml ファイルで特定することで、追加が必要なパラメーターを特定できます。

   diff -u roles/DistributedComputeDpdk.yaml roles/ComputeOvsDpdk.yaml

   この出力では、+ で始まるパラメーターは ComputeOvsDpdk.yaml ファイルに存在しますが、DistributedComputeDpdk.yaml ファイルにはありません。これらのパラメーターを新しい DistributedComputeDpdk.yaml ファイルに追加します。

5. DistributedComputeDpdk.yaml を使用して、DistributedComputeDpdk ロールファイルを作成します。

   openstack overcloud roles generate --roles-path ~/roles/ -o ~/roles/roles-custom.yaml DistributedComputeDpdk

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc ファイルを読み込みます。

   [stack@director ~]$ source /home/stack/stackrc

3. 環境ファイルを生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file /home/stack/central/central-images-env.yaml

4. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。中央サイトの network_data.yaml、vip_data.yaml、および overcloud-baremetal-deploy.yaml テンプレートを /home/stack/central/ に移動します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1
   
   mv network_data.yaml /home/stack/central
   mv vip_data.yaml /home/stack/central
   mv overcloud-baremetal-deploy.yaml /home/stack/central

5. オーバークラウドのネットワークをプロビジョニングします。このコマンドは、オーバークラウドネットワークの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

6. オーバークラウドの仮想 IP をプロビジョニングします。このコマンドは、仮想 IP の定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud network vip provision \
   --stack central \
   --output /home/stack/central/overcloud-vip-deployed.yaml \
   /home/stack/central/vip_data.yaml

7. ベアメタルインスタンスをプロビジョニングします。このコマンドは、ベアメタルノードの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud node provision \
   --stack central \
   --network-config \
   -o /home/stack/central/deployed_metal.yaml \
   /home/stack/central/overcloud-baremetal-deploy.yaml

8. 以下のような設定で central/overrides.yaml という名前のファイルを作成します。

   parameter_defaults:
     NtpServer:
       - 0.pool.ntp.org
       - 1.pool.ntp.org
     GlanceBackend: swift

   • ControllerCount: 3: ノードを 3 台デプロイすることを指定します。これらのノードは、glance 用に swift を、cinder 用に lvm をそれぞれ使用し、エッジコンピュートノード用に control-plane サービスをホストします。
   • ComputeCount: 0: オプションのパラメーターで、Compute ノードが中央コントローラーノードと共にデプロイされないようにします。

   • GlanceBackend: swift: Image サービス (glance) のバックエンドとして Object Storage (swift) を使用することを指定します。

     この設定は、分散コンピュートノード (DCN) と以下のように連携します。

   • DCN 上の Image サービスは、中央の Object Storage バックエンドから受けとるイメージのキャッシュコピーを作成します。Image サービスは、HTTP を使用して Object Storage からのイメージをローカルディスクキャッシュにコピーします。

     注記

     中央のコントローラーノードは、分散コンピュートノード (DCN) サイトに接続できる必要があります。中央コントローラーノードは、ルーティング対応のレイヤー 3 接続を使用することができます。

9. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
   EOF

10. 中央コントローラーノードをデプロイします。たとえば、以下の内容の deploy.sh ファイルを使用することができます。

    openstack overcloud deploy \
    --deployed-server \
    --stack central \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -n /home/stack/central/network_data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/overcloud-vip-deployed.yaml \
    -e /home/stack/central/deployed_metal.yaml

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc ファイルを読み込みます。

   [stack@director ~]$ source /home/stack/stackrc

3. 環境ファイル /home/stack/central/central-images-env.yaml を生成します

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file /home/stack/central/central-images-env.yaml

4. 実際の環境に適したロールを使用して、中央サイト用のロールを生成します。

   openstack overcloud roles generate Compute Controller CephStorage \
   -o /home/stack/central/central_roles.yaml

5. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。中央サイトの network_data.yaml、vip_data.yaml、および overcloud-baremetal-deploy.yaml テンプレートを /home/stack/central/ に移動します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1
   
   mv network_data.yaml /home/stack/central
   mv vip_data.yaml /home/stack/central
   mv overcloud-baremetal-deploy.yaml /home/stack/central

6. オーバークラウドのネットワークをプロビジョニングします。このコマンドは、オーバークラウドネットワークの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

7. オーバークラウドの仮想 IP をプロビジョニングします。このコマンドは、仮想 IP の定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   openstack overcloud network vip provision \
   --stack central \
   --output /home/stack/central/overcloud-vip-deployed.yaml \
   /home/stack/central/vip_data.yaml

8. ベアメタルインスタンスをプロビジョニングします。このコマンドは、ベアメタルノードの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   openstack overcloud node provision \
   --stack central \
   --network-config \
   -o /home/stack/central/deployed_metal.yaml \
   /home/stack/central/overcloud-baremetal-deploy.yaml

9. ハイパーコンバージドストレージを使用して中央のロケーションをデプロイする場合は、次のパラメーターを使用して initial-ceph.conf 設定ファイルを作成する必要があります。詳細は､HCI 用の Red Hat Ceph Storage クラスターの設定 を参照してください。

   [osd]
   osd_memory_target_autotune = true
   osd_numa_auto_affinity = true
   [mgr]
   mgr/cephadm/autotune_memory_target_ratio = 0.2

10. deployed_metal.yaml ファイルを openstack overcloud ceph deploy コマンドへの入力として使用します。openstack overcloud ceph deploy command は、デプロイされた Ceph クラスターを記述する yaml ファイルを出力します。

    openstack overcloud ceph deploy \
    --stack central \
    /home/stack/central/deployed_metal.yaml \
    --config /home/stack/central/initial-ceph.conf \ 1
    --output /home/stack/central/deployed_ceph.yaml \
    --container-image-prepare /home/stack/containers.yaml \
    --network-data /home/stack/network-data.yaml \
    --cluster central \
    --roles-data /home/stack/central/central_roles.yaml

    1

    ハイパーコンバージドインフラストラクチャーをデプロイする場合にのみ、initial-ceph.com を含めます。

11. 続行する前に、Ceph デプロイメントが機能していることを確認してください。ssh を使用して、ceph-mon サービスを実行しているサーバーに接続します。HCI デプロイメントでは、これはコントローラーノードです。以下のコマンドを実行します。

    cephadm shell --config /etc/ceph/central.conf \
    --keyring /etc/ceph/central.client.admin.keyring

    注記

    --config および --keyring パラメーターを使用する必要があります。

12. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

    parameter_defaults:
        NovaComputeAvailabilityZone: central
        ControllerExtraConfig:
            nova::availability_zone::default_schedule_zone: central
        NovaCrossAZAttach: false
        CinderStorageAvailabilityZone: central
        GlanceBackendID: central

13. 以下のような内容で glance.yaml テンプレートを設定します。

    parameter_defaults:
        GlanceEnabledImportMethods: web-download,copy-image
        GlanceBackend: rbd
        GlanceStoreDescription: 'central rbd glance store'
        GlanceBackendID: central
        CephClusterName: central

14. 中央のロケーションにスタックをデプロイします。

    openstack overcloud deploy \
    --deployed-server \
    --stack central \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -r /home/stack/central/central_roles.yaml \
    -n ~/network-data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/overcloud-vip-deployed.yaml \
    -e /home/stack/central/deployed_metal.yaml \
    -e /home/stack/central/deployed_ceph.yaml \
    -e ~/central/glance.yaml

15. 中央のロケーションにオーバークラウドをデプロイすると、エッジサイトの追加のスタックデプロイメントの入力として必要なデータがエクスポートされ、/home/stack/overcloud-deploy ディレクトリーに配置されます。central-export.yaml ファイルが存在することを確認します。

    stat /home/stack/overcloud-deploy/central/central-export.yaml

16. Ceph 固有のデータをエクスポートします。

    openstack overcloud export ceph \
    --stack central \
    --output-file /home/stack/dcn-common/central_ceph_external.yaml

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc ファイルを読み込みます。

   [stack@director ~]$ source ~/stackrc

3. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

4. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。これを使用して、それぞれのサイト用に設計されたテンプレートを分離します。中央サイトの network_data.yaml、vip_data.yaml、および overcloud-baremetal-deploy.yaml テンプレートを /home/stack/central/ に移動します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1
   
   mv network_data.yaml /home/stack/central
   mv vip_data.yaml /home/stack/central
   mv overcloud-baremetal-deploy.yaml /home/stack/central

5. オーバークラウドのネットワークをプロビジョニングします。このコマンドは、オーバークラウドネットワークの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

6. オーバークラウドの仮想 IP をプロビジョニングします。このコマンドは、仮想 IP の定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   openstack overcloud network vip provision \
   --stack central \
   --output /home/stack/central/overcloud-vip-deployed.yaml \
   /home/stack/central/vip_data.yaml

7. ベアメタルインスタンスをプロビジョニングします。このコマンドは、ベアメタルノードの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   openstack overcloud node provision \
   --stack central \
   --network-config \
   -o /home/stack/central/deployed_metal.yaml \
   /home/stack/central/overcloud-baremetal-deploy.yaml

8. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Compute (nova) アベイラビリティーゾーンと Block Storage (cinder) アベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
       GlanceBackendID: central
   EOF

9. 次のような内容で external-ceph.yaml テンプレートを設定します。

   parameter_defaults:
       CinderEnableIscsiBackend: false
       CinderEnableRbdBackend: true
       CinderEnableNfsBackend: false
       NovaEnableRbdBackend: true
       GlanceBackend: rbd
       GlanceBackendID: central
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceStoreDescription: 'central rbd glance store'
       CinderRbdPoolName: "openstack-cinder"
       NovaRbdPoolName: "openstack-nova"
       GlanceRbdPoolName: "openstack-images"
       CinderBackupRbdPoolName: "automation-backups"
       GnocchiRbdPoolName: "automation-metrics"
       CephClusterFSID: 38dd387e-837a-437c-891c-7fc69e17a3c
       CephClusterName: central
       CephExternalMonHost: 10.9.0.1,10.9.0.2,10.9.0.3
       CephClientKey: "AQAKtECeLemfiBBdQp7cjNYQRGW9y8GnhhFZg=="
       CephClientUserName: "openstack

10. 中央のロケーションをデプロイします。

    openstack overcloud deploy \
    --stack central \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -n /home/stack/central/network-data.yaml \
    ...
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/overcloud-vip-deployed.yaml \
    -e /home/stack/central/deployed_metal.yaml \
    -e /home/stack/central/external-ceph.yaml \
    -e /home/stack/central/overcloud-networks-deployed.yaml \
    -e /home/stack/central/central_roles.yaml

11. 中央のロケーションにオーバークラウドをデプロイすると、エッジサイトの追加のスタックデプロイメントの入力として必要なデータがエクスポートされ、/home/stack/overcloud-deploy ディレクトリーに配置されます。次の control-plane-export.yaml ファイルが存在することを確認します。

    stat ~/overcloud-deploy/control-plane/control-plane-export.yaml

12. Red Hat Ceph Storage デプロイメントに関する詳細を 含む central_ceph_external.yaml という環境ファイルを作成します。このファイルは、エッジサイトの追加のスタックデプロイメントに渡すことができます。

    parameter_defaults:
      CephExternalMultiConfig:
        - cluster: "central"
          fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
          external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
          keys:
            - name: "client.openstack"
              caps:
                mgr: "allow *"
                mon: "profile rbd"
                osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
              key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
              mode: "0600"
          dashboard_enabled: false
          ceph_conf_overrides:
            client:
              keyring: /etc/ceph/central.client.openstack.keyring

    • fsid パラメーターは、Ceph Storage クラスターのファイルシステム ID です。この値は、クラスター設定ファイルの [global] セクションで指定します。

      [global]
      fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
      ...

    • key パラメーターは、openstack アカウントの ceph クライアントキーです。

      [root@ceph ~]# ceph auth list
      ...
      [client.openstack]
          key = AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==
          caps mgr = "allow *"
          caps mon = "profile rbd"
          caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups, profile rbd pool=metrics"
      ...

      central_ceph_external.yaml ファイルのサンプルにあるパラメーターの詳細は、カスタム環境ファイルの作成 を参照してください。

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc ファイルを読み込みます。

   [stack@director ~]$ source ~/stackrc

3. 環境ファイルを生成します ~/dcn0/dcn0-images-env.yaml[d]:

   sudo[e] openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/dcn0/dcn0-images-env.yaml

4. エッジロケーションのロールファイルを生成します。実際の環境に適したロールを使用して、エッジロケーション用のロールを生成します。

   (undercloud)$ openstack overcloud roles \
    generate Compute \
    -o /home/stack/dcn0/dcn0_roles.yaml

5. ネットワークオーバーレイに ML2/OVS を使用している場合は、Compute ロールを編集して、NeutronDhcpAgent サービスと NeutronMetadataAgent サービスを含める必要があります。

   1. Compute ロールのロールファイルを作成します。

      openstack overcloud roles \
      generate Compute \
      -o /home/stack/dcn0/dcn0_roles.yaml

   2. /home/stack/dcn0/dcn0_roles.yaml ファイルを編集して、NeutronDhcpAgent および NeutronMetadataAgent サービスを含めます。

      ...
          - OS::TripleO::Services::MySQLClient
          - OS::TripleO::Services::NeutronBgpVpnBagpipe
      +   - OS::TripleO::Services::NeutronDhcpAgent
      +   - OS::TripleO::Services::NeutronMetadataAgent
          - OS::TripleO::Services::NeutronLinuxbridgeAgent
          - OS::TripleO::Services::NeutronVppAgent
          - OS::TripleO::Services::NovaAZConfig
          - OS::TripleO::Services::NovaCompute
      ...

      詳細は、ルーティング対応プロバイダーネットワークの準備 を参照してください。

6. オーバークラウドのネットワークをプロビジョニングします。このコマンドは、オーバークラウドネットワークの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/dcn0/overcloud-networks-deployed.yaml \
   /home/stack/dcn0/network_data.yaml

   重要

   network_data.yaml テンプレートに、中央サイトにネットワークをプロビジョニングしたときに含まれなかった追加のネットワークが含まれている場合は、中央サイトでネットワークプロビジョニングコマンドを再実行する必要があります。

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

7. ベアメタルインスタンスをプロビジョニングします。このコマンドは、ベアメタルノードの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud node provision \
   --stack dcn0 \
   --network-config \
   -o /home/stack/dcn0/deployed_metal.yaml \
   ~/overcloud-baremetal-deploy.yaml

8. site-name.yaml 環境ファイルでサイトの命名規則を設定します。

   parameter_defaults:
       NovaComputeAvailabilityZone: dcn0
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: dcn0
       NovaCrossAZAttach: false

9. dcn0 エッジサイトのスタックをデプロイします。

   openstack overcloud deploy \
   --deployed-server \
   --stack dcn0 \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -r /home/stack/dcn0/dcn0_roles.yaml \
   -n /home/stack/network_data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e /home/stack/overcloud-deploy/central/central-export.yaml \
   -e /home/stack/dcn0/overcloud-networks-deployed.yaml \
   -e /home/stack/dcn0/overcloud-vip-deployed.yaml \
   -e /home/stack/dcn0/deployed_metal.yaml

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. source コマンドで stackrc 認証情報ファイルを読み込みます。

   $ source ~/stackrc

3. カスタム環境ファイルの 1 つに NovaImageTypeExcludeList パラメーターを含めます。

   parameter_defaults:
     NovaImageTypeExcludeList:
           - raw

4. ご自分のデプロイメントに該当するその他の環境ファイルと共に、NovaImageTypeExcludeList パラメーターが含まれる環境ファイルをオーバークラウドデプロイメントコマンドに追加します。

   openstack overcloud deploy --templates \
   -n network_data.yaml \
   -r roles_data.yaml \
   -e <environment_files> \
   -e <new_environment_file>

手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. source コマンドで stackrc ファイルを読み込みます。

   [stack@director ~]$ source ~/stackrc

3. 環境ファイル ~/dcn0/dcn0-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file /home/stack/dcn0/dcn0-images-env.yaml

4. dcn0 エッジロケーションの適切なロールを生成します。

   openstack overcloud roles generate DistributedComputeHCI DistributedComputeHCIScaleOut \
   -o ~/dcn0/dcn0_roles.yaml

5. オーバークラウドのネットワークをプロビジョニングします。このコマンドは、オーバークラウドネットワークの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/dcn0/overcloud-networks-deployed.yaml \
   /home/stack/network_data.yaml

   重要

   network_data.yaml テンプレートに、中央サイトにネットワークをプロビジョニングしたときに含まれなかった追加のネットワークが含まれている場合は、中央サイトでネットワークプロビジョニングコマンドを再実行する必要があります。

   (undercloud)$ openstack overcloud network provision \
   --output /home/stack/central/overcloud-networks-deployed.yaml \
   /home/stack/central/network_data.yaml

6. ベアメタルインスタンスをプロビジョニングします。このコマンドは、ベアメタルノードの定義ファイルを入力として受け取ります。オーバークラウドをデプロイするには、コマンドで出力ファイルを使用する必要があります。

   (undercloud)$ openstack overcloud node provision \
   --stack dcn0 \
   --network-config \
   -o /home/stack/dcn0/deployed_metal.yaml \
   /home/stack/overcloud-baremetal-deploy.yaml

7. ハイパーコンバージドストレージを使用してエッジサイトをデプロイする場合は、次のパラメーターを使用して initial-ceph.conf 設定ファイルを作成する必要があります。詳細は､HCI 用の Red Hat Ceph Storage クラスターの設定 を参照してください。

   [osd]
   osd_memory_target_autotune = true
   osd_numa_auto_affinity = true
   [mgr]
   mgr/cephadm/autotune_memory_target_ratio = 0.2

8. deployed_metal.yaml ファイルを openstack overcloud ceph deploy コマンドへの入力として使用します。openstack overcloud ceph deploy command は、デプロイされた Ceph クラスターを記述する yaml ファイルを出力します。

   openstack overcloud ceph deploy \
   /home/stack/dcn0/deployed_metal.yaml \
   --stack dcn0 \
   --config ~/dcn0/initial-ceph.conf \ 1
   --output ~/dcn0/deployed_ceph.yaml \
   --container-image-prepare ~/containers.yaml \
   --network-data ~/network-data.yaml \
   --cluster dcn0 \
   --roles-data dcn_roles.yaml

   1

   ハイパーコンバージドインフラストラクチャーをデプロイする場合にのみ、initial-ceph.conf を含めます。

9. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   parameter_defaults:
       NovaComputeAvailabilityZone: dcn0
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: dcn0
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: dcn0
       CinderVolumeCluster: dcn0
       GlanceBackendID: dcn0

10. 以下のような内容で glance.yaml テンプレートを設定します。

    parameter_defaults:
        GlanceEnabledImportMethods: web-download,copy-image
        GlanceBackend: rbd
        GlanceStoreDescription: 'dcn0 rbd glance store'
        GlanceBackendID: dcn0
        GlanceMultistoreConfig:
          central:
            GlanceBackend: rbd
            GlanceStoreDescription: 'central rbd glance store'
            CephClusterName: central

11. dcn0 ロケーションのスタックをデプロイします:[d]

    openstack overcloud deploy \
    --deployed-server \
    --stack dcn0 \
    --templates /usr/share/openstack-tripleo-heat-templates/ \
    -r ~/dcn0/dcn0_roles.yaml \
    -n ~/dcn0/network-data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm-rbd-only.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
    -e /home/stack/overcloud-deploy/central/central-export.yaml \
    -e /home/stack/dcn0/deployed_ceph.yaml \
    -e /home/stack/dcn-common/central_ceph_external.yaml \
    -e /home/stack/dcn0/overcloud-vip-deployed.yaml \
    -e /home/stack/dcn0/deployed_metal.yaml \
    -e /home/stack/dcn0/overcloud-networks-deployed.yaml \
    -e ~/control-plane/glance.yaml

手順

1. Ceph クラスターに以下のプールを作成します。中央サイトにデプロイしている場合は、backups および metrics プールを含めます。

   [root@ceph ~]# ceph osd pool create volumes <_PGnum_>
   [root@ceph ~]# ceph osd pool create images <_PGnum_>
   [root@ceph ~]# ceph osd pool create vms <_PGnum_>
   [root@ceph ~]# ceph osd pool create backups <_PGnum_>
   [root@ceph ~]# ceph osd pool create metrics <_PGnum_>

   <_PGnum_> は配置グループの数に置き換えます。適切な値を判断するには、Ceph Placement Groups (PGs) per Pool Calculator も使用できます。

2. Ceph に OpenStack クライアントユーザーを作成し、Red Hat OpenStack Platform 環境が適切なプールにアクセスできるようにします。

   ceph auth add client.openstack mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rwx pool=images'

   返された、提供された Ceph クライアントキーを保存します。アンダークラウドを設定する際に、このキーを CephClientKey パラメーターの値として使用します。

   注記

   このコマンドを中央サイトで実行し、Cinder バックアップまたは Telemetry サービスを使用する予定の場合、コマンドに allow rwx pool=backups, allow pool=metrics を追加します。

3. Ceph Storage クラスターのファイルシステム ID を保存します。Ceph 設定ファイルの [global] セクションの fsid パラメーターの値は、ファイルシステム ID です。

   [global]
   fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
   ...

   この値は、アンダークラウドを設定する際に CephClusterFSID パラメーターの値として使用します。

4. アンダークラウド上で環境ファイルを作成し、ノードが非マネージド Ceph クラスターに接続するように設定します。ceph-external-<SITE>.yaml など、認識可能な命名規則を使用します。ここで、SITE はデプロイメントの場所に置き換えます (例: ceph-external-central.yaml、ceph-external-dcn1.yaml 等)。

     parameter_defaults:
       # The cluster FSID
       CephClusterFSID: '4b5c8c0a-ff60-454b-a1b4-9747aa737d19'
       # The CephX user auth key
       CephClientKey: 'AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ=='
       # The list of IPs or hostnames of the Ceph monitors
       CephExternalMonHost: '172.16.1.7, 172.16.1.8, 172.16.1.9'
       # The desired name of the generated key and conf files
       CephClusterName: dcn1

   1. CephClusterFSID および CephClientKey パラメーターには、以前に保存した値を使用します。
   2. CephExternalMonHost パラメーターの値として、Ceph モニターの ip アドレスのコンマ区切りリストを使用します。
   3. CephClusterName パラメーターには、エッジサイト間で一意の値を選択する必要があります。名前を再利用すると、設定ファイルが上書きされます。

5. Red Hat OpenStack Platform director を使用して Red Hat Ceph Storage を中央サイトにデプロイした場合、ceph の設定を環境ファイル central_ceph_external.yaml にエクスポートできます。この環境ファイルにより、DCN サイトが中央ハブの Ceph クラスターに接続されので、詳細は前の手順でデプロイした Ceph クラスターに固有のものです。

   sudo -E openstack overcloud export ceph \
   --stack central \
   --output-file /home/stack/dcn-common/central_ceph_external.yaml

   中央サイトの外に Red Hat Ceph Storage がデプロイされている場合、openstack overcloud export ceph コマンドを使用して central_ceph_external.yaml ファイルを生成することはできません。代わりに central_ceph_external.yaml ファイルを手動で作成する必要があります。

   parameter_defaults:
     CephExternalMultiConfig:
       - cluster: "central"
         fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
         external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
         keys:
           - name: "client.openstack"
             caps:
               mgr: "allow *"
               mon: "profile rbd"
               osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
             key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
             mode: "0600"
         dashboard_enabled: false
         ceph_conf_overrides:
           client:
             keyring: /etc/ceph/central.client.openstack.keyring

6. 各サイトについて同様の詳細を記述した環境ファイルを作成し、中央サイトには非マネージド Red Hat Ceph Storage クラスターを使用します。openstack overcloud export ceph コマンドは、非マネージド Red Hat Ceph Storage クラスターがあるサイトでは機能しません。中央サイトを更新すると、このファイルによって、中央サイトはエッジサイトのストレージクラスターをセカンダリーロケーションとして使用できるようになります。

   parameter_defaults:
     CephExternalMultiConfig:
   cluster: dcn1
   …
   cluster: dcn2
   …

7. オーバークラウドをデプロイする場合は、環境ファイル external-ceph.yaml、ceph-external-<SITE>.yaml、および central_ceph_external.yaml を使用します。

   openstack overcloud deploy \
       --stack dcn1 \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/dcn1/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/external-ceph.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e /home/stack/dnc1/ceph-external-dcn1.yaml  \
       ....
       -e /home/stack/overcloud-deploy/central/central-export.yaml \
       -e /home/stack/dcn-common/central_ceph_external.yaml \
       -e /home/stack/dcn1/dcn_ceph_keys.yaml \
       -e /home/stack/dcn1/role-counts.yaml \
       -e /home/stack/dcn1/ceph.yaml \
       -e /home/stack/dcn1/site-name.yaml \
       -e /home/stack/dcn1/tuning.yaml \
       -e /home/stack/dcn1/glance.yaml

8. すべてのエッジサイトが配置された後、中央サイトを再デプロイします。

手順

1. 以下のような内容で ~/central/glance_update.yaml ファイルを作成します。以下の例には、2 つのエッジサイト dcn0 および dcn1 の設定が含まれています。

     parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       CephClusterName: central
       GlanceBackendID: central
       GlanceMultistoreConfig:
         dcn0:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn0 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn0
           GlanceBackendID: dcn0
         dcn1:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn1 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn1
           GlanceBackendID: dcn1

2. dcn_ceph.yaml ファイルを作成します。以下の例では、このファイルは、エッジサイト dcn0 および dcn1 の Ceph クラスターのクライアントとして、中央サイトの glance サービスを設定します。

   openstack overcloud export ceph \
   --stack dcn0,dcn1 \
   --output-file ~/central/dcn_ceph.yaml

3. 元のテンプレートを使用して中央サイトを再デプロイする際に、新たに作成した dcn_ceph.yaml および glance_update.yaml ファイルを追加します。

   注記

   中央スタックの作成時にリーフネットワークが最初に提供されていなかった場合は、他のエッジサイトからの deployed_metal.yaml を overcloud deploy コマンドに追加します。

   openstack overcloud deploy \
   --deployed-server \
   --stack central \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -r ~/central/central_roles.yaml \
   -n ~/network-data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e /home/stack/central/overcloud-networks-deployed.yaml \
   -e /home/stack/central/overcloud-vip-deployed.yaml \
   -e /home/stack/central/deployed_metal.yaml \
   -e /home/stack/central/deployed_ceph.yaml \
   -e /home/stack/central/dcn_ceph.yaml \
   -e /home/stack/central/glance_update.yaml

4. 中央サイトのコントローラーで、cinder-volume サービスを再起動します。cinder-backup サービスと一緒に中央サイトをデプロイしている場合は、cinder-backup サービスも再起動してください。

   ssh tripleo-admin@controller-0 sudo pcs resource restart openstack-cinder-volume
   ssh tripleo-admin@controller-0 sudo pcs resource restart openstack-cinder-backup

手順

1. Red Hat OpenStack Platform director に stack としてログインします。

2. DistributedComputeHCIDashboard ロールおよびお使いの環境に適したその他のロールを生成します。

   openstack overcloud roles generate DistributedComputeHCIDashboard -o ~/dnc0/roles.yaml

3. オーバークラウドデプロイコマンドに roles.yaml および network_data_dashboard.yaml を追加します。

   $ openstack overcloud deploy --templates \
   -r ~/<dcn>/<dcn_site_roles>.yaml \
   -n /usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml \
   -e <overcloud_environment_files> \
   ...
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm-rbd-only.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/ceph-dashboard.yaml \

1. 選択したスタックに固有の Dashboard 管理者のログイン認証情報を取得します。

   grep grafana_admin /home/stack/config-download/<stack>/cephadm/cephadm-extra-vars-heat.yml

2. 選択したスタックに固有のインベントリー /home/stack/config-download/<stack>/cephadm/inventory.yml 内で、DistributedComputeHCI ロールホストリストを見つけて、3 つの storage_ip 値をすべて保存します。以下の例では、最初の 2 つの Dashboard IP は 172.16.11.84 と 172.16.11.87 です。

   DistributedComputeHCI:
     hosts:
       dcn1-distributed-compute-hci-0:
         ansible_host: 192.168.24.16
   ...
   storage_hostname: dcn1-distributed-compute-hci-0.storage.localdomain
   storage_ip: 172.16.11.84
   ...
       dcn1-distributed-compute-hci-1:
   ansible_host: 192.168.24.22
   ...
   storage_hostname: dcn1-distributed-compute-hci-1.storage.localdomain
   storage_ip: 172.16.11.87

3. これらの IP アドレスにアクセス可能な場合は、Ceph Dashboard がそのいずれかでアクティブであることを確認することができます。これらの IP アドレスはストレージネットワーク上にあり、ルーティングされません。これらの IP アドレスが利用できない場合、インベントリーから取得する 3 つの IP アドレスのロードバランサーを設定して、検証用に仮想 IP アドレスを取得する必要があります。

手順

1. Source コマンドで認証情報ファイルを読み込みます。

   例

   $ source ~/centralrc

2. octavia-dcn-parameters.yaml ファイルを作成し、以下に示す構文を使用して、Ansible Playbook で必要なネットワークリソースを作成する Load-balancing サービス AZ とその管理ネットワークを追加します。

   octavia_controller_AZ_name の値は、すべての Load-balancer サービスが実行される AZ の名前です。

   octavia_controller_availability_zone: <octavia_controller_AZ_name>
   octavia_availability_zones:
     <octavia_controller_AZ_name>: # no cidr needed, it uses the already existing subnet
     <octavia_AZ_n>:
       lb_mgmt_subnet_cidr: <CIDR_address_n>
     <octavia_AZ_n2>:
       lb_mgmt_subnet_cidr: <CIDR_address_n2>

   重要

   指定する Load-balancing サービス AZ の名前は、既存の Compute サービス AZ の名前と一致する必要があります。Compute サービス AZ の名前を取得するには、openstack availability zone list --compute を実行します。

   Ansible Playbook は、AZ ごとにネットワーク、サブネット、ルーターを作成し、それぞれ lb-mgmt-<AZ_name>-net、lb-mgmt-<AZ_name>-subnet、および lb-mgmt-<AZ_name>-router という規則に従って、octavia-dcn-parameters.yaml で指定した AZ 名を使用して名前を付けます。例外は octavia_controller_AZ_name のネットワークリソースです。Playbook は既存の負荷分散管理ネットワークとサブネット、それぞれ lb-mgmt-net と lb-mgmt-subnet を使用し、lb-mgmt-router という名前の関連ルーターを作成します。

   この例では、az-central、az-dcn1、および az-dcn2 の 3 つの AZ が指定されています。az-central AZ は、既存の負荷分散管理ネットワーク lb-mgmt-net を使用します。他の 2 つの AZ は、それぞれ 172.47.0.0/16 と 172.48.0.0/16 を使用します。

   例

   octavia_controller_availability_zone: az-central
   octavia_availability_zones:
     az-central: # no cidr needed; it uses the existing subnet
     az-dcn1:
       lb_mgmt_subnet_cidr: 172.47.0.0/16
     az-dcn2:
       lb_mgmt_subnet_cidr: 172.48.0.0/16

3. Ansible Playbook の octavia-dcn-deployment.yaml を実行し、octavia-dcn-parameters.yaml で作成した AZ 定義を含めます。

   例

   $ ansible-playbook -i overcloud-deploy/central/config-download/\
   central/tripleo-ansible-inventory.yaml \
   /usr/share/ansible/tripleo-playbooks/octavia-dcn-deployment.yaml \
   -e @octavia-dcn-parameters.yaml -e stack=central -v

検証

1. 必要な lb-mgmt-* サブネットが存在することを確認します。

   $ openstack subnet list -c Name -c Subnet

   出力例

   +-------------------------+------------------+
   | Name                    | Subnet           |
   +-------------------------+------------------+
   | lb-mgmt-az-dcn2-subnet  | 172.48.0.0/16    |
   | segment5                | 10.0.20.0/24     |
   | segment3                | 10.101.30.0/24   |
   | segment2                | 10.101.20.0/24   |
   | lb-mgmt-az-dcn1-subnet  | 172.47.0.0/16    |
   | heat_tempestconf_subnet | 192.168.199.0/24 |
   | segment4                | 10.0.10.0/24     |
   | lb-mgmt-subnet          | 172.24.0.0/16    |
   | segment1                | 10.101.10.0/24   |
   | lb-mgmt-backbone-subnet | 172.49.0.0/16    |
   | segment6                | 10.0.30.0/24     |
   +-------------------------+------------------+

2. 必要な仮想ルーターが存在することを確認します。

   $ openstack router list -c Name -c Status

   出力例

   +------------------------+--------+
   | Name                   | Status |
   +------------------------+--------+
   | lb-mgmt-az-dcn2-router | ACTIVE |
   | lb-mgmt-az-dcn1-router | ACTIVE |
   | lb-mgmt-router         | ACTIVE |
   +------------------------+--------+

手順

1. Source コマンドで認証情報ファイルを読み込みます。

   例

   $ source ~/centralrc

2. Load-balancing サービス AZ に名前を付けるために使用する Compute サービス AZ の名前を収集します。

   重要

   作成する Load-balancing サービス AZ の名前は、Compute サービス AZ の名前と一致する必要があります。

   $ openstack availability zone list --compute

   出力例

   +------------+-------------+
   | Zone Name  | Zone Status |
   +------------+-------------+
   | az-central | available   |
   | az-dcn1    | available   |
   | az-dcn2    | available   |
   | internal   | available   |
   +------------+-------------+

3. Load-balancing サービス AZ の作成に使用する管理ネットワークの ID を収集します。

   $ openstack network list -c Name -c ID

   出力例

   +--------------------------------------+--------------------------+
   | ID                                   | Name                     |
   +--------------------------------------+--------------------------+
   | 10458d6b-e7c9-436f-92d9-711677c9d9fd | lb-mgmt-az-dcn2-net      |
   | 662a94f5-51eb-4a4c-86c4-52dcbf471ef9 | lb-mgmt-net              |
   | 6b97ef58-2a25-4ea5-931f-b7c07cd09474 | lb-mgmt-backbone-net     |
   | 99f4215b-fad8-432d-8444-1f894154dc30 | heat_tempestconf_network |
   | a2884aaf-846c-4936-9982-3083f6a71d9b | lb-mgmt-az-dcn1-net      |
   | d7f7de6c-0e84-49e2-9042-697fa85d2532 | public                   |
   | e887a9f9-15f7-4854-a797-033cedbfe5f3 | public2                  |
   +--------------------------------------+--------------------------+

4. AZ プロファイルを作成します。この手順を繰り返して、作成する Load-balancing サービス AZ ごとに AZ プロファイルを作成します。

   $ openstack loadbalancer availabilityzoneprofile create \
   --name <AZ_profile_name> --provider amphora --availability-zone-data '{"compute_zone": "<compute_AZ_name>","management_network": "<lb_mgmt_AZ_net_UUID>"}'

   例: az-central のプロファイルを作成する

   この例では、Compute AZ (az-central) で実行される Compute ノード上の管理ネットワーク (lb-mgmt-net) を使用する AZ プロファイル (az_profile_central) が作成されます。

   $ openstack loadbalancer availabilityzoneprofile create \
   --name az_profile_central --provider amphora --availability-zone-data \
   '{"compute_zone": "az-central","management_network": \
   "662a94f5-51eb-4a4c-86c4-52dcbf471ef9"}'

5. 手順 4 を繰り返して、作成する Load-balancing サービス AZ ごとに AZ プロファイルを作成します。

   例: az-dcn1 のプロファイルを作成する

   この例では、コンピュート AZ (az-dcn1) で実行される Compute ノード上の管理ネットワーク (lb-mgmt-az-dcn1-net) を使用する AZ プロファイル (az-profile-dcn1) が作成されます。

   $ openstack loadbalancer availabilityzoneprofile create \
   --name az-profile-dcn1 --provider amphora --availability-zone-data \
   '{"compute-zone": "az-dcn1","management-network": \
   "a2884aaf-846c-4936-9982-3083f6a71d9b"}'

   例: az-dcn2 のプロファイルを作成する

   この例では、Compute AZ (az-dcn2) で実行される Compute ノード上の管理ネットワーク (lb-mgmt-az-dcn2-net) を使用する AZ プロファイル (az-profile-dcn2) が作成されます。

   $ openstack loadbalancer availabilityzoneprofile create \
   --name az-profile-dcn2 --provider amphora --availability-zone-data \
   '{"compute-zone": "az-dcn2","management-network": \
   "10458d6b-e7c9-436f-92d9-711677c9d9fd"}'

6. AZ プロファイルを使用して、Load-balancing サービス AZ を作成します。各 AZ に適切なプロファイルを使用して、追加の AZ に対してこの手順を繰り返します。

   例: AZ: az-central を作成する

   この例では、AZ プロファイル (az-profile-central) を使用して、Load-balancing サービス AZ (az-central) が作成されます。

   $ openstack loadbalancer availabilityzone create --name az-central \
   --availabilityzoneprofile az-profile-central \
   --description "AZ for Headquarters" --enable

   例: AZ: az-dcn1 を作成する

   この例では、AZ プロファイル (az-profile-az-dcn1) を使用して、Load-balancing サービス AZ (az-dcn1) が作成されます。

   $ openstack loadbalancer availabilityzone create --name az-dcn1 \
   --availabilityzoneprofile az-profile-az-dcn1 \
   --description "AZ for South Region" --enable

   例: AZ: az-dcn2 を作成する

   この例では、AZ プロファイル (az-profile-az-dcn2) を使用して、Load-balancing サービス AZ (az-dcn2) が作成されます。

   $ openstack loadbalancer availabilityzone create --name az-dcn2 \
   --availabilityzoneprofile az-profile-az-dcn2 \
   --description "AZ for North Region" --enable

手順

1. Source コマンドで認証情報ファイルを読み込みます。

   例

   $ source ~/centralrc

2. DCN 環境のロードバランサーを作成するには、loadbalancer create コマンドを --availability-zone オプションとともに使用し、適切な AZ を指定します。

   例

   たとえば、アベイラビリティーゾーン (az-central) のパブリックサブネット (public_subnet) 上に終了されない HTTPS ロードバランサー (lb1) を作成するには、次のコマンドを入力します。

   $ openstack loadbalancer create --name lb1 --vip-subnet-id \
   public_subnet --availability-zone az-central

3. リスナー、プール、ヘルスモニター、およびロードバランサーのメンバーを追加して、ロードバランサーの作成を続けます。

   詳細は、load balancing as a service の設定 ガイドを参照してください。

手順

1. アンダークラウド上で、SSH を使用して、削除する DistributedComputeHCI ノードに接続します。

   $ ssh tripleo-admin@<dcn-computehci-node>

2. cephadm シェルを起動します。削除するホストの設定ファイルとキーリングファイルを使用します。

   $ sudo cephadm shell --config /etc/ceph/dcn2.conf \
   --keyring /etc/ceph/dcn2.client.admin.keyring

3. 後の手順で参照できるように、削除する DistributedComputeHCI ノードに関連付けられている OSD (オブジェクトストレージデバイス) を記録します。

   [ceph: root@dcn2-computehci2-1 ~]# ceph osd tree -c /etc/ceph/dcn2.conf
   …
   -3       0.24399     host dcn2-computehci2-1
    1   hdd 0.04880         osd.1                           up  1.00000 1.00000
    7   hdd 0.04880         osd.7                           up  1.00000 1.00000
   11   hdd 0.04880         osd.11                          up  1.00000 1.00000
   15   hdd 0.04880         osd.15                          up  1.00000 1.00000
   18   hdd 0.04880         osd.18                          up  1.00000 1.00000
   …

4. SSH を使用して同じクラスター内の別のノードに接続し、クラスターからモニターを削除します。

   $ sudo cephadm shell --config /etc/ceph/dcn2.conf \
   --keyring /etc/ceph/dcn2.client.admin.keyring
   
   [ceph: root@dcn-computehci2-0]# ceph mon remove dcn2-computehci2-1 -c /etc/ceph/dcn2.conf
   removing mon.dcn2-computehci2-1 at [v2:172.23.3.153:3300/0,v1:172.23.3.153:6789/0], there will be 2 monitors

5. SSH を使用して、クラスターから削除するノードに再度ログインします。

6. mgr サービスを停止し、無効にします。

   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl --type=service | grep ceph
   ceph-crash@dcn2-computehci2-1.service    loaded active     running       Ceph crash dump collector
   ceph-mgr@dcn2-computehci2-1.service      loaded active     running       Ceph Manager
   
   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl stop ceph-mgr@dcn2-computehci2-1
   
   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl --type=service | grep ceph
   ceph-crash@dcn2-computehci2-1.service  loaded active running Ceph crash dump collector
   
   [tripleo-admin@dcn2-computehci2-1 ~]$ sudo systemctl disable ceph-mgr@dcn2-computehci2-1
   Removed /etc/systemd/system/multi-user.target.wants/ceph-mgr@dcn2-computehci2-1.service.

7. cephadm シェルを起動します。

   $ sudo cephadm shell --config /etc/ceph/dcn2.conf \
   --keyring /etc/ceph/dcn2.client.admin.keyring

8. ノードの mgr サービスがクラスターから削除されていることを確認します。

   [ceph: root@dcn2-computehci2-1 ~]# ceph -s
   
   cluster:
       id:     b9b53581-d590-41ac-8463-2f50aa985001
       health: HEALTH_WARN
               3 pools have too many placement groups
               mons are allowing insecure global_id reclaim
   
     services:
       mon: 2 daemons, quorum dcn2-computehci2-2,dcn2-computehci2-0 (age 2h)
       mgr: dcn2-computehci2-2(active, since 20h), standbys: dcn2-computehci2-0 1
       osd: 15 osds: 15 up (since 3h), 15 in (since 3h)
   
     data:
       pools:   3 pools, 384 pgs
       objects: 32 objects, 88 MiB
       usage:   16 GiB used, 734 GiB / 750 GiB avail
       pgs:     384 active+clean

   1

   mgr サービスが正常に削除されると、mgr サービスが削除されたノードは表示されなくなります。

9. Red Hat Ceph Storage 仕様をエクスポートします。

   [ceph: root@dcn2-computehci2-1 ~]# ceph orch ls --export > spec.yml

10. spec.yaml ファイルで仕様を編集します。

    • spec.yml からホストの <dcn-computehci-node> のインスタンスをすべて削除します。

    • 以下の <dcn-computehci-node> エントリーのインスタンスをすべて削除します。

      • service_type: osd
      • service_type: mon
      • service_type: host

11. Red Hat Ceph Storage 仕様を再適用します。

    [ceph: root@dcn2-computehci2-1 /]# ceph orch apply -i spec.yml

12. ceph osd tree を使用して特定した OSD を削除します。

    [ceph: root@dcn2-computehci2-1 /]# ceph orch osd rm --zap 1 7 11 15 18
    Scheduled OSD(s) for removal

13. 削除する OSD のステータスを確認します。次のコマンドで出力が返されなくなるまで続行しないでください。

    [ceph: root@dcn2-computehci2-1 /]# ceph orch osd rm status
    OSD_ID  HOST                    STATE     PG_COUNT  REPLACE  FORCE  DRAIN_STARTED_AT
    1       dcn2-computehci2-1      draining  27        False    False  2021-04-23 21:35:51.215361
    7       dcn2-computehci2-1      draining  8         False    False  2021-04-23 21:35:49.111500
    11      dcn2-computehci2-1      draining  14        False    False  2021-04-23 21:35:50.243762

14. 削除するホストにデーモンが残っていないことを確認します。

    [ceph: root@dcn2-computehci2-1 /]# ceph orch ps dcn2-computehci2-1

    デーモンがまだ存在する場合は、次のコマンドで削除できます。

    [ceph: root@dcn2-computehci2-1 /]# ceph orch host drain dcn2-computehci2-1

15. Red Hat Ceph Storage クラスターから <dcn-computehci-node> ホストを削除します。

    [ceph: root@dcn2-computehci2-1 /]# ceph orch host rm dcn2-computehci2-1
    Removed host ‘dcn2-computehci2-1’

手順

1. 削除するノードの cinder-volume サービスを特定して無効にします。

   (central) [stack@site-undercloud-0 ~]$ openstack volume service list --service cinder-volume
   | cinder-volume | dcn2-computehci2-1@tripleo_ceph | az-dcn2    | enabled | up    | 2022-03-23T17:41:43.000000 |
   (central) [stack@site-undercloud-0 ~]$ openstack volume service set --disable dcn2-computehci2-1@tripleo_ceph cinder-volume

2. スタック内の別の DistributedComputeHCI ノードにログインします。

   $ ssh tripleo-admin@dcn2-computehci2-0

3. 削除するノードに関連付けられた cinder-volume サービスを削除します。

   [root@dcn2-computehci2-0 ~]# podman exec -it cinder_volume cinder-manage service remove cinder-volume dcn2-computehci2-1@tripleo_ceph
   Service cinder-volume on host dcn2-computehci2-1@tripleo_ceph removed.

4. 削除するノードで tripleo_cinder_volume サービスを停止して無効にします。

   [root@dcn2-computehci2-1 ~]# systemctl stop tripleo_cinder_volume.service
   [root@dcn2-computehci2-1 ~]# systemctl disable tripleo_cinder_volume.service
   Removed /etc/systemd/system/multi-user.target.wants/tripleo_cinder_volume.service

手順

1. baremetal-deployment.yaml ファイルをコピーします。

   cp /home/stack/dcn2/overcloud-baremetal-deploy.yaml \
   /home/stack/dcn2/baremetal-deployment-scaledown.yaml

2. baremetal-deployement-scaledown.yaml ファイルを編集します。削除するホストを特定し、provisioned パラメーターの値を false に設定します。

   instances:
   ...
     - hostname: dcn2-computehci2-1
       provisioned: false

3. スタックからノードを削除します。

   openstack overcloud node delete --stack dcn2 --baremetal-deployment /home/stack/dcn2/baremetal_deployment_scaledown.yaml

4. オプション: ノードを再利用する場合は、ironic を使用してディスクをクリーンアップします。これは、ノードが Ceph OSD をホストする場合に必要です。

   openstack baremetal node manage $UUID
   openstack baremetal node clean $UUID --clean-steps '[{"interface":"deploy", "step": "erase_devices_metadata"}]'
   openstack baremetal provide $UUID

5. 中央サイトを再デプロイします。初期設定に使用するすべてのテンプレートを含めます。

   openstack overcloud deploy \
   --deployed-server \
   --stack central \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -r ~/control-plane/central_roles.yaml \
   -n ~/network-data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/cephadm/cephadm.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e /home/stack/central/overcloud-networks-deployed.yaml \
   -e /home/stack/central/overcloud-vip-deployed.yaml \
   -e /home/stack/central/deployed_metal.yaml \
   -e /home/stack/central/deployed_ceph.yaml \
   -e /home/stack/central/dcn_ceph.yaml \
   -e /home/stack/central/glance_update.yaml

1. status フィールドの値が enabled で、State フィールドの値が up であることを確認します。

   (central) [stack@site-undercloud-0 ~]$ openstack compute service list -c Binary -c Host -c Zone -c Status -c State
   +----------------+-----------------------------------------+------------+---------+-------+
   | Binary         | Host                                    | Zone       | Status  | State |
   +----------------+-----------------------------------------+------------+---------+-------+
   ...
   | nova-compute   | dcn1-compute1-0.redhat.local            | az-dcn1    | enabled | up    |
   | nova-compute   | dcn1-compute1-1.redhat.local            | az-dcn1    | enabled | up    |
   | nova-compute   | dcn2-computehciscaleout2-0.redhat.local | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computehci2-0.redhat.local         | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computescaleout2-0.redhat.local    | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computehci2-2.redhat.local         | az-dcn2    | enabled | up    |
   ...

2. すべてのネットワークエージェントが up 状態にあることを確認します。

   (central) [stack@site-undercloud-0 ~]$ openstack network agent list -c "Agent Type" -c Host -c Alive -c State
   +--------------------+-----------------------------------------+-------+-------+
   | Agent Type         | Host                                    | Alive | State |
   +--------------------+-----------------------------------------+-------+-------+
   | DHCP agent         | dcn3-compute3-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-1.redhat.local      | :-)   | UP    |
   | DHCP agent         | dcn3-compute3-0.redhat.local            | :-)   | UP    |
   | DHCP agent         | central-controller0-2.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn3-compute3-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | dcn1-compute1-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-0.redhat.local      | :-)   | UP    |
   | DHCP agent         | central-controller0-1.redhat.local      | :-)   | UP    |
   | L3 agent           | central-controller0-2.redhat.local      | :-)   | UP    |
   | Metadata agent     | central-controller0-1.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn2-computescaleout2-0.redhat.local    | :-)   | UP    |
   | Open vSwitch agent | dcn2-computehci2-5.redhat.local         | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-2.redhat.local      | :-)   | UP    |
   | DHCP agent         | central-controller0-0.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | central-controller0-1.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn2-computehci2-0.redhat.local         | :-)   | UP    |
   | Open vSwitch agent | dcn1-compute1-0.redhat.local            | :-)   | UP    |
   ...

3. Ceph クラスターのステータスを確認します。

   1. SSH を使用して新しい DistributedComputeHCI ノードに接続し、Ceph クラスターのステータスを確認します。

      [root@dcn2-computehci2-5 ~]# podman exec -it ceph-mon-dcn2-computehci2-5 \
      ceph -s -c /etc/ceph/dcn2.conf

   2. 新規ノードに ceph mon サービスと ceph mgr サービスの両方が存在することを確認します。

      services:
          mon: 3 daemons, quorum dcn2-computehci2-2,dcn2-computehci2-0,dcn2-computehci2-5 (age 3d)
          mgr: dcn2-computehci2-2(active, since 3d), standbys: dcn2-computehci2-0, dcn2-computehci2-5
          osd: 20 osds: 20 up (since 3d), 20 in (since 3d)

   3. ceph osds のステータスを 'ceph osd tree' で確認します。新規ノードの osds すべてが STATUS up にあることを確認します。

      [root@dcn2-computehci2-5 ~]# podman exec -it ceph-mon-dcn2-computehci2-5 ceph osd tree -c /etc/ceph/dcn2.conf
      ID CLASS WEIGHT  TYPE NAME                           STATUS REWEIGHT PRI-AFF
      -1       0.97595 root default
      -5       0.24399     host dcn2-computehci2-0
       0   hdd 0.04880         osd.0                           up  1.00000 1.00000
       4   hdd 0.04880         osd.4                           up  1.00000 1.00000
       8   hdd 0.04880         osd.8                           up  1.00000 1.00000
      13   hdd 0.04880         osd.13                          up  1.00000 1.00000
      17   hdd 0.04880         osd.17                          up  1.00000 1.00000
      -9       0.24399     host dcn2-computehci2-2
       3   hdd 0.04880         osd.3                           up  1.00000 1.00000
       5   hdd 0.04880         osd.5                           up  1.00000 1.00000
      10   hdd 0.04880         osd.10                          up  1.00000 1.00000
      14   hdd 0.04880         osd.14                          up  1.00000 1.00000
      19   hdd 0.04880         osd.19                          up  1.00000 1.00000
      -3       0.24399     host dcn2-computehci2-5
       1   hdd 0.04880         osd.1                           up  1.00000 1.00000
       7   hdd 0.04880         osd.7                           up  1.00000 1.00000
      11   hdd 0.04880         osd.11                          up  1.00000 1.00000
      15   hdd 0.04880         osd.15                          up  1.00000 1.00000
      18   hdd 0.04880         osd.18                          up  1.00000 1.00000
      -7       0.24399     host dcn2-computehciscaleout2-0
       2   hdd 0.04880         osd.2                           up  1.00000 1.00000
       6   hdd 0.04880         osd.6                           up  1.00000 1.00000
       9   hdd 0.04880         osd.9                           up  1.00000 1.00000
      12   hdd 0.04880         osd.12                          up  1.00000 1.00000
      16   hdd 0.04880         osd.16                          up  1.00000 1.00000

4. 新しい DistributedComputeHCI ノードの cinder-volume サービスがステータス ‘enabled' にあり、状態が ‘up' であることを確認します。

   (central) [stack@site-undercloud-0 ~]$ openstack volume service list --service cinder-volume -c Binary -c Host -c Zone -c Status -c State
   +---------------+---------------------------------+------------+---------+-------+
   | Binary        | Host                            | Zone       | Status  | State |
   +---------------+---------------------------------+------------+---------+-------+
   | cinder-volume | hostgroup@tripleo_ceph          | az-central | enabled | up    |
   | cinder-volume | dcn1-compute1-1@tripleo_ceph    | az-dcn1    | enabled | up    |
   | cinder-volume | dcn1-compute1-0@tripleo_ceph    | az-dcn1    | enabled | up    |
   | cinder-volume | dcn2-computehci2-0@tripleo_ceph | az-dcn2    | enabled | up    |
   | cinder-volume | dcn2-computehci2-2@tripleo_ceph | az-dcn2    | enabled | up    |
   | cinder-volume | dcn2-computehci2-5@tripleo_ceph | az-dcn2    | enabled | up    |
   +---------------+---------------------------------+------------+---------+-------+

   注記

   cinder-volume サービスの状態が down の場合には、サービスはノードで起動していません。

5. ssh を使用して新しい DistributedComputeHCI ノードに接続し、Glance サービスのステータスを ‘systemctl' で確認します。

   [root@dcn2-computehci2-5 ~]# systemctl --type service | grep glance
     tripleo_glance_api.service                        loaded active     running       glance_api container
     tripleo_glance_api_healthcheck.service            loaded activating start   start glance_api healthcheck
     tripleo_glance_api_tls_proxy.service              loaded active     running       glance_api_tls_proxy container

手順

1. 置き換えノードにログインし、etcd サービスのログを確認します。etcd サービスがクラスター ID の不一致を報告していることが、/var/log/containers/stdouts/etcd.log のログファイルに表示されていることを確認します。

   2022-04-06T18:00:11.834104130+00:00 stderr F 2022-04-06 18:00:11.834045 E | rafthttp: request cluster ID mismatch (got 654f4cf0e2cfb9fd want 918b459b36fe2c0c)

2. EtcdInitialClusterState パラメーターをデプロイメントテンプレートの existing の値に設定し、デプロイメントスクリプトを再実行します。

3. SSH を使用して代替ノードに接続し、root で以下のコマンドを実行します。

   [root@dcn2-computehci2-4 ~]# systemctl stop tripleo_etcd
   [root@dcn2-computehci2-4 ~]# rm -rf /var/lib/etcd/*
   [root@dcn2-computehci2-4 ~]# systemctl start tripleo_etcd

4. /var/log/containers/stdouts/etcd.log ログファイルを再チェックし、ノードが正常にクラスターに参加していることを確認します。

   2022-04-06T18:24:22.130059875+00:00 stderr F 2022-04-06 18:24:22.129395 I | etcdserver/membership: added member 96f61470cd1839e5 [https://dcn2-computehci2-4.internalapi.redhat.local:2380] to cluster 654f4cf0e2cfb9fd

5. cinder-volume サービスの状態を確認し、openstack volume service list を実行する際に置き換えノードで up を読み取ることを確認します。

手順

1. オーバークラウドスタックの Ansible インベントリーディレクトリーを作成します。

   $ mkdir inventories
   
   $ find ~/overcloud-deploy/*/config-download \
     -name tripleo-ansible-inventory.yaml |\
     while read f; do cp $f inventories/$(basename $(dirname $f)).yaml; done

2. 事前キャッシュするイメージの ID リストを作成します。

   1. 利用可能なイメージの完全なリストを取得します。

      $ source centralrc
      
      $ openstack image list
      +--------------------------------------+---------+--------+
      | ID                                   | Name    | Status |
      +--------------------------------------+---------+--------+
      | 07bc2424-753b-4f65-9da5-5a99d8383fe6 | image_0 | active |
      | d5187afa-c821-4f22-aa4b-4e76382bef86 | image_1 | active |
      +--------------------------------------+---------+--------+

   2. nova_cache_args.yml という名前で Ansible Playbook の引数ファイルを作成し、事前キャッシュするイメージの ID を追加します。

      ---
      tripleo_nova_image_cache_images:
        - id: 07bc2424-753b-4f65-9da5-5a99d8383fe6
        - id: d5187afa-c821-4f22-aa4b-4e76382bef86

3. tripleo_nova_image_cache.yml Ansible Playbook を実行します。

   $ source centralrc
   
   $ ansible-playbook -i inventories \
   --extra-vars "@nova_cache_args.yml" \
   /usr/share/ansible/tripleo-playbooks/tripleo_nova_image_cache.yml

Process

1. 外部アクセス用の Ceph キーを作成します。この鍵の取り扱いには注意が必要です。以下のコマンドを使用して鍵を生成することができます。

   python3 -c 'import os,struct,time,base64; key = os.urandom(16) ; \
   header = struct.pack("<hiih", 1, int(time.time()), 0, len(key)) ; \
   print(base64.b64encode(header + key).decode())'

2. デプロイするスタックのディレクトリーにおいて、以下のような内容で ceph_keys.yaml 環境ファイルを作成します。鍵には、前のステップのコマンド出力を使用します。

   parameter_defaults:
     CephExtraKeys:
       - name: "client.external"
         caps:
           mgr: "allow *"
           mon: "profile rbd"
           osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
         key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
         mode: "0600"

3. サイトのデプロイメントに ceph_keys.yaml 環境ファイルを追加します。たとえば、ceph_keys.yaml 環境ファイルを指定して中央サイトをデプロイするには、以下のようなコマンドを実行します。

    overcloud deploy \
            --stack central \
            --templates /usr/share/openstack-tripleo-heat-templates/ \
            ….
            -e ~/central/ceph_keys.yaml