3.4. 10GB イーサネットを実稼働最小として使用
クラスターネットワークの帯域幅要件を慎重に検討し、ネットワークリンクのオーバーサブスクリプションに注意してください。また、クライアント間のトラフィックからクラスター内のトラフィックを分離します。
1Gbps は実稼働クラスターには適していません。
ドライブに障害が発生した場合、1Gbps ネットワーク全体で 1TB のデータの複製には 3 時間かかります。また、3TB(一般的なドライブ設定)は 9 時間かかります。これとは対照的に、10Gbps ネットワークでは、レプリケーション時間はそれぞれ 20 分と 1 時間になります。OSD が失敗すると、クラスターはプール内の他の OSD に含まれるデータをレプリケートしてリカバリーすることに注意してください。
failed OSD(s) ------------- total OSDs
ラックなどの大規模なドメインに障害が発生した場合は、クラスターが帯域幅を大幅に消費することを意味します。管理者は、通常、クラスターをできるだけ早く復元することを優先します。
少なくとも 10Gbps のイーサネットリンク 1 つをストレージハードウェアに使用する必要があります。Ceph ノードに各ドライブが多数ある場合は、接続およびスループット用にさらに 10Gbps のイーサネットリンクを追加します。
個別の NIC にフロントエンドネットワークとバックサイドネットワークを設定します。
Ceph は、パブリック (フロントエンド) ネットワークとクラスター (バックエンド) ネットワークをサポートします。パブリックネットワークは、クライアントのトラフィックと Ceph モニターとの通信を処理します。クラスター (バックエンド) ネットワークは、OSD のハートビート、レプリケーション、バックフィル、およびリカバリーのトラフィックを処理します。Red Hat では、レプリケートされたプールの倍数の基礎として osd_pool_default_size
を使用して、フロントサイドネットワークの倍数になるようにクラスター (バックサイド) ネットワークに帯域幅を割り当てることを推奨します。Red Hat では、パブリックネットワークとクラスターネットワークを別の NIC で実行することを推奨します。
複数のラックで構成されるクラスター(大規模なクラスターでは一般的)を構築する場合は、最適なパフォーマンスを得るために、「ファットツリー」設計でスイッチ間のネットワーク帯域幅を大量に使用することを検討してください。一般的な 10Gbps イーサネットスイッチには、48 個の 10Gbps ポートと 4 Gbps ポートがあります。スループットを最大化するには、スパイン上で 40Gbps ポートを使用します。または、QSFP+ および SFP+ ケーブルを使用した未使用の 10Gbps ポートを別のラックおよびスパインルーターに接続するために、さらに 40Gbps ポートに集計することを検討してください。
ネットワークの最適化には、CPU/帯域幅の比率を高めるためにジャンボフレームを使用し、非ブロックのネットワークスイッチのバックプレーンを使用することを Red Hat は推奨します。Red Hat Ceph Storageでは、パブリックネットワークとクラスターネットワークの両方で、通信パスにあるすべてのネットワークデバイスに同じ MTU 値がエンドツーエンドで必要となります。Red Hat Ceph Storage クラスターを実稼働環境で使用する前に、環境内のすべてのノードとネットワーク機器で MTU 値が同じであることを確認します。
詳細は、『 Red Hat Ceph Storage 設定ガイド』の「MTU 値の確認および設定 」セクションを参照してください。