第4章 Ceph Storage のストレッチクラスター

ストレッチクラスター (地理的に分散されたデプロイメント) の可用性を向上させるには、ストレッチモードにする必要があります。ストレッチモードが有効になっている場合、Ceph OSD は、配置グループ (PG) がデータセンター間でピア接続している場合、または指定した他の CRUSH バケットタイプが両方ともアクティブであると仮定して、PG のみをアクティブと見なします。プールのサイズはデフォルトの 3 から 4 に増加し、各サイトに 2 つのコピーがあります。

ストレッチモードでは、Ceph OSD は同じデータセンター内のモニターのみに接続できます。新しいモニターは、場所を指定しないと、クラスターに参加できません。

データセンターのすべての OSD とモニターが一度にアクセスできなくなった場合、存続しているデータセンターは degraded ストレッチモードに入ります。これにより、警告が発行され、min_size が 1 に減少し、クラスターが残りのサイトからのデータで active 状態に到達できるようになります。

ストレッチモードは、2 つのデータセンター間のネットワーク分断 (netsplit) シナリオと 1 つのデータセンターの損失を処理するように設計されています。ストレッチモードは、ネットワーク分断 (netsplit) 発生時に、tiebreaker モニターとの接続性がより良い側の生存データセンターを選択することで対応します。ストレッチモードでは、すべてのプールの min_size を 1 に減らすことで 1 つのデータセンターの損失に対処し、クラスターが残りのデータセンターで動作を継続できるようにします。失われたデータセンターが復旧すると、クラスターは失われたデータを回復し、通常の動作に戻ります。

In a stretch cluster, when a site goes down and the cluster enters a degraded state, the min_size of the pool may be temporarily reduced (e.g., to 1) to allow the placement groups (PGs) to become active and continue serving I/O. However, the size of the pool remains unchanged. The peering_crush_bucket_count stretch mode flag ensures that PGs does not become active unless they are backed by OSDs in a minimum number of distinct CRUSH buckets (e.g., different data centers). This mechanism prevents the system from creating redundant copies solely within the surviving site, ensuring that data is only fully replicated once the downed site recovers.

In a stretch cluster, when a site goes down and the cluster enters a degraded state, the min_size of the pool may be temporarily reduced (e.g., to 1) to allow the placement groups (PGs) to become active and continue serving I/O. However, the size of the pool remains unchanged. The peering_crush_bucket_count stretch mode flag ensures that PGs does not become active unless they are backed by OSDs in a minimum number of distinct CRUSH buckets (e.g., different data centers). This mechanism prevents the system from creating redundant copies solely within the surviving site, ensuring that data is only fully replicated once the downed site recovers.

欠落しているデータセンターが再びアクセス可能になると、クラスターは recovery ストレッチモードに入ります。これにより、警告が変更され、ピアリングが許可されますが、必要なものは、データセンターからの OSD のみであり、ずっと稼働していました。

すべての PG が既知の状態にあり、劣化でも不完全でもない場合、クラスターは通常のストレッチモードに戻り、警告を終了し、min_size を開始値 2 に戻します。クラスターは、常に稼働していたサイトだけでなく、両方のサイトをピアリングする必要があるため、必要に応じて、他のサイトにフェイルオーバーできます。

この動作は、サイト障害時にデータの整合性を保護するために不可欠です。すべてのレプリカが 1 つのサイトに限定された状態で PG をアクティブにできる場合、真の冗長性が確保されずに書き込み操作が誤って確認される可能性があります。サイトが停止した場合、これらの PG のデータが完全に失われることになります。動作セット内でゾーンの多様性を適用することにより、Ceph ストレッチクラスターは、データの不整合や損失のリスクを最小限に抑えながら、高い可用性を維持します。