第3章 PostgreSQL 用 Debezium コネクター

PostgreSQL の 論理デコード機能 は、最初にバージョン 9.4 で導入されました。これは、トランザクションログにコミットされた変更の抽出と、出力プラグインによる、ユーザーフレンドリーの変更の処理を可能にするメカニズムです。PostgreSQL サーバーを実行する前に、この出力プラグインをインストールし、クライアントが変更を使用できるようにレプリケーションスロットとともに有効にする必要があります。

PostgreSQL コネクターには、サーバーの変更の読み取りと処理を可能にするために連携する 2 つの異なる部分が含まれています。

コネクターは、受信した各行レベルの挿入、更新、および削除操作の 変更イベント を作成し、各テーブルの変更イベントを別の Kafka トピックに記録します。クライアントアプリケーションは、以下を行うデータベーステーブルに対応する Kafka トピックを読み取り、これらのトピックで表示されるすべての行レベルのイベントに対応します。

PostgreSQL は通常、一定期間後に WAL セグメントをパージします。つまり、コネクターにはデータベースに加えられたすべての変更の完全な履歴がないことを意味します。そのため、PostgreSQL コネクターが最初に特定の PostgreSQL データベースに接続すると、データベーススキーマの 一貫したスナップショット を実行して開始します。コネクターがスナップショットを完了した後も、スナップショットの作成先の正確な時点から変更のストリーミングが継続されます。これにより、全データの一貫したビューから始め、スナップショットの発生中に加えられた変更をすべて失われることなく、読み取りを継続します。

コネクターは失敗を許容します。コネクターは変更を読み取り、イベントを生成すると、各イベントで write-ahead ログの位置を記録します。コネクターが何らかの理由で停止する場合（通信の失敗、ネットワークの問題、クラッシュなど）、再起動すると単に WAL を読み取るだけで停止します。これには、スナップショットが含まれます。再起動すると、コネクターの停止時にスナップショットが完了しなかった場合、スナップショットが新しいスナップショットを開始されます。