3.4.5. Kafka Connect プロセスクラッシュ


Kafka Connector プロセスが予期せずに停止すると、実行していたコネクタータスクは、最近処理されたオフセットを記録せずに終了します。Kafka Connect を分散モードで実行している場合、他のプロセスでこれらのコネクタータスクを再起動します。ただし、PostgreSQL コネクターは以前のプロセスで 記録 された最後のオフセットから再開します。つまり、新しい代替タスクにより、クラッシュの直前に処理された同じ変更イベントが生成される可能性があります。重複イベントの数は、オフセットのフラッシュ間隔と、クラッシュの直前のデータの変更量により異なります。

注記

障害からの復旧中に一部のイベントが複製される可能性があるため、コンシューマーは常に一部のイベントが複製されることを予想する必要があります。Debezium の変更はべき等であるので、一連のイベントは常に同じ状態になります。

Debezium には、各変更イベントの発生元に関するソース固有の情報も含まれています。これには、PostgreSQL サーバーの時間、サーバートランザクションの ID、トランザクションの変更先のログの位置が含まれます。コンシューマーは、この情報(特に LSN 位置)を追跡し、特定のイベントをすでに確認しているかどうかを確認できます。

Red Hat logoGithubRedditYoutubeTwitter

詳細情報

試用、購入および販売

コミュニティー

Red Hat ドキュメントについて

Red Hat をお使いのお客様が、信頼できるコンテンツが含まれている製品やサービスを活用することで、イノベーションを行い、目標を達成できるようにします。

多様性を受け入れるオープンソースの強化

Red Hat では、コード、ドキュメント、Web プロパティーにおける配慮に欠ける用語の置き換えに取り組んでいます。このような変更は、段階的に実施される予定です。詳細情報: Red Hat ブログ.

会社概要

Red Hat は、企業がコアとなるデータセンターからネットワークエッジに至るまで、各種プラットフォームや環境全体で作業を簡素化できるように、強化されたソリューションを提供しています。

© 2024 Red Hat, Inc.