3.2. Debezium Db2 コネクターの仕組み

手順

1. コネクターを停止します。
2. schema.history.internal.kafka.topic プロパティー で指定された内部データベーススキーマ履歴トピックを削除します。

3. 設定された Kafka Connect offset.storage.topic 内のオフセットをクリアします。オフセットを削除する方法の詳細は、Debezium コミュニティーの FAQ を参照してください。

   警告

   オフセットの削除は、内部 Kafka Connect データの操作の経験がある上級ユーザーのみが実行してください。この操作によりシステムが破損する場合があるため、最後の手段としてのみ実行してください。

4. 以下の変更をコネクター設定に適用します。

   1. (オプション) schema.history.internal.captured.tables.ddl の値を false に設定します。この設定により、スナップショットですべてのテーブルのスキーマがキャプチャーされ、今後、コネクターがすべてのテーブルのスキーマ履歴を再構築できるようにします。
      

      注記

      すべてのテーブルのスキーマをキャプチャーするスナップショットは、完了までにさらに時間がかかります。

   2. コネクターがキャプチャーするテーブルを table.include.list に追加します。

   3. snapshot.mode を次のいずれかの値に設定します。

      Initial

      コネクターを再起動すると、テーブルデータとテーブル構造をキャプチャーするデータベースの完全なスナップショットが作成されます。
      このオプションを選択する場合は、コネクターがすべてのテーブルのスキーマをキャプチャーできるように、schema.history.internal.captured.tables.ddl プロパティーの値を false に設定することを検討してください。

      schema_only

      コネクターを再起動すると、テーブルスキーマのみをキャプチャーするスナップショットが作成されます。完全なデータスナップショットとは異なり、このオプションではテーブルデータはキャプチャーされません。完全なスナップショットが作成される前に、早くコネクターを再起動する場合は、このオプションを使用します。

5. コネクターを再起動します。コネクターは、snapshot.mode で指定されたタイプのスナップショットを完了します。

6. (オプション) コネクターが schema_only スナップショットを実行した場合、スナップショットの完了後に 増分スナップショット を開始して、追加したテーブルからデータをキャプチャーします。コネクターは、テーブルからリアルタイムの変更をストリーミングし続けながら、スナップショットを実行します。増分スナップショットを実行すると、次のデータ変更がキャプチャーされます。

   • コネクターが以前にキャプチャーしたテーブルの場合、増分スナップショットは、コネクターが停止している間、つまりコネクターが停止してから現在の再起動までの間に発生した変更をキャプチャーします。
   • 新しく追加されたテーブルの場合、増分スナップショットは既存のテーブル行をすべてキャプチャーします。

ソースシグナリングチャネルを使用して増分スナップショットをトリガーする

1. SQL クエリーを送信し、アドホック増分スナップショット要求をシグナルテーブルに追加します。

   INSERT INTO <signalTable> (id, type, data) VALUES ('<id>', '<snapshotType>', '{"data-collections": ["<tableName>","<tableName>"],"type":"<snapshotType>","additional-condition":"<additional-condition>"}');

   Copy to Clipboard Toggle word wrap

   以下に例を示します。

   INSERT INTO myschema.debezium_signal (id, type, data) 

   1

   
   values ('ad-hoc-1',   

   2

   
       'execute-snapshot',  

   3

   
       '{"data-collections": ["schema1.table1", "schema2.table2"], 

   4

   
       "type":"incremental"}, 

   5

   
       "additional-condition":"color=blue"}'); 

   6

   Copy to Clipboard Toggle word wrap

   コマンドの id、type、および data パラメーターの値は、シグナルテーブルのフィールド に対応します。

   以下の表では、この例のパラメーターを説明しています。

   Expand

   表3.2 シグナルテーブルに増分スナップショットシグナルを送信する SQL コマンドのフィールドの説明

   項目	値	説明
   1	myschema.debezium_signal	ソースデータベースにあるシグナルテーブルの完全修飾名を指定します。
   2	ad-hoc-1	id パラメーターは、シグナルリクエストの ID 識別子として割り当てられる任意の文字列を指定します。 この文字列を使用して、シグナルテーブルのエントリーへのログメッセージを特定します。Debezium はこの文字列を使用しません。代わりに、スナップショット作成中に、Debezium は独自の ID 文字列をウォーターマークシグナルとして生成します。
   3	execute-snapshot	type パラメーターを指定し、シグナルがトリガーする操作を指定します。
   4	data-collections	シグナルの data フィールドの必須コンポーネントで、スナップショットに含めるテーブル名の配列またはテーブル名と一致する正規表現を指定します。 この配列は、完全修飾名でテーブルをマッチさせる正規表現をリストアップします。signal.data.collection 設定プロパティーでコネクターのシグナリングテーブル名を指定するのと同じ形式を使用します。
   5	incremental	実行するスナップショット操作の種類指定するシグナルの data フィールドの任意のtype コンポーネント。 現在、唯一の有効なオプションはデフォルト値 incremental だけです。 値を指定しない場合には、コネクターは増分スナップショットを実行します。
   6	additional-condition	テーブルの内容のサブセットを取得するために、テーブルの列に基づいて条件を指定するオプションの文字列。additional-condition パラメーターの詳細は、additional-condition 付きのアドホック増分スナップショット を参照してください。

   Show more

ソースシグナリングチャネルを使用して増分スナップショットを停止する

1. SQL クエリーを送信して、シグナリングテーブルへのアドホックインクリメンタルスナップショットを停止します。

   INSERT INTO <signalTable> (id, type, data) values ('<id>', 'stop-snapshot', '{"data-collections": ["<tableName>","<tableName>"],"type":"incremental"}');

   Copy to Clipboard Toggle word wrap

   以下に例を示します。

   INSERT INTO myschema.debezium_signal (id, type, data) 

   1

   
   values ('ad-hoc-1',   

   2

   
       'stop-snapshot',  

   3

   
       '{"data-collections": ["schema1.table1", "schema2.table2"], 

   4

   
       "type":"incremental"}'); 

   5

   Copy to Clipboard Toggle word wrap

   signal コマンドの id、type、および data パラメーターの値は、シグナルテーブルのフィールド に対応します。

   以下の表では、この例のパラメーターを説明しています。

   Expand

   表3.4 シグナリングテーブルに増分スナップショット停止信号を送信するための SQL コマンドのフィールドの説明

   項目	値	説明
   1	myschema.debezium_signal	ソースデータベースにあるシグナルテーブルの完全修飾名を指定します。
   2	ad-hoc-1	id パラメーターは、シグナルリクエストの ID 識別子として割り当てられる任意の文字列を指定します。 この文字列を使用して、シグナルテーブルのエントリーへのログメッセージを特定します。Debezium はこの文字列を使用しません。
   3	stop-snapshot	type パラメーターを指定し、シグナルがトリガーする操作を指定します。
   4	data-collections	シグナルの data フィールドのオプションコンポーネントで、スナップショットから削除するテーブル名の配列またはテーブル名とマッチする正規表現を指定します。 この配列は、完全修飾名でテーブルをマッチさせる正規表現をリストアップします。signal.data.collection 設定プロパティーでコネクターのシグナリングテーブル名を指定するのと同じ形式を使用します。data フィールドのこのコンポーネントを省略すると、シグナルは進行中の増分スナップショット全体を停止します。
   5	incremental	停止させるスナップショット操作の種類を指定する信号の data フィールドの必須コンポーネント。 現在、有効な唯一のオプションは incremental です。 type の値を指定しない場合、シグナルは増分スナップショットの停止に失敗します。

   Show more