Red Hat Summit5.6. Debezium MySQL コネクターのパフォーマンスの監視
Debezium MySQL コネクターは、Zookeeper、Kafka、および Kafka Connect によって提供される JMX メトリックの組み込みサポートに加えて、3 種類のメトリックを提供します。
- スナップショットメトリック は、スナップショットの実行中にコネクター操作に関する情報を提供します。
- ストリーミングメトリック は、コネクターが binlog を読み取る際のコネクター操作に関する情報を提供します。
- スキーマ履歴メトリック は、コネクターのスキーマ履歴の状態に関する情報を提供します。
Debezium モニタリングのドキュメント では、JMX を使用してこれらのメトリックを公開する方法の詳細を提供します。
5.6.1. MySQL データベースのスナップショット作成時の Debezium の監視
MBean は debezium.mysql:type=connector-metrics,context=snapshot,server=<mysql.server.name> です。
スナップショット操作がアクティブでない場合や、最後のコネクターの起動後にスナップショットの作成が発生した場合に、スナップショットメトリックは公開されません。
以下の表は、利用可能なスナップショットのメトリックのリストです。
| 属性 | タイプ | 説明 |
|---|---|---|
|
| コネクターが読み取りした最後のスナップショットイベント。 | |
|
| コネクターが最新のイベントを読み取りおよび処理してからの経過時間 (ミリ秒単位)。 | |
|
| 前回の開始またはリセット以降にコネクターで確認されたイベントの合計数。 | |
|
| コネクターに設定された include/exclude リストのフィルタリングルールによってフィルターされたイベントの数。 | |
|
|
| コネクターによって監視されるテーブルのリスト。 |
|
| コネクターによって取得されるテーブルのリスト。 | |
|
| snapshotter とメインの Kafka Connect ループの間でイベントを渡すために使用されるキューの長さ。 | |
|
| snapshotter とメインの Kafka Connect ループの間でイベントを渡すために使用されるキューの空き容量。 | |
|
| スナップショットに含まれているテーブルの合計数。 | |
|
| スナップショットによってまだコピーされていないテーブルの数。 | |
|
| スナップショットが起動されたかどうか。 | |
|
| スナップショットが中断されたかどうか。 | |
|
| スナップショットが完了したかどうか。 | |
|
| スナップショットが完了したかどうかに関わらず、これまでスナップショットにかかった時間 (秒単位)。 | |
|
| スナップショットの各テーブルに対してスキャンされる行数が含まれるマップ。テーブルは、処理中に増分がマップに追加されます。スキャンされた 10,000 行ごとに、テーブルの完成時に更新されます。 | |
|
|
キューの最大バッファー (バイト単位)。 | |
|
| キュー内のレコードの現在のデータ (バイト単位)。 |
コネクターは、増分スナップショットの実行時に、以下の追加のスナップショットメトリックも提供します。
| 属性 | タイプ | 説明 |
|---|---|---|
|
| 現在のスナップショットチャンクの識別子。 | |
|
| 現在のチャンクを定義するプライマリーキーセットの下限。 | |
|
| 現在のチャンクを定義するプライマリーキーセットの上限。 | |
|
| 現在スナップショットされているテーブルのプライマリーキーセットの下限。 | |
|
| 現在スナップショットされているテーブルのプライマリーキーセットの上限。 |
増分スナップショットの使用はテクノロジープレビュー機能です。テクノロジープレビュー機能は、Red Hat 製品サービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat は、実稼働環境でこれらを使用することを推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行いフィードバックを提供していただくことを目的としています。Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
Debezium MySQL コネクターは、HoldingGlobalLock カスタムスナップショットメトリックも提供します。このメトリックは、コネクターが現在グローバルまたはテーブル書き込みロックを保持するかどうかを示すブール値に設定されます。
5.6.2. Debezium MySQL コネクターレコードストリーミングの監視
トランザクション関連の属性は、binlog イベントのバッファーが有効になっている場合にのみ利用できます。詳細は、高度な MySQL コネクター設定プロパティーの binlog.buffer.size を参照してください。
MBean は debezium.mysql:type=connector-metrics,context=streaming,server=<mysql.server.name> です。
以下の表は、利用可能なストリーミングメトリックのリストです。
| 属性 | タイプ | 説明 |
|---|---|---|
|
| コネクターが読み取られた最後のストリーミングイベント。 | |
|
| コネクターが最新のイベントを読み取りおよび処理してからの経過時間 (ミリ秒単位)。 | |
|
| 前回の開始またはリセット以降にコネクターで確認されたイベントの合計数。 | |
|
| コネクターに設定された include/exclude リストのフィルタリングルールによってフィルターされたイベントの数。 | |
|
|
| コネクターによって監視されるテーブルのリスト。 |
|
| コネクターによって取得されるテーブルのリスト。 | |
|
| ストリーマーとメイン Kafka Connect ループの間でイベントを渡すために使用されるキューの長さ。 | |
|
| ストリーマーとメインの Kafka Connect ループの間でイベントを渡すために使用されるキューの空き容量。 | |
|
| コネクターが現在データベースサーバーに接続されているかどうかを示すフラグ。 | |
|
| 最後の変更イベントのタイムスタンプとそれを処理するコネクターとの間の期間 (ミリ秒単位)。この値は、データベースサーバーとコネクターが稼働しているマシンのクロック間の差異に対応します。 | |
|
| コミットされた処理済みトランザクションの数。 | |
|
| 最後に受信したイベントの位置。 | |
|
| 最後に処理されたトランザクションのトランザクション識別子。 | |
|
| キューの最大バッファー (バイト単位)。 | |
|
| キュー内のレコードの現在のデータ (バイト単位)。 |
Debezium MySQL コネクターは、以下のストリーミングメトリックも追加で提供します。
| 属性 | タイプ | 説明 |
|---|---|---|
|
| コネクターによって最後に読み取られた binlog ファイルの名前。 | |
|
| コネクターによって読み取られた binlog 内の最新の位置 (バイト単位)。 | |
|
| コネクターが現在 MySQL サーバーから GTID を追跡しているかどうかを示すフラグ。 | |
|
| binlog の読み取り時にコネクターによって処理される最新の GTID セットの文字列表現。 | |
|
| MySQL コネクターによってスキップされたイベントの数。通常、MySQL の binlog からの不正形式のイベントまたは解析不可能なイベントが原因で、イベントがスキップされます。 | |
|
| MySQL コネクターによる切断の数。 | |
|
| ロールバックされ、ストリーミングされなかった処理済みトランザクションの数。 | |
|
|
想定された | |
|
|
先読みバッファーに適合しないトランザクションの数。最適なパフォーマンスを得るには、この値は |
5.6.3. Debezium MySQL コネクターのスキーマ履歴の監視
MBean は debezium.mysql:type=connector-metrics,context=schema-history,server=<mysql.server.name> です。
以下の表は、利用可能なスキーマ履歴メトリックのリストです。
| 属性 | タイプ | 説明 |
|---|---|---|
|
|
データベース履歴の状態を示す | |
|
| リカバリーが開始された時点のエポック秒の時間。 | |
|
| リカバリーフェーズ中に読み取られた変更の数。 | |
|
| リカバリーおよびランタイム中に適用されるスキーマ変更の合計数。 | |
|
| 最後の変更が履歴ストアから復元された時点からの経過時間 (ミリ秒単位)。 | |
|
| 最後の変更が適用された時点からの経過時間 (ミリ秒単位)。 | |
|
| 履歴ストアから復元された最後の変更の文字列表現。 | |
|
| 最後に適用された変更の文字列表現。 |
