2.3. AMQ Streams on RHEL での Debezium のデプロイ
この手順では、Red Hat Enterprise Linux で Debezium のコネクターを設定する方法を説明します。コネクターは、Kafka Connect を使用して AMQ Streams クラスターにデプロイされます。Kafka Connect は Apache Kafka と外部システムとの間でデータをストリーミングするためのフレームワークです。Kafka Connect は、スタンドアロンモードではなく分散モードで実行する必要があります。
この手順では、AMQ Streams がインストールされ、ZooKeeper および Kafka が稼働していることを仮定します。
手順
- Red Hat カスタマーポータルの Red Hat Integration のダウンロードサイト にアクセスし、Debezium コネクターまたは使用するコネクターをダウンロードします。たとえば、Debezium 1.4.0 MySQL Connector をダウンロードして、Dabezium を MySQL データベースと使用します。
/opt/kafkaで、他の Kafka Connect プラグインに対してディレクトリーが作成されていない場合は、connector-pluginsディレクトリーを作成します。$ sudo mkdir /opt/kafka/connector-plugins
Debezium コネクターアーカイブの内容を
/opt/kafka/connector-pluginsディレクトリーに展開します。この例では、MySQL コネクターの内容が展開されます。
$ sudo unzip debezium-connector-mysql-1.4.0-plugin.zip -d /opt/kafka/connector-plugins
- インストールするコネクターごとに、上記のステップを繰り返し行います。
kafkaユーザーに切り替えます。$ su - kafka $ Password:
Kafka Connect がすでに分散モードで稼働しているかどうかを確認します。稼働していれば、すべての Kafka Connect ワーカーノード上で関連プロセスを停止します。以下に例を示します。
$ jcmd | grep ConnectDistributed 18514 org.apache.kafka.connect.cli.ConnectDistributed /opt/kafka/config/connect-distributed.properties $ kill 18514
/opt/kafka/config/のconnect-distributed.propertiesファイルを編集し、Debezium コネクターの場所を指定します。plugin.path=/opt/kafka/connector-plugins
分散モードで Kafka Connect を実行します。
$ /opt/kafka/bin/connect-distributed.sh /opt/kafka/config/connect-distributed.properties
Kafka Connect が実行されます。起動中に、Debezium コネクターは
connector-pluginsディレクトリーからロードされます。- 各 Kafka Connect ワーカーノードに対して 6 から 8 を繰り返し行います。
Kafka Connect の更新
デプロイメントを更新する必要がある場合は、/opt/kafka/connector-plugins ディレクトリーの Debezium コネクター JAR ファイルを修正してから、Kafka Connect を再起動します。
次のステップ
Debezium User Guideには、変更データキャプチャーに各コネクターとそのソースデータベースを設定する方法が記載されています。設定の終了後、コネクターはソースデータベースに接続し、挿入、更新、削除された各行または各ドキュメントのイベントを生成します。
