5.5.3. Dockerfile からカスタム Kafka Connect コンテナーイメージをビルドして Debezium MySQL コネクターのデプロイ

手順

1. Kafka Connect の Debezium MySQL コンテナーを作成します。

   1. registry.redhat.io/amq7/amq-streams-kafka-30-rhel8:2.0.0 をベースイメージとして使用して、新規の Dockerfile を作成します。例えば、ターミナルウィンドウから、以下のコマンドを入力します。

      cat <<EOF >debezium-container-for-mysql.yaml 

      1

      
      FROM registry.redhat.io/amq7/amq-streams-kafka-30-rhel8:2.0.0
      USER root:root
      RUN mkdir -p /opt/kafka/plugins/debezium 

      2

      
      RUN cd /opt/kafka/plugins/debezium/ \
      && curl -O https://maven.repository.redhat.com/ga/io/debezium/debezium-connector-mysql/1.9.7.Final-redhat-<build_number>/debezium-connector-mysql-1.9.7.Final-redhat-<build_number>-plugin.zip \
      && unzip debezium-connector-mysql-1.9.7.Final-redhat-<build_number>-plugin.zip \
      && rm debezium-connector-mysql-1.9.7.Final-redhat-<build_number>-plugin.zip
      RUN cd /opt/kafka/plugins/debezium/
      USER 1001
      EOF

      Copy to Clipboard Toggle word wrap
      Expand

      項目	説明
      1	任意のファイル名を指定できます。
      2	Kafka Connect プラグインディレクトリーへのパスを指定します。Kafka Connect のプラグインディレクトリーが別の場所にある場合は、このパスを実際のディレクトリーのパスに置き換えてください。

      Show more

      このコマンドは、現在のディレクトリーに debezium-container-for-mysql.yaml という名前の Dockerfile を作成します。

   2. 前のステップで作成した debezium-container-for-mysql.yaml Docker ファイルからコンテナーイメージをビルドします。ファイルが含まれるディレクトリーから、ターミナルウィンドウを開き、以下のコマンドのいずれかを入力します。

      podman build -t debezium-container-for-mysql:latest .

      Copy to Clipboard Toggle word wrap

      docker build -t debezium-container-for-mysql:latest .

      Copy to Clipboard Toggle word wrap

      上記のコマンドは、debezium-container-for-mysql という名前のコンテナーイメージを構築します。

   3. カスタムイメージを quay.io などのコンテナーレジストリーまたは内部のコンテナーレジストリーにプッシュします。コンテナーレジストリーは、イメージをデプロイする OpenShift インスタンスで利用できる必要があります。以下のいずれかのコマンドを実行します。

      podman push <myregistry.io>/debezium-container-for-mysql:latest

      Copy to Clipboard Toggle word wrap

      docker push <myregistry.io>/debezium-container-for-mysql:latest

      Copy to Clipboard Toggle word wrap

   4. 新しい Debezium MySQL KafkaConnect カスタムリソース (CR) を作成します。たとえば、以下の例のように annotations および image プロパティーを指定する dbz-connect.yaml という名前の KafkaConnect CR を作成します。

      apiVersion: kafka.strimzi.io/v1beta2
      kind: KafkaConnect
      metadata:
        name: my-connect-cluster
        annotations:
          strimzi.io/use-connector-resources: "true" 

      1

      
      spec:
        #...
        image: debezium-container-for-mysql  

      2

      Copy to Clipboard Toggle word wrap
      Expand

      項目	説明
      1	KafkaConnector リソースはこの Kafka Connect クラスターでコネクターを設定するために使用されることを、metadata.annotations は Cluster Operator に示します。
      2	spec.image は Debezium コネクターを実行するために作成したイメージの名前を指定します。設定された場合、このプロパティーによって Cluster Operator の STRIMZI_DEFAULT_KAFKA_CONNECT_IMAGE 変数がオーバーライドされます。

      Show more

   5. 以下のコマンドを入力して、KafkaConnect CR を OpenShift Kafka Connect 環境に適用します。

      oc create -f dbz-connect.yaml

      Copy to Clipboard Toggle word wrap

      このコマンドは、Debezium コネクターを実行するために作成したイメージの名前を指定する Kafka Connect インスタンスを追加します。

2. Debezium MySQL コネクターインスタンスを設定する KafkaConnector カスタムリソースを作成します。

   通常、コネクター設定プロパティーを設定する .yaml ファイルに Debezium MySQL コネクターを設定します。コネクター設定は、Debezium に対して、スキーマおよびテーブルのサブセットにイベントを生成するよう指示する可能性があり、または機密性の高い、大きすぎる、または不必要な指定のコラムで Debezium が値を無視、マスク、または切り捨てするようにプロパティーを設定する可能性もあります。

   以下の例では、ポート 3306 の MySQL ホスト (192.168.99.100) に接続し、inventory データベースへの変更をキャプチャーする Debezium コネクターを設定します。dbserver1 は、サーバーの論理名です。

   MySQL inventory-connector.yaml

     apiVersion: kafka.strimzi.io/v1beta2
     kind: KafkaConnector
     metadata:
       name: inventory-connector  

   1

   
       labels:
         strimzi.io/cluster: my-connect-cluster
     spec:
       class: io.debezium.connector.mysql.MySqlConnector
       tasksMax: 1  

   2

   
       config:  

   3

   
         database.hostname: mysql  

   4

   
         database.port: 3306
         database.user: debezium
         database.password: dbz
         database.server.id: 184054  

   5

   
         database.server.name: dbserver1 

   6

   
         database.include.list: inventory  

   7

   
         database.history.kafka.bootstrap.servers: my-cluster-kafka-bootstrap:9092  

   8

   
         database.history.kafka.topic: schema-changes.inventory  

   9

   Copy to Clipboard Toggle word wrap

   Expand

   表5.24 コネクター設定の説明

   項目	説明
   1	コネクターの名前。
   2	1 度に 1 つのタスクのみが動作する必要があります。MySQL コネクターは MySQL サーバーの binlog を読み取るため、単一のコネクタータスクを使用することで、順序とイベントの処理が適切に行われるようになります。Kafka Connect サービスはコネクターを使用して作業を行う 1 つ以上のタスクを開始し、実行中のタスクを自動的に Kafka Connect サービスのクラスター全体に分散します。いずれかのサービスが停止またはクラッシュすると、これらのタスクは稼働中のサービスに再分散されます。
   3	コネクターの設定。
   4	データベースホスト。これは、MySQL サーバーを実行しているコンテナーの名前です (mysql)。
   5	connector の一意 ID。
   6	MySQL サーバーまたはクラスターの論理名。この名前は、変更イベントレコードを受信するすべての Kafka トピックの接頭辞として使用されます。
   7	inventory データベースの変更のみがキャプチャーされます。
   8	DDL ステートメントをデータベース履歴トピックに書き込み、復元するためにコネクターによって使用される Kafka ブローカーのリスト。再起動時に、コネクターが読み取りを開始すべき時点で binlog に存在したデータベースのスキーマを復元します。
   9	データベー履歴トピックの名前。このトピックは内部使用のみを目的としており、コンシューマーが使用しないようにしてください。

   Show more

3. Kafka Connect でコネクターインスタンスを作成します。たとえば、KafkaConnector リソースを inventory-connector.yaml ファイルに保存した場合は、以下のコマンドを実行します。

   oc apply -f inventory-connector.yaml

   Copy to Clipboard Toggle word wrap

   上記のコマンドは inventory-connector を登録し、コネクターは KafkaConnector CR に定義されている inventory データベースに対して実行を開始します。