8.4. Debezium SQL Server コネクターのデプロイ

手順

1. Kafka Connect の Debezium SQL Server コンテナーを作成します。

   1. Debezium SQL Server コネクターアーカイブ をダウンロードします。

   2. Debezium SQL Server コネクターアーカイブを展開して、コネクタープラグインのディレクトリー構造を作成します。以下に例を示します。

      ./my-plugins/
      ├── debezium-connector-sqlserver
      │   ├── ...

      Copy to Clipboard Toggle word wrap

   3. registry.redhat.io/amq7/amq-streams-kafka-28-rhel8:1.8.0 をベースイメージとして使用する Docker ファイルを作成します。たとえば、ターミナルウィンドウに以下のコマンドを入力します。my -plugins はプラグインディレクトリーの名前に置き換えます。

      cat <<EOF >debezium-container-for-sqlserver.yaml 

      1

      
      FROM registry.redhat.io/amq7/amq-streams-kafka-28-rhel8:1.8.0
      USER root:root
      COPY ./<my-plugins>/ /opt/kafka/plugins/ 

      2

      
      USER 1001
      EOF

      Copy to Clipboard Toggle word wrap

      1

      任意のファイル名を指定できます。

      2

      my-plugins は、プラグインディレクトリーの名前に置き換えます。

      このコマンドは、現在のディレクトリーに debezium-container-for-sqlserver.yaml という名前の Docker ファイルを作成します。

   4. 前の手順で作成した debezium-container-for-sqlserver.yaml Docker ファイルからコンテナーイメージをビルドします。ファイルを含むディレクトリーから、ターミナルウィンドウを開き、以下のコマンドのいずれかを入力します。

      podman build -t debezium-container-for-sqlserver:latest .

      Copy to Clipboard Toggle word wrap

      docker build -t debezium-container-for-sqlserver:latest .

      Copy to Clipboard Toggle word wrap

      上記のコマンドは、debezium-container-for-sqlserver という名前のコンテナーイメージを構築します。

   5. カスタムイメージを quay.io などのコンテナーレジストリーまたは内部のコンテナーレジストリーにプッシュします。コンテナーレジストリーは、イメージをデプロイする OpenShift インスタンスで利用できる必要があります。以下のいずれかのコマンドを実行します。

      podman push <myregistry.io>/debezium-container-for-sqlserver:latest

      Copy to Clipboard Toggle word wrap

      docker push <myregistry.io>/debezium-container-for-sqlserver:latest

      Copy to Clipboard Toggle word wrap

   6. 新しい Debezium SQL Server KafkaConnect カスタムリソース (CR) を作成します。たとえば、以下の例のように アノテーション およびイメージ プロパティーを指定する dbz-connect.yaml という名前の KafkaConnect CR を作成します。

      apiVersion: kafka.strimzi.io/v1beta2
      kind: KafkaConnect
      metadata:
        name: my-connect-cluster
        annotations:
          strimzi.io/use-connector-resources: "true" 

      1

      
      spec:
        #...
        image: debezium-container-for-sqlserver  

      2

      Copy to Clipboard Toggle word wrap

      1

      metadata.annotations は、KafkaConnectors リソースがこの Kafka Connect クラスターでコネクターを設定するために使用されることを Cluster Operator に示します。

      2

      spec.image は、Debezium コネクターを実行するために作成したイメージの名前を指定します。このプロパティーは、Cluster Operator の STRIMZI_DEFAULT_KAFKA_CONNECT_IMAGE 変数を上書きします。

   7. 以下のコマンドを入力して、KafkaConnect CR を OpenShift Kafka Connect 環境に適用します。

      oc create -f dbz-connect.yaml

      Copy to Clipboard Toggle word wrap

      このコマンドは、Debezium コネクターを実行するために作成したイメージの名前を指定する Kafka Connect インスタンスを追加します。

2. Debezium SQL Server コネクターインスタンスを設定する KafkaConnector カスタムリソースを作成します。

   コネクターの設定プロパティーを指定する a .yaml ファイルで Debezium SQL Server コネクターを設定します。コネクター設定は、Debezium に対して、スキーマおよびテーブルのサブセットにイベントを生成するよう指示する可能性があり、または機密性の高い、大きすぎる、または不必要な指定のコラムで Debezium が値を無視、マスク、または切り捨てするようにプロパティーを設定する可能性もあります。

   以下の例では、port 1433 で SQL サーバーホスト 192.168.99.100 に接続する Debezium コネクターを設定します。このホストには testDB という名前のデータベースがあり、顧客 の名前が含まれるテーブルはサーバーの論理名 です。

   SQL Server fulfillment-connector.yaml

   apiVersion: kafka.strimzi.io/v1beta2
   kind: KafkaConnector
   metadata:
     name: fulfillment-connector 

   1

   
     labels:
       strimzi.io/cluster: my-connect-cluster
     annotations:
       strimzi.io/use-connector-resources: 'true'
   spec:
     class: io.debezium.connector.sqlserver.SqlServerConnector 

   2

   
     config:
       database.hostname: 192.168.99.100 

   3

   
       database.port: 1433 

   4

   
       database.user: debezium 

   5

   
       database.password: dbz 

   6

   
       database.dbname: testDB 

   7

   
       database.server.name: fullfullment 

   8

   
       database.include.list: dbo.customers 

   9

   
       database.history.kafka.bootstrap.servers: my-cluster-kafka-bootstrap:9092 

   10

   
       database.history.kafka.topic: dbhistory.fullfillment 

   11

   Copy to Clipboard Toggle word wrap

   Expand

   表8.11 コネクター設定の説明

   項目	説明
   1	Kafka Connect サービスに登録する場合のコネクターの名前。
   2	この SQL Server コネクタークラスの名前。
   3	SQL Server インスタンスのアドレス。
   4	SQL Server インスタンスのポート番号。
   5	SQL Server ユーザーの名前。
   6	SQL Server ユーザーのパスワード。
   7	変更をキャプチャーするデータベースの名前。
   8	namespace を形成する SQL Server インスタンス/クラスターの論理名で、コネクターが書き込む Kafka トピックの名前、Kafka Connect スキーマ名、および Arvo コンバーターが使用される場合に対応する Avro スキーマの namespace のすべてに使用されます。
   9	Debezium が変更をキャプチャーする必要があるすべてのテーブルのリスト。
   10	DDL ステートメントをデータベース履歴トピックに書き込み、復元するためにコネクターによって使用される Kafka ブローカーのリスト。
   11	コネクターが DDL ステートメントを書き、復元するデータベース履歴トピックの名前。このトピックは内部使用のみを目的としており、コンシューマーが使用しないようにしてください。

   Show more

3. Kafka Connect でコネクターインスタンスを作成します。たとえば、KafkaConnector リソースを fulfill ment-connector.yaml ファイルに保存した場合、以下のコマンドを実行します。

   oc apply -f fulfillment-connector.yaml

   Copy to Clipboard Toggle word wrap

   上記のコマンドは fulfill ment-connector を登録し、コネクターは KafkaConnector CR に定義されている testDB データベースに対して実行を開始します。

4. コネクターが作成され、起動されたことを確認します。

   1. Kafka Connect ログ出力を表示して、コネクターが作成され、指定データベースの変更のキャプチャーが開始されたことを確認します。

      oc logs $(oc get pods -o name -l strimzi.io/cluster=my-connect-cluster)

      Copy to Clipboard Toggle word wrap

   2. ログの出力を確認し、Debezium が初回のスナップショットを実行することを確認します。ログには、以下のメッセージと同様の出力が表示されます。

      ... INFO Starting snapshot for ...
      ... INFO Snapshot is using user 'debezium' ...

      Copy to Clipboard Toggle word wrap

      コネクターがエラーがなく正常に起動すると、コネクターが変更をキャプチャーする各テーブルのトピックが作成されます。CR のサンプルでは、include.list プロパティーに指定されたテーブルのトピックがあります。ダウンストリームアプリケーションは、これらのトピックをサブスクライブできます。

   3. 以下のコマンドを実行して、コネクターによってトピックが作成されたことを検証します。

      oc get kafkatopics

      Copy to Clipboard Toggle word wrap