Red Hat Summit第8章 Streams for Apache Kafka と Kafka Connect の使用
Kafka Connect を使用して、Kafka と外部システムの間でデータをストリーミングします。Kafka Connect は、スケーラビリティーと信頼性を維持しながら大量のデータを移動するためのフレームワークを提供します。Kafka Connect は通常、Kafka を Kafka クラスター外のデータベース、ストレージシステム、およびメッセージングシステムと統合するために使用されます。
Kafka Connect はスタンドアロンモードまたは分散モードで実行されます。
- スタンドアロンモード
- スタンドアロンモードでは、Kafka Connect は単一ノード上で実行されます。スタンドアロンモードは、開発とテストを目的としています。
- 分散モード
- 分散モードでは、Kafka Connect は 1 つまたは複数のワーカーノードで実行され、ワークロードはワーカーノード間で分散されます。分散モードは実稼働向けです。
Kafka Connect は、さまざまな種類の外部システムへの接続を実装するコネクタープラグインを使用します。コネクタープラグインには、シンクとソースの 2 種類があります。シンクコネクターは、Kafka から外部システムにデータをストリーミングします。ソースコネクターは、外部システムから Kafka にデータをストリーミングします。
Kafka Connect REST API を使用して、コネクターインスタンスを作成、管理、監視することもできます。
コネクター設定では、ソースコネクターまたはシンクコネクター、読み取りまたは書き込み先の Kafka トピックなどの詳細を指定します。設定を管理する方法は、Kafka Connect をスタンドアロンモードで実行しているか分散モードで実行しているかによって異なります。
- スタンドアロンモードでは、Kafka Connect REST API を通じてコネクター設定を JSON として提供することも、プロパティーファイルを使用して設定を定義することもできます。
- 分散モードでは、Kafka Connect REST API を介してコネクター設定を JSON としてのみ提供できます。
大量のメッセージ処理
設定を調整して、大量のメッセージを処理できます。詳細は、大量のメッセージの処理 を参照してください。
8.1. スタンドアロンモードでの Kafka Connect の使用
Kafka Connect スタンドアロンモードでは、コネクターは Kafka Connect ワーカープロセスと同じノード上で実行され、単一の JVM 内の単一プロセスとして実行されます。これは、ワーカープロセスとコネクターが CPU、メモリー、ディスクなどの同じリソースを共有することを意味します。
8.1.1. スタンドアロンモードでの Kafka Connect の設定
Kafka Connect をスタンドアロンモードで設定するには、config/connect-standalone.properties 設定ファイルを編集します。以下のオプションが最も重要です。
bootstrap.servers-
Kafka へのブートストラップ接続として使用される Kafka ブローカーアドレスのリスト。たとえば、
kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092です。 key.converter-
メッセージキーを Kafka 形式との間で変換するために使用されるクラス。たとえば、
org.apache.kafka.connect.json.JsonConverterです。 value.converter-
メッセージペイロードを Kafka 形式との間で変換するために使用されるクラス。たとえば、
org.apache.kafka.connect.json.JsonConverterです。 offset.storage.file.filename- オフセットデータが保存されるファイルを指定します。
コネクタープラグインは、ブートストラップアドレスを使用して Kafka ブローカーへのクライアント接続を開きます。これらの接続を設定するには、標準的な Kafka のプロデューサーとコンシューマーの設定オプションを使用し、producer. または consumer. 接頭辞を付けます。
8.1.2. スタンドアロンモードでの Kafka Connect の実行
Kafka Connect をスタンドアロンモードで設定して実行します。
前提条件
- Streams for Apache Kafka が 各ホストにインストールされており、設定ファイルが使用可能である。
プロパティーファイルでコネクター設定を指定している。
Kafka Connect REST API を使用して コネクターを管理 することもできます。
手順
/opt/kafka/config/connect-standalone.propertiesKafka Connect 設定ファイルを編集し、bootstrap.serverが Kafka ブローカーを指すように設定します。以下に例を示します。bootstrap.servers=kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
設定ファイルで Kafka Connect を起動し、1 つ以上のコネクター設定を指定します。
su - kafka /opt/kafka/bin/connect-standalone.sh /opt/kafka/config/connect-standalone.properties connector1.properties [connector2.properties ...]
Kafka Connect が実行されていることを確認します。
jcmd | grep ConnectStandalone
