2.4. Connecting a Kafka topic to a data sink in a kamelet binding
Kafka トピックをデータシンクに接続するには、図 2.3 にあるように kamelet バインディングを作成します。
Kafka トピックのデータシンクへの接続
前提条件
-
イベントの送信元となる Kafka トピックの名前を知っておく必要があります。この手順の例では、イベントを送信するために
test-topic
を使用しています。これは、「Connecting a data source to a Kafka topic in a kamelet binding」でコーヒーソースからイベントを受信するのに使用したトピックと同じです。 Kafka インスタンスの以下のパラメーターの値を知っている必要があります。
- bootstrapServers: Kafka Broker URL のコンマ区切りリスト
- password: Kafka に対して認証を行うためのパスワード
user: Kafka に対して認証するユーザー名
OpenShift Streams の使用時にこれらの値を取得する方法は、「Kafka クレデンシャルの取得」を参照してください。
AMQストリームでの Kafka 認証に関する詳細は、「Managing secure access to Kafka」を参照してください。
-
Kafka ブローカーとの通信のセキュリティープロトコルを把握している。OpenShift Streams の Kafka クラスターでは、
SASL_SSL
(デフォルト) です。AMQ ストリームの Kafka クラスターの場合は、SASL/Plain
になります。 Camel K インテグレーションに追加する kamelets と必要なインスタンスパラメーターを把握している。この手順の kamelets の例は、以下のとおりです。
kafka-source
kamelet: Kamelet Catalog で提供されます。このバインディングでは Kafka トピックがデータを送信するため (データプロデューサー)、kafka-source
kamelet を使用します。必須パラメーターの値の例は次のとおりです。-
bootstrapServers:
"broker.url:9092"
-
password -
"testpassword"
-
user:
"testuser"
-
topic:
"test-topic"
-
securityProtocol: OpenShift Streams の Kafka クラスターでは、
SASL_SSL
がデフォルト値であるため、このパラメーターを設定する必要はありません。AMQ ストリームの Kafka クラスターの場合は、このパラメーターの値は“PLAINTEXT”
です。
-
bootstrapServers:
log-sink
kamelet: コードを、シンク kamelet の例 からlog-sink.kamelet.yaml
ファイルという名前のファイルにコピーしてから、以下のコマンドを実行してこれをリソースとして namespace に追加できます。oc apply -f log-sink.kamelet.yaml
手順
Kafka トピックをデータシンクに接続するには、kamelet バインディングを作成します。
任意のエディターで、以下の基本構造で YAML ファイルを作成します。
apiVersion: camel.apache.org/v1alpha1 kind: KameletBinding metadata: name: spec: source: sink:
kamelet binding の名前を追加します。この例では、バインディングが
kafka-source
kamelet をlog-sink
kamelet に接続するため、名前はkafka-to-log
になります。apiVersion: camel.apache.org/v1alpha1 kind: KameletBinding metadata: name: kafka-to-log spec: source: sink:
kamelet バインディングのソースの場合は、
kafka-source
kamelet を指定し、そのパラメーターを設定します。たとえば、Kafka クラスターが OpenShift Streams にある場合 (
securityProtocol
パラメーターを設定する必要はありません)。apiVersion: camel.apache.org/v1alpha1 kind: KameletBinding metadata: name: kafka-to-log spec: source: ref: kind: Kamelet apiVersion: camel.apache.org/v1alpha1 name: kafka-source properties: bootstrapServers: "broker.url:9092" password: "testpassword" topic: "test-topic" user: "testuser" sink:
たとえば、Kafka クラスターが AMQ Streams にある場合は、
securityProtocol
パラメーターを“PLAINTEXT”
に設定する必要があります。apiVersion: camel.apache.org/v1alpha1 kind: KameletBinding metadata: name: kafka-to-log spec: source: ref: kind: Kamelet apiVersion: camel.apache.org/v1alpha1 name: kafka-source properties: bootstrapServers: "broker.url:9092" password: "testpassword" topic: "test-topic" user: "testuser" securityProtocol: "PLAINTEXT" sink:
kamelet バインディングのシンクでは、データコンシューマー kamelet (例:
log-sink
kamelet) を指定し、kamelet のパラメーターを設定します。以下に例を示します。apiVersion: camel.apache.org/v1alpha1 kind: KameletBinding metadata: name: kafka-to-log spec: source: ref: kind: Kamelet apiVersion: camel.apache.org/v1alpha1 name: kafka-source properties: bootstrapServers: "broker.url:9092" password: "testpassword" topic: "test-topic" user: "testuser" securityProtocol: "PLAINTEXT" // only for AMQ streams sink: ref: kind: Kamelet apiVersion: camel.apache.org/v1alpha1 name: log-sink
-
YAML ファイルを保存します (例:
kafka-to-log.yaml
)。 - OpenShift プロジェクトにログインします。
kamelet バインディングをリソースとして OpenShift namespace に追加します。
oc apply -f <kamelet binding filename>
以下に例を示します。
oc apply -f kafka-to-log.yaml
Camel K Operator は、KameletBinding リソースを使用して Camel K インテグレーションを生成し、実行します。ビルドに数分かかる場合があります。
kamelet バインディングリソースのステータスを表示するには、次のコマンドを実行します。
oc get kameletbindings
インテグレーションの状態を表示するには、以下を実行します。
oc get integrations
インテグレーションのログを表示するには、以下を実行します。
kamel logs <integration> -n <project>
以下に例を示します。
kamel logs kafka-to-log -n my-camel-k-kafka
この出力では、以下の例のようにコーヒーイベントが表示されるはずです。
2021-07-20 17:15:56,725 INFO [log-sink-E80C5C904418150-0000000000000001] (Camel (camel-1) thread #0 - timer://tick) {"id":7259,"uid":"a4ecb7c2-05b8-4a49-b0d2-d1e8db5bc5e2","blend_name":"Postmodern Symphony","origin":"Huila, Colombia","variety":"Kona","notes":"delicate, chewy, black currant, red apple, star fruit","intensifier":"balanced"}
実行中のインテグレーションを停止するには、関連付けられた kamelet バインディングリソースを削除します。
oc delete kameletbindings/<kameletbinding-name>
以下に例を示します。
oc delete kameletbindings/kafka-to-log