第3章 Streams for Apache Kafka でデプロイされるもの
Streams for Apache Kafka では、Apache Kafka コンポーネントを OpenShift クラスターにデプロイできます。クラスターは、通常は高可用性のためにクラスター群として実行されます。
Streams for Apache Kafka を使用した標準的な Kafka デプロイメントには、次のコンポーネントが含まれる場合があります。
- コアコンポーネントとしてのブローカーノードの Kafka クラスター
- 外部データ接続用の Kafka Connect クラスター
- データを別の Kafka クラスターにミラーリングする Kafka MirrorMaker クラスター
- 監視用に追加の Kafka メトリクスデータを抽出する Kafka Exporter
- Kafka との HTTP ベースの通信を可能にする Kafka Bridge
- ブローカー間でトピックパーティションをリバランスする Cruise Control
これらのコンポーネントがすべて必要なわけではありません。ただし、Streams for Apache Kafka によって管理される Kafka クラスターには、最低限 Kafka が必要です。ユースケースに応じて、必要に応じて追加のコンポーネントをデプロイできます。追加のコンポーネントは、Streams for Apache Kafka によって管理されない Kafka クラスターでも使用できます。
3.1. デプロイの順序 リンクのコピーリンクがクリップボードにコピーされました!
OpenShift クラスターへのデプロイで必要とされる順序は、次のとおりです。
- Cluster Operator をデプロイし、Kafka クラスターを管理します。
- ZooKeeper クラスターとともに Kafka クラスターをデプロイし、Topic Operator および User Operator がデプロイメントに含まれるようにします。
任意で以下をデプロイします。
- Topic Operator および User Operator (Kafka クラスターとともにデプロイしなかった場合)
- Kafka Connect
- Kafka MirrorMaker
- Kafka Bridge
- メトリクスを監視するためのコンポーネント
Cluster Operator は、Deployment、Service、および Pod リソースなど、コンポーネントの OpenShift リソースを作成します。OpenShift リソース名には、デプロイ時にコンポーネントに指定された名前が追加されます。たとえば、my-kafka-cluster という名前の Kafka クラスターには、my-kafka-cluster-kafka という名前のサービスがあります。