1장. AMQ Streams 개요
Red Hat AMQ Streams는 Apache Zoo Cryostat 및 Apache Kafka 프로젝트를 기반으로 하는 대규모 확장 가능하고 분산된 고성능 데이터 스트리밍 플랫폼입니다.
주요 구성 요소는 다음과 같습니다.
- Kafka 브로커
클라이언트 생성에서 클라이언트 사용으로 레코드 전달을 담당하는 메시징 브로커입니다.
Apache Zoo Cryostat는 Kafka의 핵심 종속성으로, 고도의 안정적인 분산 조정을 위한 클러스터 조정 서비스를 제공합니다.
- Kafka Streams API
- 스트림 프로세서 애플리케이션 작성을 위한 API입니다.
- 생산자 및 소비자 API
- Kafka 브로커 간에 메시지를 생성하고 사용하기 위한 Java 기반 API입니다.
- Kafka Bridge
- AMQ Streams Kafka Bridge는 HTTP 기반 클라이언트가 Kafka 클러스터와 상호 작용할 수 있는 RESTful 인터페이스를 제공합니다.
- Kafka Connect
- Connector 플러그인을 사용하여 Kafka 브로커와 기타 시스템 간에 데이터를 스트리밍하는 툴킷입니다.
- Kafka MirrorMaker
- 데이터 센터 내 또는 여러 개의 Kafka 클러스터 간에 데이터를 복제합니다.
- Kafka Exporter
- 모니터링을 위해 Kafka 메트릭 데이터 추출에 사용되는 내보내기입니다.
Kafka 브로커의 클러스터는 이러한 모든 구성 요소를 연결하는 허브입니다. 브로커는 구성 데이터를 저장하고 클러스터 조정을 위해 Apache Zoo Cryostat를 사용합니다. Apache Kafka를 실행하기 전에 Apache Zoo Cryostat 클러스터를 준비해야 합니다.
그림 1.1. AMQ Streams 아키텍처
1.1. Kafka 기능 링크 복사링크가 클립보드에 복사되었습니다!
Kafka의 기본 데이터 스트림 처리 기능 및 구성 요소 아키텍처는 다음을 제공할 수 있습니다.
- 매우 높은 처리량과 짧은 대기 시간으로 데이터를 공유하는 마이크로서비스 및 기타 애플리케이션
- 메시지 순서 확인
- 데이터 스토리지에서 메시지 되감/ 재생을 통해 애플리케이션 상태 재구성
- 키-값 로그를 사용할 때 이전 레코드를 제거하기 위한 메시지 압축
- 클러스터 구성의 수평 확장성
- 내결함성을 제어하기 위한 데이터 복제
- 즉시 액세스할 수 있도록 대량의 데이터 보존