Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

8장. Kafka Connect에서 Apache Kafka에 스트림 사용

Kafka Connect를 사용하여 Kafka와 외부 시스템 간에 데이터를 스트리밍합니다. Kafka Connect는 확장성 및 안정성을 유지하면서 대량의 데이터를 이동하기 위한 프레임워크를 제공합니다. Kafka Connect는 일반적으로 Kafka 클러스터 외부에 있는 데이터베이스, 스토리지 및 메시징 시스템과 Kafka를 통합하는 데 사용됩니다.

Kafka Connect는 독립 실행형 또는 분산 모드에서 실행됩니다.

독립 실행형 모드
독립 실행형 모드에서 Kafka Connect는 단일 노드에서 실행됩니다. 독립 실행형 모드는 개발 및 테스트를 위한 것입니다.
분산 모드
분산 모드에서 Kafka Connect는 하나 이상의 작업자 노드에서 실행되며 워크로드가 그 사이에 배포됩니다. 분산 모드는 프로덕션을 위한 것입니다.

Kafka Connect는 다양한 유형의 외부 시스템에 대한 연결을 구현하는 커넥터 플러그인을 사용합니다. 커넥터 플러그인에는 싱크와 source의 두 가지 유형이 있습니다. 싱크 커넥터는 Kafka에서 외부 시스템으로 데이터를 스트리밍합니다. 소스 커넥터는 외부 시스템에서 Kafka로 데이터를 스트리밍합니다.

Kafka Connect REST API를 사용하여 커넥터 인스턴스를 생성, 관리 및 모니터링할 수도 있습니다.

Connector 구성은 소스 또는 싱크 커넥터와 같은 세부 정보와 읽거나 쓸 Kafka 주제를 지정합니다. 구성을 관리하는 방법은 독립 실행형 또는 분산 모드에서 Kafka Connect를 실행 중인지에 따라 다릅니다.

  • 독립 실행형 모드에서는 Kafka Connect REST API를 통해 커넥터 구성을 JSON으로 제공하거나 속성 파일을 사용하여 구성을 정의할 수 있습니다.
  • 분산 모드에서는 Kafka Connect REST API를 통해 커넥터 구성을 JSON으로만 제공할 수 있습니다.

대량의 메시지 처리

많은 양의 메시지를 처리하도록 구성을 조정할 수 있습니다. 자세한 내용은 많은 양의 메시지 처리를 참조하십시오.

8.1. 독립 실행형 모드에서 Kafka 연결 사용
링크 복사

Kafka Connect 독립 실행형 모드에서 커넥터는 단일 JVM에서 단일 프로세스로 실행되는 Kafka Connect 작업자 프로세스와 동일한 노드에서 실행됩니다. 즉, 작업자 프로세스 및 커넥터는 CPU, 메모리 및 디스크와 같은 동일한 리소스를 공유합니다.

8.1.1. 독립 실행형 모드에서 Kafka 연결 구성
링크 복사

독립 실행형 모드에서 Kafka Connect를 구성하려면 config/connect-standalone.properties 구성 파일을 편집합니다. 다음 옵션이 가장 중요합니다.

bootstrap.servers
Kafka에 대한 부트스트랩 연결로 사용되는 Kafka 브로커 주소 목록입니다. 예를 들어 kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092.
key.converter
메시지 키를 Kafka 형식으로 변환하거나 Kafka 형식으로 변환하는 데 사용되는 클래스입니다. 예를 들어 org.apache.kafka.connect.json.JsonConverter.
value.converter
Kafka 형식으로 메시지 페이로드를 변환하는 데 사용되는 클래스입니다. 예를 들어 org.apache.kafka.connect.json.JsonConverter.
offset.storage.file.filename
오프셋 데이터가 저장되는 파일을 지정합니다.

Connector 플러그인은 부트스트랩 주소를 사용하여 Kafka 브로커에 대한 클라이언트 연결을 엽니다. 이러한 연결을 구성하려면 생산자 또는 소비자 접두사가 붙은 표준 Kafka 생산자 및 소비자 구성 옵션을 사용합니다.

8.1.2. 독립 실행형 모드에서 Kafka 연결 실행
링크 복사

독립 실행형 모드에서 Kafka 연결을 구성하고 실행합니다.

사전 요구 사항

프로세스

  1. /opt/kafka/config/connect-standalone.properties Kafka Connect 구성 파일을 편집하고 Kafka 브로커를 가리키도록 bootstrap.server 를 설정합니다. 예를 들면 다음과 같습니다. 

    bootstrap.servers=kafka0.my-domain.com:9092,kafka1.my-domain.com:9092,kafka2.my-domain.com:9092
    Copy to Clipboard Toggle word wrap

  2. 구성 파일로 Kafka Connect를 시작하고 하나 이상의 커넥터 구성을 지정합니다. 

    su - kafka
/opt/kafka/bin/connect-standalone.sh /opt/kafka/config/connect-standalone.properties connector1.properties
[connector2.properties ...]
    Copy to Clipboard Toggle word wrap

  3. Kafka Connect가 실행 중인지 확인합니다. 

    jcmd | grep ConnectStandalone
    Copy to Clipboard Toggle word wrap
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat