Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

6.4. Kafka Connect 배포

Kafka Connect 는 커넥터 플러그인을 사용하여 Kafka 브로커와 기타 시스템 간에 데이터를 스트리밍하기 위한 통합 툴킷입니다. Kafka Connect는 커넥터를 사용하여 데이터를 가져오거나 내보낼 수 있도록 데이터베이스 또는 메시징 시스템과 같은 외부 데이터 소스 또는 대상을 통합하기 위한 프레임워크를 제공합니다. Connectors는 필요한 연결 구성을 제공하는 플러그인입니다.

Apache Kafka용 Streams에서 Kafka Connect는 분산 모드로 배포됩니다. Kafka Connect는 독립형 모드에서도 작동할 수 있지만 Apache Kafka용 Streams에서는 지원되지 않습니다.

Kafka Connect는 커넥터 의 개념을 사용하여 대량의 데이터를 Kafka 클러스터로 전환하면서 확장성 및 안정성을 유지하기 위한 프레임워크를 제공합니다.

Cluster Operator는 KafkaConnector 리소스를 사용하여 생성된 KafkaConnect 리소스 및 커넥터를 사용하여 배포된 Kafka Connect 클러스터를 관리합니다.

Kafka Connect를 사용하려면 다음을 수행해야 합니다.

참고

커넥터 라는 용어는 Kafka Connect 클러스터 또는 커넥터 클래스 내에서 실행되는 커넥터 인스턴스를 의미하기 위해 서로 바꿔 사용할 수 있습니다. 이 가이드에서는 커넥터 라는 용어가 컨텍스트에서 의미가 명확할 때 사용됩니다.

6.4.1. OpenShift 클러스터에 Kafka Connect 배포
링크 복사

다음 절차에서는 Cluster Operator를 사용하여 Kafka Connect 클러스터를 OpenShift 클러스터에 배포하는 방법을 보여줍니다.

Kafka Connect 클러스터 배포는 커넥터의 워크로드를 작업으로 분배하여 메시지 흐름을 높은 확장 가능하고 안정적으로 배포하는 구성 가능한 수( 작업자라고도 함)로 구현됩니다.

배포에서는 YAML 파일을 사용하여 KafkaConnect 리소스를 생성하는 사양을 제공합니다.

Apache Kafka의 스트림은 구성 파일 예제 를 제공합니다. 이 절차에서는 다음 예제 파일을 사용합니다.

  • examples/connect/kafka-connect.yaml
중요

병렬로 실행되도록 Kafka Connect 클러스터를 배포하는 경우 각 인스턴스에서 내부 Kafka Connect 항목에 고유한 이름을 사용해야 합니다. 이렇게 하려면 기본값을 대체하도록 각 Kafka Connect 인스턴스를 구성합니다.

사전 요구 사항

프로세스

  1. OpenShift 클러스터에 Kafka Connect를 배포합니다. examples/connect/kafka-connect.yaml 파일을 사용하여 Kafka Connect를 배포합니다. 

    oc apply -f examples/connect/kafka-connect.yaml
    Copy to Clipboard Toggle word wrap

  2. 배포 상태를 확인합니다. 

    oc get pods -n <my_cluster_operator_namespace>
    Copy to Clipboard Toggle word wrap

    출력에 배포 이름 및 준비 상태 표시

    NAME                                 READY  STATUS   RESTARTS
my-connect-cluster-connect-<pod_id>  1/1    Running  0
    Copy to Clipboard Toggle word wrap

    my-connect-cluster 는 Kafka Connect 클러스터의 이름입니다.

    Pod ID는 생성된 각 pod를 식별합니다.

    기본 배포를 사용하면 단일 Kafka Connect Pod를 생성합니다.

    READY 는 ready/expected 복제본 수를 표시합니다. STATUS 가 Running 으로 표시되면 배포가 성공적으로 수행됩니다.

6.4.2. Kafka Connect 클러스터 리소스 목록
링크 복사

다음 리소스는 OpenShift 클러스터의 Cluster Operator에 의해 생성됩니다.

<connect_cluster_name>-connect

다음 Kafka Connect 리소스에 지정된 이름입니다.

  • Kafka Connect 작업자 노드 Pod를 생성하는 StrimziPodSet.
  • Kafka Connect Pod에 안정적인 DNS 이름을 제공하는 헤드리스 서비스입니다.
  • Kafka Connect Pod에서 사용하는 서비스 계정입니다.
  • Kafka Connect 작업자 노드에 대해 구성된 Pod 중단 예산입니다.
  • Kafka Connect REST API에 대한 액세스를 관리하는 네트워크 정책입니다.
<connect_cluster_name>-connect-<pod_id>
Kafka Connect StrimziPodSet에서 생성된 Pod
<connect_cluster_name>-connect-api
Kafka Connect 클러스터 관리를 위한 REST 인터페이스를 노출하는 서비스입니다.
<connect_cluster_name>-connect-config
Kafka Connect ancillary 구성이 포함된 ConfigMap은 Kafka Connect Pod를 통해 볼륨으로 마운트됩니다.
strimzi-<namespace-name>-<connect_cluster_name>-connect-init
Kafka Connect 클러스터에서 사용하는 클러스터 역할 바인딩입니다.
<connect_cluster_name>-connect-build
추가 커넥터 플러그인으로 새 컨테이너 이미지를 빌드하는 데 사용되는 Pod는 Kafka Connect Build 기능을 사용하는 경우에만 사용됩니다.
<connect_cluster_name>-connect-dockerfile
추가 커넥터 플러그인을 사용하여 새 컨테이너 이미지를 빌드하기 위해 Dockerfile이 생성된 ConfigMap( Kafka Connect 빌드 기능이 사용되는 경우에만).
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat