23.5. Kafka 업그레이드


Cluster Operator를 2.5로 업그레이드한 다음 다음 단계는 모든 Kafka 브로커를 지원되는 최신 Kafka 버전으로 업그레이드하는 것입니다.

Kafka 브로커의 롤링 업데이트를 통해 Kafka 업그레이드는 Cluster Operator에서 수행합니다.

Cluster Operator는 Kafka 클러스터 구성을 기반으로 롤링 업데이트를 시작합니다.

Expand
Kafka.spec.kafka.config 에…​이 포함된 경우Cluster Operator가…​을 시작합니다.

inter.broker.protocol.versionlog.message.format.version 둘 다

단일 롤링 업데이트 업데이트 후 inter.broker.protocol.version 을 수동으로 업데이트하고 그 뒤에 log.message.format.version 이 설치되어 있어야 합니다. 각각을 변경하면 추가 롤링 업데이트가 트리거됩니다.

inter.broker.protocol.version 또는 log.message.format.version.version입니다.

롤링 업데이트 2개

inter.broker.protocol.version 또는 log.message.format.version 에 대한 구성이 없습니다.

롤링 업데이트 2개

중요

Kafka 3.0.0에서 inter.broker.protocol.version3.0 이상으로 설정되면 log.message.format.version 옵션이 무시되고 설정할 필요가 없습니다. 브로커의 log.message.format.version 속성과 토픽에 대한 message.format.version 속성은 더 이상 사용되지 않으며 Kafka의 향후 릴리스에서 제거됩니다.

Kafka 업그레이드의 일부로 Cluster Operator는 ZooKeeper에 대한 롤링 업데이트를 시작합니다.

  • 단일 롤링 업데이트는 ZooKeeper 버전이 변경되지 않은 경우에도 발생합니다.
  • 새로운 버전의 Kafka에 새로운 ZooKeeper 버전이 필요한 경우 추가 롤링 업데이트가 수행됩니다.

23.5.1. Kafka 버전

Kafka의 로그 메시지 형식 버전 및broker 간 프로토콜 버전은 각각 메시지에 추가된 로그 형식 버전 및 클러스터에 사용된 Kafka 프로토콜 버전을 지정합니다. 올바른 버전을 사용하려면 업그레이드 프로세스에는 기존 Kafka 브로커를 구성하고 클라이언트 애플리케이션(소유자 및 생산자)에 대한 코드를 변경해야 합니다.

다음 표는 Kafka 버전의 차이점을 보여줍니다.

Expand
표 23.1. Kafka 버전 차이점
AMQ Streams 버전Kafka 버전inter-broker 프로토콜 버전로그 메시지 형식 버전zookeeper 버전

2.5

3.5.0

3.5

3.5

3.6.4

2.4

3.4.0

3.4

3.4

3.6.3

참고

AMQ Streams 2.5는 Kafka 3.5.0을 사용하지만 Kafka 3.4.0도 업그레이드 목적으로 지원됩니다.

inter-broker 프로토콜 버전

Kafka에서broker 간 통신에 사용되는 네트워크 프로토콜을 인스턴스 간 프로토콜 이라고 합니다. Kafka의 각 버전에는broker 간 프로토콜의 호환 버전이 있습니다. 프로토콜의 마이너 버전은 일반적으로 이전 표에 표시된 Kafka의 마이너 버전과 일치하도록 증가합니다.

inter-broker 프로토콜 버전은 Kafka 리소스에서 cluster wide을 설정합니다. 이를 변경하려면 Kafka.spec.kafka.config 에서 inter.broker.protocol.version 속성을 편집합니다.

로그 메시지 형식 버전

생산자가 Kafka 브로커에 메시지를 보내면 특정 형식을 사용하여 메시지가 인코딩됩니다. 형식은 Kafka 릴리스 간에 변경될 수 있으므로 메시지는 인코딩된 메시지 형식의 버전을 지정합니다.

특정 메시지 형식 버전을 설정하는 데 사용되는 속성은 다음과 같습니다.

  • topic의 message.format.version 속성
  • Kafka 브로커의 log.message.format.version 속성

Kafka 3.0.0에서 메시지 형식 버전 값은 inter.broker.protocol.version 과 일치하는 것으로 간주되며 설정할 필요가 없습니다. 값은 사용된 Kafka 버전을 반영합니다.

Kafka 3.0.0 이상으로 업그레이드할 때 inter.broker.protocol.version 을 업데이트할 때 이러한 설정을 제거할 수 있습니다. 그렇지 않으면 업그레이드할 Kafka 버전에 따라 메시지 형식 버전을 설정합니다.

항목에 대한 message.format.version 의 기본값은 Kafka 브로커에 설정된 log.message.format.version 에 의해 정의됩니다. 주제 구성을 수정하여 topic.version of a topic를 수동으로 설정할 수 있습니다.

23.5.2. 클라이언트 업그레이드 전략

Kafka 클라이언트를 업그레이드하면 새 버전의 Kafka에 도입된 기능, 수정 사항 및 개선 사항의 이점을 누릴 수 있습니다. 업그레이드된 클라이언트는 다른 업그레이드된 Kafka 구성 요소와의 호환성을 유지합니다. 클라이언트의 성능과 안정성도 향상될 수 있습니다.

Kafka 클라이언트 및 브로커를 업그레이드하여 원활하게 전환하는 데 가장 적합한 접근 방법을 고려하십시오. 선택한 업그레이드 전략은 브로커 또는 클라이언트를 먼저 업그레이드하는지 여부에 따라 달라집니다. Kafka 3.0부터 브로커와 클라이언트를 순서에 상관없이 독립적으로 업그레이드할 수 있습니다. 클라이언트 또는 브로커 업그레이드 결정은 먼저 업그레이드해야 하는 애플리케이션 수와 허용 가능한 다운타임과 같은 몇 가지 요인에 따라 달라집니다.

브로커 전에 클라이언트를 업그레이드하는 경우 일부 새로운 기능은 브로커가 아직 지원하지 않기 때문에 작동하지 않을 수 있습니다. 그러나 브로커는 다른 버전으로 실행되는 생산자 및 소비자를 처리하고 다른 로그 메시지 버전을 지원할 수 있습니다.

Kafka 3.0 이전 버전을 사용할 때 클라이언트 업그레이드

Kafka 3.0 이전에는 log.message.format.version 속성(또는 주제 수준의 message.format.version 속성)을 사용하여 브로커에 대해 특정 메시지 형식을 구성합니다. 이로 인해 브로커는 오래된 메시지 형식을 사용하는 이전 Kafka 클라이언트를 지원할 수 있었습니다. 그렇지 않으면 브로커는 상당한 성능 비용으로 제공된 이전 클라이언트의 메시지를 변환해야합니다.

Apache Kafka Java 클라이언트는 버전 0.11 이후의 최신 메시지 형식 버전을 지원했습니다. 모든 클라이언트가 최신 메시지 버전을 사용하는 경우 브로커를 업그레이드할 때 log.message.format.version 또는 message.format.version 덮어쓰기를 제거할 수 있습니다.

그러나 이전 메시지 형식 버전을 사용하는 클라이언트가 있는 경우 먼저 클라이언트를 업그레이드하는 것이 좋습니다. 소비자와 함께 시작한 다음 브로커를 업그레이드할 때 log.message.format.version 또는 message.format.version 을 제거하기 전에 생산자를 업그레이드하십시오. 이를 통해 모든 클라이언트가 최신 메시지 형식 버전을 지원할 수 있으며 업그레이드 프로세스가 원활하게 수행됩니다.

이 메트릭을 사용하여 Kafka 클라이언트 이름 및 버전을 추적할 수 있습니다.

  • Kafka.server:type=socket-server-metrics,clientSoftwareName=<name>,clientSoftwareVersion=<version>,listener=<listener>,networkProcessor=<processor>
작은 정보

다음 Kafka 브로커 메트릭은 메시지 down-conversion의 성능을 모니터링하는 데 도움이 됩니다.

  • Kafka .network:type=RequestMetrics,name=MessageConversionsTimeMs,request={Produce|Fetch} 는 메시지 변환을 수행하는 데 걸리는 시간에 대한 메트릭을 제공합니다.
  • Kafka .server:type=BrokerTopicMetrics,name={Produce|Fetch}MessageConversionsPerSec,topic=([-.w]+) 는 일정 기간 동안 변환된 메시지 수에 대한 지표를 제공합니다.

23.5.3. Kafka 버전 및 이미지 매핑

Kafka를 업그레이드할 때 STRIMZI_KAFKA_IMAGES 환경 변수 및 Kafka.spec.kafka.version 속성에 대한 설정을 고려하십시오.

  • Kafka 리소스는 Kafka.spec.kafka.version 을 사용하여 구성할 수 있습니다.
  • Cluster Operator의 STRIMZI_KAFKA_IMAGES 환경 변수는 Kafka 버전과 해당 버전이 지정된 Kafka 리소스에서 요청할 때 사용할 이미지 간 매핑을 제공합니다.

    • Kafka.spec.kafka.image 가 구성되지 않은 경우 지정된 버전의 기본 이미지가 사용됩니다.
    • Kafka.spec.kafka.image 가 구성된 경우 기본 이미지가 재정의됩니다.
주의

Cluster Operator는 이미지에 실제로 예상 버전의 Kafka 브로커가 포함되어 있는지 확인할 수 없습니다. 지정된 이미지가 지정된 Kafka 버전에 해당하는지 확인합니다.

23.5.4. Kafka 브로커 및 클라이언트 애플리케이션 업그레이드

AMQ Streams Kafka 클러스터를 지원되는 최신 Kafka 버전 및 broker 간 프로토콜 버전으로 업그레이드합니다.

또한 클라이언트 업그레이드를 위한 전략을 선택해야 합니다. Kafka 클라이언트는 이 절차의 6단계에서 업그레이드됩니다.

사전 요구 사항

  • Cluster Operator가 실행 중입니다.
  • AMQ Streams Kafka 클러스터를 업그레이드하기 전에 Kafka 리소스의 Kafka.spec.kafka.config 속성에 새 Kafka 버전에서 지원되지 않는 설정 옵션이 포함되어 있지 않은지 확인합니다.

절차

  1. Kafka 클러스터 구성을 업데이트합니다.

    oc edit kafka <my_cluster>
  2. 구성된 경우 inter.broker.protocol.versionlog.message.format.version 속성이 현재 버전으로 설정되어 있는지 확인합니다.

    예를 들어 Kafka 버전 3.4.0에서 3.5.0으로 업그레이드하는 경우 현재 버전은 3.4입니다.

    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.4.0
        config:
          log.message.format.version: "3.4"
          inter.broker.protocol.version: "3.4"
          # ...

    log.message.format.versioninter.broker.protocol.version 이 구성되지 않은 경우 AMQ Streams는 다음 단계에서 Kafka 버전으로 업데이트한 후 이러한 버전을 현재 기본값으로 자동으로 업데이트합니다.

    참고

    log.message.format.versioninter.broker.protocol.version 의 값은 해당 값이 부동 소수점 숫자로 해석되지 않도록 문자열이어야 합니다.

  3. Kafka.spec.kafka.version 을 변경하여 새 Kafka 버전을 지정합니다. 현재 Kafka 버전의 기본값으로 log.message.format.versioninter.broker.protocol.version 을 그대로 둡니다.

    참고

    kafka.version 을 변경하면 클러스터의 모든 브로커가 새 브로커 바이너리를 사용하도록 업그레이드됩니다. 이 프로세스 중에 일부 브로커는 이전 바이너리를 사용하고 다른 브로커는 이미 새 바이너리로 업그레이드 중입니다. 현재 설정을 변경하지 않고 inter.broker.protocol.version 을 남겨 두면 브로커가 업그레이드 중에 서로 계속 통신할 수 있습니다.

    예를 들어 Kafka 3.4.0에서 3.5.0으로 업그레이드하는 경우 다음을 수행합니다.

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.5.0 
    1
    
        config:
          log.message.format.version: "3.4" 
    2
    
          inter.broker.protocol.version: "3.4" 
    3
    
          # ...
    1
    Kafka 버전이 새 버전으로 변경되었습니다.
    2
    메시지 형식 버전은 변경되지 않습니다.
    3
    inter-broker 프로토콜 버전은 변경되지 않습니다.
    주의

    새 Kafka 버전의 inter.broker.protocol.version 이 변경되면 Kafka를 다운그레이드할 수 없습니다. The inter-broker protocol version determines the schemas used for persistent metadata stored by the broker, including messages written to __consumer_offsets. 다운그레이드된 클러스터는 메시지를 이해할 수 없습니다.

  4. Kafka 클러스터의 이미지가 Kafka 사용자 정의 리소스인 Kafka.spec.kafka. image 에 정의된 경우 새 Kafka 버전이 있는 컨테이너 이미지를 가리키도록 이미지를 업데이트합니다.

    Kafka 버전 및 이미지 매핑참조

  5. 편집기를 저장하고 종료한 다음 롤링 업데이트가 완료될 때까지 기다립니다.

    Pod 상태 전환을 확인하여 롤링 업데이트의 진행 상황을 확인합니다.

    oc get pods my-cluster-kafka-0 -o jsonpath='{.spec.containers[0].image}'

    롤링 업데이트를 통해 각 Pod가 새 Kafka 버전에 브로커 바이너리를 사용하고 있는지 확인합니다.

  6. 클라이언트 업그레이드를 위한 선택한 전략에 따라 모든 클라이언트 애플리케이션을 업그레이드하여 새 버전의 클라이언트 바이너리를 사용합니다.

    필요한 경우 Kafka Connect 및 MirrorMaker의 version 속성을 Kafka의 새 버전으로 설정합니다.

    1. Kafka Connect의 경우 KafkaConnect.spec.version 을 업데이트합니다.
    2. MirrorMaker의 경우 KafkaMirrorMaker.spec.version 을 업데이트합니다.
    3. MirrorMaker 2의 경우 KafkaMirrorMaker2.spec.version 을 업데이트합니다.
  7. 구성된 경우 새 inter.broker.protocol.version 버전을 사용하도록 Kafka 리소스를 업데이트합니다. 그렇지 않으면 9 단계로 이동합니다.

    예를 들어 Kafka 3.5.0으로 업그레이드하는 경우 다음을 수행합니다.

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.5.0
        config:
          log.message.format.version: "3.4"
          inter.broker.protocol.version: "3.5"
          # ...
  8. Cluster Operator가 클러스터를 업데이트할 때까지 기다립니다.
  9. 구성된 경우 새 log.message.format.version 버전을 사용하도록 Kafka 리소스를 업데이트합니다. 그렇지 않으면 10 단계로 이동합니다.

    예를 들어 Kafka 3.5.0으로 업그레이드하는 경우 다음을 수행합니다.

    apiVersion: kafka.strimzi.io/v1beta2
    kind: Kafka
    spec:
      # ...
      kafka:
        version: 3.5.0
        config:
          log.message.format.version: "3.5"
          inter.broker.protocol.version: "3.5"
          # ...
    중요

    Kafka 3.0.0에서 inter.broker.protocol.version3.0 이상으로 설정되면 log.message.format.version 옵션이 무시되고 설정할 필요가 없습니다.

  10. Cluster Operator가 클러스터를 업데이트할 때까지 기다립니다.

    • Kafka 클러스터 및 클라이언트는 이제 새 Kafka 버전을 사용합니다.
    • 브로커는 inter-broker 프로토콜 버전과 Kafka의 새 버전의 메시지 형식 버전을 사용하여 메시지를 전송하도록 구성됩니다.
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2026 Red Hat
맨 위로 이동