Red Hat Summit3장. 시작하기
Apache Kafka의 스트림은 Kafka 구성 요소에 대한 설치 아티팩트가 포함된 ZIP 파일에 배포됩니다.
Kafka Bridge에는 별도의 설치 파일이 있습니다. Kafka 브리지 설치 및 사용에 대한 자세한 내용은 Apache Kafka Kafka 브리지용 Streams 사용을 참조하십시오.
3.1. 설치 환경
Apache Kafka용 스트림은 Red Hat Enterprise Linux에서 실행됩니다. 호스트(노드)는 물리적 또는 VM(가상 머신)일 수 있습니다. Kafka 구성 요소를 설치하려면 Apache Kafka용 Streams와 함께 제공되는 설치 파일을 사용합니다. 단일 노드 또는 다중 노드 환경에 Kafka를 설치할 수 있습니다.
- 단일 노드 환경
- 단일 노드 Kafka 클러스터는 단일 호스트에서 Kafka 구성 요소의 인스턴스를 실행합니다. 이 구성은 프로덕션 환경에 적합하지 않습니다.
- 다중 노드 환경
- 다중 노드 Kafka 클러스터는 여러 호스트에서 Kafka 구성 요소의 인스턴스를 실행합니다.
별도의 호스트에서 Kafka 및 Kafka Connect와 같은 기타 Kafka 구성 요소를 실행하는 것이 좋습니다. 이러한 방식으로 구성 요소를 실행하면 각 구성 요소를 보다 쉽게 유지 관리하고 업그레이드할 수 있습니다.
Kafka 클라이언트는 bootstrap.servers 구성 속성을 사용하여 Kafka 클러스터에 대한 연결을 설정합니다. 예를 들어 Kafka Connect 구성 속성에 Kafka 브로커가 실행 중인 호스트의 호스트 이름과 포트를 지정하는 bootstrap.servers 값이 포함되어야 합니다. Kafka 클러스터가 여러 Kafka 브로커가 있는 두 개 이상의 호스트에서 실행 중인 경우 각 브로커의 호스트 이름과 포트를 지정합니다. 각 Kafka 브로커는 node.id 로 식별됩니다.
3.1.1. 데이터 스토리지 고려 사항
효율적인 데이터 스토리지 인프라는 Apache Kafka에 대한 Streams의 최적의 성능에 필수적입니다.
블록 스토리지가 필요합니다. NFS와 같은 파일 스토리지는 Kafka에서 작동하지 않습니다.
블록 스토리지에 대해 다음 옵션 중 하나를 선택합니다.
- Amazon Elastic Block Store(EBS)와 같은 클라우드 기반 블록 스토리지 솔루션
- 로컬 스토리지
- 파이버 채널 또는 iSCSI와 같은 프로토콜에서 액세스하는 SAN(Storage Area Network) 볼륨
3.1.2. 파일 시스템
Kafka는 메시지를 저장하기 위해 파일 시스템을 사용합니다. Apache Kafka의 스트림은 Kafka와 함께 일반적으로 사용되는 XFS 및 ext4 파일 시스템과 호환됩니다. 파일 시스템을 선택하고 설정할 때 배포의 기본 아키텍처 및 요구 사항을 고려하십시오.
자세한 내용은 Kafka 문서 의 파일 시스템 선택을 참조하십시오.
3.1.3. Apache Kafka 및 Zoo Cryostat 스토리지
Apache Kafka 및 Zoo Cryostat에 대해 별도의 디스크를 사용합니다.
Kafka는 여러 디스크 또는 볼륨의 데이터 스토리지 구성인 JBOD(디스크 Bunch) 스토리지를 지원합니다. JBOD는 Kafka 브로커에 대해 향상된 데이터 스토리지를 제공합니다. 또한 성능을 향상시킬 수 있습니다.
SSD(Solid-State Drive)는 필수는 아니지만 여러 주제로 데이터를 보내고 비동기적으로 수신하는 대규모 클러스터에서 Kafka의 성능을 향상시킬 수 있습니다. SSD는 Zoo Cryostat에서 특히 효과적이며 빠르고 짧은 대기 시간 데이터 액세스가 필요합니다.
Kafka 및 Zoo Cryostat 둘 다 데이터 복제가 내장되어 있기 때문에 복제된 스토리지를 프로비저닝할 필요가 없습니다.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}