OpenShift에서 AMQ Streams 시작하기

프로세스

1. OpenShift 웹 콘솔에서 홈 > 프로젝트 페이지로 이동하여 설치를 위한 프로젝트(네임스페이스)를 생성합니다.

   이 예제에서는 amq-streams-kafka 라는 프로젝트를 사용합니다.

2. Operators > OperatorHub 페이지로 이동합니다.

3. 키워드로 필터링 상자에 키워드 를 스크롤하거나 입력하여 AMQ Streams Operator를 찾습니다.

   Operator는 Streaming & Messaging 카테고리에 있습니다.

4. AMQ Streams 를 클릭하여 Operator 정보를 표시합니다.
5. Operator에 대한 정보를 읽고 설치를 클릭합니다.

6. Operator 설치 페이지에서 다음 설치 및 업데이트 옵션 중에서 선택합니다.

   • Update Channel: Operator의 업데이트 채널을 선택합니다.

     • (기본값) stable 채널에는 메이저, 마이너 및 마이크로 릴리스를 포함한 모든 최신 업데이트 및 릴리스가 포함되어 있으며 이는 잘 테스트되고 안정적인 것으로 간주됩니다.
     • amq-streams-X.x 채널에는 주요 릴리스의 마이너 및 마이크로 릴리스 업데이트가 포함되어 있습니다. 여기서 X 는 주요 릴리스 버전 번호입니다.
     • amq-streams-X.Y.x 채널에는 마이너 릴리스의 마이크로 릴리스 업데이트가 포함되어 있습니다. 여기서 X 는 주요 릴리스 버전 번호이고 Y 는 마이너 릴리스 버전 번호입니다.

   • 설치 모드: 생성한 프로젝트를 선택하여 특정 네임스페이스에 Operator를 설치합니다.

     AMQ Streams Operator를 클러스터(기본 옵션) 또는 특정 네임스페이스의 모든 네임스페이스에 설치할 수 있습니다. 특정 네임스페이스를 Kafka 클러스터 및 기타 AMQ Streams 구성 요소에 전용으로 사용하는 것이 좋습니다.

   • 업데이트 승인: 기본적으로 AMQ Streams Operator는 OLM(Operator Lifecycle Manager)에 의해 최신 AMQ Streams 버전으로 자동 업그레이드됩니다. 선택적으로 향후 업그레이드를 수동으로 승인하려면 Manual 을 선택합니다. Operator에 대한 자세한 내용은 OpenShift 설명서 를 참조하십시오.

7. 설치를 클릭하여 선택한 네임스페이스에 Operator를 설치합니다.

   AMQ Streams Operator는 Cluster Operator, CRD 및 역할 기반 액세스 제어(RBAC) 리소스를 선택한 네임스페이스에 배포합니다.

8. Operator를 사용할 준비가 되면 Operator > Installed Operators 로 이동하여 Operator가 선택한 네임스페이스에 설치되어 있는지 확인합니다.

   상태가 성공으로 표시됩니다.

   이제 AMQ Streams Operator를 사용하여 Kafka 클러스터부터 Kafka 구성 요소를 배포할 수 있습니다.

프로세스

1. 웹 콘솔에서 Operator > Installed Operators 페이지로 이동하고 AMQ Streams 를 클릭하여 Operator 세부 정보를 표시합니다.

   제공된 API 에서 Kafka 구성 요소의 인스턴스를 생성할 수 있습니다.

2. Kafka 아래에 인스턴스 생성 을 클릭하여 Kafka 인스턴스를 생성합니다.

   기본적으로 3개의 Kafka 브로커 노드와 3개의 Zoo Cryostat 노드를 사용하여 my-cluster 라는 Kafka 클러스터를 생성합니다. 클러스터는 임시 스토리지를 사용합니다.

3. 생성 을 클릭하여 Kafka 설치를 시작합니다.

   상태가 Ready 로 변경될 때까지 기다립니다.

프로세스

1. 웹 콘솔에서 Operator > Installed Operators 페이지로 이동하여 AMQ Streams 를 선택하여 Operator 세부 정보를 표시합니다.
2. Kafka 페이지를 선택하여 설치된 Kafka 클러스터를 표시합니다.

3. 세부 정보를 보려면 구성 중인 Kafka 클러스터의 이름을 클릭합니다.

   이 예제에서는 my-cluster 라는 Kafka 클러스터를 사용합니다.

4. Kafka 클러스터 my-cluster 의 YAML 페이지를 선택합니다.

5. 경로 리스너 구성을 추가하여 listener1 이라는 OpenShift 경로를 생성합니다.

   리스너 구성을 경로 유형으로 설정해야 합니다. Kafka 구성의 리스너 아래에 리스너 구성을 추가합니다.

   외부 경로 리스너 구성

   apiVersion: kafka.strimzi.io/v1beta2
   kind: Kafka
   metadata:
     name: my-cluster
     namespace: amq-streams-kafka
   spec:
     kafka:
       # ...
       listeners:
         # ...
         - name: listener1
           port: 9094
           type: route
           tls: true
   # ...

   클라이언트는 기본 라우터 포트인 포트 443에 연결되지만 트래픽이 구성된 포트로 라우팅됩니다. 이 예에서는 9094입니다.

6. 업데이트된 구성을 저장합니다.

7. Kafka 클러스터 my-cluster 의 리소스 페이지를 선택하여 클라이언트에 필요한 연결 정보를 찾습니다.

   리소스 페이지에서 Kafka 클러스터에 연결하는 데 필요한 경로 리스너 및 공용 클러스터 인증서에 대한 세부 정보를 확인할 수 있습니다.

8. Kafka 클러스터에 대해 생성된 my-cluster-kafka-listener1-bootstrap 경로의 이름을 클릭하여 경로 세부 정보를 표시합니다.

9. 호스트 이름을 기록합니다.

   호스트 이름은 Kafka 클러스터에 연결하기 위한 부트스트랩 주소로 Kafka 클라이언트의 포트 443으로 지정됩니다.

   Networking > Routes 로 이동하고 네임스페이스에 생성된 경로를 표시하는 amq-streams-kafka 프로젝트를 선택하여 부트스트랩 주소를 찾을 수도 있습니다.

   또는 oc 툴을 사용하여 부트스트랩 세부 정보를 추출할 수 있습니다.

   부트스트랩 정보 추출

   oc get routes my-cluster-kafka-listener1-bootstrap -o=jsonpath='{.status.ingress[0].host}{"\n"}'

10. 리소스 페이지로 돌아가서 my-cluster-cluster-ca-cert 의 이름을 클릭하여 Kafka 클러스터에 액세스하기 위한 시크릿 세부 정보를 표시합니다.

    ca.crt 인증서 파일에는 Kafka 클러스터의 공용 인증서가 포함되어 있습니다.

    Kafka 브로커에 액세스하려면 인증서가 필요합니다.

11. ca.crt 공용 인증서 파일의 로컬 사본을 만듭니다.

    인증서의 세부 정보를 복사하거나 OpenShift oc 툴을 사용하여 압축을 풀 수 있습니다.

    공용 인증서 추출

    oc extract secret/my-cluster-cluster-ca-cert --keys=ca.crt --to=- > ca.crt

12. keytool 을 사용하여 공용 클러스터 인증서의 로컬 신뢰 저장소를 생성합니다.

    로컬 신뢰 저장소 생성

    keytool -keystore client.truststore.jks -alias CARoot -import -file ca.crt

    메시지가 표시되면 truststore에 액세스하기 위한 암호를 생성합니다.

    truststore는 Kafka 클러스터에 대한 액세스를 인증하기 위해 Kafka 클라이언트에 지정됩니다.

    이제 메시지를 보내고 받을 준비가 되었습니다.

1. oc 명령줄 인터페이스를 사용하여 Kafka 생산자를 배포합니다.

   이 예에서는 Kafka 클러스터 my-cluster에 연결하는 Kafka 생산자를 배포합니다.

   my-topic 이라는 항목이 생성됩니다.

   OpenShift에 Kafka 생산자 배포

   oc run kafka-producer -ti \
   --image=registry.redhat.io/amq-streams/kafka-36-rhel8:2.6.0 \
   --rm=true \
   --restart=Never \
   -- bin/kafka-console-producer.sh \
   --bootstrap-server my-cluster-kafka-bootstrap:9092 \
   --topic my-topic

   참고

   연결에 실패하면 Kafka 클러스터가 실행 중이고 올바른 클러스터 이름이 bootstrap-server 로 지정되었는지 확인합니다.

2. 명령 프롬프트에서 여러 메시지를 입력합니다.
3. OpenShift 웹 콘솔에서 홈 > 프로젝트 페이지로 이동하여 생성한 amq-streams-kafka 프로젝트를 선택합니다.
4. 포드 목록에서 kafka-producer 를 클릭하여 생산자 포드 세부 정보를 확인합니다.
5. 로그 페이지를 선택하여 입력한 메시지가 있는지 확인합니다.

6. oc 명령줄 인터페이스를 사용하여 Kafka 소비자를 배포합니다.

   OpenShift에 Kafka 소비자 배포

   oc run kafka-consumer -ti \
   --image=registry.redhat.io/amq-streams/kafka-36-rhel8:2.6.0 \
   --rm=true \
   --restart=Never \
   -- bin/kafka-console-consumer.sh \
   --bootstrap-server my-cluster-kafka-bootstrap:9092 \
   --topic my-topic \
   --from-beginning

   소비자는 my-topic 으로 생성된 메시지를 소비했습니다.

7. 명령 프롬프트에서 소비자 콘솔에 들어오는 메시지가 표시되는지 확인합니다.
8. OpenShift 웹 콘솔에서 홈 > 프로젝트 페이지로 이동하여 생성한 amq-streams-kafka 프로젝트를 선택합니다.
9. 포드 목록에서 kafka-consumer 를 클릭하여 소비자 포드 세부 정보를 확인합니다.
10. 로그 페이지를 선택하여 사용한 메시지가 있는지 확인합니다.

1. AMQ Streams 소프트웨어 다운로드 페이지에서 AMQ Streams <version > 바이너리를 다운로드 하여 추출합니다.

   amq-streams- <version> -bin.zip 파일의 압축을 임의의 대상에 풉니다.

2. 명령줄 인터페이스를 열고 my-topic 주제와 TLS의 인증 속성을 사용하여 Kafka 콘솔 생산자를 시작합니다.

   OpenShift 경로를 사용하여 Kafka 브로커에 액세스하는 데 필요한 속성을 추가합니다.

   • 사용 중인 OpenShift 경로에 호스트 이름과 포트 443을 사용합니다.

   • 브로커 인증서에 대해 생성한 신뢰 저장소에 대한 암호 및 참조를 사용합니다.

     로컬 Kafka 생산자 시작

     kafka-console-producer.sh \
     --bootstrap-server my-cluster-kafka-listener1-bootstrap-amq-streams-kafka.apps.ci-ln-50kcyvt-72292.origin-ci-int-gce.dev.rhcloud.com:443 \
     --producer-property security.protocol=SSL \
     --producer-property ssl.truststore.password=password \
     --producer-property ssl.truststore.location=client.truststore.jks \
     --topic my-topic

3. 생산자가 실행 중인 명령줄 인터페이스에 메시지를 입력합니다.
4. Enter를 눌러 메시지를 보냅니다.

5. 새 명령줄 인터페이스 탭 또는 창을 열고 Kafka 콘솔 소비자를 시작하여 메시지를 받습니다.

   생산자와 동일한 연결 세부 정보를 사용합니다.

   로컬 Kafka 소비자 시작

   kafka-console-consumer.sh \
   --bootstrap-server my-cluster-kafka-listener1-bootstrap-amq-streams-kafka.apps.ci-ln-50kcyvt-72292.origin-ci-int-gce.dev.rhcloud.com:443 \
   --consumer-property security.protocol=SSL \
   --consumer-property ssl.truststore.password=password \
   --consumer-property ssl.truststore.location=client.truststore.jks \
   --topic my-topic --from-beginning

6. 소비자 콘솔에 들어오는 메시지가 표시되는지 확인합니다.
7. Crtl+C를 눌러 Kafka 콘솔 생산자 및 소비자를 종료합니다.