3장. 레코드 암호화 필터를 사용하여 Apache Kafka 프록시용 스트림 배포

프로세스

1. Apache Kafka Proxy 설치 아티팩트용 Streams를 다운로드하여 압축을 풉니다.

   프록시는 Apache Kafka 소프트웨어 다운로드 페이지 에서는 Streams에서 사용할 수 있습니다.

   파일에는 cluster-ip 또는 loadbalancer 유형 리스너를 통해 연결하는 데 필요한 배포 구성이 포함되어 있습니다.

2. Kafka 클러스터에서 주제를 생성합니다.

   oc run -n <my_proxy_namespace> -ti proxy-producer \
     --image=registry.redhat.io/amq-streams/kafka-37-rhel8:2.7.0 \
     --rm=true \
     --restart=Never \
     -- bin/kafka-topics.sh \
     --bootstrap-server proxy-service:9092 \
     --create -topic my-topic

   Copy to Clipboard Toggle word wrap

   이 예제에서는 대화형 Pod 컨테이너를 통해 my-topic 이라는 주제를 생성합니다.

3. Vault에서 my-topic 의 키를 생성합니다.

   vault write -f transit/keys/KEK_my-topic

   Copy to Clipboard Toggle word wrap

4. 프록시에 대한 필터 구성을 제공하는 ConfigMap 을 편집합니다.

   레코드 암호화 필터 구성에 는 HashiCorp Vault KMS에 대한 인증 정보가 필요합니다.

   레코드 암호화 필터 구성 예

   filters:
     - type: RecordEncryption
       config:
         kms: VaultKmsService 

   1

   
         kmsConfig:
           vaultTransitEngineUrl: http://vault.vault.svc.cluster.local:8200/v1/transit 

   2

   
           vaultToken:
             passwordFile: /opt/proxy/encryption/token.txt 

   3

   
         selector: TemplateKekSelector 

   4

   
         selectorConfig:
           template: "KEK_${topicName}" 

   5

   
   	 # ...

   Copy to Clipboard Toggle word wrap

   1

   사용되는 KMS 유형(키 관리 시스템)입니다. 이 경우 HashiCorp Vault입니다.

   2

   Vault Transit 엔진 서비스의 URL입니다.

   3

   Vault 서비스에 액세스하는 데 필요한 토큰이 포함된 파일입니다. 이 위치가 변경되면 프록시 배포 구성에 해당하는 변경 사항이 필요합니다.

   4

   사용할 KEK(Key Encryption Key) 선택기입니다. ${topicName} 은 프록시에서 이해할 수 있는 리터럴입니다.

   5

   특정 주제 이름을 기반으로 KEK를 파생하기 위한 템플릿입니다.

5. Record Encryption 필터 및 적절한 리스너를 OpenShift 클러스터에 사용하여 Apache Kafka Proxy용 Streams를 배포합니다.

   cluster-ip 리스너를 사용하여 프록시 배포

   cd /examples/proxy/record-encryption/
   oc apply -k cluster-ip

   Copy to Clipboard Toggle word wrap

   로드 밸런서 리스너를 사용하여 프록시 배포

   cd /examples/proxy/record-encryption/
   oc apply -k loadbalancer

   Copy to Clipboard Toggle word wrap

6. 로드 밸런서 리스너를 사용하는 경우 생성된 로드 밸런서 서비스의 주소를 사용하도록 프록시 구성을 업데이트합니다.

   1. 프록시 서비스의 외부 주소를 가져옵니다.

      LOAD_BALANCER_ADDRESS=$(oc get service -n <my_proxy_namespace> proxy-service --template='{{(index .status.loadBalancer.ingress 0).hostname}}')

      Copy to Clipboard Toggle word wrap

   2. 브로커 주소를 사용하도록 프록시 서비스 구성에서 brokerAddressPattern 속성을 업데이트합니다.

      sed -i "s/\(brokerAddressPattern:\).*$/\1 ${LOAD_BALANCER_ADDRESS}/" load-balancer/proxy/proxy-config.yaml

      Copy to Clipboard Toggle word wrap

   3. 프록시 구성에 변경 사항을 적용하고 프록시 Pod를 다시 시작합니다.

       oc apply -k load-balancer && oc delete pod -n <my_proxy_namespace> --all

      Copy to Clipboard Toggle word wrap

7. 배포 상태를 확인합니다.

   oc get pods -n <my_proxy_namespace>

   Copy to Clipboard Toggle word wrap

   출력에 배포 이름 및 준비 상태 표시

   NAME                      READY  STATUS   RESTARTS
   my-cluster-kafka-0        1/1    Running  0
   my-cluster-kafka-1        1/1    Running  0
   my-cluster-kafka-2        1/1    Running  0
   my-cluster-proxy-<pod_id> 1/1    Running  0

   Copy to Clipboard Toggle word wrap

   my-cluster-proxy 는 프록시의 이름입니다.

   Pod ID는 생성된 Pod를 식별합니다.

   기본 배포를 사용하면 단일 프록시 Pod를 설치합니다.

   READY는 ready/expected 복제본 수를 표시합니다. STATUS가 Running으로 표시되면 배포가 성공적으로 수행됩니다.

8. 프록시를 통해 메시지를 생성한 다음 Kafka 클러스터에서 직접 및 간접적으로 사용하여 지정된 항목에 암호화가 적용되었는지 확인합니다.