Streams for Apache Kafka Proxy の使用

Helm デプロイメント設定の例を使用した Vault のデプロイ

1. Streams for Apache Kafka Proxy インストールアーティファクトをダウンロードして展開します。

   プロキシーは、Streams for Apache Kafka ソフトウェアダウンロードページ から入手できます。

   ファイルには、Vault をデプロイするために必要なデプロイメント設定が含まれています。

2. ルートトークンを作成し、メモしておきます。

   Copy to Clipboard Toggle word wrap

   cat /dev/urandom | LC_ALL=C tr -dc 'a-zA-Z0-9' | fold -w 32 | head -n 1 > vault.root.token
   export VAULT_TOKEN=$(cat vault.root.token)

3. Helm を使用して Vault をインストールします。

   Copy to Clipboard Toggle word wrap

   helm repo add hashicorp https://helm.releases.hashicorp.com
   helm install vault hashicorp/vault \
     --create-namespace --namespace=vault \
     --version <helm_version> \
     --values vault/helm-dev-values.yaml \
     --set server.dev.devRootToken=${VAULT_TOKEN} \
     --wait

   root トークンは Vault インスタンスに使用されます。

4. デプロイメントのステータスを確認します。

   Copy to Clipboard Toggle word wrap

   oc get pods -n vault

   デプロイメント名と準備状態が表示されている出力

   Copy to Clipboard Toggle word wrap

   NAME                      READY  STATUS   RESTARTS
   vault-0                   1/1    Running  0

   Pod ID は、作成された Pod を識別します。

   デフォルトのデプロイメントでは、単一のプロキシー Pod をインストールします。

   READY は、ready/expected 状態のレプリカ数を表示します。STATUS が Running と表示されれば、デプロイメントは成功です。

5. 新しい Vault インスタンスを指す Vault アドレス (VAULT_ADDR) 環境変数を作成します。

   Copy to Clipboard Toggle word wrap

   export VAULT_ADDR=$(oc get route -n vault vault --template='https://{{.spec.host}}')

6. 管理者として Vault にログインし、Vault Transit シークレットエンジンを有効にします。

   Copy to Clipboard Toggle word wrap

   vault secrets enable transit

   シークレットエンジンがすでに有効になっている場合は、エラーを無視します。

7. Vault Transit アドレスを指す環境変数を作成します。

   Copy to Clipboard Toggle word wrap

   export VAULT_TRANSIT_URL=${VAULT_ADDR}/v1/transit

   アドレスはプロキシーデプロイメント設定で使用されます。

8. Vault ポリシーとトークンを作成します。

1. Vault インスタンスを指す Vault アドレス環境変数 (Enterprise を使用している場合は VAULT_ADDR と VAULT_NAMESPACE) を作成します。

   Copy to Clipboard Toggle word wrap

   export VAULT_ADDR=https://<vault server>:8200
   export VAULT_NAMESPACE=<namespaces>

2. 管理者として Vault にログインし、Vault Transit シークレットエンジンを有効にします。

   Copy to Clipboard Toggle word wrap

   vault secrets enable transit

   シークレットエンジンがすでに有効になっている場合は、エラーを無視します。

3. Vault Transit アドレスを指す環境変数を作成します。

   Copy to Clipboard Toggle word wrap

   export VAULT_TRANSIT_URL=${VAULT_ADDR}/v1/${VAULT_NAMESPACE}/transit

   アドレスはプロキシーデプロイメント設定で使用されます。

4. Vault インスタンスを参照するようにプロキシーデプロイメント設定を更新します。

   Copy to Clipboard Toggle word wrap

   sed -i "s/\(vaultTransitEngineUrl:\).*$/\1 ${VAULT_TRANSIT_URL}/" */proxy/proxy-config.yaml

5. Vault ポリシーとトークンを作成します。

1. Vault ポリシーを作成します。

   Copy to Clipboard Toggle word wrap

   vault policy write amqstreams_proxy_encryption_filter_policy vault/amqstreams_proxy_encryption_filter_policy.hcl

   Streams for Apache Kafka Proxy に付属する HashiCorp ポリシー定義ファイル (.hcl) を使用して、ポリシーを Vault に書き込みます。ポリシーの名前は amqstreams_proxy_encryption_filter_policy です。

2. Vault トークンを作成します。

   Copy to Clipboard Toggle word wrap

   vault token create \
     -display-name "amqstreams-proxy encryption filter" \
     -policy=amqstreams_proxy_encryption_filter_policy \
     -no-default-policy \
     -orphan \
     -field=token > vault.encryption.token

   このコマンドは、ポリシーを指定したトークン、および関連付けられた親トークンまたはデフォルトポリシーのないトークンを作成します。

3. トークンを含むシークレットを作成します。

   Copy to Clipboard Toggle word wrap

   oc create secret generic proxy-encryption-vault-token \
     -n proxy \
     --from-file=encryption-vault-token.txt=vault.encryption.token \
     --dry-run=client \
     -o yaml > base/proxy/proxy-encryption-vault-token-secret.yaml

   このコマンドは、Vault トークンをシークレットに保存し、proxy namespace に YAML ファイルとしてシークレットを作成します。

   Record Encryption フィルターを使用して Streams for Apache Kafka をデプロイするときに、proxy-encryption-vault-token-secret.yaml シークレットが OpenShift クラスターに適用されます。

手順

1. Streams for Apache Kafka Proxy インストールアーティファクトをダウンロードして展開します。

   アーティファクトは、Streams for Apache Kafka ソフトウェアダウンロードページ から入手できるインストールおよびサンプルファイルに含まれています。

   ファイルには、cluster-ip または loadbalancer タイプのリスナーを介して接続するために必要なデプロイメント設定が含まれています。

2. Kafka クラスターにトピックを作成します。

   Copy to Clipboard Toggle word wrap

   oc run -n <my_proxy_namespace> -ti proxy-producer \
     --image=registry.redhat.io/amq-streams/kafka-37-rhel9:2.7.0 \
     --rm=true \
     --restart=Never \
     -- bin/kafka-topics.sh \
     --bootstrap-server proxy-service:9092 \
     --create -topic my-topic

   この例では、インタラクティブな Pod コンテナーを通じて my-topic という名前のトピックを作成します。

3. Vault で my-topic の鍵を作成します。

   Copy to Clipboard Toggle word wrap

   vault write -f transit/keys/KEK_my-topic

4. プロキシーのフィルター設定を提供する ConfigMap を編集します。

   Record Encryption フィルター config には、HashiCorp Vault KMS の認証情報が必要です。

   Record Encryption フィルターの設定例

   Copy to Clipboard Toggle word wrap

   filters:
     - type: RecordEncryption
       config:
         kms: VaultKmsService 

   1

   
         kmsConfig:
           vaultTransitEngineUrl: http://vault.vault.svc.cluster.local:8200/v1/transit 

   2

   
           vaultToken:
             passwordFile: /opt/proxy/encryption/token.txt 

   3

   
         selector: TemplateKekSelector 

   4

   
         selectorConfig:
           template: "KEK_${topicName}" 

   5

   
   	 # ...

   1

   使用する KMS (key management system) の種類。今回は、HashiCorp Vault を使用します。

   2

   Vault Transit Engine サービスの URL。

   3

   Vault サービスにアクセスするために必要なトークンを含むファイル。この場所が変更された場合は、プロキシーデプロイメント設定で同様の変更が必要になります。

   4

   使用する Key Encryption Key (KEK) セレクター。${topicName} は、プロキシーが理解するリテラルです。

   5

   特定のトピック名に基づいて KEK を導出するためのテンプレート。

5. Record Encryption フィルターと適切なリスナーを使用して、Streams for Apache Kafka Proxy を OpenShift クラスターにデプロイします。

   cluster-ip リスナーを使用したプロキシーのデプロイ

   Copy to Clipboard Toggle word wrap

   cd /examples/proxy/record-encryption/
   oc apply -k cluster-ip

   loadbalancer リスナーを使用したプロキシーのデプロイ

   Copy to Clipboard Toggle word wrap

   cd /examples/proxy/record-encryption/
   oc apply -k loadbalancer

6. loadbalancer リスナーを使用している場合は、作成されたロードバランサーサービスのアドレスを使用するようにプロキシー設定を更新します。

   1. プロキシーサービスの外部アドレスを取得します。

      Copy to Clipboard Toggle word wrap

      LOAD_BALANCER_ADDRESS=$(oc get service -n <my_proxy_namespace> proxy-service --template='{{(index .status.loadBalancer.ingress 0).hostname}}')

   2. ブローカーアドレスを使用するには、プロキシーサービス設定の brokerAddressPattern プロパティーを更新します。

      Copy to Clipboard Toggle word wrap

      sed -i "s/\(brokerAddressPattern:\).*$/\1 ${LOAD_BALANCER_ADDRESS}/" load-balancer/proxy/proxy-config.yaml

   3. プロキシー設定に変更を適用し、プロキシー Pod を再起動します。

      Copy to Clipboard Toggle word wrap

       oc apply -k load-balancer && oc delete pod -n <my_proxy_namespace> --all

7. デプロイメントのステータスを確認します。

   Copy to Clipboard Toggle word wrap

   oc get pods -n <my_proxy_namespace>

   デプロイメント名と準備状態が表示されている出力

   Copy to Clipboard Toggle word wrap

   NAME                      READY  STATUS   RESTARTS
   my-cluster-kafka-0        1/1    Running  0
   my-cluster-kafka-1        1/1    Running  0
   my-cluster-kafka-2        1/1    Running  0
   my-cluster-proxy-<pod_id> 1/1    Running  0

   my-cluster-proxy はプロキシーの名前です。

   Pod ID は、作成された Pod を識別します。

   デフォルトのデプロイメントでは、単一のプロキシー Pod をインストールします。

   READY は、ready/expected 状態のレプリカ数を表示します。STATUS が Running と表示されれば、デプロイメントは成功です。

8. プロキシー経由でメッセージを生成し、Kafka クラスターから直接的または間接的に消費して、指定されたトピックに暗号化が適用されていることを確認します。