5.3. IBM Z 및 IBM LinuxONE에 기밀 컨테이너 배포

프로세스

1. trustee-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: trustee-operator-system

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 trustee-operator-system 네임스페이스를 생성합니다.

   $ oc apply -f trustee-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. trustee-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: trustee-operator-group
     namespace: trustee-operator-system
   spec:
     targetNamespaces:
     - trustee-operator-system

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f trustee-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. trustee-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: trustee-operator
     namespace: trustee-operator-system
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: trustee-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: trustee-operator.v0.1.0

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f trustee-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                      DISPLAY                        PHASE
   trustee-operator.v0.1.0   Trustee Operator  0.1.0        Succeeded

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 엣지 경로를 만듭니다.

   $ oc create route edge --service=kbs-service --port kbs-port \
     -n trustee-operator-system

   Copy to Clipboard Toggle word wrap
   참고

   참고: 현재 유효한 CA 서명 인증서가 있는 경로만 지원됩니다. 자체 서명된 인증서가 있는 경로를 사용할 수 없습니다.

2. 다음 명령을 실행하여 TRUSTEE_HOST 변수를 설정합니다.

   $ TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \
     -o jsonpath={.spec.host})

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 경로를 확인합니다.

   $ echo $TRUSTEE_HOST

   Copy to Clipboard Toggle word wrap

   출력 예

   kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.io

   Copy to Clipboard Toggle word wrap

프로세스

1. cc-feature-gate.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: osc-feature-gates
     namespace: openshift-sandboxed-containers-operator
   data:
     confidential: "true"

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f cc-feature-gate.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "libvirt"
     DISABLECVM: "false"

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 peerpodconfig-ctrl-caa-daemon 데몬 세트를 다시 시작합니다.

   $ oc set env ds/peerpodconfig-ctrl-caa-daemon \
     -n openshift-sandboxed-containers-operator REBOOT="$(date)"

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 KataConfig CR을 삭제합니다.

   $ oc delete kataconfig example-kataconfig

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.

   $ oc get kataconfig example-kataconfig

   Copy to Clipboard Toggle word wrap

   출력 예

   No example-kataconfig instances exist

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     REDHAT_OFFLINE_TOKEN: "<rh_offline_token>" 

   1

   
     HKD_CRT: "<hkd_crt_value>" 

   2

   Copy to Clipboard Toggle word wrap

   1

   Operator 빌드 이미지에 필요한 Red Hat 오프라인 토큰을 지정합니다.

   2

   Operator 빌드 이미지에 대해 IBM Secure Execution를 활성화하려면 HKD 인증서 값을 지정합니다.

2. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   Copy to Clipboard Toggle word wrap

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: cc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드했는지 확인합니다.

   $ oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   출력 예

   Name: peer-pods-cm
   Namespace: openshift-sandboxed-containers-operator
   Labels: <none>
   Annotations: <none>
   
   Data
   ====
   CLOUD_PROVIDER: libvirt
   DISABLECVM: false 

   1

   
   LIBVIRT_IMAGE_ID: fa-pp-vol 

   2

   
   
   BinaryData
   ====
   Events: <none>

   Copy to Clipboard Toggle word wrap

   1

   Operator 빌드 이미지의 IBM Secure Execution 중에 기밀성 VM을 활성화합니다.

   2

   피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드한 경우 값을 포함합니다.

5. 다음 명령을 실행하여 UPDATEDMACHINECOUNT 가 MACHINECOUNT 와 같은 경우 UPDATED MACHINECOUNT가 UPDATED 상태에 있는지 확인하려면 kata-oc 머신 구성 풀 진행 상황을 모니터링합니다.

   $ watch oc get mcp/kata-oc

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 개인 키를 생성합니다.

   $ openssl genpkey -algorithm ed25519 > privateKey

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 공개 키를 생성합니다.

   $ openssl pkey -in privateKey -pubout -out publicKey

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 보안을 생성합니다.

   $ oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 시크릿을 확인합니다.

   $ oc get secret -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

프로세스

1. kbs-config-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: kbs-config-cm
     namespace: trustee-operator-system
   data:
     kbs-config.json: |
       {
         "insecure_http" : true,
         "sockets": ["0.0.0.0:8080"],
         "auth_public_key": "/etc/auth-secret/publicKey",
         "attestation_token_config": {
           "attestation_token_type": "CoCo"
         },
         "repository_config": {
           "type": "LocalFs",
           "dir_path": "/opt/confidential-containers/kbs/repository"
         },
         "as_config": {
           "work_dir": "/opt/confidential-containers/attestation-service",
           "policy_engine": "opa",
           "attestation_token_broker": "Simple",
             "attestation_token_config": {
             "duration_min": 5
             },
           "rvps_config": {
             "store_type": "LocalJson",
             "store_config": {
               "file_path": "/opt/confidential-containers/rvps/reference-values/reference-values.json"
             }
            }
         },
         "policy_engine_config": {
           "policy_path": "/opt/confidential-containers/opa/policy.rego"
         }
       }

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f kbs-config-cm.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 SE 헤더의 임시 폴더를 생성합니다.

   $ mkdir -p /tmp/ibmse/hdr

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 IBM s390 Linux 리포지토리에서 pvextract-hdr 툴을 다운로드합니다.

   $ wget https://github.com/ibm-s390-linux/s390-tools/raw/v2.33.1/rust/pvattest/tools/pvextract-hdr -O /tmp/pvextract-hdr

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 툴을 실행 가능하게 만듭니다.

   $ chmod +x /tmp/pvextract-hdr

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 $IMAGE_OUTPUT_DIR 변수를 설정합니다.

   $ export IMAGE=$IMAGE_OUTPUT_DIR/se-podvm-commit-short-id.qcow2

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 실행하여 $IMAGE 변수를 설정합니다.

   $ export IMAGE=/root/rooo/se-podvm-d1fb986-dirty-s390x.qcow2

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 nbd 커널 모듈을 활성화합니다.

   $ modprobe nbd

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 SE 이미지를 NBD(네트워크 블록 장치)로 연결합니다.

   $ qemu-nbd --connect=/dev/nbd0 $IMAGE

   Copy to Clipboard Toggle word wrap

8. 다음 명령을 실행하여 SE 이미지의 마운트 디렉터리를 생성합니다.

   $ mkdir -p /mnt/se-image/

   Copy to Clipboard Toggle word wrap

9. 다음 명령을 실행하여 프로세스를 일시 중지합니다.

   $ sleep 1

   Copy to Clipboard Toggle word wrap

10. 다음 명령을 실행하여 블록 장치를 나열합니다.

    $ lsblk

    Copy to Clipboard Toggle word wrap

    출력 예

    nbd0                                           43:0    0  100G  0 disk
    ├─nbd0p1                                       43:1    0  255M  0 part
    ├─nbd0p2                                       43:2    0    6G  0 part
    │ └─luks-e23e15fa-9c2a-45a5-9275-aae9d8e709c3 253:2    0    6G  0 crypt
    └─nbd0p3                                       43:3    0 12.4G  0 part
    nbd1                                           43:32   0   20G  0 disk
    ├─nbd1p1                                       43:33   0  255M  0 part
    ├─nbd1p2                                       43:34   0    6G  0 part
    │ └─luks-5a540f7c-c0cb-419b-95e0-487670d91525 253:3    0    6G  0 crypt
    └─nbd1p3                                       43:35   0 86.9G  0 part
    nbd2                                           43:64   0    0B  0 disk
    nbd3                                           43:96   0    0B  0 disk
    nbd4                                           43:128  0    0B  0 disk
    nbd5                                           43:160  0    0B  0 disk
    nbd6                                           43:192  0    0B  0 disk
    nbd7                                           43:224  0    0B  0 disk
    nbd8                                           43:256  0    0B  0 disk
    nbd9                                           43:288  0    0B  0 disk
    nbd10                                          43:320  0    0B  0 disk

    Copy to Clipboard Toggle word wrap

11. 사용 가능한 NBD 파티션에 SE 이미지 디렉토리를 마운트하고 다음 명령을 실행하여 SE 헤더를 추출합니다.

    $ mount /dev/<nbdXp1> /mnt/se-image/ /tmp/pvextract-hdr \
      -o /tmp/ibmse/hdr/hdr.bin /mnt/se-image/se.img

    Copy to Clipboard Toggle word wrap

    출력 예

    SE header found at offset 0x014000
    SE header written to '/tmp/ibmse/hdr/hdr.bin' (640 bytes)

    Copy to Clipboard Toggle word wrap

    NBD를 사용할 수 없는 경우 다음 오류가 표시됩니다.

    mount: /mnt/se-image: can't read superblock on /dev/nbd0p1

    Copy to Clipboard Toggle word wrap

12. 다음 명령을 실행하여 SE 이미지 디렉터리를 마운트 해제합니다.

    $ umount /mnt/se-image/

    Copy to Clipboard Toggle word wrap

13. 다음 명령을 실행하여 네트워크 블록 스토리지 장치의 연결을 해제합니다.

    $ qemu-nbd --disconnect /dev/nbd0

    Copy to Clipboard Toggle word wrap

프로세스

1. 다음 단계를 수행하여 인증 정책 필드를 가져옵니다.

   1. 다음 명령을 실행하여 OpenShift Trustee 리포지토리에서 se_parse_hdr.py 스크립트를 다운로드합니다.

      $ wget https://github.com/openshift/trustee/raw/main/attestation-service/verifier/src/se/se_parse_hdr.py -O /tmp/se_parse_hdr.py

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 SE Host Key Document (HKD) 인증서에 대한 임시 디렉토리를 만듭니다.

      $ mkdir /tmp/ibmse/hkds/

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 HKD(Host Key Document) 인증서를 임시 디렉터리에 복사합니다.

      $ cp ~/path/to/<hkd_cert.crt> /tmp/ibmse/hkds/<hkd_cert.crt>

      Copy to Clipboard Toggle word wrap
      참고

      HKD 인증서는 피어 Pod 보안을 생성할 때 다운로드한 인증서와 동일해야 합니다.

   4. se_parse_hdr.py 스크립트를 실행하여 인증 정책 필드를 가져옵니다.

      $ python3 /tmp/se_parse_hdr.py /tmp/ibmse/hdr/hdr.bin /tmp/ibmse/hkds/<hkd_cert.crt>

      Copy to Clipboard Toggle word wrap

      출력 예

      ...
        ================================================
        se.image_phkh: xxx
        se.version: 256
        se.tag: xxx
        se.attestation_phkh: xxx

      Copy to Clipboard Toggle word wrap

      SE 인증 정책 구성 맵에 이러한 값을 기록합니다.

2. 다음 단계를 수행하여 인증서 및 CRL(인증서 취소 목록)을 가져옵니다.

   1. 다음 명령을 실행하여 인증서에 대한 임시 디렉터리를 생성합니다.

      $ mkdir /tmp/ibmse/certs

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 ibm-z-host-key-signing-gen2.crt 인증서를 다운로드합니다.

      $ wget https://www.ibm.com/support/resourcelink/api/content/public/ibm-z-host-key-signing-gen2.crt -O /tmp/ibmse/certs/ibm-z-host-key-signing-gen2.crt

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 CryostatCert CA.crt 인증서를 다운로드합니다.

      $ wget https://www.ibm.com/support/resourcelink/api/content/public/DigiCertCA.crt -O /tmp/ibmse/certs/DigiCertCA.crt

      Copy to Clipboard Toggle word wrap

   4. 다음 명령을 실행하여 CRL의 임시 디렉터리를 생성합니다.

      $ mkdir /tmp/ibmse/crls

      Copy to Clipboard Toggle word wrap

   5. 다음 명령을 실행하여 MellanoxCert TrustedRootG4.crl 파일을 다운로드합니다.

      $ wget http://crl3.digicert.com/DigiCertTrustedRootG4.crl -O /tmp/ibmse/crls/DigiCertTrustedRootG4.crl

      Copy to Clipboard Toggle word wrap

   6. 다음 명령을 실행하여 clevisCert TrustedG4CodeSigningRSA4096SHA3842021CA1.crl 파일을 다운로드합니다.

      $ wget http://crl3.digicert.com/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl -O /tmp/ibmse/crls/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl

      Copy to Clipboard Toggle word wrap

3. RSA 키를 생성합니다.

   1. 다음 명령을 실행하여 RSA 키 쌍을 생성합니다.

      $ openssl genrsa -aes256 -passout pass:<password> -out /tmp/encrypt_key-psw.pem 4096 

      1

      Copy to Clipboard Toggle word wrap

      1

      RSA 키 암호를 지정합니다.

   2. 다음 명령을 실행하여 RSA 키에 대한 임시 디렉터리를 생성합니다.

      $ mkdir /tmp/ibmse/rsa

      Copy to Clipboard Toggle word wrap

   3. 다음 명령을 실행하여 encrypt_key.pub 키를 만듭니다.

      $ openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -pubout -out /tmp/ibmse/rsa/encrypt_key.pub

      Copy to Clipboard Toggle word wrap

   4. 다음 명령을 실행하여 encrypt_key.pem 키를 생성합니다.

      $ openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -out /tmp/ibmse/rsa/encrypt_key.pem

      Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 /tmp/ibmse 디렉터리의 구조를 확인합니다.

   $ tree /tmp/ibmse

   Copy to Clipboard Toggle word wrap

   출력 예

   /tmp/ibmse
   ├── certs
   │   ├── ibm-z-host-key-signing-gen2.crt
   |   └── DigiCertCA.crt
   ├── crls
   │   └── ibm-z-host-key-gen2.crl
   │   └── DigiCertTrustedRootG4.crl
   │   └── DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl
   ├── hdr
   │   └── hdr.bin
   ├── hkds
   │   └── <hkd_cert.crt>
   └── rsa
       ├── encrypt_key.pem
       └── encrypt_key.pub

   Copy to Clipboard Toggle word wrap

5. 다음 단계를 수행하여 이러한 파일을 OpenShift Container Platform 작업자 노드에 복사합니다.

   1. 다음 명령을 실행하여 /tmp/ibmse 디렉토리에서 압축 파일을 생성합니다.

      $ tar -czf ibmse.tar.gz -C /tmp/ibmse

      Copy to Clipboard Toggle word wrap

   2. 다음 명령을 실행하여 .tar.gz 파일을 클러스터의 bastion 노드에 복사합니다.

      $ scp /tmp/ibmse.tar.gz root@<ocp_bastion_ip>:/tmp 

      1

      Copy to Clipboard Toggle word wrap

      1

      bastion 노드의 IP 주소를 지정합니다.

   3. 다음 명령을 실행하여 SSH를 통해 bastion 노드에 연결합니다.

      $ ssh root@<ocp_bastion_ip>

      Copy to Clipboard Toggle word wrap

   4. 다음 명령을 실행하여 .tar.gz 파일을 각 작업자 노드에 복사합니다.

      $ scp /tmp/ibmse.tar.gz core@<worker_node_ip>:/tmp 

      1

      Copy to Clipboard Toggle word wrap

      1

      작업자 노드의 IP 주소를 지정합니다.

   5. 다음 명령을 실행하여 각 작업자 노드에서 .tar.gz 를 추출합니다.

      $ ssh core@<worker_node_ip> 'sudo mkdir -p /opt/confidential-containers/ && sudo tar -xzf /tmp/ibmse.tar.gz -C /opt/confidential-containers/'

      Copy to Clipboard Toggle word wrap

   6. 다음 명령을 실행하여 ibmse 폴더 권한을 업데이트합니다.

      $ ssh core@<worker_node_ip> 'sudo chmod -R 755 /opt/confidential-containers/ibmse/'

      Copy to Clipboard Toggle word wrap

프로세스

1. persistent-volume.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: ibmse-pv
     namespace: trustee-operator-system
   spec:
     capacity:
       storage: 100Mi
     accessModes:
       - ReadOnlyMany
     storageClassName: ""
     local:
       path: /opt/confidential-containers/ibmse
     nodeAffinity:
       required:
         nodeSelectorTerms:
           - matchExpressions:
               - key: node-role.kubernetes.io/worker
                 operator: Exists

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 영구 볼륨을 생성합니다.

   $ oc apply -f persistent-volume.yaml

   Copy to Clipboard Toggle word wrap

3. persistent-volume-claim.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: ibmse-pvc
     namespace: trustee-operator-system
   spec:
     accessModes:
       - ReadOnlyMany
     storageClassName: ""
     resources:
       requests:
         storage: 100Mi

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 영구 볼륨 클레임을 생성합니다.

   $ oc apply -f persistent-volume-claim.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. rvps-configmap.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: rvps-reference-values
     namespace: trustee-operator-system
   data:
     reference-values.json: |
       [ 

   1

   
       ]

   Copy to Clipboard Toggle word wrap

   1

   이 값을 비워 둡니다.

2. 다음 명령을 실행하여 RVPS 구성 맵을 생성합니다.

   $ oc apply -f rvps-configmap.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 예에 따라 인증된 클라이언트와 공유할 하나 이상의 시크릿을 생성합니다.

   $ oc create secret generic kbsres1 --from-literal key1=<res1val1> \
     --from-literal key2=<res1val2> -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

   이 예에서 kbsres1 시크릿에는 두 개의 항목(key1,key2)이 있으며, 이 항목은 Trustee 클라이언트가 검색합니다. 요구 사항에 따라 더 많은 시크릿을 추가할 수 있습니다.

4. resourcepolicy-configmap.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: resource-policy
     namespace: trustee-operator-system
   data:
     policy.rego: | 

   1

   
       package policy 

   2

   
       path := split(data["resource-path"], "/")
       default allow = false
       allow {
         count(path) == 3
         input["tee"] == "se"
       }

   Copy to Clipboard Toggle word wrap

   1

   리소스 정책의 이름 policy.rego 는 Trustee 구성 맵에 정의된 리소스 정책과 일치해야 합니다.

   2

   리소스 정책은 Open Policy Agent 사양을 따릅니다. 이 예제에서는 TEE가 샘플 attester가 아닌 경우 모든 리소스를 검색할 수 있습니다.

5. 다음 명령을 실행하여 리소스 정책 구성 맵을 생성합니다.

   $ oc apply -f resourcepolicy-configmap.yaml

   Copy to Clipboard Toggle word wrap

6. attestation-policy.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: attestation-policy
     namespace: trustee-operator-system
   data:
     default.rego: | 

   1

   
       package policy
       import rego.v1
       default allow = false
       converted_version := sprintf("%v", [input["se.version"]])
       allow if {
           input["se.attestation_phkh"] == "<se.attestation_phkh>" 

   2

   
           input["se.image_phkh"] == "<se.image_phkh>"
           input["se.tag"] == "<se.tag>"
           converted_version == "256"
       }

   Copy to Clipboard Toggle word wrap

   1

   정책 이름을 수정하지 마십시오.

   2

   se_parse_hdr.py 스크립트를 실행하여 얻은 attestation 정책 필드를 지정합니다.

7. 다음 명령을 실행하여 인증 정책 구성 맵을 생성합니다.

   $ oc apply -f attestation-policy.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. kbsconfig-cr.yaml 매니페스트 파일을 생성합니다.

   apiVersion: confidentialcontainers.org/v1alpha1
   kind: KbsConfig
   metadata:
     labels:
       app.kubernetes.io/name: kbsconfig
       app.kubernetes.io/instance: kbsconfig
       app.kubernetes.io/part-of: trustee-operator
       app.kubernetes.io/managed-by: kustomize
       app.kubernetes.io/created-by: trustee-operator
     name: kbsconfig
     namespace: trustee-operator-system
   spec:
     kbsConfigMapName: kbs-config-cm
     kbsAuthSecretName: kbs-auth-public-key
     kbsDeploymentType: AllInOneDeployment
     kbsRvpsRefValuesConfigMapName: rvps-reference-values
     kbsSecretResources: ["kbsres1"]
     kbsResourcePolicyConfigMapName: resource-policy
     kbsAttestationPolicyConfigMapName: attestation-policy
     kbsServiceType: NodePort
     ibmSEConfigSpec:
       certStorePvc: ibmse-pvc

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 KbsConfig CR을 생성합니다.

   $ oc apply -f kbsconfig-cr.yaml

   Copy to Clipboard Toggle word wrap

검증

1. 다음 명령을 실행하여 기본 프로젝트를 설정합니다.

   $ oc project trustee-operator-system

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 Pod를 확인합니다.

   $ oc get pods -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                                                   READY   STATUS    RESTARTS   AGE
   trustee-deployment-8585f98449-9bbgl                    1/1     Running   0          22m
   trustee-operator-controller-manager-5fbd44cd97-55dlh   2/2     Running   0          59m

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 POD_NAME 환경 변수를 설정합니다.

   $ POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 Pod 로그를 확인합니다.

   $ oc logs -n trustee-operator-system $POD_NAME

   Copy to Clipboard Toggle word wrap

   출력 예

   [2024-05-30T13:44:24Z INFO  kbs] Using config file /etc/kbs-config/kbs-config.json
   [2024-05-30T13:44:24Z WARN  attestation_service::rvps] No RVPS address provided and will launch a built-in rvps
   [2024-05-30T13:44:24Z INFO  attestation_service::token::simple] No Token Signer key in config file, create an ephemeral key and without CA pubkey cert
   [2024-05-30T13:44:24Z INFO  api_server] Starting HTTPS server at [0.0.0.0:8080]
   [2024-05-30T13:44:24Z INFO  actix_server::builder] starting 12 workers
   [2024-05-30T13:44:24Z INFO  actix_server::server] Tokio runtime found; starting in existing Tokio runtime

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 실행하여 ibmse-pvc 영구 볼륨 클레임을 Trustee Pod에 노출합니다.

   $ oc patch deployment trustee-deployment --namespace=trustee-operator-system --type=json -p='[{"op": "remove", "path": "/spec/template/spec/volumes/5/persistentVolumeClaim/readOnly"}]'

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 kbs-service 가 노드 포트에 노출되었는지 확인합니다.

   $ oc get svc kbs-service -n trustee-operator-system

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME          TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
   kbs-service   NodePort   198.51.100.54   <none>        8080:31862/TCP   23h

   Copy to Clipboard Toggle word wrap

   kbs-service URL은 https://<worker_node_ip>:<node_port > 입니다(예: https://172.16.0.56:31862 ).

프로세스

1. verification-pod.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: kbs-client
   spec:
     containers:
     - name: kbs-client
       image: quay.io/confidential-containers/kbs-client:latest
       imagePullPolicy: IfNotPresent
       command:
         - sleep
         - "360000"
       env:
         - name: RUST_LOG
           value:  none

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f verification-pod.yaml

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 https.crt 파일을 kbs-client Pod에 복사합니다.

   $ oc cp https.crt kbs-client:/

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 Pod 시크릿을 가져옵니다.

   $ oc exec -it kbs-client -- kbs-client --cert-file https.crt \
     --url https://kbs-service:8080 get-resource \
     --path default/kbsres1/key1

   Copy to Clipboard Toggle word wrap

   출력 예

   res1val1

   Copy to Clipboard Toggle word wrap

   Trustee 서버는 인증에 성공한 경우에만 시크릿을 반환합니다.