사용자 가이드

프로세스

1. 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
2. 키워드로 필터링 필드에 OpenShift sandboxed containers를 입력합니다.
3. OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
4. Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.

5. 설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수 openshift-sandboxed-containers-operator 네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.

   참고

   openshift-sandboxed-containers-operator 이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.

6. 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
7. 설치를 클릭합니다.
8. Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.

4. 다음 세부 정보를 입력합니다.

   • 이름: 선택 사항: 기본 이름은 example-kataconfig 입니다.
   • labels: 선택 사항: KataConfig 리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다.
   • checkNodeEligibility: 선택 사항: NFD(Node Feature Discovery Operator)를 사용하여 노드 자격을 감지하도록 선택합니다.

   • kataConfigPoolSelector. 선택 사항: 선택한 노드에 kata 를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.

     1. kataConfigPoolSelector 영역을 확장합니다.
     2. kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
     3. matchExpressions 추가를 클릭합니다.
     4. 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
     5. Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는 In,NotIn,Exists 및 DoesNotExist 입니다.
     6. 값 영역을 확장한 다음 값 추가 를 클릭합니다.
     7. 값 필드에 키 레이블 값에 true 또는 false 를 입력합니다.
   • loglevel: kata 런타임 클래스가 있는 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.

5. 생성을 클릭합니다. KataConfig CR이 생성되고 작업자 노드에 kata 런타임 클래스를 설치합니다.

   kata 설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.

검증

1. KataConfig 탭에서 KataConfig CR을 클릭하여 세부 정보를 확인합니다.

2. YAML 탭을 클릭하여 상태 스탠자를 확인합니다.

   상태 스탠자에는 조건 및 kataNodes 키가 포함되어 있습니다. status.kataNodes 의 값은 노드 배열이며 각각 특정 상태의 kata 설치 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.

3. Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.

   status.kataNodes 어레이의 모든 작업자가 설치 및 조건.InProgress: False 를 지정하는 이유 없이 False를 표시하면 클러스터에 kata 가 설치됩니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
2. 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. 다음 예와 같이 spec.runtimeClassName: kata 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata
   # ...

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.7.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.7.0    1.6.0        Succeeded

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     checkNodeEligibility: false 1
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 2

   1

   선택 사항: 노드 자격 검사를 실행하려면'checkNodeEligibility'를 true 로 설정합니다.

   2

   선택 사항: 노드 레이블을 적용하여 특정 노드에 OpenShift 샌드박스 컨테이너를 설치한 경우 키와 값을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata 를 런타임 클래스로 설치합니다.

   kata 설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata 가 설치됩니다.

프로세스

1. 다음 명령을 실행하여 RuntimeClass 오브젝트를 가져옵니다.

   $ oc describe runtimeclass kata

2. overhead.podFixed.memory 및 cpu 값을 업데이트하고 파일로 runtimeclass.yaml 로 저장합니다.

   kind: RuntimeClass
   apiVersion: node.k8s.io/v1
   metadata:
     name: kata
   overhead:
     podFixed:
       memory: "500Mi"
       cpu: "500m"

3. 다음 명령을 실행하여 변경 사항을 적용합니다.

   $ oc apply -f runtimeclass.yaml

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata
   # ...

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
2. 키워드로 필터링 필드에 OpenShift sandboxed containers를 입력합니다.
3. OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
4. Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.

5. 설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수 openshift-sandboxed-containers-operator 네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.

   참고

   openshift-sandboxed-containers-operator 이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.

6. 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
7. 설치를 클릭합니다.
8. Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.

프로세스

1. OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

2. AWS 리전을 검색합니다.

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

3. 보안 그룹 ID를 검색하여 배열에 저장합니다.

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

4. 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \
   done

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator 타일을 클릭합니다.
3. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

4. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AWS_ACCESS_KEY_ID: "<aws_access_key>" 1
     AWS_SECRET_ACCESS_KEY: "<aws_secret_access_key>" 2

   1

   AWS_ACCESS_KEY_ID 값을 지정합니다.

   2

   AWS_SECRET_ACCESS_KEY 값을 지정합니다.

5. 저장을 클릭하여 변경 사항을 적용합니다.
6. 워크로드 → 시크릿 으로 이동하여 피어 Pod 시크릿을 확인합니다.

프로세스

1. AWS 인스턴스에서 다음 값을 가져옵니다.

   1. 인스턴스 ID를 검색하고 기록합니다.

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.

   2. AWS 리전을 검색하고 기록합니다.

      $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""

   3. AWS 서브넷 ID를 검색하고 기록합니다.

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

   4. AWS VPC ID를 검색하고 기록합니다.

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

   5. AWS 보안 그룹 ID를 검색하고 기록합니다.

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

2. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
3. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
4. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

5. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PODVM_INSTANCE_TYPE: "t3.medium" 1
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large" 2
     PROXY_TIMEOUT: "5m"
     PODVM_AMI_ID: "<podvm_ami_id>" 3
     AWS_REGION: "<aws_region>" 4
     AWS_SUBNET_ID: "<aws_subnet_id>" 5
     AWS_VPC_ID: "<aws_vpc_id>" 6
     AWS_SG_IDS: "<aws_sg_ids>" 7
     DISABLECVM: "true"

   1

   유형이 워크로드에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.

   2

   Pod를 생성할 때 지정할 수 있는 모든 인스턴스 유형을 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드에 대해 더 큰 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.

   3

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 AMI ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다.

   4

   검색한 AWS_REGION 값을 지정합니다.

   5

   검색한 AWS_SUBNET_ID 값을 지정합니다.

   6

   검색한 AWS_VPC_ID 값을 지정합니다.

   7

   검색한 AWS_SG_IDS 값을 지정합니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.
7. 워크로드 → ConfigMap 으로 이동하여 새 구성 맵을 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.

4. 다음 세부 정보를 입력합니다.

   • 이름: 선택 사항: 기본 이름은 example-kataconfig 입니다.
   • labels: 선택 사항: KataConfig 리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다.
   • enablePeerPods: 퍼블릭 클라우드, IBM Z® 및 IBM® LinuxONE 배포에는 선택합니다.

   • kataConfigPoolSelector. 선택 사항: 선택한 노드에 kata-remote 를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.

     1. kataConfigPoolSelector 영역을 확장합니다.
     2. kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
     3. matchExpressions 추가를 클릭합니다.
     4. 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
     5. Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는 In,NotIn,Exists 및 DoesNotExist 입니다.
     6. 값 영역을 확장한 다음 값 추가 를 클릭합니다.
     7. 값 필드에 키 레이블 값에 true 또는 false 를 입력합니다.
   • loglevel: kata-remote 런타임 클래스를 사용하여 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.

5. 생성을 클릭합니다. KataConfig CR이 생성되고 작업자 노드에 kata-remote 런타임 클래스를 설치합니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

검증

1. KataConfig 탭에서 KataConfig CR을 클릭하여 세부 정보를 확인합니다.

2. YAML 탭을 클릭하여 상태 스탠자를 확인합니다.

   상태 스탠자에는 조건 및 kataNodes 키가 포함되어 있습니다. status.kataNodes 의 값은 노드 배열이며 각 노드는 특정 kata-remote 설치의 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.

3. Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.

   status.kataNodes 어레이의 모든 작업자가 설치 및 조건.InProgress: False 를 지정하는 이유 없이 False를 표시하면 클러스터에 kata-remote 가 설치됩니다.

프로세스

1. 워크로드 → ConfigMap 으로 이동합니다.
2. 공급자 구성 맵을 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. YAML 파일의 상태 스탠자를 확인합니다.

   PODVM_AMI_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
2. 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

5. pod-templated 오브젝트에 주석을 추가하여 수동으로 정의된 인스턴스 유형 또는 자동 인스턴스 유형을 사용합니다.

   • 수동으로 정의한 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "t3.medium" 1
     # ...

     1

     구성 맵에서 정의한 인스턴스 유형을 지정합니다.

   • 자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.7.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.7.0    1.6.0        Succeeded

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 다음 명령을 실행하여 peerpodConfig CR의 limit 속성을 수정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 1

   1

   <value>를 정의할 제한으로 바꿉니다.

프로세스

1. OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

2. AWS 리전을 검색합니다.

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

3. 보안 그룹 ID를 검색하여 배열에 저장합니다.

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

4. 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \
   done

프로세스

1. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AWS_ACCESS_KEY_ID: "<aws_access_key>" 1
     AWS_SECRET_ACCESS_KEY: "<aws_secret_access_key>" 2

   1

   AWS_ACCESS_KEY_ID 값을 지정합니다.

   2

   AWS_SECRET_ACCESS_KEY 값을 지정합니다.

2. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

프로세스

1. AWS 인스턴스에서 다음 값을 가져옵니다.

   1. 인스턴스 ID를 검색하고 기록합니다.

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.

   2. AWS 리전을 검색하고 기록합니다.

      $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""

   3. AWS 서브넷 ID를 검색하고 기록합니다.

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

   4. AWS VPC ID를 검색하고 기록합니다.

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

   5. AWS 보안 그룹 ID를 검색하고 기록합니다.

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PODVM_INSTANCE_TYPE: "t3.medium" 1
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large" 2
     PROXY_TIMEOUT: "5m"
     PODVM_AMI_ID: "<podvm_ami_id>" 3
     AWS_REGION: "<aws_region>" 4
     AWS_SUBNET_ID: "<aws_subnet_id>" 5
     AWS_VPC_ID: "<aws_vpc_id>" 6
     AWS_SG_IDS: "<aws_sg_ids>" 7
     DISABLECVM: "true"

   1

   유형이 워크로드에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.

   2

   Pod를 생성할 때 지정할 수 있는 모든 인스턴스 유형을 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드에 대해 더 큰 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.

   3

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 AMI ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다.

   4

   검색한 AWS_REGION 값을 지정합니다.

   5

   검색한 AWS_SUBNET_ID 값을 지정합니다.

   6

   검색한 AWS_VPC_ID 값을 지정합니다.

   7

   검색한 AWS_SG_IDS 값을 지정합니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

2. YAML 파일의 상태 스탠자를 확인합니다.

   PODVM_AMI_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

2. pod-templated 오브젝트에 주석을 추가하여 수동으로 정의된 인스턴스 유형 또는 자동 인스턴스 유형을 사용합니다.

   • 수동으로 정의한 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "t3.medium" 1
     # ...

     1

     구성 맵에서 정의한 인스턴스 유형을 지정합니다.

   • 자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.

3. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
2. 키워드로 필터링 필드에 OpenShift sandboxed containers를 입력합니다.
3. OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
4. Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.

5. 설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수 openshift-sandboxed-containers-operator 네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.

   참고

   openshift-sandboxed-containers-operator 이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.

6. 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
7. 설치를 클릭합니다.
8. Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.

프로세스

1. 다음 명령을 실행하여 Azure 서브스크립션 ID를 검색합니다.

   $ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \
     -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""

2. 다음 명령을 실행하여 RBAC 콘텐츠를 생성합니다.

   $ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \
     --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"

   출력 예

   {
     "client_id": `AZURE_CLIENT_ID`,
     "client_secret": `AZURE_CLIENT_SECRET`,
     "tenant_id": `AZURE_TENANT_ID`
   }

3. 보안 오브젝트에 사용할 RBAC 출력을 기록합니다.
4. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
5. OpenShift 샌드박스 컨테이너 Operator 타일을 클릭합니다.
6. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

7. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AZURE_CLIENT_ID: "<azure_client_id>" 1
     AZURE_CLIENT_SECRET: "<azure_client_secret>" 2
     AZURE_TENANT_ID: "<azure_tenant_id>" 3
     AZURE_SUBSCRIPTION_ID: "<azure_subscription_id>" 4

   1

   AZURE_CLIENT_ID 값을 지정합니다.

   2

   AZURE_CLIENT_SECRET 값을 지정합니다.

   3

   AZURE_TENANT_ID 값을 지정합니다.

   4

   AZURE_SUBSCRIPTION_ID 값을 지정합니다.

8. 저장을 클릭하여 변경 사항을 적용합니다.
9. 워크로드 → 시크릿 으로 이동하여 피어 Pod 시크릿을 확인합니다.

프로세스

1. Azure 인스턴스에서 다음 값을 가져옵니다.

   1. Azure 리소스 그룹을 검색하고 기록합니다.

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

   2. Azure VNet 이름을 검색하고 기록합니다.

      $ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)

      이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.

   3. Azure 서브넷 ID를 검색하고 기록합니다.

      $ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

   4. Azure NSS(Network Security Group) ID를 검색하고 기록합니다.

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

   5. Azure 리전을 검색하고 기록합니다.

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""

2. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
3. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
4. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

5. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     AZURE_INSTANCE_SIZE: "Standard_B2als_v2" 1
     AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5" 2
     AZURE_SUBNET_ID: "<azure_subnet_id>" 3
     AZURE_NSG_ID: "<azure_nsg_id>" 4
     PROXY_TIMEOUT: "5m"
     AZURE_IMAGE_ID: "<azure_image_id>" 5
     AZURE_REGION: "<azure_region>" 6
     AZURE_RESOURCE_GROUP: "<azure_resource_group>" 7
     DISABLECVM: "true"

   1

   "Standard_B2als_v2" 인스턴스 크기는 워크로드에 인스턴스 크기가 정의되지 않은 경우 기본값입니다.

   2

   Pod를 생성할 때 지정할 수 있는 모든 인스턴스 크기를 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.

   3

   검색한 AZURE_SUBNET_ID 값을 지정합니다.

   4

   검색한 AZURE_NSG_ID 값을 지정합니다.

   5

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다.

   6

   검색한 AZURE_REGION 값을 지정합니다.

   7

   검색한 AZURE_RESOURCE_GROUP 값을 지정합니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.
7. 워크로드 → ConfigMap 으로 이동하여 새 구성 맵을 확인합니다.

프로세스

1. 다음 명령을 실행하여 SSH 키 쌍을 생성합니다.

   $ ssh-keygen -f ./id_rsa -N ""

2. OpenShift Container Platform 웹 콘솔에서 워크로드 → 시크릿 으로 이동합니다.
3. 시크릿 페이지에서 openshift-sandboxed-containers-operator 프로젝트에 있는지 확인합니다.
4. 생성을 클릭하고 키/값 시크릿을 선택합니다.
5. 시크릿 이름 필드에 ssh-key-secret 을 입력합니다.
6. 키 필드에 id_rsa.pub 를 입력합니다.
7. 값 필드에 공개 SSH 키를 붙여넣습니다.
8. 생성을 클릭합니다.

9. 생성한 SSH 키를 삭제합니다.

   $ shred --remove id_rsa.pub id_rsa

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.

4. 다음 세부 정보를 입력합니다.

   • 이름: 선택 사항: 기본 이름은 example-kataconfig 입니다.
   • labels: 선택 사항: KataConfig 리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다.
   • enablePeerPods: 퍼블릭 클라우드, IBM Z® 및 IBM® LinuxONE 배포에는 선택합니다.

   • kataConfigPoolSelector. 선택 사항: 선택한 노드에 kata-remote 를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.

     1. kataConfigPoolSelector 영역을 확장합니다.
     2. kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
     3. matchExpressions 추가를 클릭합니다.
     4. 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
     5. Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는 In,NotIn,Exists 및 DoesNotExist 입니다.
     6. 값 영역을 확장한 다음 값 추가 를 클릭합니다.
     7. 값 필드에 키 레이블 값에 true 또는 false 를 입력합니다.
   • loglevel: kata-remote 런타임 클래스를 사용하여 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.

5. 생성을 클릭합니다. KataConfig CR이 생성되고 작업자 노드에 kata-remote 런타임 클래스를 설치합니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

검증

1. KataConfig 탭에서 KataConfig CR을 클릭하여 세부 정보를 확인합니다.

2. YAML 탭을 클릭하여 상태 스탠자를 확인합니다.

   상태 스탠자에는 조건 및 kataNodes 키가 포함되어 있습니다. status.kataNodes 의 값은 노드 배열이며 각 노드는 특정 kata-remote 설치의 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.

3. Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.

   status.kataNodes 어레이의 모든 작업자가 설치 및 조건.InProgress: False 를 지정하는 이유 없이 False를 표시하면 클러스터에 kata-remote 가 설치됩니다.

프로세스

1. 워크로드 → ConfigMap 으로 이동합니다.
2. 공급자 구성 맵을 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. YAML 파일의 상태 스탠자를 확인합니다.

   AZURE_IMAGE_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
2. 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

5. 수동으로 정의된 인스턴스 크기 또는 자동 인스턴스 크기를 사용하도록 pod-templated 오브젝트에 주석을 추가합니다.

   • 수동으로 정의한 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "Standard_B2als_v2" 1
     # ...

     1

     구성 맵에서 정의한 인스턴스 크기를 지정합니다.

   • 자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.7.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.7.0    1.6.0        Succeeded

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 다음 명령을 실행하여 peerpodConfig CR의 limit 속성을 수정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 1

   1

   <value>를 정의할 제한으로 바꿉니다.

프로세스

1. 다음 명령을 실행하여 Azure 서브스크립션 ID를 검색합니다.

   $ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \
     -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""

2. 다음 명령을 실행하여 RBAC 콘텐츠를 생성합니다.

   $ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \
     --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"

   출력 예

   {
     "client_id": `AZURE_CLIENT_ID`,
     "client_secret": `AZURE_CLIENT_SECRET`,
     "tenant_id": `AZURE_TENANT_ID`
   }

3. 보안 오브젝트에 사용할 RBAC 출력을 기록합니다.

4. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AZURE_CLIENT_ID: "<azure_client_id>" 1
     AZURE_CLIENT_SECRET: "<azure_client_secret>" 2
     AZURE_TENANT_ID: "<azure_tenant_id>" 3
     AZURE_SUBSCRIPTION_ID: "<azure_subscription_id>" 4

   1

   AZURE_CLIENT_ID 값을 지정합니다.

   2

   AZURE_CLIENT_SECRET 값을 지정합니다.

   3

   AZURE_TENANT_ID 값을 지정합니다.

   4

   AZURE_SUBSCRIPTION_ID 값을 지정합니다.

5. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

프로세스

1. Azure 인스턴스에서 다음 값을 가져옵니다.

   1. Azure 리소스 그룹을 검색하고 기록합니다.

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

   2. Azure VNet 이름을 검색하고 기록합니다.

      $ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)

      이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.

   3. Azure 서브넷 ID를 검색하고 기록합니다.

      $ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

   4. Azure NSS(Network Security Group) ID를 검색하고 기록합니다.

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

   5. Azure 리전을 검색하고 기록합니다.

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     AZURE_INSTANCE_SIZE: "Standard_B2als_v2" 1
     AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5" 2
     AZURE_SUBNET_ID: "<azure_subnet_id>" 3
     AZURE_NSG_ID: "<azure_nsg_id>" 4
     PROXY_TIMEOUT: "5m"
     AZURE_IMAGE_ID: "<azure_image_id>" 5
     AZURE_REGION: "<azure_region>" 6
     AZURE_RESOURCE_GROUP: "<azure_resource_group>" 7
     DISABLECVM: "true"

   1

   "Standard_B2als_v2" 인스턴스 크기는 워크로드에 인스턴스 크기가 정의되지 않은 경우 기본값입니다.

   2

   Pod를 생성할 때 지정할 수 있는 모든 인스턴스 크기를 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.

   3

   검색한 AZURE_SUBNET_ID 값을 지정합니다.

   4

   검색한 AZURE_NSG_ID 값을 지정합니다.

   5

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다.

   6

   검색한 AZURE_REGION 값을 지정합니다.

   7

   검색한 AZURE_RESOURCE_GROUP 값을 지정합니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

프로세스

1. 다음 명령을 실행하여 SSH 키 쌍을 생성합니다.

   $ ssh-keygen -f ./id_rsa -N ""

2. 다음 명령을 실행하여 Secret 오브젝트를 생성합니다.

   $ oc create secret generic ssh-key-secret \
     -n openshift-sandboxed-containers-operator \
     --from-file=id_rsa.pub=./id_rsa.pub \
     --from-file=id_rsa=./id_rsa

3. 생성한 SSH 키를 삭제합니다.

   $ shred --remove id_rsa.pub id_rsa

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

2. YAML 파일의 상태 스탠자를 확인합니다.

   AZURE_IMAGE_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

2. 수동으로 정의된 인스턴스 크기 또는 자동 인스턴스 크기를 사용하도록 pod-templated 오브젝트에 주석을 추가합니다.

   • 수동으로 정의한 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "Standard_B2als_v2" 1
     # ...

     1

     구성 맵에서 정의한 인스턴스 크기를 지정합니다.

   • 자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.

3. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. trustee-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: trustee-operator-system

2. 다음 명령을 실행하여 trustee-operator-system 네임스페이스를 생성합니다.

   $ oc apply -f trustee-namespace.yaml

3. trustee-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: trustee-operator-group
     namespace: trustee-operator-system
   spec:
     targetNamespaces:
     - trustee-operator-system

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f trustee-operatorgroup.yaml

5. trustee-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: trustee-operator
     namespace: trustee-operator-system
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: trustee-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: trustee-operator.v0.1.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f trustee-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n trustee-operator-system

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n trustee-operator-system

   출력 예

   NAME                      DISPLAY                        PHASE
   trustee-operator.v0.1.0   Trustee Operator  0.1.0        Succeeded

프로세스

1. 다음 명령을 실행하여 엣지 경로를 만듭니다.

   $ oc create route edge --service=kbs-service --port kbs-port \
     -n trustee-operator-system

   참고

   참고: 현재 유효한 CA 서명 인증서가 있는 경로만 지원됩니다. 자체 서명된 인증서가 있는 경로를 사용할 수 없습니다.

2. 다음 명령을 실행하여 TRUSTEE_HOST 변수를 설정합니다.

   $ TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \
     -o jsonpath={.spec.host})

3. 다음 명령을 실행하여 경로를 확인합니다.

   $ echo $TRUSTEE_HOST

   출력 예

   kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.io

   피어 Pod 구성 맵의 이 값을 기록합니다.

프로세스

1. cc-feature-gate.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: osc-feature-gates
     namespace: openshift-sandboxed-containers-operator
   data:
     confidential: "true"

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f cc-feature-gate.yaml

프로세스

1. Azure 인스턴스에서 다음 값을 가져옵니다.

   1. Azure 리소스 그룹을 검색하고 기록합니다.

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

   2. Azure VNet 이름을 검색하고 기록합니다.

      $ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)

      이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.

   3. Azure 서브넷 ID를 검색하고 기록합니다.

      $ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

   4. Azure NSS(Network Security Group) ID를 검색하고 기록합니다.

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

   5. Azure 리전을 검색하고 기록합니다.

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     AZURE_INSTANCE_SIZE: "Standard_DC2as_v5" 1
     AZURE_INSTANCE_SIZES: "Standard_DC2as_v5, Standard_DC4as_v5, Standard_DC8as_v5" 2
     AZURE_SUBNET_ID: "<azure_subnet_id>" 3
     AZURE_NSG_ID: "<azure_nsg_id>" 4
     PROXY_TIMEOUT: "5m"
     AZURE_IMAGE_ID: "<azure_image_id>" 5
     AZURE_REGION: "<azure_region>" 6
     AZURE_RESOURCE_GROUP: "<azure_resource_group>" 7
     DISABLECVM: "false"
     AA_KBC_PARAMS: "cc_kbc::https://${TRUSTEE_HOST}" 8
     ENABLE_SECURE_BOOT: "true" 9

   1

   워크로드에 인스턴스 크기가 정의되지 않은 경우 "Standard_DC2as_v5" 값이 기본값입니다. 인스턴스 유형이 신뢰할 수 있는 환경을 지원하는지 확인합니다. 기본 "Standard_DC2as_v5" 값은 AMD SEV-SNP용입니다. TEE가 Intel TDX인 경우 Standard_EC4eds_v5 를 지정합니다.

   2

   Pod를 생성할 때 지정할 수 있는 모든 인스턴스 크기를 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다. Intel TDX의 경우 "Standard_EC4eds_v5, Standard_EC8eds_v5, Standard_EC16eds_v5" 를 지정합니다.

   3

   검색한 AZURE_SUBNET_ID 값을 지정합니다.

   4

   검색한 AZURE_NSG_ID 값을 지정합니다.

   5

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다.

   6

   검색한 AZURE_REGION 값을 지정합니다.

   7

   검색한 AZURE_RESOURCE_GROUP 값을 지정합니다.

   8

   Trustee 경로의 호스트 이름을 지정합니다.

   9

   기본적으로 Secure Boot를 활성화하려면 true 를 지정합니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

4. 다음 명령을 실행하여 peerpodconfig-ctrl-caa-daemon 데몬 세트를 다시 시작합니다.

   $ oc set env ds/peerpodconfig-ctrl-caa-daemon \
     -n openshift-sandboxed-containers-operator REBOOT="$(date)"

프로세스

1. 다음 명령을 실행하여 KataConfig CR을 삭제합니다.

   $ oc delete kataconfig example-kataconfig

   OpenShift 샌드박스된 컨테이너 Operator는 클러스터에서 런타임을 활성화하기 위해 처음 생성된 모든 리소스를 제거합니다.

   중요

   KataConfig CR을 삭제하면 모든 작업자 노드가 재부팅될 때까지 CLI가 응답하지 않습니다. 확인을 수행하기 전에 삭제 프로세스를 완료해야 합니다.

2. 다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.

   $ oc get kataconfig example-kataconfig

   출력 예

   No example-kataconfig instances exist

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: cc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 다음 명령을 실행하여 개인 키를 생성합니다.

   $ openssl genpkey -algorithm ed25519 > privateKey

2. 다음 명령을 실행하여 공개 키를 생성합니다.

   $ openssl pkey -in privateKey -pubout -out publicKey

3. 다음 명령을 실행하여 보안을 생성합니다.

   $ oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-system

4. 다음 명령을 실행하여 시크릿을 확인합니다.

   $ oc get secret -n trustee-operator-system

프로세스

1. kbs-config-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: kbs-config-cm
     namespace: trustee-operator-system
   data:
     kbs-config.json: |
       {
         "insecure_http" : true,
         "sockets": ["0.0.0.0:8080"],
         "auth_public_key": "/etc/auth-secret/publicKey",
         "attestation_token_config": {
           "attestation_token_type": "CoCo"
         },
         "repository_config": {
           "type": "LocalFs",
           "dir_path": "/opt/confidential-containers/kbs/repository"
         },
         "as_config": {
           "work_dir": "/opt/confidential-containers/attestation-service",
           "policy_engine": "opa",
           "attestation_token_broker": "Simple",
             "attestation_token_config": {
             "duration_min": 5
             },
           "rvps_config": {
             "store_type": "LocalJson",
             "store_config": {
               "file_path": "/opt/confidential-containers/rvps/reference-values/reference-values.json"
             }
            }
         },
         "policy_engine_config": {
           "policy_path": "/opt/confidential-containers/opa/policy.rego"
         }
       }

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f kbs-config-cm.yaml

프로세스

1. rvps-configmap.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: rvps-reference-values
     namespace: trustee-operator-system
   data:
     reference-values.json: |
       [ 1
       ]

   1

   필요한 경우 하드웨어 플랫폼에 대해 신뢰할 수 있는 다이제스트를 지정합니다. 그렇지 않으면 비워 둡니다.

2. 다음 명령을 실행하여 RVPS 구성 맵을 생성합니다.

   $ oc apply -f rvps-configmap.yaml

3. 다음 예에 따라 인증된 클라이언트와 공유할 하나 이상의 시크릿을 생성합니다.

   $ oc create secret generic kbsres1 --from-literal key1=<res1val1> \
     --from-literal key2=<res1val2> -n trustee-operator-system

   이 예에서 kbsres1 시크릿에는 두 개의 항목(key1,key2)이 있으며, 이 항목은 Trustee 클라이언트가 검색합니다. 요구 사항에 따라 더 많은 시크릿을 추가할 수 있습니다.

4. resourcepolicy-configmap.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: resource-policy
     namespace: trustee-operator-system
   data:
     policy.rego: | 1
       package policy 2
       default allow = false
       allow {
         input["tee"] != "sample"
       }

   1

   리소스 정책의 이름 policy.rego 는 Trustee 구성 맵에 정의된 리소스 정책과 일치해야 합니다.

   2

   리소스 정책은 Open Policy Agent 사양을 따릅니다. 이 예제에서는 TEE가 샘플 attester가 아닌 경우 모든 리소스를 검색할 수 있습니다.

5. 다음 명령을 실행하여 리소스 정책 구성 맵을 생성합니다.

   $ oc apply -f resourcepolicy-configmap.yaml

6. 선택 사항: 다음 예에 따라 attestation-policy.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: attestation-policy
     namespace: trustee-operator-system
   data:
     default.rego: |
        package policy 1
        import future.keywords.every
   
        default allow = false
   
        allow {
           every k, v in input {
               judge_field(k, v)
           }
        }
   
        judge_field(input_key, input_value) {
           has_key(data.reference, input_key)
           reference_value := data.reference[input_key]
           match_value(reference_value, input_value)
        }
   
        judge_field(input_key, input_value) {
           not has_key(data.reference, input_key)
        }
   
        match_value(reference_value, input_value) {
           not is_array(reference_value)
           input_value == reference_value
        }
   
        match_value(reference_value, input_value) {
           is_array(reference_value)
           array_include(reference_value, input_value)
        }
   
        array_include(reference_value_array, input_value) {
           reference_value_array == []
        }
   
        array_include(reference_value_array, input_value) {
           reference_value_array != []
           some i
           reference_value_array[i] == input_value
        }
   
        has_key(m, k) {
           _ = m[k]
        }

   1

   인증 정책은 Open Policy Agent 사양을 따릅니다. 이 예에서 attestation 정책은 테스트 보고서에 제공된 클레임을 RVPS 데이터베이스에 등록된 참조 값과 비교합니다. 인증 프로세스는 모든 값이 일치하는 경우에만 성공합니다.

7. 다음 명령을 실행하여 인증 정책 구성 맵을 생성합니다.

   $ oc apply -f attestation-policy.yaml

8. TEE가 Intel TDX인 경우 tdx-config.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: tdx-config
     namespace: trustee-operator-system
   data:
     sgx_default_qcnl.conf: | \
         {
           "collateral_service": "https://api.trustedservices.intel.com/sgx/certification/v4/",
           "pccs_url": "<pccs_url>" 1
         }

   1

   PCCS URL을 지정합니다(예: https://localhost:8081/sgx/certification/v4/ ).

9. 다음 명령을 실행하여 TDX 구성 맵을 생성합니다.

   $ oc apply -f tdx-config.yaml

프로세스

1. kbsconfig-cr.yaml 매니페스트 파일을 생성합니다.

   apiVersion: confidentialcontainers.org/v1alpha1
   kind: KbsConfig
   metadata:
     labels:
       app.kubernetes.io/name: kbsconfig
       app.kubernetes.io/instance: kbsconfig
       app.kubernetes.io/part-of: trustee-operator
       app.kubernetes.io/managed-by: kustomize
       app.kubernetes.io/created-by: trustee-operator
     name: kbsconfig
     namespace: trustee-operator-system
   spec:
     kbsConfigMapName: kbs-config-cm
     kbsAuthSecretName: kbs-auth-public-key
     kbsDeploymentType: AllInOneDeployment
     kbsRvpsRefValuesConfigMapName: rvps-reference-values
     kbsSecretResources: ["kbsres1"]
     kbsResourcePolicyConfigMapName: resource-policy

2. 다음 명령을 실행하여 KbsConfig CR을 생성합니다.

   $ oc apply -f kbsconfig-cr.yaml

검증

1. 다음 명령을 실행하여 기본 프로젝트를 설정합니다.

   $ oc project trustee-operator-system

2. 다음 명령을 실행하여 Pod를 확인합니다.

   $ oc get pods -n trustee-operator-system

   출력 예

   NAME                                                   READY   STATUS    RESTARTS   AGE
   trustee-deployment-8585f98449-9bbgl                    1/1     Running   0          22m
   trustee-operator-controller-manager-5fbd44cd97-55dlh   2/2     Running   0          59m

3. 다음 명령을 실행하여 POD_NAME 환경 변수를 설정합니다.

   $ POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)

4. 다음 명령을 실행하여 Pod 로그를 확인합니다.

   $ oc logs -n trustee-operator-system $POD_NAME

   출력 예

   [2024-05-30T13:44:24Z INFO  kbs] Using config file /etc/kbs-config/kbs-config.json
   [2024-05-30T13:44:24Z WARN  attestation_service::rvps] No RVPS address provided and will launch a built-in rvps
   [2024-05-30T13:44:24Z INFO  attestation_service::token::simple] No Token Signer key in config file, create an ephemeral key and without CA pubkey cert
   [2024-05-30T13:44:24Z INFO  api_server] Starting HTTPS server at [0.0.0.0:8080]
   [2024-05-30T13:44:24Z INFO  actix_server::builder] starting 12 workers
   [2024-05-30T13:44:24Z INFO  actix_server::server] Tokio runtime found; starting in existing Tokio runtime

프로세스

1. verification-pod.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: ocp-cc-pod
     labels:
       app: ocp-cc-pod
     annotations:
       io.katacontainers.config.agent.policy: cGFja2FnZSBhZ2VudF9wb2xpY3kKCmRlZmF1bHQgQWRkQVJQTmVpZ2hib3JzUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgQWRkU3dhcFJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IENsb3NlU3RkaW5SZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBDb3B5RmlsZVJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IENyZWF0ZUNvbnRhaW5lclJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IENyZWF0ZVNhbmRib3hSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBEZXN0cm95U2FuZGJveFJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IEV4ZWNQcm9jZXNzUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgR2V0TWV0cmljc1JlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IEdldE9PTUV2ZW50UmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgR3Vlc3REZXRhaWxzUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgTGlzdEludGVyZmFjZXNSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBMaXN0Um91dGVzUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgTWVtSG90cGx1Z0J5UHJvYmVSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBPbmxpbmVDUFVNZW1SZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBQYXVzZUNvbnRhaW5lclJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFB1bGxJbWFnZVJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFJlYWRTdHJlYW1SZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBSZW1vdmVDb250YWluZXJSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBSZW1vdmVTdGFsZVZpcnRpb2ZzU2hhcmVNb3VudHNSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBSZXNlZWRSYW5kb21EZXZSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBSZXN1bWVDb250YWluZXJSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBTZXRHdWVzdERhdGVUaW1lUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgU2V0UG9saWN5UmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgU2lnbmFsUHJvY2Vzc1JlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFN0YXJ0Q29udGFpbmVyUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgU3RhcnRUcmFjaW5nUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgU3RhdHNDb250YWluZXJSZXF1ZXN0IDo9IHRydWUKZGVmYXVsdCBTdG9wVHJhY2luZ1JlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFR0eVdpblJlc2l6ZVJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFVwZGF0ZUNvbnRhaW5lclJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFVwZGF0ZUVwaGVtZXJhbE1vdW50c1JlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFVwZGF0ZUludGVyZmFjZVJlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFVwZGF0ZVJvdXRlc1JlcXVlc3QgOj0gdHJ1ZQpkZWZhdWx0IFdhaXRQcm9jZXNzUmVxdWVzdCA6PSB0cnVlCmRlZmF1bHQgV3JpdGVTdHJlYW1SZXF1ZXN0IDo9IHRydWUK 1
   spec:
     runtimeClassName: kata-remote
     containers:
       - name: skr-openshift
         image: registry.access.redhat.com/ubi9/ubi:9.3
         command:
           - sleep
           - "36000"
         securityContext:
           privileged: false
           seccompProfile:
             type: RuntimeDefault

   1

   이 pod 주석은 중요한 데이터가 표준 I/O에 기록되지 않도록 하는 정책을 재정의합니다.

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f verification-pod.yaml

3. 다음 명령을 실행하여 ocp-cc-pod 의 Bash 쉘에 연결합니다.

   $ oc exec -it ocp-cc-pod -- bash

4. 다음 명령을 실행하여 Pod 시크릿을 가져옵니다.

   $ curl http://127.0.0.1:8006/cdh/resource/default/kbsres1/key1

   출력 예

   res1val1

   Trustee 서버는 인증에 성공한 경우에만 시크릿을 반환합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.7.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.7.0    1.6.0        Succeeded

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 다음 명령을 실행하여 peerpodConfig CR의 limit 속성을 수정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 1

   1

   <value>를 정의할 제한으로 바꿉니다.

프로세스

1. KVM 호스트에 로그인합니다.

2. 다음 명령을 실행하여 libvirt 풀의 이름을 설정합니다.

   $ export LIBVIRT_POOL=<libvirt_pool>

   libvirt 공급자의 시크릿을 생성하려면 LIBVIRT_POOL 값이 필요합니다.

3. 다음 명령을 실행하여 libvirt 풀의 이름을 설정합니다.

   $ export LIBVIRT_VOL_NAME=<libvirt_volume>

   libvirt 공급자의 시크릿을 생성하려면 LIBVIRT_VOL_NAME 값이 필요합니다.

4. 다음 명령을 실행하여 기본 스토리지 풀 위치의 경로를 설정합니다.

   $ export LIBVIRT_POOL_DIRECTORY=<target_directory> 1

   1

   libvirt에 읽기 및 쓰기 액세스 권한이 있는지 확인하려면 libvirt 스토리지 디렉터리의 하위 디렉터리를 사용합니다. 기본값은 /var/lib/libvirt/images/ 입니다.

5. 다음 명령을 실행하여 libvirt 풀을 생성합니다.

   $ virsh pool-define-as $LIBVIRT_POOL --type dir --target "$LIBVIRT_POOL_DIRECTORY"

6. 다음 명령을 실행하여 libvirt 풀을 시작합니다.

   $ virsh pool-start $LIBVIRT_POOL

7. 다음 명령을 실행하여 풀에 대한 libvirt 볼륨을 만듭니다.

   $ virsh -c qemu:///system \
     vol-create-as --pool $LIBVIRT_POOL \
     --name $LIBVIRT_VOL_NAME \
     --capacity 20G \
     --allocation 2G \
     --prealloc-metadata \
     --format qcow2

프로세스

1. Dockerfile.podvm-oci 파일을 생성합니다.

   FROM scratch
   
   ARG PODVM_IMAGE_SRC
   ENV PODVM_IMAGE_PATH="/image/podvm.qcow2"
   
   COPY $PODVM_IMAGE_SRC $PODVM_IMAGE_PATH

2. 다음 명령을 실행하여 Pod VM QCOW2 이미지를 사용하여 컨테이너를 빌드합니다.

   $ docker build -t podvm-libvirt \
     --build-arg PODVM_IMAGE_SRC=<podvm_image_source> \ 1
     --build-arg PODVM_IMAGE_PATH=<podvm_image_path> \ 2
     -f Dockerfile.podvm-oci .

   1

   호스트의 QCOW2 이미지 소스를 지정합니다.

   2

   선택 사항: 기본 /image/podvm.qcow2 를 사용하지 않는 경우 QCOW2 이미지의 경로를 지정합니다.

프로세스

1. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     CLOUD_PROVIDER: "libvirt"
     LIBVIRT_URI: "<libvirt_gateway_uri>" 1
     LIBVIRT_POOL: "<libvirt_pool>" 2
     LIBVIRT_VOL_NAME: "<libvirt_volume>" 3
     REDHAT_OFFLINE_TOKEN: "<rh_offline_token>" 4

   1

   libvirt URI를 지정합니다.

   2

   libvirt 풀을 지정합니다.

   3

   libvirt 볼륨 이름을 지정합니다.

   4

   Operator 빌드 이미지에 필요한 Red Hat 오프라인 토큰을 지정합니다.

2. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

프로세스

1. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "libvirt"
     DISABLECVM: "true"

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

프로세스

1. 다음 예에 따라 libvirt-podvm-image-cm.yaml 매니페스트를 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: libvirt-podvm-image-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     PODVM_DISTRO: "rhel"
     CAA_SRC: "https://github.com/confidential-containers/cloud-api-adaptor"
     CAA_REF: "<cloud_api_adaptor_version>" 1
     DOWNLOAD_SOURCES: "no"
     CONFIDENTIAL_COMPUTE_ENABLED: "yes"
     UPDATE_PEERPODS_CM: "yes"
     ORG_ID: "<rhel_organization_id>"
     ACTIVATION_KEY: "<rhel_activation_key>" 2
     IMAGE_NAME: "<podvm_libvirt_image>"
     PODVM_IMAGE_URI: "oci::<image_repo_url>:<image_tag>::<image_path>" 3
     SE_BOOT: "true" 4
     BASE_OS_VERSION: "<rhel_image_os_version>" 5

   1

   Cloud API Adaptor 소스의 최신 버전을 지정합니다.

   2

   RHEL 활성화 키를 지정합니다.

   3

   선택 사항: 컨테이너 이미지를 생성한 경우 다음 값을 지정합니다.

   • image_repo_url: 컨테이너 레지스트리 URL
   • IMAGE_TAG: 이미지 태그.
   • image_path: 이미지 경로입니다. 기본값: /image/podvm.qcow2.

   4

   SE_BOOT: "true" 를 사용하면 Operator 빌드 이미지에 대해 IBM Secure Execution를 사용할 수 있습니다. 컨테이너 이미지를 생성한 경우 false 로 설정합니다.

   5

   RHEL 이미지 운영 체제 버전을 지정합니다. IBM Z® Secure Execution는 RHEL 9.4 이상 버전을 지원합니다.

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f libvirt-podvm-image-cm.yaml

   libvirt 공급자에 대해 libvirt Pod VM 이미지 구성 맵이 생성됩니다.

프로세스

1. 다음 명령을 실행하여 SSH 키 쌍을 생성합니다.

   $ ssh-keygen -f ./id_rsa -N ""

2. 공개 SSH 키를 KVM 호스트에 복사합니다.

   $ ssh-copy-id -i ./id_rsa.pub <KVM_HOST_IP>

3. 다음 명령을 실행하여 Secret 오브젝트를 생성합니다.

   $ oc create secret generic ssh-key-secret \
     -n openshift-sandboxed-containers-operator \
     --from-file=id_rsa.pub=./id_rsa.pub \
     --from-file=id_rsa=./id_rsa

4. 생성한 SSH 키를 삭제합니다.

   $ shred --remove id_rsa.pub id_rsa

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드했는지 확인합니다.

   $ oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operator

   출력 예

   Name: peer-pods-cm
   Namespace: openshift-sandboxed-containers-operator
   Labels: <none>
   Annotations: <none>
   
   Data
   ====
   CLOUD_PROVIDER: libvirt
   
   BinaryData
   ====
   Events: <none>

5. 다음 명령을 실행하여 UPDATEDMACHINECOUNT 가 MACHINECOUNT 와 같은 경우 UPDATED MACHINECOUNT가 UPDATED 상태에 있는지 확인하려면 kata-oc 머신 구성 풀 진행 상황을 모니터링합니다.

   $ watch oc get mcp/kata-oc

6. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

7. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. trustee-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: trustee-operator-system

2. 다음 명령을 실행하여 trustee-operator-system 네임스페이스를 생성합니다.

   $ oc apply -f trustee-namespace.yaml

3. trustee-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: trustee-operator-group
     namespace: trustee-operator-system
   spec:
     targetNamespaces:
     - trustee-operator-system

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f trustee-operatorgroup.yaml

5. trustee-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: trustee-operator
     namespace: trustee-operator-system
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: trustee-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: trustee-operator.v0.1.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f trustee-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n trustee-operator-system

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n trustee-operator-system

   출력 예

   NAME                      DISPLAY                        PHASE
   trustee-operator.v0.1.0   Trustee Operator  0.1.0        Succeeded

프로세스

1. 다음 명령을 실행하여 엣지 경로를 만듭니다.

   $ oc create route edge --service=kbs-service --port kbs-port \
     -n trustee-operator-system

   참고

   참고: 현재 유효한 CA 서명 인증서가 있는 경로만 지원됩니다. 자체 서명된 인증서가 있는 경로를 사용할 수 없습니다.

2. 다음 명령을 실행하여 TRUSTEE_HOST 변수를 설정합니다.

   $ TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \
     -o jsonpath={.spec.host})

3. 다음 명령을 실행하여 경로를 확인합니다.

   $ echo $TRUSTEE_HOST

   출력 예

   kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.io

프로세스

1. cc-feature-gate.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: osc-feature-gates
     namespace: openshift-sandboxed-containers-operator
   data:
     confidential: "true"

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f cc-feature-gate.yaml

프로세스

1. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "libvirt"
     DISABLECVM: "false"

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

3. 다음 명령을 실행하여 peerpodconfig-ctrl-caa-daemon 데몬 세트를 다시 시작합니다.

   $ oc set env ds/peerpodconfig-ctrl-caa-daemon \
     -n openshift-sandboxed-containers-operator REBOOT="$(date)"

프로세스

1. 다음 명령을 실행하여 KataConfig CR을 삭제합니다.

   $ oc delete kataconfig example-kataconfig

2. 다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.

   $ oc get kataconfig example-kataconfig

   출력 예

   No example-kataconfig instances exist

프로세스

1. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     REDHAT_OFFLINE_TOKEN: "<rh_offline_token>" 1
     HKD_CRT: "<hkd_crt_value>" 2

   1

   Operator 빌드 이미지에 필요한 Red Hat 오프라인 토큰을 지정합니다.

   2

   Operator 빌드 이미지에 대해 IBM Secure Execution를 활성화하려면 HKD 인증서 값을 지정합니다.

2. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: cc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드했는지 확인합니다.

   $ oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operator

   출력 예

   Name: peer-pods-cm
   Namespace: openshift-sandboxed-containers-operator
   Labels: <none>
   Annotations: <none>
   
   Data
   ====
   CLOUD_PROVIDER: libvirt
   DISABLECVM: false 1
   LIBVIRT_IMAGE_ID: fa-pp-vol 2
   
   BinaryData
   ====
   Events: <none>

   1

   Operator 빌드 이미지의 IBM Secure Execution 중에 기밀성 VM을 활성화합니다.

   2

   피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드한 경우 값을 포함합니다.

5. 다음 명령을 실행하여 UPDATEDMACHINECOUNT 가 MACHINECOUNT 와 같은 경우 UPDATED MACHINECOUNT가 UPDATED 상태에 있는지 확인하려면 kata-oc 머신 구성 풀 진행 상황을 모니터링합니다.

   $ watch oc get mcp/kata-oc

6. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

7. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 다음 명령을 실행하여 개인 키를 생성합니다.

   $ openssl genpkey -algorithm ed25519 > privateKey

2. 다음 명령을 실행하여 공개 키를 생성합니다.

   $ openssl pkey -in privateKey -pubout -out publicKey

3. 다음 명령을 실행하여 보안을 생성합니다.

   $ oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-system

4. 다음 명령을 실행하여 시크릿을 확인합니다.

   $ oc get secret -n trustee-operator-system

프로세스

1. kbs-config-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: kbs-config-cm
     namespace: trustee-operator-system
   data:
     kbs-config.json: |
       {
         "insecure_http" : true,
         "sockets": ["0.0.0.0:8080"],
         "auth_public_key": "/etc/auth-secret/publicKey",
         "attestation_token_config": {
           "attestation_token_type": "CoCo"
         },
         "repository_config": {
           "type": "LocalFs",
           "dir_path": "/opt/confidential-containers/kbs/repository"
         },
         "as_config": {
           "work_dir": "/opt/confidential-containers/attestation-service",
           "policy_engine": "opa",
           "attestation_token_broker": "Simple",
             "attestation_token_config": {
             "duration_min": 5
             },
           "rvps_config": {
             "store_type": "LocalJson",
             "store_config": {
               "file_path": "/opt/confidential-containers/rvps/reference-values/reference-values.json"
             }
            }
         },
         "policy_engine_config": {
           "policy_path": "/opt/confidential-containers/opa/policy.rego"
         }
       }

2. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f kbs-config-cm.yaml

프로세스

1. 다음 명령을 실행하여 SE 헤더의 임시 폴더를 생성합니다.

   $ mkdir -p /tmp/ibmse/hdr

2. 다음 명령을 실행하여 IBM s390 Linux 리포지토리에서 pvextract-hdr 툴을 다운로드합니다.

   $ wget https://github.com/ibm-s390-linux/s390-tools/raw/v2.33.1/rust/pvattest/tools/pvextract-hdr -O /tmp/pvextract-hdr

3. 다음 명령을 실행하여 툴을 실행 가능하게 만듭니다.

   $ chmod +x /tmp/pvextract-hdr

4. 다음 명령을 실행하여 $IMAGE_OUTPUT_DIR 변수를 설정합니다.

   $ export IMAGE=$IMAGE_OUTPUT_DIR/se-podvm-commit-short-id.qcow2

5. 다음 명령을 실행하여 $IMAGE 변수를 설정합니다.

   $ export IMAGE=/root/rooo/se-podvm-d1fb986-dirty-s390x.qcow2

6. 다음 명령을 실행하여 nbd 커널 모듈을 활성화합니다.

   $ modprobe nbd

7. 다음 명령을 실행하여 SE 이미지를 NBD(네트워크 블록 장치)로 연결합니다.

   $ qemu-nbd --connect=/dev/nbd0 $IMAGE

8. 다음 명령을 실행하여 SE 이미지의 마운트 디렉터리를 생성합니다.

   $ mkdir -p /mnt/se-image/

9. 다음 명령을 실행하여 프로세스를 일시 중지합니다.

   $ sleep 1

10. 다음 명령을 실행하여 블록 장치를 나열합니다.

    $ lsblk

    출력 예

    nbd0                                           43:0    0  100G  0 disk
    ├─nbd0p1                                       43:1    0  255M  0 part
    ├─nbd0p2                                       43:2    0    6G  0 part
    │ └─luks-e23e15fa-9c2a-45a5-9275-aae9d8e709c3 253:2    0    6G  0 crypt
    └─nbd0p3                                       43:3    0 12.4G  0 part
    nbd1                                           43:32   0   20G  0 disk
    ├─nbd1p1                                       43:33   0  255M  0 part
    ├─nbd1p2                                       43:34   0    6G  0 part
    │ └─luks-5a540f7c-c0cb-419b-95e0-487670d91525 253:3    0    6G  0 crypt
    └─nbd1p3                                       43:35   0 86.9G  0 part
    nbd2                                           43:64   0    0B  0 disk
    nbd3                                           43:96   0    0B  0 disk
    nbd4                                           43:128  0    0B  0 disk
    nbd5                                           43:160  0    0B  0 disk
    nbd6                                           43:192  0    0B  0 disk
    nbd7                                           43:224  0    0B  0 disk
    nbd8                                           43:256  0    0B  0 disk
    nbd9                                           43:288  0    0B  0 disk
    nbd10                                          43:320  0    0B  0 disk

11. 사용 가능한 NBD 파티션에 SE 이미지 디렉토리를 마운트하고 다음 명령을 실행하여 SE 헤더를 추출합니다.

    $ mount /dev/<nbdXp1> /mnt/se-image/ /tmp/pvextract-hdr \
      -o /tmp/ibmse/hdr/hdr.bin /mnt/se-image/se.img

    출력 예

    SE header found at offset 0x014000
    SE header written to '/tmp/ibmse/hdr/hdr.bin' (640 bytes)

    NBD를 사용할 수 없는 경우 다음 오류가 표시됩니다.

    mount: /mnt/se-image: can't read superblock on /dev/nbd0p1

12. 다음 명령을 실행하여 SE 이미지 디렉터리를 마운트 해제합니다.

    $ umount /mnt/se-image/

13. 다음 명령을 실행하여 네트워크 블록 스토리지 장치의 연결을 해제합니다.

    $ qemu-nbd --disconnect /dev/nbd0

프로세스

1. 다음 단계를 수행하여 인증 정책 필드를 가져옵니다.

   1. 다음 명령을 실행하여 OpenShift Trustee 리포지토리에서 se_parse_hdr.py 스크립트를 다운로드합니다.

      $ wget https://github.com/openshift/trustee/raw/main/attestation-service/verifier/src/se/se_parse_hdr.py -O /tmp/se_parse_hdr.py

   2. 다음 명령을 실행하여 SE Host Key Document (HKD) 인증서에 대한 임시 디렉토리를 만듭니다.

      $ mkdir /tmp/ibmse/hkds/

   3. 다음 명령을 실행하여 HKD(Host Key Document) 인증서를 임시 디렉터리에 복사합니다.

      $ cp ~/path/to/<hkd_cert.crt> /tmp/ibmse/hkds/<hkd_cert.crt>

      참고

      HKD 인증서는 피어 Pod 보안을 생성할 때 다운로드한 인증서와 동일해야 합니다.

   4. se_parse_hdr.py 스크립트를 실행하여 인증 정책 필드를 가져옵니다.

      $ python3 /tmp/se_parse_hdr.py /tmp/ibmse/hdr/hdr.bin /tmp/ibmse/hkds/<hkd_cert.crt>

      출력 예

      ...
        ================================================
        se.image_phkh: xxx
        se.version: 256
        se.tag: xxx
        se.attestation_phkh: xxx

      SE 인증 정책 구성 맵에 이러한 값을 기록합니다.

2. 다음 단계를 수행하여 인증서 및 CRL(인증서 취소 목록)을 가져옵니다.

   1. 다음 명령을 실행하여 인증서에 대한 임시 디렉터리를 생성합니다.

      $ mkdir /tmp/ibmse/certs

   2. 다음 명령을 실행하여 ibm-z-host-key-signing-gen2.crt 인증서를 다운로드합니다.

      $ wget https://www.ibm.com/support/resourcelink/api/content/public/ibm-z-host-key-signing-gen2.crt -O /tmp/ibmse/certs/ibm-z-host-key-signing-gen2.crt

   3. 다음 명령을 실행하여 CryostatCert CA.crt 인증서를 다운로드합니다.

      $ wget https://www.ibm.com/support/resourcelink/api/content/public/DigiCertCA.crt -O /tmp/ibmse/certs/DigiCertCA.crt

   4. 다음 명령을 실행하여 CRL의 임시 디렉터리를 생성합니다.

      $ mkdir /tmp/ibmse/crls

   5. 다음 명령을 실행하여 MellanoxCert TrustedRootG4.crl 파일을 다운로드합니다.

      $ wget http://crl3.digicert.com/DigiCertTrustedRootG4.crl -O /tmp/ibmse/crls/DigiCertTrustedRootG4.crl

   6. 다음 명령을 실행하여 clevisCert TrustedG4CodeSigningRSA4096SHA3842021CA1.crl 파일을 다운로드합니다.

      $ wget http://crl3.digicert.com/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl -O /tmp/ibmse/crls/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl

3. RSA 키를 생성합니다.

   1. 다음 명령을 실행하여 RSA 키 쌍을 생성합니다.

      $ openssl genrsa -aes256 -passout pass:<password> -out /tmp/encrypt_key-psw.pem 4096 1

      1

      RSA 키 암호를 지정합니다.

   2. 다음 명령을 실행하여 RSA 키에 대한 임시 디렉터리를 생성합니다.

      $ mkdir /tmp/ibmse/rsa

   3. 다음 명령을 실행하여 encrypt_key.pub 키를 만듭니다.

      $ openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -pubout -out /tmp/ibmse/rsa/encrypt_key.pub

   4. 다음 명령을 실행하여 encrypt_key.pem 키를 생성합니다.

      $ openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -out /tmp/ibmse/rsa/encrypt_key.pem

4. 다음 명령을 실행하여 /tmp/ibmse 디렉터리의 구조를 확인합니다.

   $ tree /tmp/ibmse

   출력 예

   /tmp/ibmse
   ├── certs
   │   ├── ibm-z-host-key-signing-gen2.crt
   |   └── DigiCertCA.crt
   ├── crls
   │   └── ibm-z-host-key-gen2.crl
   │   └── DigiCertTrustedRootG4.crl
   │   └── DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl
   ├── hdr
   │   └── hdr.bin
   ├── hkds
   │   └── <hkd_cert.crt>
   └── rsa
       ├── encrypt_key.pem
       └── encrypt_key.pub

5. 다음 단계를 수행하여 이러한 파일을 OpenShift Container Platform 작업자 노드에 복사합니다.

   1. 다음 명령을 실행하여 /tmp/ibmse 디렉토리에서 압축 파일을 생성합니다.

      $ tar -czf ibmse.tar.gz -C /tmp/ibmse

   2. 다음 명령을 실행하여 .tar.gz 파일을 클러스터의 bastion 노드에 복사합니다.

      $ scp /tmp/ibmse.tar.gz root@<ocp_bastion_ip>:/tmp 1

      1

      bastion 노드의 IP 주소를 지정합니다.

   3. 다음 명령을 실행하여 SSH를 통해 bastion 노드에 연결합니다.

      $ ssh root@<ocp_bastion_ip>

   4. 다음 명령을 실행하여 .tar.gz 파일을 각 작업자 노드에 복사합니다.

      $ scp /tmp/ibmse.tar.gz core@<worker_node_ip>:/tmp 1

      1

      작업자 노드의 IP 주소를 지정합니다.

   5. 다음 명령을 실행하여 각 작업자 노드에서 .tar.gz 를 추출합니다.

      $ ssh core@<worker_node_ip> 'sudo mkdir -p /opt/confidential-containers/ && sudo tar -xzf /tmp/ibmse.tar.gz -C /opt/confidential-containers/'

   6. 다음 명령을 실행하여 ibmse 폴더 권한을 업데이트합니다.

      $ ssh core@<worker_node_ip> 'sudo chmod -R 755 /opt/confidential-containers/ibmse/'

프로세스

1. persistent-volume.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: ibmse-pv
     namespace: trustee-operator-system
   spec:
     capacity:
       storage: 100Mi
     accessModes:
       - ReadOnlyMany
     storageClassName: ""
     local:
       path: /opt/confidential-containers/ibmse
     nodeAffinity:
       required:
         nodeSelectorTerms:
           - matchExpressions:
               - key: node-role.kubernetes.io/worker
                 operator: Exists

2. 다음 명령을 실행하여 영구 볼륨을 생성합니다.

   $ oc apply -f persistent-volume.yaml

3. persistent-volume-claim.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: ibmse-pvc
     namespace: trustee-operator-system
   spec:
     accessModes:
       - ReadOnlyMany
     storageClassName: ""
     resources:
       requests:
         storage: 100Mi

4. 다음 명령을 실행하여 영구 볼륨 클레임을 생성합니다.

   $ oc apply -f persistent-volume-claim.yaml

프로세스

1. rvps-configmap.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: rvps-reference-values
     namespace: trustee-operator-system
   data:
     reference-values.json: |
       [ 1
       ]

   1

   이 값을 비워 둡니다.

2. 다음 명령을 실행하여 RVPS 구성 맵을 생성합니다.

   $ oc apply -f rvps-configmap.yaml

3. 다음 예에 따라 인증된 클라이언트와 공유할 하나 이상의 시크릿을 생성합니다.

   $ oc create secret generic kbsres1 --from-literal key1=<res1val1> \
     --from-literal key2=<res1val2> -n trustee-operator-system

   이 예에서 kbsres1 시크릿에는 두 개의 항목(key1,key2)이 있으며, 이 항목은 Trustee 클라이언트가 검색합니다. 요구 사항에 따라 더 많은 시크릿을 추가할 수 있습니다.

4. resourcepolicy-configmap.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: resource-policy
     namespace: trustee-operator-system
   data:
     policy.rego: | 1
       package policy 2
       path := split(data["resource-path"], "/")
       default allow = false
       allow {
         count(path) == 3
         input["tee"] == "se"
       }

   1

   리소스 정책의 이름 policy.rego 는 Trustee 구성 맵에 정의된 리소스 정책과 일치해야 합니다.

   2

   리소스 정책은 Open Policy Agent 사양을 따릅니다. 이 예제에서는 TEE가 샘플 attester가 아닌 경우 모든 리소스를 검색할 수 있습니다.

5. 다음 명령을 실행하여 리소스 정책 구성 맵을 생성합니다.

   $ oc apply -f resourcepolicy-configmap.yaml

6. attestation-policy.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: attestation-policy
     namespace: trustee-operator-system
   data:
     default.rego: | 1
       package policy
       import rego.v1
       default allow = false
       converted_version := sprintf("%v", [input["se.version"]])
       allow if {
           input["se.attestation_phkh"] == "<se.attestation_phkh>" 2
           input["se.image_phkh"] == "<se.image_phkh>"
           input["se.tag"] == "<se.tag>"
           converted_version == "256"
       }

   1

   정책 이름을 수정하지 마십시오.

   2

   se_parse_hdr.py 스크립트를 실행하여 얻은 attestation 정책 필드를 지정합니다.

7. 다음 명령을 실행하여 인증 정책 구성 맵을 생성합니다.

   $ oc apply -f attestation-policy.yaml

프로세스

1. kbsconfig-cr.yaml 매니페스트 파일을 생성합니다.

   apiVersion: confidentialcontainers.org/v1alpha1
   kind: KbsConfig
   metadata:
     labels:
       app.kubernetes.io/name: kbsconfig
       app.kubernetes.io/instance: kbsconfig
       app.kubernetes.io/part-of: trustee-operator
       app.kubernetes.io/managed-by: kustomize
       app.kubernetes.io/created-by: trustee-operator
     name: kbsconfig
     namespace: trustee-operator-system
   spec:
     kbsConfigMapName: kbs-config-cm
     kbsAuthSecretName: kbs-auth-public-key
     kbsDeploymentType: AllInOneDeployment
     kbsRvpsRefValuesConfigMapName: rvps-reference-values
     kbsSecretResources: ["kbsres1"]
     kbsResourcePolicyConfigMapName: resource-policy
     kbsAttestationPolicyConfigMapName: attestation-policy
     kbsServiceType: NodePort
     ibmSEConfigSpec:
       certStorePvc: ibmse-pvc

2. 다음 명령을 실행하여 KbsConfig CR을 생성합니다.

   $ oc apply -f kbsconfig-cr.yaml

검증

1. 다음 명령을 실행하여 기본 프로젝트를 설정합니다.

   $ oc project trustee-operator-system

2. 다음 명령을 실행하여 Pod를 확인합니다.

   $ oc get pods -n trustee-operator-system

   출력 예

   NAME                                                   READY   STATUS    RESTARTS   AGE
   trustee-deployment-8585f98449-9bbgl                    1/1     Running   0          22m
   trustee-operator-controller-manager-5fbd44cd97-55dlh   2/2     Running   0          59m

3. 다음 명령을 실행하여 POD_NAME 환경 변수를 설정합니다.

   $ POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)

4. 다음 명령을 실행하여 Pod 로그를 확인합니다.

   $ oc logs -n trustee-operator-system $POD_NAME

   출력 예

   [2024-05-30T13:44:24Z INFO  kbs] Using config file /etc/kbs-config/kbs-config.json
   [2024-05-30T13:44:24Z WARN  attestation_service::rvps] No RVPS address provided and will launch a built-in rvps
   [2024-05-30T13:44:24Z INFO  attestation_service::token::simple] No Token Signer key in config file, create an ephemeral key and without CA pubkey cert
   [2024-05-30T13:44:24Z INFO  api_server] Starting HTTPS server at [0.0.0.0:8080]
   [2024-05-30T13:44:24Z INFO  actix_server::builder] starting 12 workers
   [2024-05-30T13:44:24Z INFO  actix_server::server] Tokio runtime found; starting in existing Tokio runtime

5. 다음 명령을 실행하여 ibmse-pvc 영구 볼륨 클레임을 Trustee Pod에 노출합니다.

   $ oc patch deployment trustee-deployment --namespace=trustee-operator-system --type=json -p='[{"op": "remove", "path": "/spec/template/spec/volumes/5/persistentVolumeClaim/readOnly"}]'

6. 다음 명령을 실행하여 kbs-service 가 노드 포트에 노출되었는지 확인합니다.

   $ oc get svc kbs-service -n trustee-operator-system

   출력 예

   NAME          TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
   kbs-service   NodePort   198.51.100.54   <none>        8080:31862/TCP   23h

   kbs-service URL은 https://<worker_node_ip>:<node_port > 입니다(예: https://172.16.0.56:31862 ).

프로세스

1. verification-pod.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: kbs-client
   spec:
     containers:
     - name: kbs-client
       image: quay.io/confidential-containers/kbs-client:latest
       imagePullPolicy: IfNotPresent
       command:
         - sleep
         - "360000"
       env:
         - name: RUST_LOG
           value:  none

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f verification-pod.yaml

3. 다음 명령을 실행하여 https.crt 파일을 kbs-client Pod에 복사합니다.

   $ oc cp https.crt kbs-client:/

4. 다음 명령을 실행하여 Pod 시크릿을 가져옵니다.

   $ oc exec -it kbs-client -- kbs-client --cert-file https.crt \
     --url https://kbs-service:8080 get-resource \
     --path default/kbsres1/key1

   출력 예

   res1val1

   Trustee 서버는 인증에 성공한 경우에만 시크릿을 반환합니다.

프로세스

1. 다음 명령을 실행하여 KataConfig CR을 삭제합니다.

   $ oc delete kataconfig example-kataconfig

2. 다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.

   $ oc get kataconfig example-kataconfig

   출력 예

   No example-kataconfig instances exist

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get cm -n openshift-sandboxed-containers-operator peer-pods-cm -o jsonpath="{.data.AZURE_IMAGE_ID}"

   AWS에 PODVM_AMI_ID 를 사용합니다. Azure에 AZURE_IMAGE_ID 를 사용합니다.

2. YAML 파일의 상태 스탠자를 확인합니다.
3. AWS의 PODVM_AMI_ID 매개변수 또는 Azure의 AZURE_IMAGE_ID 매개변수에 값이 포함된 경우 값을 ""로 설정합니다.

4. 값을 ""로 설정한 경우 피어 Pod 구성 맵을 패치합니다.

   $ oc patch configmap peer-pods-cm -n openshift-sandboxed-containers-operator -p '{"data":{"AZURE_IMAGE_ID":""}}'

   AWS에 PODVM_AMI_ID 를 사용합니다. Azure에 AZURE_IMAGE_ID 를 사용합니다.

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 1

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 기존 KataConfig CR의 logLevel 필드를 debug 로 변경합니다.

   $ oc patch kataconfig <kataconfig> --type merge --patch '{"spec":{"logLevel":"debug"}}'

2. UPDATED 의 값이 True 가 될 때까지 kata-oc 머신 구성 풀을 모니터링하여 모든 작업자 노드가 업데이트됨을 나타냅니다.

   $ oc get mcp kata-oc

   출력 예

   NAME     CONFIG                 UPDATED  UPDATING  DEGRADED  MACHINECOUNT  READYMACHINECOUNT  UPDATEDMACHINECOUNT  DEGRADEDMACHINECOUNT  AGE
   kata-oc  rendered-kata-oc-169   False    True      False     3             1                  1                    0                     9h

검증

1. 머신 구성 풀에서 노드로 디버그 세션을 시작합니다.

   $ oc debug node/<node_name>

2. root 디렉토리를 /host 로 변경합니다.

   # chroot /host

3. crio.conf 파일의 변경 사항을 확인합니다.

   # crio config | egrep 'log_level

   출력 예

   log_level = "debug"