사용자 가이드

프로세스

1. 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
2. 키워드로 필터링 필드에 OpenShift sandboxed containers를 입력합니다.
3. OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
4. Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.

5. 설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수 openshift-sandboxed-containers-operator 네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.

   참고

   openshift-sandboxed-containers-operator 이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.

6. 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
7. 설치를 클릭합니다.
8. Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.

4. 다음 세부 정보를 입력합니다.

   • 이름: 선택 사항: 기본 이름은 example-kataconfig 입니다.
   • labels: 선택 사항: KataConfig 리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다.
   • checkNodeEligibility: 선택 사항: NFD(Node Feature Discovery Operator)를 사용하여 노드 자격을 감지하도록 선택합니다.

   • kataConfigPoolSelector. 선택 사항: 선택한 노드에 kata 를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.

     1. kataConfigPoolSelector 영역을 확장합니다.
     2. kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
     3. matchExpressions 추가를 클릭합니다.
     4. 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
     5. Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는 In,NotIn,Exists 및 DoesNotExist 입니다.
     6. 값 영역을 확장한 다음 값 추가 를 클릭합니다.
     7. 값 필드에 키 레이블 값에 true 또는 false 를 입력합니다.
   • loglevel: kata 런타임 클래스가 있는 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.

5. 생성을 클릭합니다. KataConfig CR이 생성되고 작업자 노드에 kata 런타임 클래스를 설치합니다.

   kata 설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.

검증

1. KataConfig 탭에서 KataConfig CR을 클릭하여 세부 정보를 확인합니다.

2. YAML 탭을 클릭하여 상태 스탠자를 확인합니다.

   상태 스탠자에는 조건 및 kataNodes 키가 포함되어 있습니다. status.kataNodes 의 값은 노드 배열이며 각각 특정 상태의 kata 설치 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.

3. Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.

   status.kataNodes 어레이의 모든 작업자가 설치 및 조건.InProgress: False 를 지정하는 이유 없이 False를 표시하면 클러스터에 kata 가 설치됩니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
2. 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. 다음 예와 같이 spec.runtimeClassName: kata 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata
   # ...

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.9.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.9.0    1.8.1        Succeeded

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     checkNodeEligibility: false 

   1

   
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   2

   1

   선택 사항: 노드 자격 검사를 실행하려면'checkNodeEligibility'를 true 로 설정합니다.

   2

   선택 사항: 노드 레이블을 적용하여 특정 노드에 OpenShift 샌드박스 컨테이너를 설치한 경우 키와 값을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata 를 런타임 클래스로 설치합니다.

   kata 설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata 가 설치됩니다.

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 다음 명령을 실행하여 peerpodConfig CR의 limit 속성을 수정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 

   1

   1

   <value>를 정의할 제한으로 바꿉니다.

프로세스

1. 다음 명령을 실행하여 RuntimeClass 오브젝트를 가져옵니다.

   $ oc describe runtimeclass kata

2. overhead.podFixed.memory 및 cpu 값을 업데이트하고 파일로 runtimeclass.yaml 로 저장합니다.

   kind: RuntimeClass
   apiVersion: node.k8s.io/v1
   metadata:
     name: kata
   overhead:
     podFixed:
       memory: "500Mi"
       cpu: "500m"

3. 다음 명령을 실행하여 변경 사항을 적용합니다.

   $ oc apply -f runtimeclass.yaml

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata
   # ...

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
2. 키워드로 필터링 필드에 OpenShift sandboxed containers를 입력합니다.
3. OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
4. Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.

5. 설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수 openshift-sandboxed-containers-operator 네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.

   참고

   openshift-sandboxed-containers-operator 이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.

6. 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
7. 설치를 클릭합니다.
8. Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.

프로세스

1. OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

2. AWS 리전을 검색합니다.

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

3. 보안 그룹 ID를 검색하여 배열에 저장합니다.

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

4. 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \
   done

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator 타일을 클릭합니다.
3. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

4. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AWS_ACCESS_KEY_ID: "<aws_access_key>" 

   1

   
     AWS_SECRET_ACCESS_KEY: "<aws_secret_access_key>" 

   2

   1

   AWS_ACCESS_KEY_ID 값을 지정합니다.

   2

   AWS_SECRET_ACCESS_KEY 값을 지정합니다.

5. 저장을 클릭하여 변경 사항을 적용합니다.
6. 워크로드 → 시크릿 으로 이동하여 피어 Pod 시크릿을 확인합니다.

프로세스

1. AWS 인스턴스에서 다음 값을 가져옵니다.

   1. 인스턴스 ID를 검색하고 기록합니다.

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.

   2. AWS 리전을 검색하고 기록합니다.

      $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""

   3. AWS 서브넷 ID를 검색하고 기록합니다.

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

   4. AWS VPC ID를 검색하고 기록합니다.

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

   5. AWS 보안 그룹 ID를 검색하고 기록합니다.

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

2. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
3. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
4. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

5. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PODVM_INSTANCE_TYPE: "t3.medium" 

   1

   
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large" 

   2

   
     PROXY_TIMEOUT: "5m"
     PODVM_AMI_ID: "<podvm_ami_id>" 

   3

   
     AWS_REGION: "<aws_region>" 

   4

   
     AWS_SUBNET_ID: "<aws_subnet_id>" 

   5

   
     AWS_VPC_ID: "<aws_vpc_id>" 

   6

   
     AWS_SG_IDS: "<aws_sg_ids>" 

   7

   
     PEERPODS_LIMIT_PER_NODE: "10" 

   8

   
     TAGS: "key1=value1,key2=value2" 

   9

   
     DISABLECVM: "true"

   1

   유형이 워크로드에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.

   2

   Pod를 생성하기 위해 공백 없이 인스턴스 유형을 지정합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드에 대해 더 큰 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.

   3

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 AMI ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다.

   4

   검색한 AWS_REGION 값을 지정합니다.

   5

   검색한 AWS_SUBNET_ID 값을 지정합니다.

   6

   검색한 AWS_VPC_ID 값을 지정합니다.

   7

   검색한 AWS_SG_IDS 값을 지정합니다.

   8

   노드당 생성할 수 있는 최대 피어 Pod 수를 지정합니다. 기본값은 10 입니다.

   9

   사용자 정의 태그를 Pod VM 인스턴스의 키:값 쌍으로 구성하여 피어 Pod 비용을 추적하거나 다른 클러스터에서 피어 Pod를 식별할 수 있습니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.
7. 워크로드 → ConfigMap 으로 이동하여 새 구성 맵을 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

4. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>" 

   1

   
   spec:
     runtimeClassName: kata-remote 

   2

   
     containers:
     - name: <example_container> 

   3

   
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

5. 저장을 클릭하여 변경 사항을 적용합니다.

프로세스

1. 사용자 지정 정책으로 policy.rego 파일을 생성합니다. 다음 예제는 데모에 exec 및 log 가 활성화된 모든 구성 가능한 API를 보여줍니다.

   package agent_policy
   
   import future.keywords.in
   import input
   
   default CopyFileRequest := false
   default CreateContainerRequest := false
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true  # Enabled to allow exec API
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default OnlineCPUMemRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := true   # Enabled to allow log API
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StatsContainerRequest := true
   default TtyWinResizeRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := false

   이 정책은 exec (ExecProcessRequest) 및 로그 (ReadStreamRequest) API를 활성화합니다. 필요에 따라 정책을 추가로 사용자 지정하도록 true 또는 false 값을 조정합니다.

2. 다음 명령을 실행하여 policy.rego 파일을 Base64 인코딩 문자열로 변환합니다.

   $ base64 -w0 policy.rego

   yaml 파일에 사용할 출력을 저장합니다.

3. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
4. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
5. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

6. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣고 Base64로 인코딩된 정책을 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: <pod_name>
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

7. 저장을 클릭하여 변경 사항을 적용합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.

4. 다음 세부 정보를 입력합니다.

   • 이름: 선택 사항: 기본 이름은 example-kataconfig 입니다.
   • labels: 선택 사항: KataConfig 리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다.
   • enablePeerPods: 퍼블릭 클라우드, IBM Z® 및 IBM® LinuxONE 배포에는 선택합니다.

   • kataConfigPoolSelector. 선택 사항: 선택한 노드에 kata-remote 를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.

     1. kataConfigPoolSelector 영역을 확장합니다.
     2. kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
     3. matchExpressions 추가를 클릭합니다.
     4. 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
     5. Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는 In,NotIn,Exists 및 DoesNotExist 입니다.
     6. 값 영역을 확장한 다음 값 추가 를 클릭합니다.
     7. 값 필드에 키 레이블 값에 true 또는 false 를 입력합니다.
   • loglevel: kata-remote 런타임 클래스를 사용하여 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.

5. 생성을 클릭합니다. KataConfig CR이 생성되고 작업자 노드에 kata-remote 런타임 클래스를 설치합니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

검증

1. KataConfig 탭에서 KataConfig CR을 클릭하여 세부 정보를 확인합니다.

2. YAML 탭을 클릭하여 상태 스탠자를 확인합니다.

   상태 스탠자에는 조건 및 kataNodes 키가 포함되어 있습니다. status.kataNodes 의 값은 노드 배열이며 각 노드는 특정 kata-remote 설치의 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.

3. Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.

   status.kataNodes 어레이의 모든 작업자가 설치 및 조건.InProgress: False 를 지정하는 이유 없이 False를 표시하면 클러스터에 kata-remote 가 설치됩니다.

프로세스

1. 워크로드 → ConfigMap 으로 이동합니다.
2. 공급자 구성 맵을 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. YAML 파일의 상태 스탠자를 확인합니다.

   PODVM_AMI_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
2. 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

5. pod-templated 오브젝트에 주석을 추가하여 수동으로 정의된 인스턴스 유형 또는 자동 인스턴스 유형을 사용합니다.

   • 수동으로 정의한 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "t3.medium" 

     1

     
     # ...

     1 1

     구성 맵에서 정의한 인스턴스 유형을 지정합니다.

   • 자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.9.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.9.0    1.8.1        Succeeded

프로세스

1. OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

2. AWS 리전을 검색합니다.

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

3. 보안 그룹 ID를 검색하여 배열에 저장합니다.

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

4. 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \
   done

프로세스

1. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AWS_ACCESS_KEY_ID: "<aws_access_key>" 

   1

   
     AWS_SECRET_ACCESS_KEY: "<aws_secret_access_key>" 

   2

   1

   AWS_ACCESS_KEY_ID 값을 지정합니다.

   2

   AWS_SECRET_ACCESS_KEY 값을 지정합니다.

2. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

프로세스

1. AWS 인스턴스에서 다음 값을 가져옵니다.

   1. 인스턴스 ID를 검색하고 기록합니다.

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.

   2. AWS 리전을 검색하고 기록합니다.

      $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""

   3. AWS 서브넷 ID를 검색하고 기록합니다.

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

   4. AWS VPC ID를 검색하고 기록합니다.

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

   5. AWS 보안 그룹 ID를 검색하고 기록합니다.

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PODVM_INSTANCE_TYPE: "t3.medium" 

   1

   
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large" 

   2

   
     PROXY_TIMEOUT: "5m"
     PODVM_AMI_ID: "<podvm_ami_id>" 

   3

   
     AWS_REGION: "<aws_region>" 

   4

   
     AWS_SUBNET_ID: "<aws_subnet_id>" 

   5

   
     AWS_VPC_ID: "<aws_vpc_id>" 

   6

   
     AWS_SG_IDS: "<aws_sg_ids>" 

   7

   
     PEERPODS_LIMIT_PER_NODE: "10" 

   8

   
     TAGS: "key1=value1,key2=value2" 

   9

   
     DISABLECVM: "true"

   1

   유형이 워크로드에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.

   2

   Pod를 생성하기 위해 공백 없이 인스턴스 유형을 지정합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드에 대해 더 큰 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.

   3

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 AMI ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다.

   4

   검색한 AWS_REGION 값을 지정합니다.

   5

   검색한 AWS_SUBNET_ID 값을 지정합니다.

   6

   검색한 AWS_VPC_ID 값을 지정합니다.

   7

   검색한 AWS_SG_IDS 값을 지정합니다.

   8

   노드당 생성할 수 있는 최대 피어 Pod 수를 지정합니다. 기본값은 10 입니다.

   9

   사용자 정의 태그를 Pod VM 인스턴스의 키:값 쌍으로 구성하여 피어 Pod 비용을 추적하거나 다른 클러스터에서 피어 Pod를 식별할 수 있습니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

프로세스

1. io.katacontainers.config.hypervisor.image 주석을 추가하여 Pod 매니페스트를 편집하여 pod-manifest.yaml 파일에 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>" 

   1

   
   spec:
     runtimeClassName: kata-remote 

   2

   
     containers:
     - name: <example_container> 

   3

   
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   1

   사용자 정의 피어 Pod 이미지 ID를 지정합니다.

   2

   runtimeClassName 필드가 kata-remote 로 설정되어 피어 Pod를 생성해야 합니다.

   3

   컨테이너 이름을 지정합니다.

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc apply -f pod-manifest.yaml

프로세스

1. 사용자 지정 정책으로 policy.rego 파일을 생성합니다. 다음 예제는 데모에 exec 및 log 가 활성화된 모든 구성 가능한 API를 보여줍니다.

   package agent_policy
   
   import future.keywords.in
   import input
   
   default CopyFileRequest := false
   default CreateContainerRequest := false
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true  # Enabled to allow exec API
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default OnlineCPUMemRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := true   # Enabled to allow log API
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StatsContainerRequest := true
   default TtyWinResizeRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := false

   이 정책은 exec (ExecProcessRequest) 및 로그 (ReadStreamRequest) API를 활성화합니다. 필요에 따라 정책을 추가로 사용자 지정하도록 true 또는 false 값을 조정합니다.

2. 다음 명령을 실행하여 policy.rego 파일을 Base64 인코딩 문자열로 변환합니다.

   $ base64 -w0 policy.rego

   yaml 파일에 사용할 출력을 저장합니다.

3. my-pod.yaml Pod 사양 파일에 Base64로 인코딩된 정책을 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: <pod_name>
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

4. 다음 명령을 실행하여 Pod 매니페스트를 적용합니다.

   $ oc apply -f my-pod.yaml

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 다음 명령을 실행하여 peerpodConfig CR의 limit 속성을 수정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 

   1

   1

   <value>를 정의할 제한으로 바꿉니다.

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

2. YAML 파일의 상태 스탠자를 확인합니다.

   PODVM_AMI_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

2. pod-templated 오브젝트에 주석을 추가하여 수동으로 정의된 인스턴스 유형 또는 자동 인스턴스 유형을 사용합니다.

   • 수동으로 정의한 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "t3.medium" 

     1

     
     # ...

     1

     구성 맵에서 정의한 인스턴스 유형을 지정합니다.

   • 자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.

3. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. 다음 명령을 실행하여 AZURE_RESOURCE_GROUP 환경 변수를 설정합니다.

   $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster \
       -o jsonpath='{.status.platformStatus.azure.resourceGroupName}')

2. 다음 명령을 실행하여 AZURE_REGION 환경 변수를 설정합니다.

   $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP}\
       --query "{Location:location}" --output tsv) && \
       echo "AZURE_REGION: \"$AZURE_REGION\""

3. 다음 명령을 실행하여 AZURE_VNET_NAME 환경 변수를 설정합니다.

   $ AZURE_VNET_NAME=$(az network vnet list \
       -g "${AZURE_RESOURCE_GROUP}" --query '[].name' -o tsv)

4. 다음 명령을 실행하여 AZURE_SUBNET_ID 환경 변수를 설정합니다.

   $ AZURE_SUBNET_ID=$(az network vnet subnet list \
       --resource-group "${AZURE_RESOURCE_GROUP}" \
       --vnet-name "${AZURE_VNET_NAME}" --query "[].{Id:id} \
       | [? contains(Id, 'worker')]" --output tsv)

5. 다음 명령을 실행하여 피어 Pod 서브넷의 NAT 게이트웨이 환경 변수를 설정합니다.

   $ export PEERPOD_NAT_GW=peerpod-nat-gw

   $ export PEERPOD_NAT_GW_IP=peerpod-nat-gw-ip

6. 다음 명령을 실행하여 NAT 게이트웨이의 공용 IP 주소를 만듭니다.

   $ az network public-ip create -g "${AZURE_RESOURCE_GROUP}" \
       -n "${PEERPOD_NAT_GW_IP}" -l "${AZURE_REGION}" --sku Standard

7. NAT 게이트웨이를 생성하고 다음 명령을 실행하여 공용 IP 주소와 연결합니다.

   $ az network nat gateway create -g "${AZURE_RESOURCE_GROUP}" \
       -l "${AZURE_REGION}" --public-ip-addresses "${PEERPOD_NAT_GW_IP}" \
       -n "${PEERPOD_NAT_GW}"

8. 다음 명령을 실행하여 NAT 게이트웨이를 사용하도록 VNet 서브넷을 업데이트합니다.

   $ az network vnet subnet update --nat-gateway "${PEERPOD_NAT_GW}" \
       --ids "${AZURE_SUBNET_ID}"

프로세스

1. 피어 Pod 네트워크의 환경 변수를 설정합니다.

   1. 다음 명령을 실행하여 피어 Pod VNet 환경 변수를 설정합니다.

      $ export PEERPOD_VNET_NAME="${PEERPOD_VNET_NAME:-peerpod-vnet}"

      $ export PEERPOD_VNET_CIDR="${PEERPOD_VNET_CIDR:-192.168.0.0/16}"

   2. 다음 명령을 실행하여 피어 Pod 서브넷 환경 변수를 설정합니다.

      $ export PEERPOD_SUBNET_NAME="${PEERPOD_SUBNET_NAME:-peerpod-subnet}"

      $ export PEERPOD_SUBNET_CIDR="${PEERPOD_SUBNET_CIDR:-192.168.0.0/16}"

2. Azure의 환경 변수를 설정합니다.

   $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster \
       -o jsonpath='{.status.platformStatus.azure.resourceGroupName}')

   $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP}\
       --query "{Location:location}" --output tsv) && \
       echo "AZURE_REGION: \"$AZURE_REGION\""

   $ AZURE_VNET_NAME=$(az network vnet list \
       -g "${AZURE_RESOURCE_GROUP}" --query '[].name' -o tsv)

3. 다음 명령을 실행하여 피어 포드 NAT 게이트웨이 환경 변수를 설정합니다.

   $ export PEERPOD_NAT_GW="${PEERPOD_NAT_GW:-peerpod-nat-gw}"

   $ export PEERPOD_NAT_GW_IP="${PEERPOD_NAT_PUBLIC_IP:-peerpod-nat-gw-ip}"

4. VNET을 구성합니다.

   1. 다음 명령을 실행하여 피어 Pod VNet을 생성합니다.

      $ az network vnet create --resource-group "${AZURE_RESOURCE_GROUP}" \
          --name "${PEERPOD_VNET_NAME}" \
          --address-prefixes "${PEERPOD_VNET_CIDR}"

   2. 다음 명령을 실행하여 피어 Pod VNet의 공용 IP 주소를 생성합니다.

      $ az network public-ip create -g "${AZURE_RESOURCE_GROUP}" \
          -n "${PEERPOD_NAT_GW_IP}" -l "${AZURE_REGION}"

   3. 다음 명령을 실행하여 피어 Pod VNet의 NAT 게이트웨이를 생성합니다.

      $ az network nat gateway create -g "${AZURE_RESOURCE_GROUP}" \
          -l "${AZURE_REGION}" \
          --public-ip-addresses "${PEERPOD_NAT_GW_IP}" \
          -n "${PEERPOD_NAT_GW}"

   4. 피어 Pod VNet에 서브넷을 생성하고 다음 명령을 실행하여 NAT 게이트웨이를 연결합니다.

      $ az network vnet subnet create \
          --resource-group "${AZURE_RESOURCE_GROUP}" \
          --vnet-name "${PEERPOD_VNET_NAME}" \
          --name "${PEERPOD_SUBNET_NAME}" \
          --address-prefixes "${PEERPOD_SUBNET_CIDR}" \
          --nat-gateway "${PEERPOD_NAT_GW}"

5. 가상 네트워크 피어링 연결을 구성합니다.

   1. 다음 명령을 실행하여 피어링 연결을 생성합니다.

      $ az network vnet peering create -g "${AZURE_RESOURCE_GROUP}" \
          -n peerpod-azure-vnet-to-peerpod-vnet \
          --vnet-name "${AZURE_VNET_NAME}" \
          --remote-vnet "${PEERPOD_VNET_NAME}" --allow-vnet-access \
          --allow-forwarded-traffic

   2. 다음 명령을 실행하여 피어링 연결을 동기화합니다.

      $ az network vnet peering sync -g "${AZURE_RESOURCE_GROUP}" \
          -n peerpod-azure-vnet-to-peerpod-vnet \
          --vnet-name "${AZURE_VNET_NAME}"

   3. 다음 명령을 실행하여 피어링 연결을 완료합니다.

      $ az network vnet peering create -g "${AZURE_RESOURCE_GROUP}" \
          -n peerpod-peerpod-vnet-to-azure-vnet \
          --vnet-name "${PEERPOD_VNET_NAME}" \
          --remote-vnet "${AZURE_VNET_NAME}" --allow-vnet-access \
          --allow-forwarded-traffic

검증

1. 다음 명령을 실행하여 클러스터 VNet에서 피어링 연결 상태를 확인합니다.

   $ az network vnet peering show -g "${AZURE_RESOURCE_GROUP}" \
       -n peerpod-azure-vnet-to-peerpod-vnet \
       --vnet-name "${AZURE_VNET_NAME}" \
       --query "peeringState" -o tsv

   연결된 값이 반환되어야 합니다.

2. 다음 명령을 실행하여 NAT 게이트웨이가 피어 포드 서브넷에 연결되었는지 확인합니다.

   $ az network vnet subnet show --resource-group "${AZURE_RESOURCE_GROUP}" \
       --vnet-name "${PEERPOD_VNET_NAME}" --name "${PEERPOD_SUBNET_NAME}" \
       --query "natGateway.id" -o tsv

프로세스

1. 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
2. 키워드로 필터링 필드에 OpenShift sandboxed containers를 입력합니다.
3. OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
4. Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.

5. 설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수 openshift-sandboxed-containers-operator 네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.

   참고

   openshift-sandboxed-containers-operator 이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.

6. 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
7. 설치를 클릭합니다.
8. Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.

프로세스

1. 다음 명령을 실행하여 Azure 서브스크립션 ID를 검색합니다.

   $ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \
     -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""

2. 다음 명령을 실행하여 RBAC 콘텐츠를 생성합니다.

   $ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \
     --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"

   출력 예

   {
     "client_id": `AZURE_CLIENT_ID`,
     "client_secret": `AZURE_CLIENT_SECRET`,
     "tenant_id": `AZURE_TENANT_ID`
   }

3. 보안 오브젝트에 사용할 RBAC 출력을 기록합니다.
4. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
5. OpenShift 샌드박스 컨테이너 Operator 타일을 클릭합니다.
6. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

7. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AZURE_CLIENT_ID: "<azure_client_id>" 

   1

   
     AZURE_CLIENT_SECRET: "<azure_client_secret>" 

   2

   
     AZURE_TENANT_ID: "<azure_tenant_id>" 

   3

   
     AZURE_SUBSCRIPTION_ID: "<azure_subscription_id>" 

   4

   1

   AZURE_CLIENT_ID 값을 지정합니다.

   2

   AZURE_CLIENT_SECRET 값을 지정합니다.

   3

   AZURE_TENANT_ID 값을 지정합니다.

   4

   AZURE_SUBSCRIPTION_ID 값을 지정합니다.

8. 저장을 클릭하여 변경 사항을 적용합니다.
9. 워크로드 → 시크릿 으로 이동하여 피어 Pod 시크릿을 확인합니다.

프로세스

1. Azure 인스턴스에서 다음 값을 가져옵니다.

   1. Azure 리소스 그룹을 검색하고 기록합니다.

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

   2. Azure VNet 이름을 검색하고 기록합니다.

      $ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)

      이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.

   3. Azure 서브넷 ID를 검색하고 기록합니다.

      $ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

   4. Azure NSS(Network Security Group) ID를 검색하고 기록합니다.

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

   5. Azure 리전을 검색하고 기록합니다.

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""

2. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
3. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
4. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

5. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     AZURE_INSTANCE_SIZE: "Standard_B2als_v2" 

   1

   
     AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5" 

   2

   
     AZURE_SUBNET_ID: "<azure_subnet_id>" 

   3

   
     AZURE_NSG_ID: "<azure_nsg_id>" 

   4

   
     PROXY_TIMEOUT: "5m"
     AZURE_IMAGE_ID: "<azure_image_id>" 

   5

   
     AZURE_REGION: "<azure_region>" 

   6

   
     AZURE_RESOURCE_GROUP: "<azure_resource_group>" 

   7

   
     PEERPODS_LIMIT_PER_NODE: "10" 

   8

   
     TAGS: "key1=value1,key2=value2" 

   9

   
     DISABLECVM: "true"

   1

   "Standard_B2als_v2" 인스턴스 크기는 워크로드에 인스턴스 크기가 정의되지 않은 경우 기본값입니다.

   2

   Pod 생성을 위해 공백 없이 인스턴스 크기를 지정합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.

   3

   검색한 AZURE_SUBNET_ID 값을 지정합니다.

   4

   검색한 AZURE_NSG_ID 값을 지정합니다.

   5

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다.

   6

   검색한 AZURE_REGION 값을 지정합니다.

   7

   검색한 AZURE_RESOURCE_GROUP 값을 지정합니다.

   8

   노드당 생성할 수 있는 최대 피어 Pod 수를 지정합니다. 기본값은 10 입니다.

   9

   사용자 정의 태그를 Pod VM 인스턴스의 키:값 쌍으로 구성하여 피어 Pod 비용을 추적하거나 다른 클러스터에서 피어 Pod를 식별할 수 있습니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.
7. 워크로드 → ConfigMap 으로 이동하여 새 구성 맵을 확인합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

4. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>" 

   1

   
   spec:
     runtimeClassName: kata-remote 

   2

   
     containers:
     - name: <example_container> 

   3

   
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   1

   사용자 정의 피어 Pod 이미지 ID를 지정합니다.

   2

   runtimeClassName 필드가 kata-remote 로 설정되어 피어 Pod를 생성해야 합니다.

   3

   컨테이너 이름을 지정합니다.

5. 저장을 클릭하여 변경 사항을 적용합니다.

프로세스

1. 다음 명령을 실행하여 SSH 키 쌍을 생성합니다.

   $ ssh-keygen -f ./id_rsa -N ""

2. OpenShift Container Platform 웹 콘솔에서 워크로드 → 시크릿 으로 이동합니다.
3. 시크릿 페이지에서 openshift-sandboxed-containers-operator 프로젝트에 있는지 확인합니다.
4. 생성을 클릭하고 키/값 시크릿을 선택합니다.
5. 시크릿 이름 필드에 ssh-key-secret 을 입력합니다.
6. 키 필드에 id_rsa.pub 를 입력합니다.
7. 값 필드에 공개 SSH 키를 붙여넣습니다.
8. 생성을 클릭합니다.

9. 생성한 SSH 키를 삭제합니다.

   $ shred --remove id_rsa.pub id_rsa

프로세스

1. 사용자 지정 정책으로 policy.rego 파일을 생성합니다. 다음 예제는 데모에 exec 및 log 가 활성화된 모든 구성 가능한 API를 보여줍니다.

   package agent_policy
   
   import future.keywords.in
   import input
   
   default CopyFileRequest := false
   default CreateContainerRequest := false
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true  # Enabled to allow exec API
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default OnlineCPUMemRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := true   # Enabled to allow log API
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StatsContainerRequest := true
   default TtyWinResizeRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := false

   이 정책은 exec (ExecProcessRequest) 및 로그 (ReadStreamRequest) API를 활성화합니다. 필요에 따라 정책을 추가로 사용자 지정하도록 true 또는 false 값을 조정합니다.

2. 다음 명령을 실행하여 policy.rego 파일을 Base64 인코딩 문자열로 변환합니다.

   $ base64 -w0 policy.rego

   yaml 파일에 사용할 출력을 저장합니다.

3. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
4. Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
5. 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.

6. YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣고 Base64로 인코딩된 정책을 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: <pod_name>
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

7. 저장을 클릭하여 변경 사항을 적용합니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
2. OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
3. KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.

4. 다음 세부 정보를 입력합니다.

   • 이름: 선택 사항: 기본 이름은 example-kataconfig 입니다.
   • labels: 선택 사항: KataConfig 리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다.
   • enablePeerPods: 퍼블릭 클라우드, IBM Z® 및 IBM® LinuxONE 배포에는 선택합니다.

   • kataConfigPoolSelector. 선택 사항: 선택한 노드에 kata-remote 를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.

     1. kataConfigPoolSelector 영역을 확장합니다.
     2. kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
     3. matchExpressions 추가를 클릭합니다.
     4. 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
     5. Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는 In,NotIn,Exists 및 DoesNotExist 입니다.
     6. 값 영역을 확장한 다음 값 추가 를 클릭합니다.
     7. 값 필드에 키 레이블 값에 true 또는 false 를 입력합니다.
   • loglevel: kata-remote 런타임 클래스를 사용하여 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.

5. 생성을 클릭합니다. KataConfig CR이 생성되고 작업자 노드에 kata-remote 런타임 클래스를 설치합니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

검증

1. KataConfig 탭에서 KataConfig CR을 클릭하여 세부 정보를 확인합니다.

2. YAML 탭을 클릭하여 상태 스탠자를 확인합니다.

   상태 스탠자에는 조건 및 kataNodes 키가 포함되어 있습니다. status.kataNodes 의 값은 노드 배열이며 각 노드는 특정 kata-remote 설치의 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.

3. Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.

   status.kataNodes 어레이의 모든 작업자가 설치 및 조건.InProgress: False 를 지정하는 이유 없이 False를 표시하면 클러스터에 kata-remote 가 설치됩니다.

프로세스

1. 워크로드 → ConfigMap 으로 이동합니다.
2. 공급자 구성 맵을 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. YAML 파일의 상태 스탠자를 확인합니다.

   AZURE_IMAGE_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
2. 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
3. YAML 탭을 클릭합니다.

4. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

5. 수동으로 정의된 인스턴스 크기 또는 자동 인스턴스 크기를 사용하도록 pod-templated 오브젝트에 주석을 추가합니다.

   • 수동으로 정의한 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "Standard_B2als_v2" 

     1

     
     # ...

     1

     구성 맵에서 정의한 인스턴스 크기를 지정합니다.

   • 자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.

6. 저장을 클릭하여 변경 사항을 적용합니다.

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc apply -f osc-namespace.yaml

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc apply -f osc-operatorgroup.yaml

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.9.0

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc apply -f osc-subscription.yaml

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.9.0    1.8.1        Succeeded

프로세스

1. 다음 명령을 실행하여 Azure 서브스크립션 ID를 검색합니다.

   $ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \
     -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""

2. 다음 명령을 실행하여 RBAC 콘텐츠를 생성합니다.

   $ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \
     --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"

   출력 예

   {
     "client_id": `AZURE_CLIENT_ID`,
     "client_secret": `AZURE_CLIENT_SECRET`,
     "tenant_id": `AZURE_TENANT_ID`
   }

3. 보안 오브젝트에 사용할 RBAC 출력을 기록합니다.

4. 다음 예에 따라 peer-pods-secret.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: peer-pods-secret
     namespace: openshift-sandboxed-containers-operator
   type: Opaque
   stringData:
     AZURE_CLIENT_ID: "<azure_client_id>" 

   1

   
     AZURE_CLIENT_SECRET: "<azure_client_secret>" 

   2

   
     AZURE_TENANT_ID: "<azure_tenant_id>" 

   3

   
     AZURE_SUBSCRIPTION_ID: "<azure_subscription_id>" 

   4

   1

   AZURE_CLIENT_ID 값을 지정합니다.

   2

   AZURE_CLIENT_SECRET 값을 지정합니다.

   3

   AZURE_TENANT_ID 값을 지정합니다.

   4

   AZURE_SUBSCRIPTION_ID 값을 지정합니다.

5. 다음 명령을 실행하여 시크릿을 생성합니다.

   $ oc apply -f peer-pods-secret.yaml

프로세스

1. Azure 인스턴스에서 다음 값을 가져옵니다.

   1. Azure 리소스 그룹을 검색하고 기록합니다.

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

   2. Azure VNet 이름을 검색하고 기록합니다.

      $ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)

      이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.

   3. Azure 서브넷 ID를 검색하고 기록합니다.

      $ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

   4. Azure NSS(Network Security Group) ID를 검색하고 기록합니다.

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

   5. Azure 리전을 검색하고 기록합니다.

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     AZURE_INSTANCE_SIZE: "Standard_B2als_v2" 

   1

   
     AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5" 

   2

   
     AZURE_SUBNET_ID: "<azure_subnet_id>" 

   3

   
     AZURE_NSG_ID: "<azure_nsg_id>" 

   4

   
     PROXY_TIMEOUT: "5m"
     AZURE_IMAGE_ID: "<azure_image_id>" 

   5

   
     AZURE_REGION: "<azure_region>" 

   6

   
     AZURE_RESOURCE_GROUP: "<azure_resource_group>" 

   7

   
     PEERPODS_LIMIT_PER_NODE: "10" 

   8

   
     TAGS: "key1=value1,key2=value2" 

   9

   
     DISABLECVM: "true"

   1

   "Standard_B2als_v2" 인스턴스 크기는 워크로드에 인스턴스 크기가 정의되지 않은 경우 기본값입니다.

   2

   Pod 생성을 위해 공백 없이 인스턴스 크기를 지정합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.

   3

   검색한 AZURE_SUBNET_ID 값을 지정합니다.

   4

   검색한 AZURE_NSG_ID 값을 지정합니다.

   5

   선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여 KataConfig CR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다.

   6

   검색한 AZURE_REGION 값을 지정합니다.

   7

   검색한 AZURE_RESOURCE_GROUP 값을 지정합니다.

   8

   노드당 생성할 수 있는 최대 피어 Pod 수를 지정합니다. 기본값은 10 입니다.

   9

   사용자 정의 태그를 Pod VM 인스턴스의 키:값 쌍으로 구성하여 피어 Pod 비용을 추적하거나 다른 클러스터에서 피어 Pod를 식별할 수 있습니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc apply -f peer-pods-cm.yaml

프로세스

1. io.katacontainers.config.hypervisor.image 주석을 추가하여 Pod 매니페스트를 편집하여 pod-manifest.yaml 파일에 저장합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>" 

   1

   
   spec:
     runtimeClassName: kata-remote 

   2

   
     containers:
     - name: <example_container> 

   3

   
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   1

   사용자 정의 피어 Pod 이미지 ID를 지정합니다.

   2

   runtimeClassName 필드가 kata-remote 로 설정되어 피어 Pod를 생성해야 합니다.

   3

   컨테이너 이름을 지정합니다.

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc apply -f pod-manifest.yaml

프로세스

1. 다음 명령을 실행하여 SSH 키 쌍을 생성합니다.

   $ ssh-keygen -f ./id_rsa -N ""

2. 다음 명령을 실행하여 Secret 오브젝트를 생성합니다.

   $ oc create secret generic ssh-key-secret \
     -n openshift-sandboxed-containers-operator \
     --from-file=id_rsa.pub=./id_rsa.pub \
     --from-file=id_rsa=./id_rsa

3. 생성한 SSH 키를 삭제합니다.

   $ shred --remove id_rsa.pub id_rsa

프로세스

1. 사용자 지정 정책으로 policy.rego 파일을 생성합니다. 다음 예제는 데모에 exec 및 log 가 활성화된 모든 구성 가능한 API를 보여줍니다.

   package agent_policy
   
   import future.keywords.in
   import input
   
   default CopyFileRequest := false
   default CreateContainerRequest := false
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true  # Enabled to allow exec API
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default OnlineCPUMemRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := true   # Enabled to allow log API
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StatsContainerRequest := true
   default TtyWinResizeRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := false

   이 정책은 exec (ExecProcessRequest) 및 로그 (ReadStreamRequest) API를 활성화합니다. 필요에 따라 정책을 추가로 사용자 지정하도록 true 또는 false 값을 조정합니다.

2. 다음 명령을 실행하여 policy.rego 파일을 Base64 인코딩 문자열로 변환합니다.

   $ base64 -w0 policy.rego

   yaml 파일에 사용할 출력을 저장합니다.

3. my-pod.yaml Pod 사양 파일에 Base64로 인코딩된 정책을 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: <pod_name>
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

4. 다음 명령을 실행하여 Pod 매니페스트를 적용합니다.

   $ oc apply -f my-pod.yaml

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc apply -f example-kataconfig.yaml

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   출력 예

   NAME             HANDLER          AGE
   kata             kata             152m
   kata-remote      kata-remote      152m

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   -o jsonpath='{.spec.limit}{"\n"}'

2. 다음 명령을 실행하여 peerpodConfig CR의 limit 속성을 수정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
   --type merge --patch '{"spec":{"limit":"<value>"}}' 

   1

   1

   <value>를 정의할 제한으로 바꿉니다.

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

2. YAML 파일의 상태 스탠자를 확인합니다.

   AZURE_IMAGE_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

2. 수동으로 정의된 인스턴스 크기 또는 자동 인스턴스 크기를 사용하도록 pod-templated 오브젝트에 주석을 추가합니다.

   • 수동으로 정의한 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <object>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.machine_type: "Standard_B2als_v2" 

     1

     
     # ...

     1

     구성 맵에서 정의한 인스턴스 크기를 지정합니다.

   • 자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

     apiVersion: v1
     kind: <Pod>
     metadata:
       annotations:
         io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
         io.katacontainers.config.hypervisor.default_memory: <memory>
     # ...

     워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.

3. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.