OpenShift 샌드박스 컨테이너 배포

고급 워크플로

1. Node Feature Discovery Operator를 설치합니다.
2. NodeFeatureDiscovery CR(사용자 정의 리소스)을 생성합니다.
3. Kataconfig CR을 생성할 때 노드 자격 검사를 활성화합니다. 모든 작업자 노드 또는 선택한 노드에서 노드 자격 검사를 실행할 수 있습니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc create -f osc-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc create -f osc-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.10.3

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc create -f osc-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.10.3    1.9.0        Succeeded

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     checkNodeEligibility: false 

   1

   
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   2

   Copy to Clipboard Toggle word wrap

   1

   선택 사항: Node Feature Discovery Operator를 설치한 경우 노드 자격 검사를 실행하려면'checkNodeEligibility'를 true 로 설정합니다.

   2

   선택 사항: 노드 레이블을 적용하여 특정 노드에 OpenShift 샌드박스 컨테이너를 설치한 경우 키와 값을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc create -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata 를 런타임 클래스로 설치합니다.

   kata 설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata 가 설치됩니다.

프로세스

1. 다음 명령을 실행하여 RuntimeClass 오브젝트를 가져옵니다.

   $ oc describe runtimeclass kata

   Copy to Clipboard Toggle word wrap

2. overhead.podFixed.memory 및 cpu 값을 업데이트하고 파일로 runtimeclass.yaml 로 저장합니다.

   kind: RuntimeClass
   apiVersion: node.k8s.io/v1
   metadata:
     name: kata
   overhead:
     podFixed:
       memory: "500Mi"
       cpu: "500m"

   Copy to Clipboard Toggle word wrap

3. 다음 명령을 실행하여 변경 사항을 적용합니다.

   $ oc apply -f runtimeclass.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata
   # ...

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   Copy to Clipboard Toggle word wrap

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc create -f osc-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc create -f osc-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.10.3

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc create -f osc-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.10.3    1.9.0        Succeeded

   Copy to Clipboard Toggle word wrap

프로세스

1. OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.

   $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
     -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

   Copy to Clipboard Toggle word wrap

2. AWS 리전을 검색합니다.

   $ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')

   Copy to Clipboard Toggle word wrap

3. 보안 그룹 ID를 검색하여 배열에 저장합니다.

   $ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
     --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
     --output text --region $AWS_REGION))

   Copy to Clipboard Toggle word wrap

4. 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.

   $ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION; \
     aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION; \
   done

   Copy to Clipboard Toggle word wrap

프로세스

1. AWS 인스턴스에서 다음 값을 가져옵니다.

   1. 인스턴스 ID를 검색하고 기록합니다.

      $ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \
        -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')

      Copy to Clipboard Toggle word wrap

      이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.

   2. AWS 리전을 검색하고 기록합니다.

      $ AWS_REGION=$(oc get infrastructure/cluster \
        -o jsonpath='{.status.platformStatus.aws.region}') \
        && echo "AWS_REGION: \"$AWS_REGION\""

      Copy to Clipboard Toggle word wrap

   3. AWS 서브넷 ID를 검색하고 기록합니다.

      $ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
        --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} \
          --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""

      Copy to Clipboard Toggle word wrap

   4. AWS VPC ID를 검색하고 기록합니다.

      $ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
        --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} \
          --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""

      Copy to Clipboard Toggle word wrap

   5. AWS 보안 그룹 ID를 검색하고 기록합니다.

      $ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \
        --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \
        --region  $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") \
          && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""

      Copy to Clipboard Toggle word wrap

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "aws"
     VXLAN_PORT: "9000"
     PROXY_TIMEOUT: "5m"
     PODVM_INSTANCE_TYPE: "t3.medium"
     PODVM_INSTANCE_TYPES: "t2.small,t2.medium,t3.large"
     PODVM_AMI_ID: "<podvm_ami_id>"
     AWS_REGION: "<aws_region>"
     AWS_SUBNET_ID: "<aws_subnet_id>"
     AWS_VPC_ID: "<aws_vpc_id>"
     AWS_SG_IDS: "<aws_sg_ids>"
     TAGS: "key1=value1,key2=value2"
     PEERPODS_LIMIT_PER_NODE: "10"
     ROOT_VOLUME_SIZE: "6"
     DISABLECVM: "true"

   Copy to Clipboard Toggle word wrap

   PODVM_INSTANCE_TYPE

   인스턴스 유형이 워크로드 오브젝트에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.

   PODVM_INSTANCE_TYPES

   Pod를 생성하기 위해 공백 없이 허용된 인스턴스 유형을 지정합니다. 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.

   PODVM_AMI_ID

   이 값은 클러스터 인증 정보를 기반으로 AMI ID를 사용하여 KataConfig CR을 실행할 때 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다.

   태그

   사용자 정의 태그를 Pod VM 인스턴스의 키:값 쌍으로 구성하여 피어 Pod 비용을 추적하거나 다른 클러스터에서 피어 Pod를 식별할 수 있습니다.

   PEERPODS_LIMIT_PER_NODE

   이 값을 늘리면 노드에서 더 많은 피어 Pod를 실행할 수 있습니다. 기본값은 10 입니다.

   ROOT_VOLUME_SIZE

   더 큰 컨테이너 이미지를 사용하여 Pod의 이 값을 늘릴 수 있습니다. Pod VM의 루트 볼륨 크기(GB)를 지정합니다. 기본 및 최소 크기는 6GB입니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc create -f peer-pods-cm.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. NS 변수를 피어 Pod를 배포하는 네임스페이스로 설정합니다.

   $ NS=<namespace>

   Copy to Clipboard Toggle word wrap

2. 풀 시크릿을 피어 Pod 네임스페이스에 복사합니다.

   $ oc get secret pull-secret -n openshift-config -o yaml \
     | sed "s/namespace: openshift-config/namespace: ${NS}/" \
     | oc apply -n "${NS}" -f -

   Copy to Clipboard Toggle word wrap

   이 예와 같이 클러스터 풀 시크릿 또는 사용자 정의 풀 시크릿을 사용할 수 있습니다.

3. 선택 사항: 풀 시크릿을 default 서비스 계정에 연결합니다.

   $ oc secrets link default pull-secret --for=pull -n ${NS}

   Copy to Clipboard Toggle word wrap

4. 또는 피어 Pod 매니페스트에 풀 시크릿을 추가합니다.

   apiVersion: v1
   kind: <Pod>
   spec:
     containers:
     - name: <container_name>
       image: <image_name>
     imagePullSecrets:
     - name: pull-secret
   # ...

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 my-pod-manifest.yaml 파일을 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>"
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <example_container>
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f my-pod-manifest.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 기본 정책을 수정하여 사용자 지정 policy.rego 파일을 생성합니다.

   package agent_policy
   
   default AddARPNeighborsRequest := true
   default AddSwapRequest := true
   default CloseStdinRequest := true
   default CopyFileRequest := true
   default CreateContainerRequest := true
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true
   default GetMetricsRequest := true
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default ListInterfacesRequest := true
   default ListRoutesRequest := true
   default MemHotplugByProbeRequest := true
   default OnlineCPUMemRequest := true
   default PauseContainerRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := false
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default ReseedRandomDevRequest := true
   default ResumeContainerRequest := true
   default SetGuestDateTimeRequest := true
   default SetPolicyRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StartTracingRequest := true
   default StatsContainerRequest := true
   default StopTracingRequest := true
   default TtyWinResizeRequest := true
   default UpdateContainerRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := true

   Copy to Clipboard Toggle word wrap

   기본 정책은 모든 API 호출을 허용합니다. 필요에 따라 정책을 추가로 사용자 지정하도록 true 또는 false 값을 조정합니다.

2. 다음 명령을 실행하여 policy.rego 파일을 Base64 인코딩 문자열로 변환합니다.

   $ base64 -w0 policy.rego

   Copy to Clipboard Toggle word wrap

   출력을 기록합니다.

3. Base64로 인코딩된 정책 문자열을 my-pod.yaml 매니페스트에 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pod
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f my-pod.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   Copy to Clipboard Toggle word wrap

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc create -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME             HANDLER          AGE
   kata-remote      kata-remote      152m

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     -o jsonpath='{.spec.limit}{"\n"}'

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 limit 키의 새 값을 지정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     --type merge --patch '{"spec":{"limit":"<value>"}}'

   Copy to Clipboard Toggle word wrap

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

   Copy to Clipboard Toggle word wrap

2. YAML 파일의 상태 스탠자를 확인합니다.

   PODVM_AMI_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

   Copy to Clipboard Toggle word wrap

2. 선택 사항: 수동으로 정의한 인스턴스 유형을 사용하려면 구성 맵에서 정의한 인스턴스 유형으로 다음 주석을 추가합니다.

   apiVersion: v1
   kind: <object>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.machine_type: <machine_type>
   # ...

   Copy to Clipboard Toggle word wrap

3. 선택 사항: 자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.

   apiVersion: v1
   kind: <Pod>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
       io.katacontainers.config.hypervisor.default_memory: <memory>
   # ...

   Copy to Clipboard Toggle word wrap

   워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.

4. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   Copy to Clipboard Toggle word wrap

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.

프로세스

1. osc-namespace.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: Namespace
   metadata:
     name: openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 네임스페이스를 생성합니다.

   $ oc create -f osc-namespace.yaml

   Copy to Clipboard Toggle word wrap

3. osc-operatorgroup.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1
   kind: OperatorGroup
   metadata:
     name: sandboxed-containers-operator-group
     namespace: openshift-sandboxed-containers-operator
   spec:
     targetNamespaces:
     - openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 operator 그룹을 생성합니다.

   $ oc create -f osc-operatorgroup.yaml

   Copy to Clipboard Toggle word wrap

5. osc-subscription.yaml 매니페스트 파일을 생성합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: sandboxed-containers-operator
     namespace: openshift-sandboxed-containers-operator
   spec:
     channel: stable
     installPlanApproval: Automatic
     name: sandboxed-containers-operator
     source: redhat-operators
     sourceNamespace: openshift-marketplace
     startingCSV: sandboxed-containers-operator.v1.10.3

   Copy to Clipboard Toggle word wrap

6. 다음 명령을 실행하여 서브스크립션을 생성합니다.

   $ oc create -f osc-subscription.yaml

   Copy to Clipboard Toggle word wrap

7. 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.

   $ oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.

8. 다음 명령을 실행하여 프로세스를 확인합니다.

   $ watch oc get csv -n openshift-sandboxed-containers-operator

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME                             DISPLAY                                  VERSION             REPLACES                   PHASE
   openshift-sandboxed-containers   openshift-sandboxed-containers-operator  1.10.3    1.9.0        Succeeded

   Copy to Clipboard Toggle word wrap

프로세스

1. Azure 인스턴스에서 다음 값을 가져옵니다.

   1. Azure 리소스 그룹을 검색하고 기록합니다.

      $ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster \
        -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') \
        && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""

      Copy to Clipboard Toggle word wrap

   2. Azure VNet 이름을 검색하고 기록합니다.

      $ AZURE_VNET_NAME=$(az network vnet list \
        --resource-group ${AZURE_RESOURCE_GROUP} \
        --query "[].{Name:name}" --output tsv)

      Copy to Clipboard Toggle word wrap

      이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.

   3. Azure 서브넷 ID를 검색하고 기록합니다.

      $ AZURE_SUBNET_ID=$(az network vnet subnet list \
        --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME \
        --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) \
         && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""

      Copy to Clipboard Toggle word wrap

   4. Azure NSS(Network Security Group) ID를 검색하고 기록합니다.

      $ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} \
        --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""

      Copy to Clipboard Toggle word wrap

   5. Azure 리전을 검색하고 기록합니다.

      $ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} \
        --query "{Location:location}" --output tsv) \
        && echo "AZURE_REGION: \"$AZURE_REGION\""

      Copy to Clipboard Toggle word wrap

2. 다음 예에 따라 peer-pods-cm.yaml 매니페스트 파일을 생성합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: peer-pods-cm
     namespace: openshift-sandboxed-containers-operator
   data:
     CLOUD_PROVIDER: "azure"
     VXLAN_PORT: "9000"
     PROXY_TIMEOUT: "5m"
     AZURE_INSTANCE_SIZE: "Standard_B2als_v2"
     AZURE_INSTANCE_SIZES: "Standard_B2als_v2,Standard_D2as_v5,Standard_D4as_v5,Standard_D2ads_v5"
     AZURE_SUBNET_ID: "<azure_subnet_id>"
     AZURE_NSG_ID: "<azure_nsg_id>"
     AZURE_IMAGE_ID: ""
     AZURE_REGION: "<azure_region>"
     AZURE_RESOURCE_GROUP: "<azure_resource_group>"
     TAGS: "key1=value1,key2=value2"
     PEERPODS_LIMIT_PER_NODE: "10"
     ROOT_VOLUME_SIZE: "6"
     DISABLECVM: "true"

   Copy to Clipboard Toggle word wrap

   AZURE_INSTANCE_SIZE

   인스턴스 크기가 워크로드 오브젝트에 정의되지 않은 경우 사용되는 기본 인스턴스 크기를 정의합니다.

   AZURE_IMAGE_ID

   이 값을 비워 둡니다. Operator를 설치하면 Red Hat Ecosystem Catalog에서 기본 Pod VM 이미지를 다운로드하여 OpenShift Container Platform 클러스터와 동일한 Azure 리소스 그룹 내의 Azure Image Cryostat에 업로드하도록 작업이 예약됩니다.

   AZURE_INSTANCE_SIZES

   Pod를 생성하기 위해 공백 없이 허용된 인스턴스 크기를 지정합니다. 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.

   태그

   사용자 정의 태그를 Pod VM 인스턴스의 키:값 쌍으로 구성하여 피어 Pod 비용을 추적하거나 다른 클러스터에서 피어 Pod를 식별할 수 있습니다.

   PEERPODS_LIMIT_PER_NODE

   이 값을 늘리면 노드에서 더 많은 피어 Pod를 실행할 수 있습니다. 기본값은 10 입니다.

   ROOT_VOLUME_SIZE

   더 큰 컨테이너 이미지를 사용하여 Pod의 이 값을 늘릴 수 있습니다. Pod VM의 루트 볼륨 크기(GB)를 지정합니다. 기본 및 최소 크기는 6GB입니다.

3. 다음 명령을 실행하여 구성 맵을 생성합니다.

   $ oc create -f peer-pods-cm.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. NS 변수를 피어 Pod를 배포하는 네임스페이스로 설정합니다.

   $ NS=<namespace>

   Copy to Clipboard Toggle word wrap

2. 풀 시크릿을 피어 Pod 네임스페이스에 복사합니다.

   $ oc get secret pull-secret -n openshift-config -o yaml \
     | sed "s/namespace: openshift-config/namespace: ${NS}/" \
     | oc apply -n "${NS}" -f -

   Copy to Clipboard Toggle word wrap

   이 예와 같이 클러스터 풀 시크릿 또는 사용자 정의 풀 시크릿을 사용할 수 있습니다.

3. 선택 사항: 풀 시크릿을 default 서비스 계정에 연결합니다.

   $ oc secrets link default pull-secret --for=pull -n ${NS}

   Copy to Clipboard Toggle word wrap

4. 또는 피어 Pod 매니페스트에 풀 시크릿을 추가합니다.

   apiVersion: v1
   kind: <Pod>
   spec:
     containers:
     - name: <container_name>
       image: <image_name>
     imagePullSecrets:
     - name: pull-secret
   # ...

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 my-pod-manifest.yaml 파일을 생성합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pod-manifest
     annotations:
       io.katacontainers.config.hypervisor.image: "<custom_image_id>"
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <example_container>
       image: registry.access.redhat.com/ubi9/ubi:9.3
       command: ["sleep", "36000"]

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f my-pod-manifest.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 SSH 키 쌍을 생성합니다.

   $ ssh-keygen -f ./id_rsa -N ""

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 Secret 오브젝트를 생성합니다.

   $ oc create secret generic ssh-key-secret \
     -n openshift-sandboxed-containers-operator \
     --from-file=id_rsa.pub=./id_rsa.pub \
     --from-file=id_rsa=./id_rsa

   Copy to Clipboard Toggle word wrap

3. 생성한 SSH 키를 삭제합니다.

   $ shred --remove id_rsa.pub id_rsa

   Copy to Clipboard Toggle word wrap

프로세스

1. 기본 정책을 수정하여 사용자 지정 policy.rego 파일을 생성합니다.

   package agent_policy
   
   default AddARPNeighborsRequest := true
   default AddSwapRequest := true
   default CloseStdinRequest := true
   default CopyFileRequest := true
   default CreateContainerRequest := true
   default CreateSandboxRequest := true
   default DestroySandboxRequest := true
   default ExecProcessRequest := true
   default GetMetricsRequest := true
   default GetOOMEventRequest := true
   default GuestDetailsRequest := true
   default ListInterfacesRequest := true
   default ListRoutesRequest := true
   default MemHotplugByProbeRequest := true
   default OnlineCPUMemRequest := true
   default PauseContainerRequest := true
   default PullImageRequest := true
   default ReadStreamRequest := false
   default RemoveContainerRequest := true
   default RemoveStaleVirtiofsShareMountsRequest := true
   default ReseedRandomDevRequest := true
   default ResumeContainerRequest := true
   default SetGuestDateTimeRequest := true
   default SetPolicyRequest := true
   default SignalProcessRequest := true
   default StartContainerRequest := true
   default StartTracingRequest := true
   default StatsContainerRequest := true
   default StopTracingRequest := true
   default TtyWinResizeRequest := true
   default UpdateContainerRequest := true
   default UpdateEphemeralMountsRequest := true
   default UpdateInterfaceRequest := true
   default UpdateRoutesRequest := true
   default WaitProcessRequest := true
   default WriteStreamRequest := true

   Copy to Clipboard Toggle word wrap

   기본 정책은 모든 API 호출을 허용합니다. 필요에 따라 정책을 추가로 사용자 지정하도록 true 또는 false 값을 조정합니다.

2. 다음 명령을 실행하여 policy.rego 파일을 Base64 인코딩 문자열로 변환합니다.

   $ base64 -w0 policy.rego

   Copy to Clipboard Toggle word wrap

   출력을 기록합니다.

3. Base64로 인코딩된 정책 문자열을 my-pod.yaml 매니페스트에 추가합니다.

   apiVersion: v1
   kind: Pod
   metadata:
     name: my-pod
     annotations:
       io.katacontainers.config.agent.policy: <base64_encoded_policy>
   spec:
     runtimeClassName: kata-remote
     containers:
     - name: <container_name>
       image: registry.access.redhat.com/ubi9/ubi:latest
       command:
       - sleep
       - "36000"
       securityContext:
         privileged: false
         seccompProfile:
           type: RuntimeDefault

   Copy to Clipboard Toggle word wrap

4. 다음 명령을 실행하여 Pod를 생성합니다.

   $ oc create -f my-pod.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예에 따라 example-kataconfig.yaml 매니페스트 파일을 생성합니다.

   apiVersion: kataconfiguration.openshift.io/v1
   kind: KataConfig
   metadata:
     name: example-kataconfig
   spec:
     enablePeerPods: true
     logLevel: info
   #  kataConfigPoolSelector:
   #    matchLabels:
   #      <label_key>: '<label_value>' 

   1

   Copy to Clipboard Toggle word wrap

   1

   선택 사항: 노드 레이블을 적용하여 특정 노드에 kata-remote 를 설치한 경우 키와 값(예: osc: 'true' )을 지정합니다.

2. 다음 명령을 실행하여 KataConfig CR을 생성합니다.

   $ oc create -f example-kataconfig.yaml

   Copy to Clipboard Toggle word wrap

   새로운 KataConfig CR이 생성되고 작업자 노드에 kata-remote 가 런타임 클래스로 설치됩니다.

   설치를 확인하기 전에 kata-remote 설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.

3. 다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.

   $ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"

   Copy to Clipboard Toggle word wrap

   kataNodes 아래의 모든 작업자의 상태가 설치되고 이유를 지정하지 않고 InProgress 조건이 False 이면 클러스터에 kata-remote 가 설치됩니다.

4. 다음 명령을 실행하여 데몬 세트를 확인합니다.

   $ oc get -n openshift-sandboxed-containers-operator ds/osc-caa-ds

   Copy to Clipboard Toggle word wrap

5. 다음 명령을 실행하여 런타임 클래스를 확인합니다.

   $ oc get runtimeclass

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME             HANDLER          AGE
   kata-remote      kata-remote      152m

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 명령을 실행하여 현재 제한을 확인합니다.

   $ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     -o jsonpath='{.spec.limit}{"\n"}'

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 limit 키의 새 값을 지정합니다.

   $ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \
     --type merge --patch '{"spec":{"limit":"<value>"}}'

   Copy to Clipboard Toggle word wrap

프로세스

1. 피어 Pod에 대해 생성한 구성 맵을 가져옵니다.

   $ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml

   Copy to Clipboard Toggle word wrap

2. YAML 파일의 상태 스탠자를 확인합니다.

   AZURE_IMAGE_ID 매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.

문제 해결

1. 다음 명령을 실행하여 이벤트 로그를 검색합니다.

   $ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

2. 다음 명령을 실행하여 작업 로그를 검색합니다.

   $ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation

   Copy to Clipboard Toggle word wrap

프로세스

1. 다음 예와 같이 spec.runtimeClassName: kata-remote 를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.

   apiVersion: v1
   kind: <object>
   # ...
   spec:
     runtimeClassName: kata-remote
   # ...

   Copy to Clipboard Toggle word wrap

2. 선택 사항: 수동으로 정의한 인스턴스 크기를 사용하려면 구성 맵에서 정의한 인스턴스 크기와 함께 다음 주석을 추가합니다.

   apiVersion: v1
   kind: <object>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.machine_type: <machine_type>
   # ...

   Copy to Clipboard Toggle word wrap

3. 선택 사항: 자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.

   apiVersion: v1
   kind: <Pod>
   metadata:
     annotations:
       io.katacontainers.config.hypervisor.default_vcpus: <vcpus>
       io.katacontainers.config.hypervisor.default_memory: <memory>
   # ...

   Copy to Clipboard Toggle word wrap

   워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.

4. 다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.

   $ oc apply -f <object.yaml>

   Copy to Clipboard Toggle word wrap

   OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.