사용자 가이드
OpenShift Container Platform에서 샌드박스 컨테이너 배포
초록
머리말 링크 복사링크가 클립보드에 복사되었습니다!
Red Hat 문서에 관한 피드백 제공
Jira에서 문제 생성 양식을 제출하여 피드백을 제공하거나 오류를 보고할 수 있습니다. Jira 문제는 Red Hat Hybrid Cloud Infrastructure Jira 프로젝트에서 생성되어 피드백의 진행 상황을 추적할 수 있습니다.
- Jira에 로그인했는지 확인합니다. Jira 계정이 없는 경우 Red Hat Jira 계정을 생성해야 합니다.
- Create Issue 양식을 시작합니다.
요약,설명 및 보고자 필드를 완료합니다.
설명 필드에 문서 URL, 장 또는 섹션 번호, 문제에 대한 자세한 설명을 포함합니다.
- 생성을 클릭합니다.
1장. OpenShift 샌드박스 컨테이너 정보 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform용 OpenShift 샌드박스 컨테이너는 Kata Containers를 선택적 런타임으로 통합하여 경량 가상 머신에서 컨테이너화된 애플리케이션을 실행하여 향상된 보안 및 격리 기능을 제공합니다. 이러한 통합은 기존 OpenShift 워크플로우를 크게 변경하지 않고 민감한 워크로드를 위한 보다 안전한 런타임 환경을 제공합니다. 이 런타임은 전용 VM(가상 머신)의 컨테이너를 지원하므로 워크로드 분리가 향상됩니다.
1.1. 기능 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너는 다음과 같은 기능을 제공합니다.
- 권한이 있거나 신뢰할 수 없는 워크로드 실행
권한 있는 컨테이너를 실행하여 클러스터 노드를 손상시킬 위험이 없으면 특정 권한이 필요한 워크로드를 안전하게 실행할 수 있습니다. 특수 권한이 필요한 워크로드에는 다음이 포함됩니다.
- 커널의 특수 기능이 필요한 워크로드는 CRI-O와 같은 표준 컨테이너 런타임에서 부여하는 기본 기능 이상으로, 예를 들어 낮은 수준의 네트워킹 기능에 액세스합니다.
- 예를 들어 특정 물리적 장치에 액세스하기 위해 높은 루트 권한이 필요한 워크로드입니다. OpenShift 샌드박스 컨테이너를 사용하면 특정 장치만 VM(가상 머신)에 전달하여 워크로드가 나머지 시스템에 액세스하거나 잘못 구성할 수 없도록 할 수 있습니다.
set-uid루트 바이너리를 설치하거나 사용하는 워크로드입니다. 이러한 바이너리는 특수 권한을 부여하므로 보안 위험이 발생할 수 있습니다. OpenShift 샌드박스 컨테이너를 사용하면 추가 권한이 가상 머신으로 제한되며 클러스터 노드에 대한 특별한 액세스 권한이 부여되지 않습니다.일부 워크로드에서는 특히 클러스터 노드를 구성하려면 권한이 필요합니다. 가상 머신에서 실행하면 이러한 워크로드가 작동하지 않기 때문에 권한 있는 컨테이너를 계속 사용해야 합니다.
- 민감한 워크로드에 대한 격리 확인
- Red Hat OpenShift Container Platform의 OpenShift 샌드박스 컨테이너는 Kata Containers를 선택적 런타임으로 통합하여 경량 가상 머신에서 컨테이너화된 애플리케이션을 실행하여 향상된 보안 및 격리 기능을 제공합니다. 이러한 통합은 기존 OpenShift 워크플로우를 크게 변경하지 않고 민감한 워크로드를 위한 보다 안전한 런타임 환경을 제공합니다. 이 런타임은 전용 VM(가상 머신)의 컨테이너를 지원하므로 워크로드 분리가 향상됩니다.
- 각 워크로드에 대한 커널 격리 확인
-
사용자 지정 커널 튜닝(예:
sysctl, 스케줄러 변경 또는 캐시 튜닝)이 필요한 워크로드와 사용자 지정 커널 모듈 생성(예:트리 부족또는 특수 인수)을 실행할 수 있습니다. - 테넌트 간에 동일한 워크로드를 공유
-
동일한 OpenShift Container Platform 클러스터를 공유하는 다양한 조직의 여러 사용자(테넌트)를 지원하는 워크로드를 실행할 수 있습니다. 또한 이 시스템은 컨테이너 네트워크 기능(CNF) 및 엔터프라이즈 애플리케이션과 같은 여러 벤더의 타사 워크로드 실행을 지원합니다. 예를 들어 타사 CNF는 사용자 지정 설정이 패킷 튜닝 또는 다른 애플리케이션에서 설정한
sysctl변수를 방해하는 것을 원하지 않을 수 있습니다. 완전히 격리된 커널 내에서 실행하면 "noisy neighbor" 구성 문제를 방지하는 데 도움이 됩니다. - 소프트웨어 테스트를 위한 적절한 격리 및 샌드박스 확인
-
알려진 취약점으로 컨테이너화된 워크로드를 실행하거나 기존 애플리케이션의 문제를 처리할 수 있습니다. 관리자는 이러한 격리를 통해 개발자에게 pod에 대한 관리 권한을 부여할 수 있습니다. 이 제어는 개발자가 일반적으로 부여한 것 이외의 구성을 테스트하거나 검증하려고 할 때 유용합니다. 예를 들어 관리자는 커널 패킷 필터링(eBPF)을 개발자에게 안전하게 위임할 수 있습니다. eBPF에는
CAP_ADMIN또는CAP_BPF권한이 필요하므로 컨테이너 호스트 작업자 노드의 모든 프로세스에 대한 액세스 권한이 부여되므로 표준 CRI-O 설정에서 허용되지 않습니다. 마찬가지로 관리자는SystemTap과 같은 침입 툴에 대한 액세스 권한을 부여하거나 개발 중에 사용자 지정 커널 모듈 로드를 지원할 수 있습니다. - VM 경계를 통한 기본 리소스 포함 확인
- 기본적으로 OpenShift 샌드박스 컨테이너는 CPU, 메모리, 스토리지 및 네트워킹과 같은 리소스를 강력하고 안전한 방식으로 관리합니다. OpenShift 샌드박스 컨테이너는 VM에 배포되므로 추가 격리 및 보안 계층을 통해 리소스에 대한 보다 세분화된 액세스 제어가 가능합니다. 예를 들어, 잘못된 컨테이너는 VM에서 사용할 수 있는 것보다 더 많은 메모리를 할당할 수 없습니다. 반대로 네트워크 카드 또는 디스크에 대한 전용 액세스 권한이 필요한 컨테이너는 다른 장치에 액세스하지 않고도 해당 장치를 완전히 제어할 수 있습니다.
1.2. OpenShift Container Platform과의 호환성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 플랫폼에 필요한 기능은 다음 두 가지 주요 구성 요소에서 지원됩니다.
- Kata 런타임: 모든 OpenShift Container Platform 릴리스와 함께 RHCOS(Red Hat Enterprise Linux CoreOS) 및 업데이트가 포함됩니다.
-
OpenShift 샌드박스 컨테이너 Operator: 웹 콘솔 또는 OpenShift CLI(
oc)를 사용하여 Operator를 설치합니다.
OpenShift 샌드박스 컨테이너 Operator는 Rolling Stream Operator 로, 최신 버전이 지원되는 유일한 버전입니다. 현재 지원되는 모든 OpenShift Container Platform 버전에서 작동합니다. 자세한 내용은 OpenShift Container Platform 라이프 사이클 정책을 참조하십시오.
Operator는 RHCOS 호스트와 함께 제공되는 기능과 실행되는 환경에 따라 다릅니다.
작업자 노드에 RHCOS(Red Hat Enterprise Linux CoreOS)를 설치해야 합니다. RHEL 노드는 지원되지 않습니다.
OpenShift 샌드박스 컨테이너 및 OpenShift Container Platform 릴리스의 호환성 매트릭스는 호환되는 기능 및 환경을 식별합니다.
| 아키텍처 | OpenShift Container Platform 버전 |
|---|---|
| x86_64 | 4.8 이상 |
| s390x | 4.14 이상 |
Kata 컨테이너 런타임을 배포하는 방법은 다음 두 가지가 있습니다.
- 베어 메탈
- 피어 Pod
퍼블릭 클라우드에서 OpenShift 샌드박스 컨테이너 배포를 위한 피어 Pod 기술은 OpenShift 샌드박스 컨테이너 1.5 및 OpenShift Container Platform 4.14에서 개발자 프리뷰로 사용할 수 있었습니다.
OpenShift 샌드박스 컨테이너 1.7을 릴리스하면 Operator에 OpenShift Container Platform 버전 4.15 이상이 필요합니다.
| 기능 | 배포 방법 | OpenShift Container Platform 4.15 | OpenShift Container Platform 4.16 |
|---|---|---|---|
| 기밀 컨테이너 | 베어 메탈 | ||
| 피어 Pod | 기술 프리뷰 | 기술 프리뷰 [1] | |
| GPU 지원 [2] | 베어 메탈 | ||
| 피어 Pod | 개발자 프리뷰 | 개발자 프리뷰 |
- OpenShift 샌드박스 컨테이너 1.7.0 이후 기밀 컨테이너의 기술 프리뷰를 사용할 수 있습니다.
- IBM Z에서는 GPU 기능을 사용할 수 없습니다.
| 플랫폼 | GPU | 기밀 컨테이너 |
|---|---|---|
| AWS 클라우드 컴퓨팅 서비스 | 개발자 프리뷰 | |
| Microsoft Azure 클라우드 컴퓨팅 서비스 | 개발자 프리뷰 | 기술 프리뷰 [1] |
- OpenShift 샌드박스 컨테이너 1.7.0 이후 기밀 컨테이너의 기술 프리뷰를 사용할 수 있습니다.
1.3. 노드 자격 확인 링크 복사링크가 클립보드에 복사되었습니다!
노드 자격 검사를 실행하여 베어 메탈 클러스터 노드가 OpenShift 샌드박스 컨테이너를 지원하는지 확인할 수 있습니다. 노드 자격에 대한 가장 일반적인 이유는 가상화 지원 부족입니다. 자격 없는 노드에서 샌드박스 워크로드를 실행하는 경우 오류가 발생합니다.
고급 워크플로
- Node Feature Discovery Operator를 설치합니다.
-
NodeFeatureDiscoveryCR(사용자 정의 리소스)을 생성합니다. -
KataconfigCR을 생성할 때 노드 자격 검사를 활성화합니다. 모든 작업자 노드 또는 선택한 노드에서 노드 자격 검사를 실행할 수 있습니다.
1.4. 일반 용어 링크 복사링크가 클립보드에 복사되었습니다!
설명서 전반에 걸쳐 다음 용어가 사용됩니다.
- 샌드 박스
샌드박스는 프로그램을 실행할 수 있는 격리된 환경입니다. 샌드박스에서는 호스트 시스템이나 운영 체제에 손상을 주지 않고 테스트되지 않았거나 신뢰할 수 없는 프로그램을 실행할 수 있습니다.
OpenShift 샌드박스 컨테이너의 경우 가상화를 사용하여 다른 커널에서 워크로드를 실행하여 동일한 호스트에서 실행되는 여러 워크로드 간의 상호 작용을 보다 효과적으로 제어할 수 있습니다.
- Pod
Pod는 Kubernetes 및 OpenShift Container Platform에서 상속된 구성 요소입니다. 컨테이너를 배포할 수 있는 리소스를 나타냅니다. 컨테이너는 Pod 내부에서 실행되며 Pod는 여러 컨테이너 간에 공유할 수 있는 리소스를 지정하는 데 사용됩니다.
OpenShift 샌드박스 컨테이너의 컨텍스트에서 Pod가 가상 시스템으로 구현됩니다. 동일한 가상 시스템의 동일한 Pod에서 여러 컨테이너를 실행할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator
- OpenShift 샌드박스 컨테이너 Operator는 클러스터에서 샌드박스 컨테이너의 라이프사이클을 관리합니다. OpenShift 샌드박스 컨테이너 Operator를 사용하여 샌드박스 컨테이너 설치 및 제거, 소프트웨어 업데이트 및 상태 모니터링과 같은 작업을 수행할 수 있습니다.
- Kata 컨테이너
- Kata 컨테이너는 OpenShift 샌드박스 컨테이너를 빌드하는 데 사용되는 핵심 업스트림 프로젝트입니다. OpenShift 샌드 박스 컨테이너는 Kata Container와 OpenShift Container Platform을 통합합니다.
- KataConfig
-
KataConfig오브젝트는 샌드박스 컨테이너의 구성을 나타냅니다. 소프트웨어가 배포된 노드와 같이 클러스터 상태에 대한 정보를 저장합니다. - 런타임 클래스
-
RuntimeClass오브젝트는 지정된 워크로드를 실행하는 데 사용할 수 있는 런타임에 대해 설명합니다.kata라는 런타임 클래스가 OpenShift 샌드박스 컨테이너 Operator에 의해 설치 및 배포됩니다. 런타임 클래스에는 Pod 오버헤드와 같이 런타임에서 작동해야 하는 리소스를 설명하는 런타임에 대한 정보가 포함되어 있습니다.
- 피어 Pod
OpenShift 샌드박스 컨테이너의 피어 Pod는 표준 Pod의 개념을 확장합니다. 가상 머신이 작업자 노드 자체에서 생성되는 표준 샌드박스 컨테이너와 달리 피어 Pod에서 지원되는 하이퍼바이저 또는 클라우드 공급자 API를 사용하여 원격 하이퍼바이저를 통해 가상 머신이 생성됩니다.
피어 포드는 작업자 노드에서 일반 pod 역할을 하며 해당 VM이 다른 위치에서 실행됩니다. VM의 원격 위치는 사용자에게 투명하며 Pod 사양의 런타임 클래스에 의해 지정됩니다. 피어 Pod 설계는 중첩된 가상화의 필요성을 우회합니다.
- IBM Secure Execution
- IBM Secure Execution for Linux는 IBM z15® 및 LinuxONE III에서 도입된 고급 보안 기능입니다. 이 기능은 광범위한 암호화에서 제공하는 보호 기능을 확장합니다. IBM Secure Execution는 미사용 데이터, 전송 중 및 사용 중인 데이터를 보호합니다. 워크로드를 안전하게 배포할 수 있으며 라이프사이클 전반에 걸쳐 데이터 보호를 보장합니다. 자세한 내용은 Linux용 IBM Secure Execution 소개 를 참조하십시오.
- 기밀 컨테이너
기밀 컨테이너는 워크로드가 TEE(신뢰할 수 있는 실행 환경)에서 실행되고 있는지 확인하여 컨테이너 및 데이터를 보호합니다. 이 기능을 배포하여 빅 데이터 분석 및 머신 러닝 추론의 개인 정보를 보호할 수 있습니다.
신뢰 자는 기밀 컨테이너의 구성 요소입니다. 신뢰할 수 있는 서비스는 워크로드를 실행하려는 위치 또는 기밀 정보를 보낼 계획의 위치를 확인하는 인증 서비스입니다. 신뢰에는 신뢰할 수 있는 측에 배포되고 원격 워크로드가 신뢰할 수 있는 실행 환경(TEE)에서 실행되고 있는지 확인하는 데 사용되는 구성 요소가 포함되어 있습니다. 신뢰자는 유연하며 다양한 애플리케이션 및 하드웨어 플랫폼을 지원하기 위해 여러 다른 구성으로 배포할 수 있습니다.
- 기밀 컴퓨팅 인증 Operator
- Confidential Compute attestation Operator는 기밀 컨테이너의 설치, 라이프사이클 및 구성을 관리합니다.
1.5. OpenShift 샌드박스 컨테이너 Operator 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너 Operator는 Kata 컨테이너의 모든 구성 요소를 캡슐화합니다. 설치, 라이프사이클 및 구성 작업을 관리합니다.
OpenShift 샌드박스 컨테이너 Operator는 Operator 번들 형식으로 두 개의 컨테이너 이미지로 패키지됩니다.
- 번들 이미지에는 Operator OLM을 준비하는데 필요한 메타데이터가 포함되어 있습니다.
-
두 번째 컨테이너 이미지에는
KataConfig리소스를 모니터링하고 관리하는 실제 컨트롤러가 포함되어 있습니다.
OpenShift 샌드박스 컨테이너 Operator는 RHCOS(Red Hat Enterprise Linux CoreOS) 확장 개념을 기반으로 합니다. RHCOS 확장은 선택적 OpenShift Container Platform 소프트웨어를 설치하는 메커니즘입니다. OpenShift 샌드박스된 컨테이너 Operator는 이 메커니즘을 사용하여 클러스터에 샌드박스 컨테이너를 배포합니다.
샌드박스 컨테이너 RHCOS 확장에는 Kata, QEMU 및 종속 항목에 대한 RPM이 포함되어 있습니다. Machine Config Operator에서 제공하는 MachineConfig 리소스를 사용하여 활성화할 수 있습니다.
추가 리소스
1.6. 기밀 컨테이너 정보 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너는 신뢰할 수 있는 실행 환경을 활용하여 컨테이너와 데이터를 보호할 수 있는 기밀 컴퓨팅 환경을 제공합니다.
Microsoft Azure Cloud Computing Services, IBM Z® 및 IBM® LinuxONE의 기밀 컨테이너는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
Red Hat Trusted Artifact Signer 와 같은 툴을 사용하여 컨테이너 이미지에 서명할 수 있습니다. 그런 다음 컨테이너 이미지 서명 확인 정책을 생성합니다.
Trustee Operator는 서명을 확인하여 신뢰할 수 있고 인증된 컨테이너 이미지만 환경에 배포되도록 합니다.
자세한 내용은 OpenShift 기밀 컨테이너 솔루션 탐색을 참조하십시오.
1.7. OpenShift Virtualization 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Virtualization을 사용하여 클러스터에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
OpenShift Virtualization 및 OpenShift 샌드박스 컨테이너를 동시에 실행하려면 가상 머신이 실시간 업그레이드 가능해야 노드 재부팅을 차단하지 않도록 합니다. 자세한 내용은 OpenShift Virtualization 설명서의 실시간 마이그레이션 정보를 참조하십시오.
1.8. 블록 볼륨 지원 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform은 원시 블록 볼륨을 정적으로 프로비저닝할 수 있습니다. 이러한 볼륨에는 파일 시스템이 없으며 디스크에 직접 쓰거나 자체 스토리지 서비스를 구현하는 애플리케이션에 성능 이점을 제공할 수 있습니다.
로컬 블록 장치를 OpenShift 샌드박스 컨테이너의 PV(영구 볼륨) 스토리지로 사용할 수 있습니다. 이 블록 장치는 LSO(Local Storage Operator)를 사용하여 프로비저닝할 수 있습니다.
Local Storage Operator는 기본적으로 OpenShift Container Platform에 설치되지 않습니다. 설치 지침은 Local Storage Operator 설치를 참조하십시오.
PV 사양에 volumeMode: Block 을 지정하여 OpenShift 샌드박스 컨테이너의 원시 블록 볼륨을 프로비저닝할 수 있습니다.
블록 볼륨 예
1.9. FIPS 컴플라이언스 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform은 FIPS(Federal Information Processing Standards) 140-2 및 140-3를 위해 설계되었습니다. FIPS 모드에서 부팅된 RHEL(Red Hat Enterprise Linux CoreOS) 또는 RHCOS(Red Hat Enterprise Linux CoreOS)를 실행하는 경우 OpenShift Container Platform 코어 구성 요소는 x86_64,ppc64le, s390x 아키텍처에서만 FIPS 140-2/140-3 Validation에 대해 NIST에 제출된 RHEL 암호화 라이브러리를 사용합니다.
NIST 검증 프로그램에 대한 자세한 내용은 암호화 모듈 유효성 검사 프로그램을 참조하십시오. 검증을 위해 제출된 개별 RHEL 암호화 라이브러리의 최신 NIST 상태는 규정 준수 활동 및 정부 표준을 참조하십시오.
OpenShift 샌드박스 컨테이너는 FIPS가 활성화된 클러스터에서 사용할 수 있습니다.
FIPS 모드에서 실행하면 OpenShift 샌드박스 컨테이너 구성 요소, VM 및 VM 이미지가 FIPS를 준수하도록 조정됩니다.
OpenShift 샌드박스 컨테이너에 대한 FIPS 컴플라이언스는 kata 런타임 클래스에만 적용됩니다. 피어 Pod 런타임 클래스 kata-remote 는 아직 완전히 지원되지 않으며 FIPS 규정 준수를 위해 테스트되지 않았습니다.
FIPS 컴플라이언스는 보안 수준이 높은 환경에서 요구되는 가장 중요한 구성요소 중 하나로, 지원되는 암호화 기술만 노드에서 허용합니다.
FIPS 검증 / 진행중인 모듈 암호화 라이브러리 사용은 x86_64 아키텍처의 OpenShift Container Platform 배포에서만 지원됩니다.
OpenShift Container Platform 컴플라이언스 프레임워크에 대한 Red Hat의 관점을 이해하려면 OpenShift 보안 가이드의 위험 관리 및 규제 준비 장을 참조하십시오.
2장. 베어 메탈에 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
작업자 노드에 RHCOS(Red Hat Enterprise Linux CoreOS)가 설치된 온프레미스 베어 메탈 클러스터에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- RHEL 노드는 지원되지 않습니다.
- 중첩된 가상화는 지원되지 않습니다.
사용자 프로비저닝 , 설치 관리자 프로비저닝 또는 지원설치 프로그램을 포함하여 설치 방법을 사용하여 클러스터를 배포할 수 있습니다.
AWS(Amazon Web Services) 베어 메탈 인스턴스에 OpenShift 샌드박스 컨테이너를 설치할 수도 있습니다. 다른 클라우드 공급자가 제공하는 베어 메탈 인스턴스는 지원되지 않습니다.
클러스터 요구 사항
- OpenShift 샌드박스 컨테이너 Operator를 설치하는 클러스터에 Red Hat OpenShift Container Platform 4.14 이상을 설치했습니다.
- 클러스터에 작업자 노드가 하나 이상 있습니다.
2.1. OpenShift 샌드박스 컨테이너 리소스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 충분한 리소스가 있는지 확인해야 합니다.
OpenShift 샌드박스 컨테이너를 사용하면 사용자가 샌드박스 런타임(Kata) 내의 OpenShift Container Platform 클러스터에서 워크로드를 실행할 수 있습니다. 각 Pod는 VM(가상 머신)으로 표시됩니다. 각 VM은 QEMU 프로세스에서 실행되며 컨테이너 워크로드를 관리하기 위한 감독자 역할을 하는 kata-agent 프로세스 및 해당 컨테이너에서 실행되는 프로세스를 호스팅합니다. 두 개의 추가 프로세스는 오버헤드를 더 추가합니다.
-
containerd-shim-kata-v2는 pod와 통신하는 데 사용됩니다. -
virtiofsd는 게스트 대신 호스트 파일 시스템 액세스를 처리합니다.
각 VM은 기본 메모리 양으로 구성됩니다. 메모리를 명시적으로 요청하는 컨테이너의 경우 VM에 추가 메모리가 핫플러그됩니다.
메모리 리소스 없이 실행되는 컨테이너는 VM에서 사용하는 총 메모리가 기본 할당에 도달할 때까지 사용 가능한 메모리를 사용합니다. 게스트와 I/O 버퍼도 메모리를 소비합니다.
컨테이너에 특정 양의 메모리가 제공되면 컨테이너를 시작하기 전에 해당 메모리는 VM에 핫플러그됩니다.
메모리 제한을 지정하면 제한보다 많은 메모리를 사용하는 경우 워크로드가 종료됩니다. 메모리 제한을 지정하지 않으면 VM에서 실행 중인 커널이 메모리 부족을 실행할 수 있습니다. 커널이 메모리 부족하면 VM의 다른 프로세스를 종료할 수 있습니다.
기본 메모리 크기
다음 표에는 리소스 할당에 대한 기본값이 나열되어 있습니다.
| 리소스 | 현재의 |
|---|---|
| 기본적으로 가상 머신에 할당된 메모리 | 2Gi |
| 부팅 시 게스트 Linux 커널 메모리 사용량 | ~110Mi |
| QEMU 프로세스에서 사용하는 메모리 (VM 메모리 제외) | ~30Mi |
|
| ~10Mi |
|
| ~20Mi |
|
Fedora에서 | ~300Mi* [1] |
파일 버퍼가 나타나고 다음과 같은 여러 위치에서 고려됩니다.
- 게스트에서 파일 버퍼 캐시로 표시
-
허용된 사용자 공간 파일 I/O 작업을 매핑된
virtiofsd데몬 - 게스트 메모리로 사용되는 QEMU 프로세스
총 메모리 사용량은 메모리 사용량 통계에 따라 적절히 계산되며, 이 메트릭은 해당 메모리를 한 번만 계산합니다.
Pod 오버헤드는 노드의 Pod에서 사용하는 시스템 리소스의 양을 설명합니다. 다음과 같이 oc describe runtimeclass kata 를 사용하여 Kata 런타임에 대한 현재 Pod 오버헤드를 가져올 수 있습니다.
예
oc describe runtimeclass kata
$ oc describe runtimeclass kata
출력 예
RuntimeClass의 spec.overhead 필드를 변경하여 Pod 오버헤드를 변경할 수 있습니다. 예를 들어 컨테이너에 대해 실행하는 구성이 QEMU 프로세스 및 게스트 커널 데이터에 350Mi 이상의 메모리를 사용하는 경우 필요에 맞게 RuntimeClass 오버헤드를 변경할 수 있습니다.
Red Hat은 지정된 기본 오버헤드 값을 지원합니다. 기본 오버헤드 값 변경은 지원되지 않으며 값을 변경하면 기술적인 문제가 발생할 수 있습니다.
게스트에서 모든 유형의 파일 시스템 I/O를 수행할 때 게스트 커널에 파일 버퍼가 할당됩니다. 파일 버퍼는 virtiofsd 프로세스뿐만 아니라 호스트의 QEMU 프로세스에도 매핑됩니다.
예를 들어 게스트에서 300Mi 파일 버퍼 캐시를 사용하는 경우 QEMU와 virtiofsd는 모두 300Mi 추가 메모리를 사용하는 것처럼 나타납니다. 그러나 세 가지 경우 모두 동일한 메모리가 사용됩니다. 따라서 총 메모리 사용량은 300Mi에 불과하며 3개의 다른 위치에 매핑됩니다. 이는 메모리 사용량 메트릭을 보고할 때 올바르게 계산됩니다.
2.2. 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 다음 작업을 수행하여 베어 메탈에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
- 선택 사항: NFD(Node Feature Discovery) Operator를 설치하여 노드 자격 검사를 구성합니다. 자세한 내용은 노드 자격 검사 및 NFD Operator 설명서를 참조하십시오.
-
KataConfig사용자 지정 리소스를 생성합니다. - OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
2.2.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
- 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
-
키워드로 필터링 필드에
OpenShift sandboxed containers를 입력합니다. - OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
- Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.
설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수
openshift-sandboxed-containers-operator네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.참고openshift-sandboxed-containers-operator이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.- 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
- 설치를 클릭합니다.
- Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.
2.2.2. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
작업자 노드에 kata 를 설치하려면 KataConfig CR(사용자 정의 리소스)을 생성해야 합니다.
kata 런타임 클래스는 기본적으로 모든 작업자 노드에 설치됩니다. 특정 노드에 kata 를 설치하려면 해당 노드에 라벨을 추가한 다음 KataConfig CR에 라벨을 정의할 수 있습니다.
OpenShift 샌드박스 컨테이너는 kata 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 다음 요인은 재부팅 시간을 늘릴 수 있습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - 선택 사항: 노드 자격 검사를 활성화하려면 Node Feature Discovery Operator를 설치했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
- KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.
다음 세부 정보를 입력합니다.
-
이름: 선택 사항: 기본 이름은
example-kataconfig입니다. -
labels: 선택 사항:
KataConfig리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다. - checkNodeEligibility: 선택 사항: NFD(Node Feature Discovery Operator)를 사용하여 노드 자격을 감지하도록 선택합니다.
kataConfigPoolSelector. 선택 사항: 선택한 노드에
kata를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.- kataConfigPoolSelector 영역을 확장합니다.
- kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
- matchExpressions 추가를 클릭합니다.
- 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
-
Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는
In,NotIn,Exists및DoesNotExist입니다. - 값 영역을 확장한 다음 값 추가 를 클릭합니다.
-
값 필드에 키 레이블 값에
true또는false를 입력합니다.
-
loglevel:
kata런타임 클래스가 있는 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.
-
이름: 선택 사항: 기본 이름은
생성을 클릭합니다.
KataConfigCR이 생성되고 작업자 노드에kata런타임 클래스를 설치합니다.kata설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.
검증
-
KataConfig 탭에서
KataConfigCR을 클릭하여 세부 정보를 확인합니다. YAML 탭을 클릭하여
상태 스탠자를 확인합니다.상태스탠자에는조건및kataNodes키가 포함되어 있습니다.status.kataNodes의 값은 노드 배열이며 각각 특정 상태의kata설치 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.
status.kataNodes어레이의 모든 작업자가설치및조건.InProgress: False를 지정하는 이유 없이 False를 표시하면 클러스터에kata가 설치됩니다.
추가 리소스
2.2.3. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
- 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
- YAML 탭을 클릭합니다.
다음 예와 같이
spec.runtimeClassName: kata를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
2.3. 명령줄을 사용하여 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스)를 사용하여 다음 작업을 수행하여 베어 메탈에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
Operator를 설치한 후 다음 옵션을 구성할 수 있습니다.
- 블록 스토리지 장치를 구성합니다.
NFD(Node Feature Discovery) Operator를 설치하여 노드 자격 검사를 구성합니다. 자세한 내용은 노드 자격 검사 및 NFD Operator 설명서를 참조하십시오.
-
NodeFeatureDiscovery사용자 정의 리소스를 생성합니다.
-
-
KataConfig사용자 지정 리소스를 생성합니다. - 선택 사항: Pod 오버헤드를 수정합니다.
- OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
2.3.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
osc-namespace.yaml매니페스트 파일을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operator
apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네임스페이스를 생성합니다.
oc apply -f osc-namespace.yaml
$ oc apply -f osc-namespace.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-operatorgroup.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 operator 그룹을 생성합니다.
oc apply -f osc-operatorgroup.yaml
$ oc apply -f osc-operatorgroup.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-subscription.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 서브스크립션을 생성합니다.
oc apply -f osc-subscription.yaml
$ oc apply -f osc-subscription.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.
oc get csv -n openshift-sandboxed-containers-operator
$ oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 프로세스를 확인합니다.
watch oc get csv -n openshift-sandboxed-containers-operator
$ watch oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 Succeeded
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 SucceededCopy to Clipboard Copied! Toggle word wrap Toggle overflow
2.3.2. 선택적 구성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너 Operator를 설치한 후 다음 옵션을 구성할 수 있습니다.
2.3.2.1. 로컬 블록 볼륨 프로비저닝 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너와 함께 로컬 블록 볼륨을 사용할 수 있습니다. 먼저 LSO(Local Storage Operator)를 사용하여 로컬 블록 볼륨을 프로비저닝해야 합니다. 그런 다음 로컬 블록 볼륨이 있는 노드를 활성화해야 OpenShift 샌드박스 컨테이너 워크로드를 실행해야 합니다.
LSO(Local Storage Operator)를 사용하여 OpenShift 샌드박스 컨테이너의 로컬 블록 볼륨을 프로비저닝할 수 있습니다. 로컬 볼륨 프로비저너는 정의된 리소스에 지정된 경로에서 블록 볼륨 장치를 찾습니다.
사전 요구 사항
- Local Storage Operator가 설치되어 있습니다.
다음 조건을 충족하는 로컬 디스크가 있습니다.
- 노드에 연결되어 있습니다.
- 마운트되지 않았습니다.
- 파티션이 포함되어 있지 않습니다.
프로세스
로컬 볼륨 리소스를 생성합니다. 이 리소스는 로컬 볼륨에 대한 노드 및 경로를 정의해야 합니다.
참고동일한 장치에 다른 스토리지 클래스 이름을 사용하지 마십시오. 이렇게 하면 여러 PV(영구 볼륨)가 생성됩니다.
예: 블록
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- Local Storage Operator가 설치된 네임스페이스입니다.
- 2
- 선택 사항: 로컬 스토리지 볼륨이 연결된 노드 목록이 포함된 노드 선택기입니다. 이 예에서는
oc get node에서 가져온 노드 호스트 이름을 사용합니다. 값을 정의하지 않으면 Local Storage Operator에서 사용 가능한 모든 노드에서 일치하는 디스크를 찾습니다. - 3
- 영구 볼륨 오브젝트를 생성할 때 사용할 스토리지 클래스의 이름입니다.
- 4
- 이 설정은
wipefs를 호출할지 여부를 정의합니다. 즉, 파티션 테이블 서명(마이크 문자열)을 제거하여 Local Storage Operator 프로비저닝에 디스크를 사용할 준비가 되었습니다. 서명 이외의 다른 데이터는 삭제되지 않습니다. 기본값은 "false"입니다(wipefs가 호출되지 않음).forceWipeDevicesAndDestroyAllData를 "true"로 설정하면 이전 데이터를 다시 사용해야 하는 디스크에 남아 있을 수 있는 시나리오에서 유용할 수 있습니다. 이러한 시나리오에서는 이 필드를 true로 설정하면 관리자가 디스크를 수동으로 지울 필요가 없습니다. - 5
- 선택할 로컬 스토리지 장치 목록이 포함된 경로입니다. 로컬 블록 장치가 있는 노드를 활성화하여 OpenShift 샌드박스 컨테이너 워크로드를 실행할 때 이 경로를 사용해야 합니다.
- 6
- 이 값을
LocalVolume리소스의 filepath로 바꿉니다(예:/dev/disk/). 프로비저너가 배포되면 이러한 로컬 디스크에 PV가 생성됩니다.by-id/wwn
OpenShift Container Platform 클러스터에 로컬 볼륨 리소스를 생성합니다. 방금 생성한 파일을 지정합니다.
oc apply -f <local-volume>.yaml
$ oc apply -f <local-volume>.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 프로비저너가 생성되었고 해당 데몬 세트가 생성되었는지 확인합니다.
oc get all -n openshift-local-storage
$ oc get all -n openshift-local-storageCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 원하는데몬 세트 프로세스 및현재개수를 기록해 둡니다.원하는개수가0이면 라벨 선택기가 유효하지 않음을 나타냅니다.영구 볼륨이 생성되었는지 확인합니다.
oc get pv
$ oc get pvCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE local-pv-1cec77cf 100Gi RWO Delete Available local-sc 88m local-pv-2ef7cd2a 100Gi RWO Delete Available local-sc 82m local-pv-3fa1c73 100Gi RWO Delete Available local-sc 48m
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE local-pv-1cec77cf 100Gi RWO Delete Available local-sc 88m local-pv-2ef7cd2a 100Gi RWO Delete Available local-sc 82m local-pv-3fa1c73 100Gi RWO Delete Available local-sc 48mCopy to Clipboard Copied! Toggle word wrap Toggle overflow
LocalVolume 오브젝트를 편집해도 안전하지 않은 작업이 발생할 수 있으므로 기존 영구 볼륨이 변경되지 않습니다.
2.3.2.2. 노드가 로컬 블록 장치를 사용하도록 활성화 링크 복사링크가 클립보드에 복사되었습니다!
로컬 블록 장치로 노드를 구성하여 정의된 볼륨 리소스에 지정된 경로에서 OpenShift 샌드박스 컨테이너 워크로드를 실행할 수 있습니다.
사전 요구 사항
- LSO(Local Storage Operator)를 사용하여 블록 장치를 프로비저닝합니다.
프로세스
로컬 블록 장치가 있는 각 노드를 활성화하여 다음 명령을 실행하여 OpenShift 샌드박스 컨테이너 워크로드를 실행합니다.
oc debug node/worker-0 -- chcon -vt container_file_t /host/path/to/device
$ oc debug node/worker-0 -- chcon -vt container_file_t /host/path/to/deviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow /path/to/device는 로컬 스토리지 리소스를 생성할 때 정의한 경로와 동일해야 합니다.출력 예
system_u:object_r:container_file_t:s0 /host/path/to/device
system_u:object_r:container_file_t:s0 /host/path/to/deviceCopy to Clipboard Copied! Toggle word wrap Toggle overflow
2.3.2.3. NodeFeatureDiscovery 사용자 정의 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
NodeFeatureDiscovery CR(사용자 정의 리소스)을 생성하여 NFD(Node Feature Discovery) Operator에서 작업자 노드에서 OpenShift 샌드박스 컨테이너를 지원할 수 있는지 확인하는 구성 매개변수를 정의합니다.
사용자가 알고 있는 선택된 작업자 노드에만 kata 런타임을 설치하려면 feature.node.kubernetes.io/runtime.kata=true 레이블을 선택한 노드에 적용하고 KataConfig CR에서 checkNodeEligibility: true 를 설정합니다.
모든 작업자 노드에 kata 런타임을 설치하려면 KataConfig CR에 checkNodeEligibility: false 를 설정합니다.
이러한 두 시나리오에서는 NodeFeatureDiscovery CR을 생성할 필요가 없습니다. 노드가 OpenShift 샌드박스 컨테이너를 실행할 수 있는지 확인하는 경우 feature.node.kubernetes.io/runtime.kata=true 레이블만 수동으로 적용해야 합니다.
다음 절차에서는 feature.node.kubernetes.io/runtime.kata=true 레이블을 모든 적격 노드에 적용하고 노드 자격을 확인하도록 KataConfig 리소스를 구성합니다.
사전 요구 사항
- NFD Operator가 설치되어 있습니다.
프로세스
다음 예에 따라
nfd.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow NodeFeatureDiscoveryCR을 생성합니다.oc create -f nfd.yaml
$ oc create -f nfd.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow NodeFeatureDiscoveryCR은feature.node.kubernetes.io/runtime.kata=true레이블을 모든 적격 작업자 노드에 적용합니다.
다음 예에 따라
kata-config.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow KataConfigCR을 생성합니다.oc create -f kata-config.yaml
$ oc create -f kata-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
클러스터의 적격한 노드에 올바른 레이블이 적용되었는지 확인합니다.
oc get nodes --selector='feature.node.kubernetes.io/runtime.kata=true'
$ oc get nodes --selector='feature.node.kubernetes.io/runtime.kata=true'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME STATUS ROLES AGE VERSION compute-3.example.com Ready worker 4h38m v1.25.0 compute-2.example.com Ready worker 4h35m v1.25.0
NAME STATUS ROLES AGE VERSION compute-3.example.com Ready worker 4h38m v1.25.0 compute-2.example.com Ready worker 4h35m v1.25.0Copy to Clipboard Copied! Toggle word wrap Toggle overflow
2.3.3. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
작업자 노드에 kata 를 런타임 클래스로 설치하려면 KataConfig CR(사용자 정의 리소스)을 생성해야 합니다.
KataConfig CR을 생성하면 OpenShift 샌드박스 컨테이너 Operator가 다음을 수행합니다.
-
RHCOS 노드에 QEMU 및
kata-containers와 같은 필요한 RHCOS 확장을 설치합니다. - CRI-O 런타임이 올바른 런타임 처리기로 구성되었는지 확인합니다.
-
기본 구성으로
kata라는RuntimeClassCR을 생성합니다. 이를 통해 사용자는RuntimeClassName필드에서 CR을 참조하여kata를 런타임으로 사용하도록 워크로드를 구성할 수 있습니다. 이 CR은 런타임의 리소스 오버헤드도 지정합니다.
OpenShift 샌드박스 컨테이너는 kata 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - 선택 사항: 노드 자격 검사를 활성화하려면 Node Feature Discovery Operator를 설치했습니다.
프로세스
다음 예에 따라
example-kataconfig.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
KataConfigCR을 생성합니다.oc apply -f example-kataconfig.yaml
$ oc apply -f example-kataconfig.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로운
KataConfigCR이 생성되고 작업자 노드에kata를 런타임 클래스로 설치합니다.kata설치가 완료되고 설치를 확인하기 전에 작업자 노드가 재부팅될 때까지 기다립니다.다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.
watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"Copy to Clipboard Copied! Toggle word wrap Toggle overflow kataNodes아래의 모든 작업자의 상태가설치되고이유를 지정하지 않고InProgress조건이False이면 클러스터에kata가 설치됩니다.
2.3.4. Pod 오버헤드 수정 링크 복사링크가 클립보드에 복사되었습니다!
Pod 오버헤드는 노드의 Pod에서 사용하는 시스템 리소스의 양을 설명합니다. RuntimeClass 사용자 정의 리소스의 spec.overhead 필드를 변경하여 Pod 오버헤드를 수정할 수 있습니다. 예를 들어 컨테이너에 대해 실행하는 구성이 QEMU 프로세스 및 게스트 커널 데이터에 350Mi 이상의 메모리를 사용하는 경우 필요에 맞게 RuntimeClass 오버헤드를 변경할 수 있습니다.
게스트에서 모든 유형의 파일 시스템 I/O를 수행할 때 게스트 커널에 파일 버퍼가 할당됩니다. 파일 버퍼는 virtiofsd 프로세스뿐만 아니라 호스트의 QEMU 프로세스에도 매핑됩니다.
예를 들어 게스트에서 300Mi 파일 버퍼 캐시를 사용하는 경우 QEMU와 virtiofsd는 모두 300Mi 추가 메모리를 사용하는 것처럼 나타납니다. 그러나 세 가지 경우 모두 동일한 메모리가 사용됩니다. 따라서 총 메모리 사용량은 300Mi에 불과하며 3개의 다른 위치에 매핑됩니다. 이는 메모리 사용량 메트릭을 보고할 때 올바르게 계산됩니다.
기본값은 Red Hat에서 지원합니다. 기본 오버헤드 값 변경은 지원되지 않으며 값을 변경하면 기술적인 문제가 발생할 수 있습니다.
프로세스
다음 명령을 실행하여
RuntimeClass오브젝트를 가져옵니다.oc describe runtimeclass kata
$ oc describe runtimeclass kataCopy to Clipboard Copied! Toggle word wrap Toggle overflow overhead.podFixed.memory및cpu값을 업데이트하고 파일로runtimeclass.yaml로 저장합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 변경 사항을 적용합니다.
oc apply -f runtimeclass.yaml
$ oc apply -f runtimeclass.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
2.3.5. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
다음 예와 같이
spec.runtimeClassName: kata를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
3장. AWS에 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔 또는 CLI(명령줄 인터페이스)를 사용하여 AWS 클라우드 컴퓨팅 서비스에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
OpenShift 샌드박스 컨테이너는 피어 Pod를 배포합니다. 피어 Pod 설계는 중첩된 가상화의 필요성을 우회합니다. 자세한 내용은 피어 Pod를 참조하십시오.
클러스터 요구 사항
- OpenShift 샌드박스 컨테이너 Operator를 설치하는 클러스터에 Red Hat OpenShift Container Platform 4.14 이상을 설치했습니다.
- 클러스터에 작업자 노드가 하나 이상 있습니다.
3.1. 피어 Pod 리소스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 충분한 리소스가 있는지 확인해야 합니다.
피어 Pod 가상 머신(VM)에는 다음 두 위치에 있는 리소스가 필요합니다.
-
작업자 노드입니다. 작업자 노드는 메타데이터, Kata shim 리소스(
containerd-shim-kata-v2), remote-hypervisor 리소스(cloud-api-adaptor) 및 작업자 노드와 피어 Pod VM 간의 터널 설정을 저장합니다. - 클라우드 인스턴스입니다. 클라우드에서 실행되는 실제 피어 Pod VM입니다.
Kubernetes 작업자 노드에 사용되는 CPU 및 메모리 리소스는 피어 Pod를 생성하는 데 사용되는 RuntimeClass(kata-remote) 정의에 포함된 Pod 오버헤드 에 의해 처리됩니다.
클라우드에서 실행되는 총 피어 Pod VM 수는 Kubernetes 노드 확장 리소스로 정의됩니다. 이 제한은 노드당이며 peerpodConfig CR(사용자 정의 리소스)의 limit 속성으로 설정됩니다.
peerpodconfig-openshift 라는 peerpodConfig CR은 kataConfig CR을 생성하고 피어 Pod를 활성화할 때 생성되며 openshift-sandboxed-containers-operator 네임스페이스에 있습니다.
다음 peerpodConfig CR 예제에서는 기본 사양 값을 표시합니다.
- 1
- 기본 제한은 노드당 VM 10개입니다.
확장된 리소스의 이름은 kata.peerpods.io/vm 이며 Kubernetes 스케줄러에서 용량 추적 및 계정을 처리할 수 있습니다.
OpenShift 샌드박스 컨테이너 Operator를 설치한 후 환경의 요구 사항에 따라 노드당 제한을 편집할 수 있습니다.
변경 웹 후크 는 확장된 리소스 kata.peerpods.io/vm 을 Pod 사양에 추가합니다. 또한 Pod 사양에서 리소스별 항목도 제거합니다(있는 경우). 이를 통해 Kubernetes 스케줄러에서 이러한 확장 리소스를 고려하여 리소스를 사용할 수 있는 경우에만 피어 Pod를 예약할 수 있습니다.
변경 웹 후크는 다음과 같이 Kubernetes Pod를 수정합니다.
-
변경 웹 후크는
TARGET_RUNTIME_CLASS환경 변수에 지정된 예상RuntimeClassName값을 Pod에 확인합니다. Pod 사양의 값이TARGET_RUNTIME_CLASS의 값과 일치하지 않으면 Pod를 수정하지 않고 웹 후크가 종료됩니다. RuntimeClassName값이 일치하는 경우 Webhook에서 Pod 사양을 다음과 같이 변경합니다.-
Webhook는 Pod에 있는 모든 컨테이너 및 init 컨테이너의
resources필드에서 모든 리소스 사양을 제거합니다. -
Webhook는 Pod의 첫 번째 컨테이너의 resources 필드를 수정하여 확장 리소스(
kata.peerpods.io/vm)를 사양에 추가합니다. 확장된 리소스kata.peerpods.io/vm은 회계 목적으로 Kubernetes 스케줄러에서 사용합니다.
-
Webhook는 Pod에 있는 모든 컨테이너 및 init 컨테이너의
변경 웹 후크는 OpenShift Container Platform의 특정 시스템 네임스페이스가 변경되지 않습니다. 해당 시스템 네임스페이스에 피어 Pod가 생성되면 Pod 사양에 확장 리소스가 포함되지 않는 한 Kubernetes 확장 리소스를 사용하는 리소스 계정이 작동하지 않습니다.
특정 네임스페이스에서 피어 Pod 생성만 허용하도록 클러스터 전체 정책을 정의하는 것이 좋습니다.
3.2. 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 다음 작업을 수행하여 AWS에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
- 포트 15150 및 9000을 활성화하여 피어 Pod와의 내부 통신을 허용합니다.
- 피어 Pod 시크릿을 생성합니다.
- 피어 Pod 구성 맵을 생성합니다.
-
KataConfig사용자 지정 리소스를 생성합니다. - OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
3.2.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
- 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
-
키워드로 필터링 필드에
OpenShift sandboxed containers를 입력합니다. - OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
- Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.
설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수
openshift-sandboxed-containers-operator네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.참고openshift-sandboxed-containers-operator이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.- 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
- 설치를 클릭합니다.
- Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.
3.2.2. AWS의 포트 활성화 링크 복사링크가 클립보드에 복사되었습니다!
AWS에서 실행되는 피어 Pod와의 내부 통신을 허용하려면 포트 15150 및 9000을 활성화해야 합니다.
사전 요구 사항
- OpenShift 샌드박스 컨테이너 Operator가 설치되어 있습니다.
- AWS 명령줄 툴을 설치했습니다.
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.
INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \ -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')$ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \ -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS 리전을 검색합니다.
AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')$ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')Copy to Clipboard Copied! Toggle word wrap Toggle overflow 보안 그룹 ID를 검색하여 배열에 저장합니다.
AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \ --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \ --output text --region $AWS_REGION))$ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \ --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \ --output text --region $AWS_REGION))Copy to Clipboard Copied! Toggle word wrap Toggle overflow 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.
for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \ done$ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \ doneCopy to Clipboard Copied! Toggle word wrap Toggle overflow
이제 포트가 활성화됩니다.
3.2.3. 피어 Pod 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 시크릿을 생성해야 합니다.
시크릿은 Pod VM(가상 머신) 이미지 및 피어 Pod 인스턴스를 생성하기 위한 인증 정보를 저장합니다.
기본적으로 OpenShift 샌드박스 컨테이너 Operator는 클러스터를 생성하는 데 사용되는 인증 정보를 기반으로 보안을 생성합니다. 그러나 다른 인증 정보를 사용하는 보안을 수동으로 생성할 수 있습니다.
사전 요구 사항
AWS 콘솔을 사용하여 다음 값을 생성합니다.
-
AWS_ACCESS_KEY_ID -
AWS_SECRET_ACCESS_KEY
-
프로세스
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- OpenShift 샌드박스 컨테이너 Operator 타일을 클릭합니다.
- 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.
YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 저장을 클릭하여 변경 사항을 적용합니다.
- 워크로드 → 시크릿 으로 이동하여 피어 Pod 시크릿을 확인합니다.
3.2.4. 피어 Pod 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 구성 맵을 생성해야 합니다.
사전 요구 사항
- 클러스터 인증 정보를 기반으로 기본 AMI ID를 사용하지 않는 경우 AMI(Amazon Machine Image) ID가 있습니다.
프로세스
AWS 인스턴스에서 다음 값을 가져옵니다.
인스턴스 ID를 검색하고 기록합니다.
INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')$ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.
AWS 리전을 검색하고 기록합니다.
AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""$ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS 서브넷 ID를 검색하고 기록합니다.
AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""$ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS VPC ID를 검색하고 기록합니다.
AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""$ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS 보안 그룹 ID를 검색하고 기록합니다.
AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""$ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
- 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.
YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 유형이 워크로드에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.
- 2
- Pod를 생성할 때 지정할 수 있는 모든 인스턴스 유형을 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드에 대해 더 큰 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.
- 3
- 선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 AMI ID를 사용하여
KataConfigCR을 실행할 때 이 값이 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다. - 4
- 검색한
AWS_REGION값을 지정합니다. - 5
- 검색한
AWS_SUBNET_ID값을 지정합니다. - 6
- 검색한
AWS_VPC_ID값을 지정합니다. - 7
- 검색한
AWS_SG_IDS값을 지정합니다.
- 저장을 클릭하여 변경 사항을 적용합니다.
- 워크로드 → ConfigMap 으로 이동하여 새 구성 맵을 확인합니다.
3.2.5. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KataConfig CR(사용자 정의 리소스)을 생성하여 작업자 노드에 kata-remote 를 RuntimeClass 로 설치해야 합니다.
kata-remote 런타임 클래스는 기본적으로 모든 작업자 노드에 설치됩니다. 특정 노드에 kata-remote 를 설치하려면 해당 노드에 레이블을 추가한 다음 KataConfig CR에 레이블을 정의할 수 있습니다.
OpenShift 샌드박스 컨테이너는 kata-remote 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 다음 요인은 재부팅 시간을 늘릴 수 있습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - 선택 사항: 노드 자격 검사를 활성화하려면 Node Feature Discovery Operator를 설치했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
- KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.
다음 세부 정보를 입력합니다.
-
이름: 선택 사항: 기본 이름은
example-kataconfig입니다. -
labels: 선택 사항:
KataConfig리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다. - enablePeerPods: 퍼블릭 클라우드, IBM Z® 및 IBM® LinuxONE 배포에는 선택합니다.
kataConfigPoolSelector. 선택 사항: 선택한 노드에
kata-remote를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.- kataConfigPoolSelector 영역을 확장합니다.
- kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
- matchExpressions 추가를 클릭합니다.
- 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
-
Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는
In,NotIn,Exists및DoesNotExist입니다. - 값 영역을 확장한 다음 값 추가 를 클릭합니다.
-
값 필드에 키 레이블 값에
true또는false를 입력합니다.
-
loglevel:
kata-remote런타임 클래스를 사용하여 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.
-
이름: 선택 사항: 기본 이름은
생성을 클릭합니다.
KataConfigCR이 생성되고 작업자 노드에kata-remote런타임 클래스를 설치합니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.
검증
-
KataConfig 탭에서
KataConfigCR을 클릭하여 세부 정보를 확인합니다. YAML 탭을 클릭하여
상태 스탠자를 확인합니다.상태스탠자에는조건및kataNodes키가 포함되어 있습니다.status.kataNodes의 값은 노드 배열이며 각 노드는 특정kata-remote설치의 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.
status.kataNodes어레이의 모든 작업자가설치및조건.InProgress: False를 지정하는 이유 없이 False를 표시하면 클러스터에kata-remote가 설치됩니다.
추가 리소스
Pod VM 이미지 확인
클러스터에 kata-remote 가 설치되면 OpenShift 샌드박스 컨테이너 Operator에서 피어 Pod를 생성하는 데 사용되는 Pod VM 이미지를 생성합니다. 이 프로세스는 클라우드 인스턴스에서 이미지가 생성되므로 시간이 오래 걸릴 수 있습니다. 클라우드 공급자에 대해 생성한 구성 맵을 확인하여 Pod VM 이미지가 성공적으로 생성되었는지 확인할 수 있습니다.
프로세스
- 워크로드 → ConfigMap 으로 이동합니다.
- 공급자 구성 맵을 클릭하여 세부 정보를 확인합니다.
- YAML 탭을 클릭합니다.
YAML 파일의
상태스탠자를 확인합니다.PODVM_AMI_ID매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.
문제 해결
다음 명령을 실행하여 이벤트 로그를 검색합니다.
oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation
$ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 작업 로그를 검색합니다.
oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation
$ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow
문제를 해결할 수 없는 경우 Red Hat 지원 케이스를 제출하고 두 로그의 출력을 첨부합니다.
3.2.6. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata-remote 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
YAML 파일에 주석을 추가하여 구성 맵에 정의한 기본 인스턴스 유형을 사용하여 워크로드를 배포해야 하는지 여부를 정의할 수 있습니다.
인스턴스 유형을 수동으로 정의하지 않으려면 사용 가능한 메모리에 따라 자동 인스턴스 유형을 사용하도록 주석을 추가할 수 있습니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
- 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
- YAML 탭을 클릭합니다.
다음 예와 같이
spec.runtimeClassName: kata-remote를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow pod-templated 오브젝트에 주석을 추가하여 수동으로 정의된 인스턴스 유형 또는 자동 인스턴스 유형을 사용합니다.
수동으로 정의한 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 구성 맵에서 정의한 인스턴스 유형을 지정합니다.
자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.
저장을 클릭하여 변경 사항을 적용합니다.
OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata-remote이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
3.3. 명령줄을 사용하여 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스)를 사용하여 다음 작업을 수행하여 AWS에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
- 선택 사항: 각 작업자 노드에서 실행되는 가상 머신 수를 변경합니다.
- 포트 15150 및 9000을 활성화하여 피어 Pod와의 내부 통신을 허용합니다.
- 피어 Pod 시크릿을 생성합니다.
- 피어 Pod 구성 맵을 생성합니다.
-
KataConfig사용자 지정 리소스를 생성합니다. - OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
3.3.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
osc-namespace.yaml매니페스트 파일을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operator
apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네임스페이스를 생성합니다.
oc apply -f osc-namespace.yaml
$ oc apply -f osc-namespace.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-operatorgroup.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 operator 그룹을 생성합니다.
oc apply -f osc-operatorgroup.yaml
$ oc apply -f osc-operatorgroup.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-subscription.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 서브스크립션을 생성합니다.
oc apply -f osc-subscription.yaml
$ oc apply -f osc-subscription.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.
oc get csv -n openshift-sandboxed-containers-operator
$ oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 프로세스를 확인합니다.
watch oc get csv -n openshift-sandboxed-containers-operator
$ watch oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 Succeeded
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 SucceededCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.2. 노드당 피어 Pod VM 수 수정 링크 복사링크가 클립보드에 복사되었습니다!
peerpodConfig CR(사용자 정의 리소스)을 편집하여 노드당 피어 Pod 가상 머신(VM) 제한을 변경할 수 있습니다.
프로세스
다음 명령을 실행하여 현재 제한을 확인합니다.
oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ -o jsonpath='{.spec.limit}{"\n"}'$ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ -o jsonpath='{.spec.limit}{"\n"}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
peerpodConfigCR의limit속성을 수정합니다.oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ --type merge --patch '{"spec":{"limit":"<value>"}}'$ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ --type merge --patch '{"spec":{"limit":"<value>"}}'1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- <value>를 정의할 제한으로 바꿉니다.
3.3.3. AWS의 포트 활성화 링크 복사링크가 클립보드에 복사되었습니다!
AWS에서 실행되는 피어 Pod와의 내부 통신을 허용하려면 포트 15150 및 9000을 활성화해야 합니다.
사전 요구 사항
- OpenShift 샌드박스 컨테이너 Operator가 설치되어 있습니다.
- AWS 명령줄 툴을 설치했습니다.
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
OpenShift Container Platform 클러스터에 로그인하고 인스턴스 ID를 검색합니다.
INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \ -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')$ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' \ -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS 리전을 검색합니다.
AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')$ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}')Copy to Clipboard Copied! Toggle word wrap Toggle overflow 보안 그룹 ID를 검색하여 배열에 저장합니다.
AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \ --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \ --output text --region $AWS_REGION))$ AWS_SG_IDS=($(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} \ --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' \ --output text --region $AWS_REGION))Copy to Clipboard Copied! Toggle word wrap Toggle overflow 각 보안 그룹 ID에 대해 피어 pod shim에 kata-agent 통신에 액세스하고 피어 Pod 터널을 설정하도록 권한을 부여합니다.
for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \ done$ for AWS_SG_ID in "${AWS_SG_IDS[@]}"; do \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 15150 --source-group $AWS_SG_ID --region $AWS_REGION \ aws ec2 authorize-security-group-ingress --group-id $AWS_SG_ID --protocol tcp --port 9000 --source-group $AWS_SG_ID --region $AWS_REGION \ doneCopy to Clipboard Copied! Toggle word wrap Toggle overflow
이제 포트가 활성화됩니다.
3.3.4. 피어 Pod 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 시크릿을 생성해야 합니다.
시크릿은 Pod VM(가상 머신) 이미지 및 피어 Pod 인스턴스를 생성하기 위한 인증 정보를 저장합니다.
기본적으로 OpenShift 샌드박스 컨테이너 Operator는 클러스터를 생성하는 데 사용되는 인증 정보를 기반으로 보안을 생성합니다. 그러나 다른 인증 정보를 사용하는 보안을 수동으로 생성할 수 있습니다.
사전 요구 사항
AWS 콘솔을 사용하여 다음 값을 생성합니다.
-
AWS_ACCESS_KEY_ID -
AWS_SECRET_ACCESS_KEY
-
프로세스
다음 예에 따라
peer-pods-secret.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿을 생성합니다.
oc apply -f peer-pods-secret.yaml
$ oc apply -f peer-pods-secret.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.5. 피어 Pod 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 구성 맵을 생성해야 합니다.
사전 요구 사항
- 클러스터 인증 정보를 기반으로 기본 AMI ID를 사용하지 않는 경우 AMI(Amazon Machine Image) ID가 있습니다.
프로세스
AWS 인스턴스에서 다음 값을 가져옵니다.
인스턴스 ID를 검색하고 기록합니다.
INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')$ INSTANCE_ID=$(oc get nodes -l 'node-role.kubernetes.io/worker' -o jsonpath='{.items[0].spec.providerID}' | sed 's#[^ ]*/##g')Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이는 secret 오브젝트의 다른 값을 검색하는 데 사용됩니다.
AWS 리전을 검색하고 기록합니다.
AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""$ AWS_REGION=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.aws.region}') && echo "AWS_REGION: \"$AWS_REGION\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS 서브넷 ID를 검색하고 기록합니다.
AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""$ AWS_SUBNET_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SubnetId' --region ${AWS_REGION} --output text) && echo "AWS_SUBNET_ID: \"$AWS_SUBNET_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS VPC ID를 검색하고 기록합니다.
AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""$ AWS_VPC_ID=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].VpcId' --region ${AWS_REGION} --output text) && echo "AWS_VPC_ID: \"$AWS_VPC_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow AWS 보안 그룹 ID를 검색하고 기록합니다.
AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""$ AWS_SG_IDS=$(aws ec2 describe-instances --instance-ids ${INSTANCE_ID} --query 'Reservations[*].Instances[*].SecurityGroups[*].GroupId' --region $AWS_REGION --output json | jq -r '.[][][]' | paste -sd ",") && echo "AWS_SG_IDS: \"$AWS_SG_IDS\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 예에 따라
peer-pods-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 유형이 워크로드에 정의되지 않은 경우 사용되는 기본 인스턴스 유형을 정의합니다.
- 2
- Pod를 생성할 때 지정할 수 있는 모든 인스턴스 유형을 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드에 대해 더 큰 인스턴스 유형이 필요한 워크로드에 대해 더 작은 인스턴스 유형을 정의할 수 있습니다.
- 3
- 선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 AMI ID를 사용하여
KataConfigCR을 실행할 때 이 값이 채워집니다. 고유한 AMI를 생성하는 경우 올바른 AMI ID를 지정합니다. - 4
- 검색한
AWS_REGION값을 지정합니다. - 5
- 검색한
AWS_SUBNET_ID값을 지정합니다. - 6
- 검색한
AWS_VPC_ID값을 지정합니다. - 7
- 검색한
AWS_SG_IDS값을 지정합니다.
다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f peer-pods-cm.yaml
$ oc apply -f peer-pods-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
3.3.6. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KataConfig CR(사용자 정의 리소스)을 생성하여 작업자 노드에 kata-remote 를 런타임 클래스로 설치해야 합니다.
KataConfig CR을 생성하면 OpenShift 샌드박스 컨테이너 Operator가 다음을 수행합니다.
-
기본 구성을 사용하여
kata-remote라는RuntimeClassCR을 생성합니다. 이를 통해 사용자는RuntimeClassName필드에서 CR을 참조하여kata-remote를 런타임으로 사용하도록 워크로드를 구성할 수 있습니다. 이 CR은 런타임의 리소스 오버헤드도 지정합니다.
OpenShift 샌드박스 컨테이너는 kata-remote 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 예에 따라
example-kataconfig.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 노드 레이블을 적용하여 특정 노드에
kata-remote를 설치한 경우 키와 값(예:osc: 'true')을 지정합니다.
다음 명령을 실행하여
KataConfigCR을 생성합니다.oc apply -f example-kataconfig.yaml
$ oc apply -f example-kataconfig.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로운
KataConfigCR이 생성되고 작업자 노드에kata-remote가 런타임 클래스로 설치됩니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.
watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"Copy to Clipboard Copied! Toggle word wrap Toggle overflow kataNodes아래의 모든 작업자의 상태가설치되고이유를 지정하지 않고InProgress조건이False이면 클러스터에kata-remote가 설치됩니다.다음 명령을 실행하여 데몬 세트를 확인합니다.
oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon
$ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 런타임 클래스를 확인합니다.
oc get runtimeclass
$ oc get runtimeclassCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152m
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152mCopy to Clipboard Copied! Toggle word wrap Toggle overflow
Pod VM 이미지 확인
클러스터에 kata-remote 가 설치되면 OpenShift 샌드박스 컨테이너 Operator에서 피어 Pod를 생성하는 데 사용되는 Pod VM 이미지를 생성합니다. 이 프로세스는 클라우드 인스턴스에서 이미지가 생성되므로 시간이 오래 걸릴 수 있습니다. 클라우드 공급자에 대해 생성한 구성 맵을 확인하여 Pod VM 이미지가 성공적으로 생성되었는지 확인할 수 있습니다.
프로세스
피어 Pod에 대해 생성한 구성 맵을 가져옵니다.
oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml
$ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow YAML 파일의
상태스탠자를 확인합니다.PODVM_AMI_ID매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성됩니다.
문제 해결
다음 명령을 실행하여 이벤트 로그를 검색합니다.
oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation
$ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 작업 로그를 검색합니다.
oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation
$ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow
문제를 해결할 수 없는 경우 Red Hat 지원 케이스를 제출하고 두 로그의 출력을 첨부합니다.
3.3.7. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata-remote 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
YAML 파일에 주석을 추가하여 구성 맵에 정의한 기본 인스턴스 유형을 사용하여 워크로드를 배포해야 하는지 여부를 정의할 수 있습니다.
인스턴스 유형을 수동으로 정의하지 않으려면 사용 가능한 메모리에 따라 자동 인스턴스 유형을 사용하도록 주석을 추가할 수 있습니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
다음 예와 같이
spec.runtimeClassName: kata-remote를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow pod-templated 오브젝트에 주석을 추가하여 수동으로 정의된 인스턴스 유형 또는 자동 인스턴스 유형을 사용합니다.
수동으로 정의한 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 구성 맵에서 정의한 인스턴스 유형을 지정합니다.
자동 인스턴스 유형을 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 양에 따라 자동 인스턴스 유형에서 실행됩니다.
다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.
oc apply -f <object.yaml>
$ oc apply -f <object.yaml>Copy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata-remote이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
4장. Azure에 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
Microsoft Azure 클라우드 컴퓨팅 서비스에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
OpenShift 샌드박스 컨테이너는 피어 Pod를 배포합니다. 피어 Pod 설계는 중첩된 가상화의 필요성을 우회합니다. 자세한 내용은 피어 Pod를 참조하십시오.
클러스터 요구 사항
- OpenShift 샌드박스 컨테이너 Operator를 설치하는 클러스터에 Red Hat OpenShift Container Platform 4.14 이상을 설치했습니다.
- 클러스터에 작업자 노드가 하나 이상 있습니다.
4.1. 피어 Pod 리소스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 충분한 리소스가 있는지 확인해야 합니다.
피어 Pod 가상 머신(VM)에는 다음 두 위치에 있는 리소스가 필요합니다.
-
작업자 노드입니다. 작업자 노드는 메타데이터, Kata shim 리소스(
containerd-shim-kata-v2), remote-hypervisor 리소스(cloud-api-adaptor) 및 작업자 노드와 피어 Pod VM 간의 터널 설정을 저장합니다. - 클라우드 인스턴스입니다. 클라우드에서 실행되는 실제 피어 Pod VM입니다.
Kubernetes 작업자 노드에 사용되는 CPU 및 메모리 리소스는 피어 Pod를 생성하는 데 사용되는 RuntimeClass(kata-remote) 정의에 포함된 Pod 오버헤드 에 의해 처리됩니다.
클라우드에서 실행되는 총 피어 Pod VM 수는 Kubernetes 노드 확장 리소스로 정의됩니다. 이 제한은 노드당이며 peerpodConfig CR(사용자 정의 리소스)의 limit 속성으로 설정됩니다.
peerpodconfig-openshift 라는 peerpodConfig CR은 kataConfig CR을 생성하고 피어 Pod를 활성화할 때 생성되며 openshift-sandboxed-containers-operator 네임스페이스에 있습니다.
다음 peerpodConfig CR 예제에서는 기본 사양 값을 표시합니다.
- 1
- 기본 제한은 노드당 VM 10개입니다.
확장된 리소스의 이름은 kata.peerpods.io/vm 이며 Kubernetes 스케줄러에서 용량 추적 및 계정을 처리할 수 있습니다.
OpenShift 샌드박스 컨테이너 Operator를 설치한 후 환경의 요구 사항에 따라 노드당 제한을 편집할 수 있습니다.
변경 웹 후크 는 확장된 리소스 kata.peerpods.io/vm 을 Pod 사양에 추가합니다. 또한 Pod 사양에서 리소스별 항목도 제거합니다(있는 경우). 이를 통해 Kubernetes 스케줄러에서 이러한 확장 리소스를 고려하여 리소스를 사용할 수 있는 경우에만 피어 Pod를 예약할 수 있습니다.
변경 웹 후크는 다음과 같이 Kubernetes Pod를 수정합니다.
-
변경 웹 후크는
TARGET_RUNTIME_CLASS환경 변수에 지정된 예상RuntimeClassName값을 Pod에 확인합니다. Pod 사양의 값이TARGET_RUNTIME_CLASS의 값과 일치하지 않으면 Pod를 수정하지 않고 웹 후크가 종료됩니다. RuntimeClassName값이 일치하는 경우 Webhook에서 Pod 사양을 다음과 같이 변경합니다.-
Webhook는 Pod에 있는 모든 컨테이너 및 init 컨테이너의
resources필드에서 모든 리소스 사양을 제거합니다. -
Webhook는 Pod의 첫 번째 컨테이너의 resources 필드를 수정하여 확장 리소스(
kata.peerpods.io/vm)를 사양에 추가합니다. 확장된 리소스kata.peerpods.io/vm은 회계 목적으로 Kubernetes 스케줄러에서 사용합니다.
-
Webhook는 Pod에 있는 모든 컨테이너 및 init 컨테이너의
변경 웹 후크는 OpenShift Container Platform의 특정 시스템 네임스페이스가 변경되지 않습니다. 해당 시스템 네임스페이스에 피어 Pod가 생성되면 Pod 사양에 확장 리소스가 포함되지 않는 한 Kubernetes 확장 리소스를 사용하는 리소스 계정이 작동하지 않습니다.
특정 네임스페이스에서 피어 Pod 생성만 허용하도록 클러스터 전체 정책을 정의하는 것이 좋습니다.
4.2. 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 다음 작업을 수행하여 Azure에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
- 피어 Pod 시크릿을 생성합니다.
- 피어 Pod 구성 맵을 생성합니다.
- Azure 시크릿을 생성합니다.
-
KataConfig사용자 지정 리소스를 생성합니다. - OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
4.2.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
- 웹 콘솔에서 Operator → OperatorHub 로 이동합니다.
-
키워드로 필터링 필드에
OpenShift sandboxed containers를 입력합니다. - OpenShift 샌드박스 컨테이너 Operator 타일을 선택하고 설치를 클릭합니다.
- Operator 설치 페이지의 사용 가능한 업데이트 채널 옵션 목록에서 stable 을 선택합니다.
설치된 네임스페이스 용으로 Operator 권장 네임스페이스 가 선택되어 있는지 확인합니다. 이렇게 하면 필수
openshift-sandboxed-containers-operator네임스페이스에 Operator가 설치됩니다. 이 네임스페이스가 아직 존재하지 않으면 자동으로 생성됩니다.참고openshift-sandboxed-containers-operator이외의 네임스페이스에 OpenShift 샌드박스 컨테이너 Operator를 설치하려고 하면 설치가 실패합니다.- 승인 전략에 대해 자동 이 선택되어 있는지 확인합니다. Automatic 은 기본값이며 새 z-stream 릴리스를 사용할 수 있을 때 OpenShift 샌드박스 컨테이너에 대한 자동 업데이트를 활성화합니다.
- 설치를 클릭합니다.
- Operator → 설치된 Operator 로 이동하여 Operator가 설치되었는지 확인합니다.
4.2.2. 피어 Pod 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 시크릿을 생성해야 합니다.
시크릿은 Pod VM(가상 머신) 이미지 및 피어 Pod 인스턴스를 생성하기 위한 인증 정보를 저장합니다.
기본적으로 OpenShift 샌드박스 컨테이너 Operator는 클러스터를 생성하는 데 사용되는 인증 정보를 기반으로 보안을 생성합니다. 그러나 다른 인증 정보를 사용하는 보안을 수동으로 생성할 수 있습니다.
사전 요구 사항
- Azure CLI 도구를 설치하고 구성했습니다.
프로세스
다음 명령을 실행하여 Azure 서브스크립션 ID를 검색합니다.
AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \ -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""
$ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \ -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 RBAC 콘텐츠를 생성합니다.
az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \ --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"$ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \ --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
{ "client_id": `AZURE_CLIENT_ID`, "client_secret": `AZURE_CLIENT_SECRET`, "tenant_id": `AZURE_TENANT_ID` }{ "client_id": `AZURE_CLIENT_ID`, "client_secret": `AZURE_CLIENT_SECRET`, "tenant_id": `AZURE_TENANT_ID` }Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
보안오브젝트에 사용할 RBAC 출력을 기록합니다. - OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- OpenShift 샌드박스 컨테이너 Operator 타일을 클릭합니다.
- 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.
YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 저장을 클릭하여 변경 사항을 적용합니다.
- 워크로드 → 시크릿 으로 이동하여 피어 Pod 시크릿을 확인합니다.
4.2.3. 피어 Pod 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 구성 맵을 생성해야 합니다.
프로세스
Azure 인스턴스에서 다음 값을 가져옵니다.
Azure 리소스 그룹을 검색하고 기록합니다.
AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""$ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure VNet 이름을 검색하고 기록합니다.
AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)$ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.
Azure 서브넷 ID를 검색하고 기록합니다.
AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""$ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure NSS(Network Security Group) ID를 검색하고 기록합니다.
AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""$ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure 리전을 검색하고 기록합니다.
AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""$ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- Operator 목록에서 OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
- 오른쪽 상단에 있는 가져오기 아이콘(+)을 클릭합니다.
YAML 가져오기 창에서 다음 YAML 매니페스트를 붙여넣습니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 인스턴스 크기가 워크로드에 정의되지 않은 경우 이 값은 기본값입니다.
- 2
- Pod를 생성할 때 지정할 수 있는 모든 인스턴스 크기를 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.
- 3
- 검색한
AZURE_SUBNET_ID값을 지정합니다. - 4
- 검색한
AZURE_NSG_ID값을 지정합니다. - 5
- 선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여
KataConfigCR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다. - 6
- 검색한
AZURE_REGION값을 지정합니다. - 7
- 검색한
AZURE_RESOURCE_GROUP값을 지정합니다.
- 저장을 클릭하여 변경 사항을 적용합니다.
- 워크로드 → ConfigMap 으로 이동하여 새 구성 맵을 확인합니다.
4.2.4. Azure 시크릿 생성 링크 복사링크가 클립보드에 복사되었습니다!
Azure VM(가상 머신) 생성 API에 필요한 SSH 키 시크릿을 생성해야 합니다. Azure에는 SSH 공개 키만 필요합니다. 기밀 컨테이너는 VM에서 SSH를 비활성화하므로 키가 VM에 영향을 미치지 않습니다.
프로세스
다음 명령을 실행하여 SSH 키 쌍을 생성합니다.
ssh-keygen -f ./id_rsa -N ""
$ ssh-keygen -f ./id_rsa -N ""Copy to Clipboard Copied! Toggle word wrap Toggle overflow - OpenShift Container Platform 웹 콘솔에서 워크로드 → 시크릿 으로 이동합니다.
- 시크릿 페이지에서 openshift-sandboxed-containers-operator 프로젝트에 있는지 확인합니다.
- 생성을 클릭하고 키/값 시크릿을 선택합니다.
-
시크릿 이름 필드에
ssh-key-secret을 입력합니다. -
키 필드에
id_rsa.pub를 입력합니다. - 값 필드에 공개 SSH 키를 붙여넣습니다.
- 생성을 클릭합니다.
생성한 SSH 키를 삭제합니다.
shred --remove id_rsa.pub id_rsa
$ shred --remove id_rsa.pub id_rsaCopy to Clipboard Copied! Toggle word wrap Toggle overflow
4.2.5. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KataConfig CR(사용자 정의 리소스)을 생성하여 작업자 노드에 kata-remote 를 RuntimeClass 로 설치해야 합니다.
kata-remote 런타임 클래스는 기본적으로 모든 작업자 노드에 설치됩니다. 특정 노드에 kata-remote 를 설치하려면 해당 노드에 레이블을 추가한 다음 KataConfig CR에 레이블을 정의할 수 있습니다.
OpenShift 샌드박스 컨테이너는 kata-remote 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 다음 요인은 재부팅 시간을 늘릴 수 있습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - 선택 사항: 노드 자격 검사를 활성화하려면 Node Feature Discovery Operator를 설치했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
- OpenShift 샌드박스 컨테이너 Operator를 선택합니다.
- KataConfig 탭에서 KataConfig 만들기 를 클릭합니다.
다음 세부 정보를 입력합니다.
-
이름: 선택 사항: 기본 이름은
example-kataconfig입니다. -
labels: 선택 사항:
KataConfig리소스에 대한 특성을 식별하는 모든 관련 정보를 입력합니다. 각 레이블은 키-값 쌍을 나타냅니다. - enablePeerPods: 퍼블릭 클라우드, IBM Z® 및 IBM® LinuxONE 배포에는 선택합니다.
kataConfigPoolSelector. 선택 사항: 선택한 노드에
kata-remote를 설치하려면 선택한 노드의 라벨에 일치하는 표현식을 추가합니다.- kataConfigPoolSelector 영역을 확장합니다.
- kataConfigPoolSelector 영역에서 matchExpressions 를 확장합니다. 이는 라벨 선택기 요구 사항 목록입니다.
- matchExpressions 추가를 클릭합니다.
- 키 필드에 선택기가 적용되는 라벨 키를 입력합니다.
-
Operator 필드에 레이블 값과의 키 관계를 입력합니다. 유효한 연산자는
In,NotIn,Exists및DoesNotExist입니다. - 값 영역을 확장한 다음 값 추가 를 클릭합니다.
-
값 필드에 키 레이블 값에
true또는false를 입력합니다.
-
loglevel:
kata-remote런타임 클래스를 사용하여 노드에 대해 검색된 로그 데이터의 수준을 정의합니다.
-
이름: 선택 사항: 기본 이름은
생성을 클릭합니다.
KataConfigCR이 생성되고 작업자 노드에kata-remote런타임 클래스를 설치합니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.
검증
-
KataConfig 탭에서
KataConfigCR을 클릭하여 세부 정보를 확인합니다. YAML 탭을 클릭하여
상태 스탠자를 확인합니다.상태스탠자에는조건및kataNodes키가 포함되어 있습니다.status.kataNodes의 값은 노드 배열이며 각 노드는 특정kata-remote설치의 노드를 나열합니다. 업데이트가 있을 때마다 메시지가 표시됩니다.Reload (다시 로드)를 클릭하여 YAML을 새로 고칩니다.
status.kataNodes어레이의 모든 작업자가설치및조건.InProgress: False를 지정하는 이유 없이 False를 표시하면 클러스터에kata-remote가 설치됩니다.
추가 리소스
Pod VM 이미지 확인
클러스터에 kata-remote 가 설치되면 OpenShift 샌드박스 컨테이너 Operator에서 피어 Pod를 생성하는 데 사용되는 Pod VM 이미지를 생성합니다. 이 프로세스는 클라우드 인스턴스에서 이미지가 생성되므로 시간이 오래 걸릴 수 있습니다. 클라우드 공급자에 대해 생성한 구성 맵을 확인하여 Pod VM 이미지가 성공적으로 생성되었는지 확인할 수 있습니다.
프로세스
- 워크로드 → ConfigMap 으로 이동합니다.
- 공급자 구성 맵을 클릭하여 세부 정보를 확인합니다.
- YAML 탭을 클릭합니다.
YAML 파일의
상태스탠자를 확인합니다.AZURE_IMAGE_ID매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.
문제 해결
다음 명령을 실행하여 이벤트 로그를 검색합니다.
oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation
$ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 작업 로그를 검색합니다.
oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation
$ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow
문제를 해결할 수 없는 경우 Red Hat 지원 케이스를 제출하고 두 로그의 출력을 첨부합니다.
4.2.6. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata-remote 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
YAML 파일에 주석을 추가하여 구성 맵에 정의된 기본 인스턴스 크기를 사용하여 워크로드를 배포해야 하는지 여부를 정의할 수 있습니다.
인스턴스 크기를 수동으로 정의하지 않으려면 사용 가능한 메모리에 따라 자동 인스턴스 크기를 사용하도록 주석을 추가할 수 있습니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 워크로드 → 워크로드 유형(예: Pod )으로 이동합니다.
- 워크로드 유형 페이지에서 오브젝트를 클릭하여 세부 정보를 확인합니다.
- YAML 탭을 클릭합니다.
다음 예와 같이
spec.runtimeClassName: kata-remote를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 수동으로 정의된 인스턴스 크기 또는 자동 인스턴스 크기를 사용하도록 pod-templated 오브젝트에 주석을 추가합니다.
수동으로 정의한 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 구성 맵에서 정의한 인스턴스 크기를 지정합니다.
자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.
저장을 클릭하여 변경 사항을 적용합니다.
OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata-remote이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
4.3. 명령줄을 사용하여 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스)를 사용하여 다음 작업을 수행하여 Azure에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
- 선택 사항: 각 작업자 노드에서 실행되는 가상 머신 수를 변경합니다.
- 피어 Pod 시크릿을 생성합니다.
- 피어 Pod 구성 맵을 생성합니다.
- Azure 시크릿을 생성합니다.
-
KataConfig사용자 지정 리소스를 생성합니다. - OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
4.3.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
osc-namespace.yaml매니페스트 파일을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operator
apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네임스페이스를 생성합니다.
oc apply -f osc-namespace.yaml
$ oc apply -f osc-namespace.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-operatorgroup.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 operator 그룹을 생성합니다.
oc apply -f osc-operatorgroup.yaml
$ oc apply -f osc-operatorgroup.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-subscription.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 서브스크립션을 생성합니다.
oc apply -f osc-subscription.yaml
$ oc apply -f osc-subscription.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.
oc get csv -n openshift-sandboxed-containers-operator
$ oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 프로세스를 확인합니다.
watch oc get csv -n openshift-sandboxed-containers-operator
$ watch oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 Succeeded
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 SucceededCopy to Clipboard Copied! Toggle word wrap Toggle overflow
4.3.2. 노드당 피어 Pod VM 수 수정 링크 복사링크가 클립보드에 복사되었습니다!
peerpodConfig CR(사용자 정의 리소스)을 편집하여 노드당 피어 Pod 가상 머신(VM) 제한을 변경할 수 있습니다.
프로세스
다음 명령을 실행하여 현재 제한을 확인합니다.
oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ -o jsonpath='{.spec.limit}{"\n"}'$ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ -o jsonpath='{.spec.limit}{"\n"}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
peerpodConfigCR의limit속성을 수정합니다.oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ --type merge --patch '{"spec":{"limit":"<value>"}}'$ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ --type merge --patch '{"spec":{"limit":"<value>"}}'1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- <value>를 정의할 제한으로 바꿉니다.
4.3.3. 피어 Pod 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 시크릿을 생성해야 합니다.
시크릿은 Pod VM(가상 머신) 이미지 및 피어 Pod 인스턴스를 생성하기 위한 인증 정보를 저장합니다.
기본적으로 OpenShift 샌드박스 컨테이너 Operator는 클러스터를 생성하는 데 사용되는 인증 정보를 기반으로 보안을 생성합니다. 그러나 다른 인증 정보를 사용하는 보안을 수동으로 생성할 수 있습니다.
사전 요구 사항
- Azure CLI 도구를 설치하고 구성했습니다.
프로세스
다음 명령을 실행하여 Azure 서브스크립션 ID를 검색합니다.
AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \ -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""
$ AZURE_SUBSCRIPTION_ID=$(az account list --query "[?isDefault].id" \ -o tsv) && echo "AZURE_SUBSCRIPTION_ID: \"$AZURE_SUBSCRIPTION_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 RBAC 콘텐츠를 생성합니다.
az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \ --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"$ az ad sp create-for-rbac --role Contributor --scopes /subscriptions/$AZURE_SUBSCRIPTION_ID \ --query "{ client_id: appId, client_secret: password, tenant_id: tenant }"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
{ "client_id": `AZURE_CLIENT_ID`, "client_secret": `AZURE_CLIENT_SECRET`, "tenant_id": `AZURE_TENANT_ID` }{ "client_id": `AZURE_CLIENT_ID`, "client_secret": `AZURE_CLIENT_SECRET`, "tenant_id": `AZURE_TENANT_ID` }Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
보안오브젝트에 사용할 RBAC 출력을 기록합니다. 다음 예에 따라
peer-pods-secret.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿을 생성합니다.
oc apply -f peer-pods-secret.yaml
$ oc apply -f peer-pods-secret.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
4.3.4. 피어 Pod 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 구성 맵을 생성해야 합니다.
프로세스
Azure 인스턴스에서 다음 값을 가져옵니다.
Azure 리소스 그룹을 검색하고 기록합니다.
AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""$ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure VNet 이름을 검색하고 기록합니다.
AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)$ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.
Azure 서브넷 ID를 검색하고 기록합니다.
AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""$ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure NSS(Network Security Group) ID를 검색하고 기록합니다.
AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""$ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure 리전을 검색하고 기록합니다.
AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""$ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 예에 따라
peer-pods-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 인스턴스 크기가 워크로드에 정의되지 않은 경우 이 값은 기본값입니다.
- 2
- Pod를 생성할 때 지정할 수 있는 모든 인스턴스 크기를 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.
- 3
- 검색한
AZURE_SUBNET_ID값을 지정합니다. - 4
- 검색한
AZURE_NSG_ID값을 지정합니다. - 5
- 선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여
KataConfigCR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다. - 6
- 검색한
AZURE_REGION값을 지정합니다. - 7
- 검색한
AZURE_RESOURCE_GROUP값을 지정합니다.
다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f peer-pods-cm.yaml
$ oc apply -f peer-pods-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
4.3.5. Azure 시크릿 생성 링크 복사링크가 클립보드에 복사되었습니다!
Azure VM(가상 머신) 생성 API에 필요한 SSH 키 시크릿을 생성해야 합니다. Azure에는 SSH 공개 키만 필요합니다. 기밀 컨테이너는 VM에서 SSH를 비활성화하므로 키가 VM에 영향을 미치지 않습니다.
프로세스
다음 명령을 실행하여 SSH 키 쌍을 생성합니다.
ssh-keygen -f ./id_rsa -N ""
$ ssh-keygen -f ./id_rsa -N ""Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
Secret오브젝트를 생성합니다.oc create secret generic ssh-key-secret \ -n openshift-sandboxed-containers-operator \ --from-file=id_rsa.pub=./id_rsa.pub \ --from-file=id_rsa=./id_rsa
$ oc create secret generic ssh-key-secret \ -n openshift-sandboxed-containers-operator \ --from-file=id_rsa.pub=./id_rsa.pub \ --from-file=id_rsa=./id_rsaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 생성한 SSH 키를 삭제합니다.
shred --remove id_rsa.pub id_rsa
$ shred --remove id_rsa.pub id_rsaCopy to Clipboard Copied! Toggle word wrap Toggle overflow
4.3.6. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KataConfig CR(사용자 정의 리소스)을 생성하여 작업자 노드에 kata-remote 를 런타임 클래스로 설치해야 합니다.
KataConfig CR을 생성하면 OpenShift 샌드박스 컨테이너 Operator가 다음을 수행합니다.
-
기본 구성을 사용하여
kata-remote라는RuntimeClassCR을 생성합니다. 이를 통해 사용자는RuntimeClassName필드에서 CR을 참조하여kata-remote를 런타임으로 사용하도록 워크로드를 구성할 수 있습니다. 이 CR은 런타임의 리소스 오버헤드도 지정합니다.
OpenShift 샌드박스 컨테이너는 kata-remote 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 예에 따라
example-kataconfig.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 노드 레이블을 적용하여 특정 노드에
kata-remote를 설치한 경우 키와 값(예:osc: 'true')을 지정합니다.
다음 명령을 실행하여
KataConfigCR을 생성합니다.oc apply -f example-kataconfig.yaml
$ oc apply -f example-kataconfig.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로운
KataConfigCR이 생성되고 작업자 노드에kata-remote가 런타임 클래스로 설치됩니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.
watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"Copy to Clipboard Copied! Toggle word wrap Toggle overflow kataNodes아래의 모든 작업자의 상태가설치되고이유를 지정하지 않고InProgress조건이False이면 클러스터에kata-remote가 설치됩니다.다음 명령을 실행하여 데몬 세트를 확인합니다.
oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon
$ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 런타임 클래스를 확인합니다.
oc get runtimeclass
$ oc get runtimeclassCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152m
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152mCopy to Clipboard Copied! Toggle word wrap Toggle overflow
Pod VM 이미지 확인
클러스터에 kata-remote 가 설치되면 OpenShift 샌드박스 컨테이너 Operator에서 피어 Pod를 생성하는 데 사용되는 Pod VM 이미지를 생성합니다. 이 프로세스는 클라우드 인스턴스에서 이미지가 생성되므로 시간이 오래 걸릴 수 있습니다. 클라우드 공급자에 대해 생성한 구성 맵을 확인하여 Pod VM 이미지가 성공적으로 생성되었는지 확인할 수 있습니다.
프로세스
피어 Pod에 대해 생성한 구성 맵을 가져옵니다.
oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yaml
$ oc get configmap peer-pods-cm -n openshift-sandboxed-containers-operator -o yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow YAML 파일의
상태스탠자를 확인합니다.AZURE_IMAGE_ID매개변수가 채워지면 Pod VM 이미지가 성공적으로 생성되었습니다.
문제 해결
다음 명령을 실행하여 이벤트 로그를 검색합니다.
oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creation
$ oc get events -n openshift-sandboxed-containers-operator --field-selector involvedObject.name=osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 작업 로그를 검색합니다.
oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creation
$ oc logs -n openshift-sandboxed-containers-operator jobs/osc-podvm-image-creationCopy to Clipboard Copied! Toggle word wrap Toggle overflow
문제를 해결할 수 없는 경우 Red Hat 지원 케이스를 제출하고 두 로그의 출력을 첨부합니다.
4.3.7. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata-remote 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
YAML 파일에 주석을 추가하여 구성 맵에 정의된 기본 인스턴스 크기를 사용하여 워크로드를 배포해야 하는지 여부를 정의할 수 있습니다.
인스턴스 크기를 수동으로 정의하지 않으려면 사용 가능한 메모리에 따라 자동 인스턴스 크기를 사용하도록 주석을 추가할 수 있습니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
다음 예와 같이
spec.runtimeClassName: kata-remote를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 수동으로 정의된 인스턴스 크기 또는 자동 인스턴스 크기를 사용하도록 pod-templated 오브젝트에 주석을 추가합니다.
수동으로 정의한 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 구성 맵에서 정의한 인스턴스 크기를 지정합니다.
자동 인스턴스 크기를 사용하려면 다음 주석을 추가합니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 워크로드에서 사용할 수 있는 메모리 양을 정의합니다. 워크로드는 사용 가능한 메모리 크기에 따라 자동 인스턴스 크기에서 실행됩니다.
다음 명령을 실행하여 워크로드 오브젝트에 변경 사항을 적용합니다.
oc apply -f <object.yaml>
$ oc apply -f <object.yaml>Copy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata-remote이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
5장. Azure에 기밀 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너를 배포한 후 Microsoft Azure 클라우드 컴퓨팅 서비스에 기밀 컨테이너를 배포할 수 있습니다.
Azure의 기밀 컨테이너는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
클러스터 요구 사항
- Confidential Compute attestation Operator를 설치하는 클러스터에 Red Hat OpenShift Container Platform 4.15 이상을 설치했습니다.
다음 단계를 수행하여 기밀 컨테이너를 배포합니다.
- Confidential Compute attestation Operator를 설치합니다.
- Trustee의 경로를 만듭니다.
- 기밀성 컨테이너 기능 게이트를 활성화합니다.
- 피어 Pod 구성 맵을 업데이트합니다.
-
KataConfigCR(사용자 정의 리소스)을 삭제합니다. -
KataConfigCR을 다시 만듭니다. - Trustee 인증 시크릿을 생성합니다.
- Trustee 구성 맵을 생성합니다.
- Trustee 값, 정책 및 시크릿을 구성합니다.
-
KbsConfigCR을 생성합니다. - Trustee 구성을 확인합니다.
- 인증 프로세스를 확인합니다.
5.1. 기밀 컴퓨팅 인증 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 Azure에 Confidential Compute attestation Operator를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
trustee-namespace.yaml매니페스트 파일을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: trustee-operator-system
apiVersion: v1 kind: Namespace metadata: name: trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
trustee-operator-system네임스페이스를 생성합니다.oc apply -f trustee-namespace.yaml
$ oc apply -f trustee-namespace.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow trustee-operatorgroup.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 operator 그룹을 생성합니다.
oc apply -f trustee-operatorgroup.yaml
$ oc apply -f trustee-operatorgroup.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow trustee-subscription.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 서브스크립션을 생성합니다.
oc apply -f trustee-subscription.yaml
$ oc apply -f trustee-subscription.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.
oc get csv -n trustee-operator-system
$ oc get csv -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 프로세스를 확인합니다.
watch oc get csv -n trustee-operator-system
$ watch oc get csv -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME DISPLAY PHASE trustee-operator.v0.1.0 Trustee Operator 0.1.0 Succeeded
NAME DISPLAY PHASE trustee-operator.v0.1.0 Trustee Operator 0.1.0 SucceededCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.2. 기밀성 컨테이너 기능 게이트 활성화 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너 기능 게이트를 활성화해야 합니다.
사전 요구 사항
- OpenShift 샌드박스 컨테이너 Operator에 가입했습니다.
프로세스
cc-feature-gate.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f cc-feature-gate.yaml
$ oc apply -f cc-feature-gate.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.3. Trustee를 위한 경로 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee의 엣지 TLS 종료를 사용하여 보안 경로를 생성할 수 있습니다. 외부 수신 트래픽은 라우터 Pod에 HTTPS로 도달하고 Trustee Pod에 HTTP로 전달합니다.
사전 요구 사항
- Confidential Compute attestation Operator를 설치했습니다.
프로세스
다음 명령을 실행하여 엣지 경로를 만듭니다.
oc create route edge --service=kbs-service --port kbs-port \ -n trustee-operator-system
$ oc create route edge --service=kbs-service --port kbs-port \ -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고참고: 현재 유효한 CA 서명 인증서가 있는 경로만 지원됩니다. 자체 서명된 인증서가 있는 경로를 사용할 수 없습니다.
다음 명령을 실행하여
TRUSTEE_HOST변수를 설정합니다.TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \ -o jsonpath={.spec.host})$ TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \ -o jsonpath={.spec.host})Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 경로를 확인합니다.
echo $TRUSTEE_HOST
$ echo $TRUSTEE_HOSTCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.io
kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.ioCopy to Clipboard Copied! Toggle word wrap Toggle overflow 피어 Pod 구성 맵의 이 값을 기록합니다.
5.4. 피어 Pod 구성 맵 업데이트 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너의 피어 Pod 구성 맵을 업데이트해야 합니다.
Secure Boot를 true 로 설정하여 기본적으로 활성화합니다. 기본값은 false 이며 보안 위험을 나타냅니다.
프로세스
Azure 인스턴스에서 다음 값을 가져옵니다.
Azure 리소스 그룹을 검색하고 기록합니다.
AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""$ AZURE_RESOURCE_GROUP=$(oc get infrastructure/cluster -o jsonpath='{.status.platformStatus.azure.resourceGroupName}') && echo "AZURE_RESOURCE_GROUP: \"$AZURE_RESOURCE_GROUP\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure VNet 이름을 검색하고 기록합니다.
AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)$ AZURE_VNET_NAME=$(az network vnet list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Name:name}" --output tsv)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 이 값은 Azure 서브넷 ID를 검색하는 데 사용됩니다.
Azure 서브넷 ID를 검색하고 기록합니다.
AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""$ AZURE_SUBNET_ID=$(az network vnet subnet list --resource-group ${AZURE_RESOURCE_GROUP} --vnet-name $AZURE_VNET_NAME --query "[].{Id:id} | [? contains(Id, 'worker')]" --output tsv) && echo "AZURE_SUBNET_ID: \"$AZURE_SUBNET_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure NSS(Network Security Group) ID를 검색하고 기록합니다.
AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""$ AZURE_NSG_ID=$(az network nsg list --resource-group ${AZURE_RESOURCE_GROUP} --query "[].{Id:id}" --output tsv) && echo "AZURE_NSG_ID: \"$AZURE_NSG_ID\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow Azure 리전을 검색하고 기록합니다.
AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""$ AZURE_REGION=$(az group show --resource-group ${AZURE_RESOURCE_GROUP} --query "{Location:location}" --output tsv) && echo "AZURE_REGION: \"$AZURE_REGION\""Copy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 예에 따라
peer-pods-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 인스턴스 크기가 워크로드에 정의되지 않은 경우 이 값은 기본값입니다.
- 2
- Pod를 생성할 때 지정할 수 있는 모든 인스턴스 크기를 나열합니다. 이를 통해 더 적은 메모리와 더 적은 CPU 또는 대규모 워크로드의 인스턴스 크기가 필요한 워크로드에 대해 더 작은 인스턴스 크기를 정의할 수 있습니다.
- 3
- 검색한
AZURE_SUBNET_ID값을 지정합니다. - 4
- 검색한
AZURE_NSG_ID값을 지정합니다. - 5
- 선택 사항: 기본적으로 클러스터 인증 정보를 기반으로 Azure 이미지 ID를 사용하여
KataConfigCR을 실행할 때 이 값이 채워집니다. 자체 Azure 이미지를 생성하는 경우 올바른 이미지 ID를 지정합니다. - 6
- 검색한
AZURE_REGION값을 지정합니다. - 7
- 검색한
AZURE_RESOURCE_GROUP값을 지정합니다. - 8
- Trustee 경로의 호스트 이름을 지정합니다.
- 9
- 기본적으로 Secure Boot를 활성화하려면
true를 지정합니다.
다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f peer-pods-cm.yaml
$ oc apply -f peer-pods-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
peerpodconfig-ctrl-caa-daemon데몬 세트를 다시 시작합니다.oc set env ds/peerpodconfig-ctrl-caa-daemon \ -n openshift-sandboxed-containers-operator REBOOT="$(date)"
$ oc set env ds/peerpodconfig-ctrl-caa-daemon \ -n openshift-sandboxed-containers-operator REBOOT="$(date)"Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.5. KataConfig 사용자 지정 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 KataConfig CR(사용자 정의 리소스)을 삭제할 수 있습니다.
KataConfig CR을 삭제하면 클러스터에서 런타임 및 관련 리소스가 제거됩니다.
KataConfig CR을 삭제하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 명령을 실행하여
KataConfigCR을 삭제합니다.oc delete kataconfig example-kataconfig
$ oc delete kataconfig example-kataconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift 샌드박스된 컨테이너 Operator는 클러스터에서 런타임을 활성화하기 위해 처음 생성된 모든 리소스를 제거합니다.
중요KataConfigCR을 삭제하면 모든 작업자 노드가 재부팅될 때까지 CLI가 응답하지 않습니다. 확인을 수행하기 전에 삭제 프로세스를 완료해야 합니다.다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.
oc get kataconfig example-kataconfig
$ oc get kataconfig example-kataconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
No example-kataconfig instances exist
No example-kataconfig instances existCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.6. KataConfig 사용자 지정 리소스 다시 생성 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너를 위해 KataConfig CR(사용자 정의 리소스)을 다시 생성해야 합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 예에 따라
example-kataconfig.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 노드 레이블을 적용하여 특정 노드에
kata-remote를 설치한 경우 키와 값(예:cc: 'true')을 지정합니다.
다음 명령을 실행하여
KataConfigCR을 생성합니다.oc apply -f example-kataconfig.yaml
$ oc apply -f example-kataconfig.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로운
KataConfigCR이 생성되고 작업자 노드에kata-remote가 런타임 클래스로 설치됩니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.
watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"Copy to Clipboard Copied! Toggle word wrap Toggle overflow kataNodes아래의 모든 작업자의 상태가설치되고이유를 지정하지 않고InProgress조건이False이면 클러스터에kata-remote가 설치됩니다.다음 명령을 실행하여 데몬 세트를 확인합니다.
oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon
$ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 런타임 클래스를 확인합니다.
oc get runtimeclass
$ oc get runtimeclassCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152m
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152mCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.7. Trustee 인증 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee에 대한 인증 시크릿을 생성해야 합니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 명령을 실행하여 개인 키를 생성합니다.
openssl genpkey -algorithm ed25519 > privateKey
$ openssl genpkey -algorithm ed25519 > privateKeyCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 공개 키를 생성합니다.
openssl pkey -in privateKey -pubout -out publicKey
$ openssl pkey -in privateKey -pubout -out publicKeyCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 보안을 생성합니다.
oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-system
$ oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿을 확인합니다.
oc get secret -n trustee-operator-system
$ oc get secret -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.8. Trustee 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee 서버를 구성하려면 구성 맵을 생성해야 합니다.
다음 구성 예제에서는 보안 기능을 해제하여 기술 프리뷰 기능을 시연할 수 있습니다. 이는 프로덕션 환경을 위한 것이 아닙니다.
사전 요구 사항
- Trustee를 위한 경로를 생성했습니다.
프로세스
kbs-config-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f kbs-config-cm.yaml
$ oc apply -f kbs-config-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.9. Trustee 값, 정책 및 시크릿 구성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee에 대해 다음 값, 정책 및 시크릿을 구성할 수 있습니다.
- 선택 사항: 참조 값 공급자 서비스에 대한 참조 값입니다.
- 선택사항: 인증 정책입니다.
- Intel Trust Domain Extensions(TDX)용 인증서 캐싱 서비스 프로비저닝.
- 선택 사항: Trustee 클라이언트의 사용자 정의 키의 시크릿입니다.
- 선택사항: 컨테이너 이미지 서명 확인을 위한 시크릿입니다.
- 컨테이너 이미지 서명 확인 정책. 이 정책은 필수입니다. 컨테이너 이미지 서명 확인을 사용하지 않는 경우 서명을 확인하지 않는 정책을 생성해야 합니다.
- 리소스 액세스 정책.
5.9.1. 참조 값 구성 링크 복사링크가 클립보드에 복사되었습니다!
하드웨어 플랫폼의 신뢰할 수 있는 다이제스트를 지정하여 RVPS(Reference Value Provider Service)에 대한 참조 값을 구성할 수 있습니다.
클라이언트는 실행 중인 소프트웨어, TEE(신뢰할 수 있는 실행 환경) 하드웨어 및 펌웨어에서 측정을 수집하고 클레임과 함께 Attestation Server에 견적을 제출합니다. 이러한 측정은 Trustee에 등록된 신뢰할 수 있는 다이제스트와 일치해야 합니다. 이 프로세스에서는 기밀 VM(CVM)이 예상 소프트웨어 스택을 실행 중이고 변조되지 않도록 합니다.
프로세스
rvps-configmap.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 필요한 경우 하드웨어 플랫폼에 대해 신뢰할 수 있는 다이제스트를 지정합니다. 그렇지 않으면 비워 둡니다.
다음 명령을 실행하여 RVPS 구성 맵을 생성합니다.
oc apply -f rvps-configmap.yaml
$ oc apply -f rvps-configmap.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.9.2. 인증 정책 생성 링크 복사링크가 클립보드에 복사되었습니다!
기본 테스트 정책을 재정의하는 인증 정책을 생성할 수 있습니다.
프로세스
다음 예에 따라
attestation-policy.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 인증 정책은 Open Policy Agent 사양을 따릅니다. 이 예에서 attestation 정책은 테스트 보고서에 제공된 클레임을 RVPS 데이터베이스에 등록된 참조 값과 비교합니다. 인증 프로세스는 모든 값이 일치하는 경우에만 성공합니다.
다음 명령을 실행하여 인증 정책 구성 맵을 생성합니다.
oc apply -f attestation-policy.yaml
$ oc apply -f attestation-policy.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.9.3. TDX용 PCCS 구성 링크 복사링크가 클립보드에 복사되었습니다!
Intel Trust Domain Extensions (TDX)를 사용하는 경우 PCCS(프로비저닝 인증서 캐싱 서비스)를 사용하도록 Trustee를 구성해야 합니다.
PCCS는 PCK(프로비저닝 인증 키) 인증서를 검색하고 로컬 데이터베이스에 캐시합니다.
공용 Intel PCCS 서비스를 사용하지 마십시오. 온프레미스 또는 퍼블릭 클라우드에서 로컬 캐싱 서비스를 사용합니다.
프로세스
다음 예에 따라
tdx-config.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- PCCS URL을 지정합니다(예:
https://localhost:8081/sgx/certification/v4/).
다음 명령을 실행하여 TDX 구성 맵을 생성합니다.
oc apply -f tdx-config.yaml
$ oc apply -f tdx-config.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.9.4. 클라이언트의 사용자 지정 키를 사용하여 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee 클라이언트에 대한 사용자 지정 키가 하나 이상 포함된 보안을 생성할 수 있습니다.
이 예에서 kbsres1 시크릿에는 클라이언트가 검색하는 두 개의 항목(key1,key2)이 있습니다. 동일한 형식을 사용하여 요구 사항에 따라 보안을 추가할 수 있습니다.
사전 요구 사항
- 하나 이상의 사용자 지정 키를 생성했습니다.
프로세스
다음 예에 따라 사용자 정의 키에 대한 보안을 생성합니다.
oc apply secret generic kbsres1 \ --from-literal key1=<custom_key1> \ --from-literal key2=<custom_key2> \ -n trustee-operator-system
$ oc apply secret generic kbsres1 \ --from-literal key1=<custom_key1> \1 --from-literal key2=<custom_key2> \ -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 사용자 정의 키를 지정합니다.
kbsres1시크릿은KbsConfig사용자 지정 리소스의spec.kbsSecretResources키에 지정됩니다.
5.9.5. 컨테이너 이미지 서명 확인을 위한 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
컨테이너 이미지 서명 확인을 사용하는 경우 공개 컨테이너 이미지 서명 키가 포함된 보안을 생성해야 합니다.
Confidential compute attestation Operator는 시크릿을 사용하여 서명을 확인하여 인증된 컨테이너 이미지만 해당 환경에 배포되도록 합니다.
Red Hat Trusted Artifact Signer 또는 기타 툴을 사용하여 컨테이너 이미지에 서명할 수 있습니다.
프로세스
다음 명령을 실행하여 컨테이너 이미지 서명 확인에 대한 보안을 생성합니다.
oc apply secret generic <type> \ --from-file=<tag>=./<public_key_file> \ -n trustee-operator-system
$ oc apply secret generic <type> \1 --from-file=<tag>=./<public_key_file> \2 -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow -
<
type>값을 기록합니다.KbsConfig사용자 지정 리소스를 생성할 때spec.kbsSecretResources키에 이 값을 추가해야 합니다.
5.9.6. 컨테이너 이미지 서명 확인 정책 생성 링크 복사링크가 클립보드에 복사되었습니다!
서명 확인이 항상 활성화되므로 컨테이너 이미지 서명 확인 정책을 생성합니다. 이 정책이 없으면 Pod가 시작되지 않습니다.
컨테이너 이미지 서명 확인을 사용하지 않는 경우 서명 확인 없이 정책을 생성합니다.
자세한 내용은 containers-policy.json 5 를 참조하십시오.
프로세스
다음 예에 따라
security-policy-config.json파일을 생성합니다.다음 명령을 실행하여 보안 정책을 생성합니다.
oc apply secret generic security-policy \ --from-file=osc=./<security-policy-config.json> \ -n trustee-operator-system
$ oc apply secret generic security-policy \ --from-file=osc=./<security-policy-config.json> \ -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 보안 유형,
security-policy또는 키osc를 변경하지 마십시오.security-policy시크릿은KbsConfig사용자 지정 리소스의spec.kbsSecretResources키에 지정됩니다.
5.9.7. 리소스 액세스 정책 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee 정책 엔진에 대한 리소스 액세스 정책을 구성합니다. 이 정책은 Trustee가 액세스할 수 있는 리소스를 결정합니다.
Trustee 정책 엔진은 TEE 증명의 유효성을 결정하는 Attestation Service 정책 엔진과 다릅니다.
프로세스
resourcepolicy-configmap.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 리소스 정책의 이름
policy.rego는 Trustee 구성 맵에 정의된 리소스 정책과 일치해야 합니다. - 2
- 리소스 정책은 Open Policy Agent 사양을 따릅니다. 이 예제에서는 TEE가 샘플 attester가 아닌 경우 모든 리소스를 검색할 수 있습니다.
다음 명령을 실행하여 리소스 정책 구성 맵을 생성합니다.
oc apply -f resourcepolicy-configmap.yaml
$ oc apply -f resourcepolicy-configmap.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.10. KbsConfig 사용자 정의 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KbsConfig CR(사용자 정의 리소스)을 생성하여 Trustee를 시작합니다.
그런 다음 Trustee pod 및 pod 로그를 확인하여 구성을 확인합니다.
프로세스
kbsconfig-cr.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 시크릿을 생성한 경우 컨테이너 이미지 서명 확인 보안의
유형값을 지정합니다(예:img-sig). 시크릿을 생성하지 않은 경우kbsSecretResources값을["kbsres1", "security-policy"]로 설정합니다. - 2
- Intel Trust Domain Extensions용
tdxConfigSpec.kbsTdxConfigMapName: tdx-config의 주석 처리를 해제합니다. - 3
- 사용자 지정 인증 정책을 생성하는 경우
kbsAttestationPolicyConfigMapName: attestation-policy의 주석을 제거합니다. - 4
- 기본
ClusterIP서비스 이외의서비스 유형을 생성하여 클러스터 외부 트래픽 내에 애플리케이션을 노출하는 경우 kbsServiceType: <service_type>의 주석을 제거합니다.NodePort,LoadBalancer또는ExternalName을 지정할 수 있습니다.
다음 명령을 실행하여
KbsConfigCR을 생성합니다.oc apply -f kbsconfig-cr.yaml
$ oc apply -f kbsconfig-cr.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
5.11. Trustee 구성 확인 링크 복사링크가 클립보드에 복사되었습니다!
Trustee Pod 및 로그를 확인하여 Trustee 구성을 확인합니다.
프로세스
다음 명령을 실행하여 기본 프로젝트를 설정합니다.
oc project trustee-operator-system
$ oc project trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Trustee Pod를 확인합니다.
oc get pods -n trustee-operator-system
$ oc get pods -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME READY STATUS RESTARTS AGE trustee-deployment-8585f98449-9bbgl 1/1 Running 0 22m trustee-operator-controller-manager-5fbd44cd97-55dlh 2/2 Running 0 59m
NAME READY STATUS RESTARTS AGE trustee-deployment-8585f98449-9bbgl 1/1 Running 0 22m trustee-operator-controller-manager-5fbd44cd97-55dlh 2/2 Running 0 59mCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
POD_NAME환경 변수를 설정합니다.POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)$ POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Pod 로그를 확인합니다.
oc logs -n trustee-operator-system $POD_NAME
$ oc logs -n trustee-operator-system $POD_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
5.12. 인증 프로세스 확인 링크 복사링크가 클립보드에 복사되었습니다!
테스트 Pod를 생성하고 시크릿을 검색하여 인증 프로세스를 확인할 수 있습니다.
이 절차는 인증이 작동하는지 확인하는 예입니다. 메모리 덤프를 사용하여 데이터를 캡처할 수 있으므로 표준 I/O에 민감한 데이터를 작성하지 마십시오. 메모리에 기록된 데이터만 암호화됩니다.
기본적으로 Pod VM 이미지에 포함된 에이전트 측 정책은 기밀 컨테이너 Pod에 대한 exec 및 로그 API를 비활성화합니다. 이 정책은 민감한 데이터가 표준 I/O에 기록되지 않도록 합니다.
테스트 시나리오에서는 Pod에 정책 주석을 추가하여 런타임에 제한을 덮어쓸 수 있습니다. 기술 프리뷰의 경우 런타임 정책 주석은 원격 테스트에서 확인하지 않습니다.
사전 요구 사항
- Trustee 서버와 테스트 Pod가 동일한 클러스터에서 실행되지 않는 경우 경로를 생성했습니다.
프로세스
verification-pod.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 이 pod 주석은 중요한 데이터가 표준 I/O에 기록되지 않도록 하는 정책을 재정의합니다.
다음 명령을 실행하여 Pod를 생성합니다.
oc create -f verification-pod.yaml
$ oc create -f verification-pod.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
ocp-cc-pod의 Bash 쉘에 연결합니다.oc exec -it ocp-cc-pod -- bash
$ oc exec -it ocp-cc-pod -- bashCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Pod 시크릿을 가져옵니다.
curl http://127.0.0.1:8006/cdh/resource/default/kbsres1/key1
$ curl http://127.0.0.1:8006/cdh/resource/default/kbsres1/key1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
res1val1
res1val1Copy to Clipboard Copied! Toggle word wrap Toggle overflow Trustee 서버는 인증에 성공한 경우에만 시크릿을 반환합니다.
6장. IBM Z 및 IBM LinuxONE에 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
IBM Z® 및 IBM® LinuxONE에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
OpenShift 샌드박스 컨테이너는 피어 Pod를 배포합니다. 피어 Pod 설계는 중첩된 가상화의 필요성을 우회합니다. 자세한 내용은 피어 Pod를 참조하십시오.
IBM Z® 및 IBM® LinuxONE의 OpenShift 샌드박스 컨테이너는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
클러스터 요구 사항
- OpenShift 샌드박스 컨테이너 Operator를 설치하는 클러스터에 Red Hat OpenShift Container Platform 4.14 이상을 설치했습니다.
- 클러스터에 작업자 노드가 하나 이상 있습니다.
6.1. 피어 Pod 리소스 요구 사항 링크 복사링크가 클립보드에 복사되었습니다!
클러스터에 충분한 리소스가 있는지 확인해야 합니다.
피어 Pod 가상 머신(VM)에는 다음 두 위치에 있는 리소스가 필요합니다.
-
작업자 노드입니다. 작업자 노드는 메타데이터, Kata shim 리소스(
containerd-shim-kata-v2), remote-hypervisor 리소스(cloud-api-adaptor) 및 작업자 노드와 피어 Pod VM 간의 터널 설정을 저장합니다. - libvirt 가상 시스템 인스턴스입니다. 이는 LPAR(KVM 호스트)에서 실행되는 실제 피어 Pod VM입니다.
Kubernetes 작업자 노드에 사용되는 CPU 및 메모리 리소스는 피어 Pod를 생성하는 데 사용되는 RuntimeClass(kata-remote) 정의에 포함된 Pod 오버헤드 에 의해 처리됩니다.
클라우드에서 실행되는 총 피어 Pod VM 수는 Kubernetes 노드 확장 리소스로 정의됩니다. 이 제한은 노드당이며 peerpodConfig CR(사용자 정의 리소스)의 limit 속성으로 설정됩니다.
peerpodconfig-openshift 라는 peerpodConfig CR은 kataConfig CR을 생성하고 피어 Pod를 활성화할 때 생성되며 openshift-sandboxed-containers-operator 네임스페이스에 있습니다.
다음 peerpodConfig CR 예제에서는 기본 사양 값을 표시합니다.
- 1
- 기본 제한은 노드당 VM 10개입니다.
확장된 리소스의 이름은 kata.peerpods.io/vm 이며 Kubernetes 스케줄러에서 용량 추적 및 계정을 처리할 수 있습니다.
OpenShift 샌드박스 컨테이너 Operator를 설치한 후 환경의 요구 사항에 따라 노드당 제한을 편집할 수 있습니다.
변경 웹 후크 는 확장된 리소스 kata.peerpods.io/vm 을 Pod 사양에 추가합니다. 또한 Pod 사양에서 리소스별 항목도 제거합니다(있는 경우). 이를 통해 Kubernetes 스케줄러에서 이러한 확장 리소스를 고려하여 리소스를 사용할 수 있는 경우에만 피어 Pod를 예약할 수 있습니다.
변경 웹 후크는 다음과 같이 Kubernetes Pod를 수정합니다.
-
변경 웹 후크는
TARGET_RUNTIME_CLASS환경 변수에 지정된 예상RuntimeClassName값을 Pod에 확인합니다. Pod 사양의 값이TARGET_RUNTIME_CLASS의 값과 일치하지 않으면 Pod를 수정하지 않고 웹 후크가 종료됩니다. RuntimeClassName값이 일치하는 경우 Webhook에서 Pod 사양을 다음과 같이 변경합니다.-
Webhook는 Pod에 있는 모든 컨테이너 및 init 컨테이너의
resources필드에서 모든 리소스 사양을 제거합니다. -
Webhook는 Pod의 첫 번째 컨테이너의 resources 필드를 수정하여 확장 리소스(
kata.peerpods.io/vm)를 사양에 추가합니다. 확장된 리소스kata.peerpods.io/vm은 회계 목적으로 Kubernetes 스케줄러에서 사용합니다.
-
Webhook는 Pod에 있는 모든 컨테이너 및 init 컨테이너의
변경 웹 후크는 OpenShift Container Platform의 특정 시스템 네임스페이스가 변경되지 않습니다. 해당 시스템 네임스페이스에 피어 Pod가 생성되면 Pod 사양에 확장 리소스가 포함되지 않는 한 Kubernetes 확장 리소스를 사용하는 리소스 계정이 작동하지 않습니다.
특정 네임스페이스에서 피어 Pod 생성만 허용하도록 클러스터 전체 정책을 정의하는 것이 좋습니다.
6.2. IBM Z 및 IBM LinuxONE에 OpenShift 샌드박스 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스)를 사용하여 다음 작업을 수행하여 IBM Z® 및 IBM® LinuxONE에 OpenShift 샌드박스 컨테이너를 배포할 수 있습니다.
- OpenShift 샌드박스 컨테이너 Operator를 설치합니다.
- 선택 사항: 각 작업자 노드에서 실행되는 가상 머신 수를 변경합니다.
- libvirt 볼륨을 구성합니다.
- 선택 사항: 사용자 정의 피어 Pod VM 이미지를 생성합니다.
- 피어 Pod 시크릿을 생성합니다.
- 피어 Pod 구성 맵을 생성합니다.
- 피어 Pod VM 이미지 구성 맵을 생성합니다.
- KVM 호스트 시크릿을 생성합니다.
-
KataConfig사용자 지정 리소스를 생성합니다. - OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성합니다.
6.2.1. OpenShift 샌드박스 컨테이너 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
osc-namespace.yaml매니페스트 파일을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operator
apiVersion: v1 kind: Namespace metadata: name: openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네임스페이스를 생성합니다.
oc apply -f osc-namespace.yaml
$ oc apply -f osc-namespace.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-operatorgroup.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 operator 그룹을 생성합니다.
oc apply -f osc-operatorgroup.yaml
$ oc apply -f osc-operatorgroup.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow osc-subscription.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 서브스크립션을 생성합니다.
oc apply -f osc-subscription.yaml
$ oc apply -f osc-subscription.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.
oc get csv -n openshift-sandboxed-containers-operator
$ oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 프로세스를 확인합니다.
watch oc get csv -n openshift-sandboxed-containers-operator
$ watch oc get csv -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 Succeeded
NAME DISPLAY VERSION REPLACES PHASE openshift-sandboxed-containers openshift-sandboxed-containers-operator 1.8.0 1.7.0 SucceededCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.2. 노드당 피어 Pod VM 수 수정 링크 복사링크가 클립보드에 복사되었습니다!
peerpodConfig CR(사용자 정의 리소스)을 편집하여 노드당 피어 Pod 가상 머신(VM) 제한을 변경할 수 있습니다.
프로세스
다음 명령을 실행하여 현재 제한을 확인합니다.
oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ -o jsonpath='{.spec.limit}{"\n"}'$ oc get peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ -o jsonpath='{.spec.limit}{"\n"}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
peerpodConfigCR의limit속성을 수정합니다.oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ --type merge --patch '{"spec":{"limit":"<value>"}}'$ oc patch peerpodconfig peerpodconfig-openshift -n openshift-sandboxed-containers-operator \ --type merge --patch '{"spec":{"limit":"<value>"}}'1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- <value>를 정의할 제한으로 바꿉니다.
6.2.3. libvirt 볼륨 구성 링크 복사링크가 클립보드에 복사되었습니다!
KVM 호스트에 libvirt 볼륨을 구성해야 합니다. 피어 Pod는 Cloud API Adaptor의 libvirt 공급자를 사용하여 가상 머신을 생성하고 관리합니다.
사전 요구 사항
- OpenShift Container Platform 웹 콘솔 또는 명령줄을 사용하여 OpenShift Container Platform 클러스터에 OpenShift 샌드박스 컨테이너 Operator를 설치했습니다.
- KVM 호스트에 대한 관리자 권한이 있습니다.
-
KVM 호스트에
podman을 설치했습니다. -
KVM 호스트에
virt-customize를 설치했습니다.
프로세스
- KVM 호스트에 로그인합니다.
다음 명령을 실행하여 libvirt 풀의 이름을 설정합니다.
export LIBVIRT_POOL=<libvirt_pool>
$ export LIBVIRT_POOL=<libvirt_pool>Copy to Clipboard Copied! Toggle word wrap Toggle overflow libvirt 공급자의 시크릿을 생성하려면
LIBVIRT_POOL값이 필요합니다.다음 명령을 실행하여 libvirt 풀의 이름을 설정합니다.
export LIBVIRT_VOL_NAME=<libvirt_volume>
$ export LIBVIRT_VOL_NAME=<libvirt_volume>Copy to Clipboard Copied! Toggle word wrap Toggle overflow libvirt 공급자의 시크릿을 생성하려면
LIBVIRT_VOL_NAME값이 필요합니다.다음 명령을 실행하여 기본 스토리지 풀 위치의 경로를 설정합니다.
export LIBVIRT_POOL_DIRECTORY=<target_directory>
$ export LIBVIRT_POOL_DIRECTORY=<target_directory>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- libvirt에 읽기 및 쓰기 액세스 권한이 있는지 확인하려면 libvirt 스토리지 디렉터리의 하위 디렉터리를 사용합니다. 기본값은
/var/lib/libvirt/images/입니다.
다음 명령을 실행하여 libvirt 풀을 생성합니다.
virsh pool-define-as $LIBVIRT_POOL --type dir --target "$LIBVIRT_POOL_DIRECTORY"
$ virsh pool-define-as $LIBVIRT_POOL --type dir --target "$LIBVIRT_POOL_DIRECTORY"Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 libvirt 풀을 시작합니다.
virsh pool-start $LIBVIRT_POOL
$ virsh pool-start $LIBVIRT_POOLCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 풀에 대한 libvirt 볼륨을 만듭니다.
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.4. 사용자 정의 피어 Pod VM 이미지 생성 링크 복사링크가 클립보드에 복사되었습니다!
기본 Operator 빌드 이미지를 사용하는 대신 VM(사용자 정의 피어 Pod 가상 머신) 이미지를 생성할 수 있습니다.
피어 Pod QCOW2 이미지를 사용하여 OCI(Open Container Initiative) 컨테이너를 빌드합니다. 나중에 컨테이너 레지스트리 URL과 피어 Pod VM 이미지 구성 맵에 이미지 경로를 추가합니다.
프로세스
Dockerfile.podvm-oci파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Pod VM QCOW2 이미지를 사용하여 컨테이너를 빌드합니다.
docker build -t podvm-libvirt \ --build-arg PODVM_IMAGE_SRC=<podvm_image_source> \ --build-arg PODVM_IMAGE_PATH=<podvm_image_path> \ -f Dockerfile.podvm-oci .
$ docker build -t podvm-libvirt \ --build-arg PODVM_IMAGE_SRC=<podvm_image_source> \1 --build-arg PODVM_IMAGE_PATH=<podvm_image_path> \2 -f Dockerfile.podvm-oci .Copy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.5. 피어 Pod 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 시크릿을 생성해야 합니다.
시크릿은 Pod VM(가상 머신) 이미지 및 피어 Pod 인스턴스를 생성하기 위한 인증 정보를 저장합니다.
기본적으로 OpenShift 샌드박스 컨테이너 Operator는 클러스터를 생성하는 데 사용되는 인증 정보를 기반으로 보안을 생성합니다. 그러나 다른 인증 정보를 사용하는 보안을 수동으로 생성할 수 있습니다.
사전 요구 사항
-
LIBVIRT_POOL. KVM 호스트에서 libvirt를 구성할 때 설정한 값을 사용합니다. -
LIBVIRT_VOL_NAME. KVM 호스트에서 libvirt를 구성할 때 설정한 값을 사용합니다. LIBVIRT_URI. 이 값은 libvirt 네트워크의 기본 게이트웨이 IP 주소입니다. libvirt 네트워크 설정을 확인하여 이 값을 가져옵니다.참고libvirt에서 기본 브리지 가상 네트워크를 사용하는 경우 다음 명령을 실행하여
LIBVIRT_URI를 가져올 수 있습니다.virtint=$(bridge_line=$(virsh net-info default | grep Bridge); echo "${bridge_line//Bridge:/}" | tr -d [:blank:]) LIBVIRT_URI=$( ip -4 addr show $virtint | grep -oP '(?<=inet\s)\d+(\.\d+){3}') LIBVIRT_GATEWAY_URI="qemu+ssh://root@${LIBVIRT_URI}/system?no_verify=1"$ virtint=$(bridge_line=$(virsh net-info default | grep Bridge); echo "${bridge_line//Bridge:/}" | tr -d [:blank:]) $ LIBVIRT_URI=$( ip -4 addr show $virtint | grep -oP '(?<=inet\s)\d+(\.\d+){3}') $ LIBVIRT_GATEWAY_URI="qemu+ssh://root@${LIBVIRT_URI}/system?no_verify=1"Copy to Clipboard Copied! Toggle word wrap Toggle overflow -
REDHAT_OFFLINE_TOKEN. Red Hat API 토큰에서 RHEL 이미지를 다운로드하기 위해 이 토큰 을 생성했습니다.
프로세스
다음 예에 따라
peer-pods-secret.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿을 생성합니다.
oc apply -f peer-pods-secret.yaml
$ oc apply -f peer-pods-secret.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.6. 피어 Pod 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너에 대한 피어 Pod 구성 맵을 생성해야 합니다.
프로세스
다음 예에 따라
peer-pods-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f peer-pods-cm.yaml
$ oc apply -f peer-pods-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.7. 피어 Pod VM 이미지 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
피어 Pod VM 이미지에 대한 구성 맵을 생성해야 합니다.
프로세스
다음 예에 따라
libvirt-podvm-image-cm.yaml매니페스트를 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- Cloud API Adaptor 소스의 최신 버전을 지정합니다.
- 2
- RHEL 활성화 키를 지정합니다.
- 3
- 선택 사항: 컨테이너 이미지를 생성한 경우 다음 값을 지정합니다.
-
image_repo_url: 컨테이너 레지스트리 URL -
IMAGE_TAG: 이미지 태그. -
image_path: 이미지 경로입니다. 기본값:/image/podvm.qcow2.
-
- 4
SE_BOOT: "true"를 사용하면 Operator 빌드 이미지에 대해 IBM Secure Execution를 사용할 수 있습니다. 컨테이너 이미지를 생성한 경우false로 설정합니다.- 5
- RHEL 이미지 운영 체제 버전을 지정합니다. IBM Z® Secure Execution는 RHEL 9.4 이상 버전을 지원합니다.
다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f libvirt-podvm-image-cm.yaml
$ oc apply -f libvirt-podvm-image-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow libvirt 공급자에 대해 libvirt Pod VM 이미지 구성 맵이 생성됩니다.
6.2.8. KVM 호스트 시크릿 생성 링크 복사링크가 클립보드에 복사되었습니다!
KVM 호스트에 대한 시크릿을 생성해야 합니다.
프로세스
다음 명령을 실행하여 SSH 키 쌍을 생성합니다.
ssh-keygen -f ./id_rsa -N ""
$ ssh-keygen -f ./id_rsa -N ""Copy to Clipboard Copied! Toggle word wrap Toggle overflow 공개 SSH 키를 KVM 호스트에 복사합니다.
ssh-copy-id -i ./id_rsa.pub <KVM_HOST_IP>
$ ssh-copy-id -i ./id_rsa.pub <KVM_HOST_IP>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
Secret오브젝트를 생성합니다.oc create secret generic ssh-key-secret \ -n openshift-sandboxed-containers-operator \ --from-file=id_rsa.pub=./id_rsa.pub \ --from-file=id_rsa=./id_rsa
$ oc create secret generic ssh-key-secret \ -n openshift-sandboxed-containers-operator \ --from-file=id_rsa.pub=./id_rsa.pub \ --from-file=id_rsa=./id_rsaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 생성한 SSH 키를 삭제합니다.
shred --remove id_rsa.pub id_rsa
$ shred --remove id_rsa.pub id_rsaCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.9. KataConfig 사용자 지정 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KataConfig CR(사용자 정의 리소스)을 생성하여 작업자 노드에 kata-remote 를 런타임 클래스로 설치해야 합니다.
KataConfig CR을 생성하면 OpenShift 샌드박스 컨테이너 Operator가 다음을 수행합니다.
-
기본 구성을 사용하여
kata-remote라는RuntimeClassCR을 생성합니다. 이를 통해 사용자는RuntimeClassName필드에서 CR을 참조하여kata-remote를 런타임으로 사용하도록 워크로드를 구성할 수 있습니다. 이 CR은 런타임의 리소스 오버헤드도 지정합니다.
OpenShift 샌드박스 컨테이너는 kata-remote 를 기본 런타임이 아닌 클러스터의 선택적 런타임으로 설치합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 예에 따라
example-kataconfig.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 노드 레이블을 적용하여 특정 노드에
kata-remote를 설치한 경우 키와 값(예:osc: 'true')을 지정합니다.
다음 명령을 실행하여
KataConfigCR을 생성합니다.oc apply -f example-kataconfig.yaml
$ oc apply -f example-kataconfig.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로운
KataConfigCR이 생성되고 작업자 노드에kata-remote가 런타임 클래스로 설치됩니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.
watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"Copy to Clipboard Copied! Toggle word wrap Toggle overflow kataNodes아래의 모든 작업자의 상태가설치되고이유를 지정하지 않고InProgress조건이False이면 클러스터에kata-remote가 설치됩니다.다음 명령을 실행하여 피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드했는지 확인합니다.
oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operator
$ oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
UPDATEDMACHINECOUNT가MACHINECOUNT와 같은 경우UPDATEDMACHINECOUNT가 UPDATED 상태에 있는지 확인하려면kata-oc머신 구성 풀 진행 상황을 모니터링합니다.watch oc get mcp/kata-oc
$ watch oc get mcp/kata-ocCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 데몬 세트를 확인합니다.
oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon
$ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 런타임 클래스를 확인합니다.
oc get runtimeclass
$ oc get runtimeclassCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152m
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152mCopy to Clipboard Copied! Toggle word wrap Toggle overflow
6.2.10. 워크로드 오브젝트 구성 링크 복사링크가 클립보드에 복사되었습니다!
kata-remote 를 다음 pod 템플릿 오브젝트의 런타임 클래스로 설정하여 OpenShift 샌드박스 컨테이너 워크로드 오브젝트를 구성해야 합니다.
-
Pod오브젝트 -
ReplicaSet오브젝트 -
ReplicationController오브젝트 -
StatefulSet오브젝트 -
Deployment오브젝트 -
DeploymentConfig오브젝트
Operator 네임스페이스에 워크로드를 배포하지 마십시오. 이러한 리소스에 대한 전용 네임스페이스를 생성합니다.
사전 요구 사항
-
KataConfigCR(사용자 정의 리소스)을 생성했습니다.
프로세스
다음 예와 같이
spec.runtimeClassName: kata-remote를 각 pod 템플릿 워크로드 오브젝트의 매니페스트에 추가합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift Container Platform은 워크로드 오브젝트를 생성하고 스케줄링을 시작합니다.
검증
-
pod-templated 오브젝트의
spec.runtimeClassName필드를 검사합니다. 값이kata-remote이면 피어 Pod를 사용하여 OpenShift 샌드박스 컨테이너에서 워크로드가 실행됩니다.
7장. IBM Z 및 IBM LinuxONE에 기밀 컨테이너 배포 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너를 배포한 후 IBM Z® 및 IBM® LinuxONE에 기밀 컨테이너를 배포할 수 있습니다.
IBM Z® 및 IBM® LinuxONE의 기밀 컨테이너는 기술 프리뷰 기능 전용입니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
클러스터 요구 사항
- Confidential Compute attestation Operator를 설치하는 클러스터에 Red Hat OpenShift Container Platform 4.15 이상을 설치했습니다.
다음 단계를 수행하여 기밀 컨테이너를 배포합니다.
- Confidential Compute attestation Operator를 설치합니다.
- Trustee의 경로를 만듭니다.
- 기밀성 컨테이너 기능 게이트를 활성화합니다.
- 피어 Pod 구성 맵을 업데이트합니다.
-
KataConfigCR(사용자 정의 리소스)을 삭제합니다. - 피어 Pod 시크릿을 업데이트합니다.
-
KataConfigCR을 다시 만듭니다. - Trustee 인증 시크릿을 생성합니다.
- Trustee 구성 맵을 생성합니다.
- IBM Secure Execution (SE) 헤더를 가져옵니다.
- SE 인증서 및 키를 구성합니다.
- Trustee 값, 정책 및 시크릿을 구성합니다.
-
KbsConfigCR을 생성합니다. - Trustee 구성을 확인합니다.
- 인증 프로세스를 확인합니다.
7.1. 기밀 컴퓨팅 인증 Operator 설치 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 IBM Z® 및 IBM® LinuxONE에 Confidential Compute attestation Operator를 설치할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
trustee-namespace.yaml매니페스트 파일을 생성합니다.apiVersion: v1 kind: Namespace metadata: name: trustee-operator-system
apiVersion: v1 kind: Namespace metadata: name: trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
trustee-operator-system네임스페이스를 생성합니다.oc apply -f trustee-namespace.yaml
$ oc apply -f trustee-namespace.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow trustee-operatorgroup.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 operator 그룹을 생성합니다.
oc apply -f trustee-operatorgroup.yaml
$ oc apply -f trustee-operatorgroup.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow trustee-subscription.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 서브스크립션을 생성합니다.
oc apply -f trustee-subscription.yaml
$ oc apply -f trustee-subscription.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Operator가 올바르게 설치되었는지 확인합니다.
oc get csv -n trustee-operator-system
$ oc get csv -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 이 명령을 완료하는 데 몇 분이 걸릴 수 있습니다.
다음 명령을 실행하여 프로세스를 확인합니다.
watch oc get csv -n trustee-operator-system
$ watch oc get csv -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME DISPLAY PHASE trustee-operator.v0.1.0 Trustee Operator 0.1.0 Succeeded
NAME DISPLAY PHASE trustee-operator.v0.1.0 Trustee Operator 0.1.0 SucceededCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.2. 기밀성 컨테이너 기능 게이트 활성화 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너 기능 게이트를 활성화해야 합니다.
사전 요구 사항
- OpenShift 샌드박스 컨테이너 Operator에 가입했습니다.
프로세스
cc-feature-gate.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f cc-feature-gate.yaml
$ oc apply -f cc-feature-gate.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.3. Trustee를 위한 경로 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee의 엣지 TLS 종료를 사용하여 보안 경로를 생성할 수 있습니다. 외부 수신 트래픽은 라우터 Pod에 HTTPS로 도달하고 Trustee Pod에 HTTP로 전달합니다.
사전 요구 사항
- Confidential Compute attestation Operator를 설치했습니다.
프로세스
다음 명령을 실행하여 엣지 경로를 만듭니다.
oc create route edge --service=kbs-service --port kbs-port \ -n trustee-operator-system
$ oc create route edge --service=kbs-service --port kbs-port \ -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고참고: 현재 유효한 CA 서명 인증서가 있는 경로만 지원됩니다. 자체 서명된 인증서가 있는 경로를 사용할 수 없습니다.
다음 명령을 실행하여
TRUSTEE_HOST변수를 설정합니다.TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \ -o jsonpath={.spec.host})$ TRUSTEE_HOST=$(oc get route -n trustee-operator-system kbs-service \ -o jsonpath={.spec.host})Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 경로를 확인합니다.
echo $TRUSTEE_HOST
$ echo $TRUSTEE_HOSTCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.io
kbs-service-trustee-operator-system.apps.memvjias.eastus.aroapp.ioCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.4. 피어 Pod 구성 맵 업데이트 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너의 피어 Pod 구성 맵을 업데이트해야 합니다.
Secure Boot를 true 로 설정하여 기본적으로 활성화합니다. 기본값은 false 이며 보안 위험을 나타냅니다.
프로세스
다음 예에 따라
peer-pods-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- Trustee 경로의 호스트 이름을 지정합니다.
다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f peer-pods-cm.yaml
$ oc apply -f peer-pods-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
peerpodconfig-ctrl-caa-daemon데몬 세트를 다시 시작합니다.oc set env ds/peerpodconfig-ctrl-caa-daemon \ -n openshift-sandboxed-containers-operator REBOOT="$(date)"
$ oc set env ds/peerpodconfig-ctrl-caa-daemon \ -n openshift-sandboxed-containers-operator REBOOT="$(date)"Copy to Clipboard Copied! Toggle word wrap Toggle overflow
7.5. KataConfig 사용자 지정 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 KataConfig CR(사용자 정의 리소스)을 삭제할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 명령을 실행하여
KataConfigCR을 삭제합니다.oc delete kataconfig example-kataconfig
$ oc delete kataconfig example-kataconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.
oc get kataconfig example-kataconfig
$ oc get kataconfig example-kataconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
No example-kataconfig instances exist
No example-kataconfig instances existCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.6. 피어 Pod 시크릿 업데이트 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너의 피어 Pod 시크릿을 업데이트해야 합니다.
시크릿은 Pod VM(가상 머신) 이미지 및 피어 Pod 인스턴스를 생성하기 위한 인증 정보를 저장합니다.
기본적으로 OpenShift 샌드박스 컨테이너 Operator는 클러스터를 생성하는 데 사용되는 인증 정보를 기반으로 보안을 생성합니다. 그러나 다른 인증 정보를 사용하는 보안을 수동으로 생성할 수 있습니다.
사전 요구 사항
-
REDHAT_OFFLINE_TOKEN. Red Hat API 토큰에서 RHEL 이미지를 다운로드하기 위해 이 토큰 을 생성했습니다. -
HKD_CRT. HKD(Host Key Document) 인증서를 사용하면 IBM Z®에서 보안 실행을 수행할 수 있습니다. 자세한 내용은 IBM 문서의 리소스 링크에서 호스트 키 문서 가져오기 를 참조하십시오.
프로세스
다음 예에 따라
peer-pods-secret.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿을 생성합니다.
oc apply -f peer-pods-secret.yaml
$ oc apply -f peer-pods-secret.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.7. KataConfig 사용자 지정 리소스 다시 생성 링크 복사링크가 클립보드에 복사되었습니다!
기밀 컨테이너를 위해 KataConfig CR(사용자 정의 리소스)을 다시 생성해야 합니다.
KataConfig CR을 생성하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 디스크 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 예에 따라
example-kataconfig.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 노드 레이블을 적용하여 특정 노드에
kata-remote를 설치한 경우 키와 값(예:cc: 'true')을 지정합니다.
다음 명령을 실행하여
KataConfigCR을 생성합니다.oc apply -f example-kataconfig.yaml
$ oc apply -f example-kataconfig.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 새로운
KataConfigCR이 생성되고 작업자 노드에kata-remote가 런타임 클래스로 설치됩니다.설치를 확인하기 전에
kata-remote설치가 완료되고 작업자 노드가 재부팅될 때까지 기다립니다.다음 명령을 실행하여 설치 진행 상황을 모니터링합니다.
watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"
$ watch "oc describe kataconfig | sed -n /^Status:/,/^Events/p"Copy to Clipboard Copied! Toggle word wrap Toggle overflow kataNodes아래의 모든 작업자의 상태가설치되고이유를 지정하지 않고InProgress조건이False이면 클러스터에kata-remote가 설치됩니다.다음 명령을 실행하여 피어 Pod 이미지를 빌드하고 libvirt 볼륨에 업로드했는지 확인합니다.
oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operator
$ oc describe configmap peer-pods-cm -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
UPDATEDMACHINECOUNT가MACHINECOUNT와 같은 경우UPDATEDMACHINECOUNT가 UPDATED 상태에 있는지 확인하려면kata-oc머신 구성 풀 진행 상황을 모니터링합니다.watch oc get mcp/kata-oc
$ watch oc get mcp/kata-ocCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 데몬 세트를 확인합니다.
oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemon
$ oc get -n openshift-sandboxed-containers-operator ds/peerpodconfig-ctrl-caa-daemonCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 런타임 클래스를 확인합니다.
oc get runtimeclass
$ oc get runtimeclassCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152m
NAME HANDLER AGE kata kata 152m kata-remote kata-remote 152mCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.8. Trustee 인증 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee에 대한 인증 시크릿을 생성해야 합니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 명령을 실행하여 개인 키를 생성합니다.
openssl genpkey -algorithm ed25519 > privateKey
$ openssl genpkey -algorithm ed25519 > privateKeyCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 공개 키를 생성합니다.
openssl pkey -in privateKey -pubout -out publicKey
$ openssl pkey -in privateKey -pubout -out publicKeyCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 보안을 생성합니다.
oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-system
$ oc create secret generic kbs-auth-public-key --from-file=publicKey -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿을 확인합니다.
oc get secret -n trustee-operator-system
$ oc get secret -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.9. Trustee 구성 맵 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee 서버를 구성하려면 구성 맵을 생성해야 합니다.
다음 구성 예제에서는 보안 기능을 해제하여 기술 프리뷰 기능을 시연할 수 있습니다. 이는 프로덕션 환경을 위한 것이 아닙니다.
사전 요구 사항
- Trustee를 위한 경로를 생성했습니다.
프로세스
kbs-config-cm.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 구성 맵을 생성합니다.
oc apply -f kbs-config-cm.yaml
$ oc apply -f kbs-config-cm.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.10. IBM Secure Execution 인증서 및 키 구성 링크 복사링크가 클립보드에 복사되었습니다!
작업자 노드에 대한 IBM Secure Execution (SE) 인증서 및 키를 구성해야 합니다.
사전 요구 사항
- bastion 노드의 IP 주소가 있습니다.
- 작업자 노드의 내부 IP 주소가 있습니다.
프로세스
다음 단계를 수행하여 인증 정책 필드를 가져옵니다.
다음 명령을 실행하여
GetRvps.sh스크립트를 다운로드할 디렉터리를 만듭니다.mkdir -p Rvps-Extraction/
$ mkdir -p Rvps-Extraction/Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 스크립트를 다운로드합니다.
wget https://github.com/openshift/sandboxed-containers-operator/raw/devel/hack/Rvps-Extraction/GetRvps.sh -O $PWD/GetRvps.sh
$ wget https://github.com/openshift/sandboxed-containers-operator/raw/devel/hack/Rvps-Extraction/GetRvps.sh -O $PWD/GetRvps.shCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 하위 디렉터리를 생성합니다.
mkdir -p Rvps-Extraction/static-files
$ mkdir -p Rvps-Extraction/static-filesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
static-files디렉터리로 이동합니다.cd Rvps-Extraction/static-files
$ cd Rvps-Extraction/static-filesCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
pvextract-hdr툴을 다운로드합니다.wget https://github.com/openshift/sandboxed-containers-operator/raw/devel/hack/Rvps-Extraction/static-files/pvextract-hdr -O $PWD/pvextract-hdr
$ wget https://github.com/openshift/sandboxed-containers-operator/raw/devel/hack/Rvps-Extraction/static-files/pvextract-hdr -O $PWD/pvextract-hdrCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 툴을 실행 가능하게 만듭니다.
chmod +x pvextract-hdr
$ chmod +x pvextract-hdrCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
se_parse_hdr.py스크립트를 다운로드합니다.wget https://github.com/openshift/sandboxed-containers-operator/raw/devel/hack/Rvps-Extraction/static-files/se_parse_hdr.py -O $PWD/se_parse_hdr.py
$ wget https://github.com/openshift/sandboxed-containers-operator/raw/devel/hack/Rvps-Extraction/static-files/se_parse_hdr.py -O $PWD/se_parse_hdr.pyCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 HKD(Host Key Document) 인증서를
static-files디렉터리에 복사합니다.cp ~/path/to/<hkd_cert.crt> .
$ cp ~/path/to/<hkd_cert.crt> .Copy to Clipboard Copied! Toggle word wrap Toggle overflow static-files디렉터리에는 다음 파일이 포함되어 있습니다.-
HKD.crt -
pvextract-hdr -
se_parse_hdr.py
-
다음 명령을 실행하여
Rvps-Extraction디렉터리로 이동합니다.cd ..
$ cd ..Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 NBD(네트워크 블록 장치)를 나열합니다.
lsblk
$ lsblkCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고nbd0에서nbd15까지 NBD를 사용하여 스크립트를 실행할 수 있습니다. 기본값은nbd3입니다.GetRvps.sh스크립트의 NBD 값을 스크립트를 실행하는 데 사용 중인 값으로 바꿉니다.다음 명령을 실행하여
GetRvps.sh스크립트를 실행 가능하게 만듭니다.chmod +x GetRvps.sh
$ chmod +x GetRvps.shCopy to Clipboard Copied! Toggle word wrap Toggle overflow 스크립트를 실행합니다.
./GetRvps.sh
$ ./GetRvps.shCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 2를 입력하여 볼륨에서 참조 값 공급자 서비스를 생성합니다.Please enter your choice: 2
Please enter your choice: 2Copy to Clipboard Copied! Toggle word wrap Toggle overflow libvirt 풀 이름에
fa-pp를 입력합니다.Enter the Libvirt Pool Name: fa-pp
Enter the Libvirt Pool Name: fa-ppCopy to Clipboard Copied! Toggle word wrap Toggle overflow libvirt 게이트웨이 URI를 입력합니다.
Enter the Libvirt URI Name: <libvirt-uri>
Enter the Libvirt URI Name: <libvirt-uri>1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 피어 Pod 시크릿 을 생성하는 데 사용한
LIBVIRT_URI값을 지정합니다.
libvirt 볼륨 이름에
fa-pp-vol을 입력합니다.Enter the Libvirt Volume Name: fa-pp-vol
Enter the Libvirt Volume Name: fa-pp-volCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 단계를 수행하여 인증서 및 CRL(인증서 취소 목록)을 가져옵니다.
다음 명령을 실행하여 인증서에 대한 임시 디렉터리를 생성합니다.
mkdir /tmp/ibmse/certs
$ mkdir /tmp/ibmse/certsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
ibm-z-host-key-signing-gen2.crt인증서를 다운로드합니다.wget https://www.ibm.com/support/resourcelink/api/content/public/ibm-z-host-key-signing-gen2.crt -O /tmp/ibmse/certs/ibm-z-host-key-signing-gen2.crt
$ wget https://www.ibm.com/support/resourcelink/api/content/public/ibm-z-host-key-signing-gen2.crt -O /tmp/ibmse/certs/ibm-z-host-key-signing-gen2.crtCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 CryostatCert
CA.crt인증서를 다운로드합니다.wget https://www.ibm.com/support/resourcelink/api/content/public/DigiCertCA.crt -O /tmp/ibmse/certs/DigiCertCA.crt
$ wget https://www.ibm.com/support/resourcelink/api/content/public/DigiCertCA.crt -O /tmp/ibmse/certs/DigiCertCA.crtCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 CRL의 임시 디렉터리를 생성합니다.
mkdir /tmp/ibmse/crls
$ mkdir /tmp/ibmse/crlsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
ibm-z-host-key-gen2.crl파일을 다운로드합니다.wget https://www.ibm.com/support/resourcelink/api/content/public/ibm-z-host-key-gen2.crl -O /tmp/ibmse/crls/ibm-z-host-key-gen2.crl
$ wget https://www.ibm.com/support/resourcelink/api/content/public/ibm-z-host-key-gen2.crl -O /tmp/ibmse/crls/ibm-z-host-key-gen2.crlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 MellanoxCert
TrustedRootG4.crl파일을 다운로드합니다.wget http://crl3.digicert.com/DigiCertTrustedRootG4.crl -O /tmp/ibmse/crls/DigiCertTrustedRootG4.crl
$ wget http://crl3.digicert.com/DigiCertTrustedRootG4.crl -O /tmp/ibmse/crls/DigiCertTrustedRootG4.crlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 clevisCert
TrustedG4CodeSigningRSA4096SHA3842021CA1.crl파일을 다운로드합니다.wget http://crl3.digicert.com/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl -O /tmp/ibmse/crls/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl
$ wget http://crl3.digicert.com/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crl -O /tmp/ibmse/crls/DigiCertTrustedG4CodeSigningRSA4096SHA3842021CA1.crlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
RSA 키를 생성합니다.
다음 명령을 실행하여 RSA 키 쌍을 생성합니다.
openssl genrsa -aes256 -passout pass:<password> -out /tmp/encrypt_key-psw.pem 4096
$ openssl genrsa -aes256 -passout pass:<password> -out /tmp/encrypt_key-psw.pem 40961 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- RSA 키 암호를 지정합니다.
다음 명령을 실행하여 RSA 키에 대한 임시 디렉터리를 생성합니다.
mkdir /tmp/ibmse/rsa
$ mkdir /tmp/ibmse/rsaCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
encrypt_key.pub키를 만듭니다.openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -pubout -out /tmp/ibmse/rsa/encrypt_key.pub
$ openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -pubout -out /tmp/ibmse/rsa/encrypt_key.pubCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
encrypt_key.pem키를 생성합니다.openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -out /tmp/ibmse/rsa/encrypt_key.pem
$ openssl rsa -in /tmp/encrypt_key-psw.pem -passin pass:<password> -out /tmp/ibmse/rsa/encrypt_key.pemCopy to Clipboard Copied! Toggle word wrap Toggle overflow
다음 명령을 실행하여
/tmp/ibmse디렉터리의 구조를 확인합니다.tree /tmp/ibmse
$ tree /tmp/ibmseCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 단계를 수행하여 이러한 파일을 OpenShift Container Platform 작업자 노드에 복사합니다.
다음 명령을 실행하여
/tmp/ibmse디렉토리에서 압축 파일을 생성합니다.tar -czf ibmse.tar.gz -C /tmp/ ibmse
$ tar -czf ibmse.tar.gz -C /tmp/ ibmseCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
.tar.gz파일을 클러스터의 bastion 노드에 복사합니다.scp /tmp/ibmse.tar.gz root@<ocp_bastion_ip>:/tmp
$ scp /tmp/ibmse.tar.gz root@<ocp_bastion_ip>:/tmp1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- bastion 노드의 IP 주소를 지정합니다.
다음 명령을 실행하여 SSH를 통해 bastion 노드에 연결합니다.
ssh root@<ocp_bastion_ip>
$ ssh root@<ocp_bastion_ip>Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
.tar.gz파일을 각 작업자 노드에 복사합니다.scp /tmp/ibmse.tar.gz core@<worker_node_ip>:/tmp
$ scp /tmp/ibmse.tar.gz core@<worker_node_ip>:/tmp1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 작업자 노드의 IP 주소를 지정합니다.
다음 명령을 실행하여 각 작업자 노드에서
.tar.gz를 추출합니다.ssh core@<worker_node_ip> 'sudo mkdir -p /opt/confidential-containers/ && sudo tar -xzf /tmp/ibmse.tar.gz -C /opt/confidential-containers/'
$ ssh core@<worker_node_ip> 'sudo mkdir -p /opt/confidential-containers/ && sudo tar -xzf /tmp/ibmse.tar.gz -C /opt/confidential-containers/'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
ibmse폴더 권한을 업데이트합니다.ssh core@<worker_node_ip> 'sudo chmod -R 755 /opt/confidential-containers/ibmse/'
$ ssh core@<worker_node_ip> 'sudo chmod -R 755 /opt/confidential-containers/ibmse/'Copy to Clipboard Copied! Toggle word wrap Toggle overflow
7.11. Trustee 값, 정책 및 시크릿 구성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee에 대해 다음 값, 정책 및 시크릿을 구성할 수 있습니다.
- 선택 사항: 참조 값 공급자 서비스에 대한 참조 값입니다.
- IBM Secure Execution에 대한 인증 정책입니다.
- 선택 사항: Trustee 클라이언트의 사용자 정의 키의 시크릿입니다.
- 선택사항: 컨테이너 이미지 서명 확인을 위한 시크릿입니다.
- 컨테이너 이미지 서명 확인 정책. 이 정책은 필수입니다. 컨테이너 이미지 서명 확인을 사용하지 않는 경우 서명을 확인하지 않는 정책을 생성해야 합니다.
- 리소스 액세스 정책.
7.11.1. 참조 값 구성 링크 복사링크가 클립보드에 복사되었습니다!
하드웨어 플랫폼의 신뢰할 수 있는 다이제스트를 지정하여 RVPS(Reference Value Provider Service)에 대한 참조 값을 구성할 수 있습니다.
클라이언트는 실행 중인 소프트웨어, TEE(신뢰할 수 있는 실행 환경) 하드웨어 및 펌웨어에서 측정을 수집하고 클레임과 함께 Attestation Server에 견적을 제출합니다. 이러한 측정은 Trustee에 등록된 신뢰할 수 있는 다이제스트와 일치해야 합니다. 이 프로세스에서는 기밀 VM(CVM)이 예상 소프트웨어 스택을 실행 중이고 변조되지 않도록 합니다.
프로세스
rvps-configmap.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 이 값을 비워 둡니다.
다음 명령을 실행하여 RVPS 구성 맵을 생성합니다.
oc apply -f rvps-configmap.yaml
$ oc apply -f rvps-configmap.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.11.2. IBM Secure Execution에 대한 인증 정책 생성 링크 복사링크가 클립보드에 복사되었습니다!
IBM Secure Execution에 대한 인증 정책을 생성해야 합니다.
프로세스
attestation-policy.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 인증 정책 구성 맵을 생성합니다.
oc apply -f attestation-policy.yaml
$ oc apply -f attestation-policy.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.11.3. 클라이언트의 사용자 지정 키를 사용하여 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee 클라이언트에 대한 사용자 지정 키가 하나 이상 포함된 보안을 생성할 수 있습니다.
이 예에서 kbsres1 시크릿에는 클라이언트가 검색하는 두 개의 항목(key1,key2)이 있습니다. 동일한 형식을 사용하여 요구 사항에 따라 보안을 추가할 수 있습니다.
사전 요구 사항
- 하나 이상의 사용자 지정 키를 생성했습니다.
프로세스
다음 예에 따라 사용자 정의 키에 대한 보안을 생성합니다.
oc apply secret generic kbsres1 \ --from-literal key1=<custom_key1> \ --from-literal key2=<custom_key2> \ -n trustee-operator-system
$ oc apply secret generic kbsres1 \ --from-literal key1=<custom_key1> \1 --from-literal key2=<custom_key2> \ -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 사용자 정의 키를 지정합니다.
kbsres1시크릿은KbsConfig사용자 지정 리소스의spec.kbsSecretResources키에 지정됩니다.
7.11.4. 컨테이너 이미지 서명 확인을 위한 보안 생성 링크 복사링크가 클립보드에 복사되었습니다!
컨테이너 이미지 서명 확인을 사용하는 경우 공개 컨테이너 이미지 서명 키가 포함된 보안을 생성해야 합니다.
Confidential compute attestation Operator는 시크릿을 사용하여 서명을 확인하여 인증된 컨테이너 이미지만 해당 환경에 배포되도록 합니다.
Red Hat Trusted Artifact Signer 또는 기타 툴을 사용하여 컨테이너 이미지에 서명할 수 있습니다.
프로세스
다음 명령을 실행하여 컨테이너 이미지 서명 확인에 대한 보안을 생성합니다.
oc apply secret generic <type> \ --from-file=<tag>=./<public_key_file> \ -n trustee-operator-system
$ oc apply secret generic <type> \1 --from-file=<tag>=./<public_key_file> \2 -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow -
<
type>값을 기록합니다.KbsConfig사용자 지정 리소스를 생성할 때spec.kbsSecretResources키에 이 값을 추가해야 합니다.
7.11.5. 컨테이너 이미지 서명 확인 정책 생성 링크 복사링크가 클립보드에 복사되었습니다!
서명 확인이 항상 활성화되므로 컨테이너 이미지 서명 확인 정책을 생성합니다. 이 정책이 없으면 Pod가 시작되지 않습니다.
컨테이너 이미지 서명 확인을 사용하지 않는 경우 서명 확인 없이 정책을 생성합니다.
자세한 내용은 containers-policy.json 5 를 참조하십시오.
프로세스
다음 예에 따라
security-policy-config.json파일을 생성합니다.다음 명령을 실행하여 보안 정책을 생성합니다.
oc apply secret generic security-policy \ --from-file=osc=./<security-policy-config.json> \ -n trustee-operator-system
$ oc apply secret generic security-policy \ --from-file=osc=./<security-policy-config.json> \ -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 보안 유형,
security-policy또는 키osc를 변경하지 마십시오.security-policy시크릿은KbsConfig사용자 지정 리소스의spec.kbsSecretResources키에 지정됩니다.
7.11.6. 리소스 액세스 정책 생성 링크 복사링크가 클립보드에 복사되었습니다!
Trustee 정책 엔진에 대한 리소스 액세스 정책을 구성합니다. 이 정책은 Trustee가 액세스할 수 있는 리소스를 결정합니다.
Trustee 정책 엔진은 TEE 증명의 유효성을 결정하는 Attestation Service 정책 엔진과 다릅니다.
프로세스
resourcepolicy-configmap.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 리소스 정책의 이름
policy.rego는 Trustee 구성 맵에 정의된 리소스 정책과 일치해야 합니다. - 2
- 리소스 정책은 Open Policy Agent 사양을 따릅니다. 이 예제에서는 TEE가 샘플 attester가 아닌 경우 모든 리소스를 검색할 수 있습니다.
다음 명령을 실행하여 리소스 정책 구성 맵을 생성합니다.
oc apply -f resourcepolicy-configmap.yaml
$ oc apply -f resourcepolicy-configmap.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.12. KbsConfig 사용자 정의 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
KbsConfig CR(사용자 정의 리소스)을 생성하여 Trustee를 시작합니다.
그런 다음 Trustee pod 및 pod 로그를 확인하여 구성을 확인합니다.
프로세스
kbsconfig-cr.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 선택 사항: 시크릿을 생성한 경우 컨테이너 이미지 서명 확인 보안의
유형값을 지정합니다(예:img-sig). 시크릿을 생성하지 않은 경우kbsSecretResources값을["kbsres1", "security-policy"]로 설정합니다.
다음 명령을 실행하여
KbsConfigCR을 생성합니다.oc apply -f kbsconfig-cr.yaml
$ oc apply -f kbsconfig-cr.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow
7.13. Trustee 구성 확인 링크 복사링크가 클립보드에 복사되었습니다!
Trustee Pod 및 로그를 확인하여 Trustee 구성을 확인합니다.
프로세스
다음 명령을 실행하여 기본 프로젝트를 설정합니다.
oc project trustee-operator-system
$ oc project trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Trustee Pod를 확인합니다.
oc get pods -n trustee-operator-system
$ oc get pods -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME READY STATUS RESTARTS AGE trustee-deployment-8585f98449-9bbgl 1/1 Running 0 22m trustee-operator-controller-manager-5fbd44cd97-55dlh 2/2 Running 0 59m
NAME READY STATUS RESTARTS AGE trustee-deployment-8585f98449-9bbgl 1/1 Running 0 22m trustee-operator-controller-manager-5fbd44cd97-55dlh 2/2 Running 0 59mCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
POD_NAME환경 변수를 설정합니다.POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)$ POD_NAME=$(oc get pods -l app=kbs -o jsonpath='{.items[0].metadata.name}' -n trustee-operator-system)Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Pod 로그를 확인합니다.
oc logs -n trustee-operator-system $POD_NAME
$ oc logs -n trustee-operator-system $POD_NAMECopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
ibmse-pvc영구 볼륨 클레임을 Trustee Pod에 노출합니다.oc patch deployment trustee-deployment \ --namespace=trustee-operator-system --type=json \ -p='[{"op": "remove", "path": "/spec/template/spec/volumes/5/persistentVolumeClaim/readOnly"}]'$ oc patch deployment trustee-deployment \ --namespace=trustee-operator-system --type=json \ -p='[{"op": "remove", "path": "/spec/template/spec/volumes/5/persistentVolumeClaim/readOnly"}]'Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
kbs-service가 노드 포트에 노출되었는지 확인합니다.oc get svc kbs-service -n trustee-operator-system
$ oc get svc kbs-service -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kbs-service NodePort 198.51.100.54 <none> 8080:31862/TCP 23h
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kbs-service NodePort 198.51.100.54 <none> 8080:31862/TCP 23hCopy to Clipboard Copied! Toggle word wrap Toggle overflow kbs-serviceURL은https://<worker_node_ip>:<node_port> 입니다(예:https://172.16.0.56:31862).
7.14. 인증 프로세스 확인 링크 복사링크가 클립보드에 복사되었습니다!
BusyBox Pod를 생성하여 인증 프로세스를 확인할 수 있습니다. Pod 이미지는 키를 검색할 수 있는 기밀 워크로드를 배포합니다.
이 절차는 인증이 작동하는지 확인하는 예입니다. 메모리 덤프를 사용하여 데이터를 캡처할 수 있으므로 표준 I/O에 민감한 데이터를 작성하지 마십시오. 메모리에 기록된 데이터만 암호화됩니다.
프로세스
busybox.yaml매니페스트 파일을 생성합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Pod를 생성합니다.
oc create -f busybox.yaml
$ oc create -f busybox.yamlCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 Pod에 로그인합니다.
oc exec -it busybox -n default -- /bin/sh
$ oc exec -it busybox -n default -- /bin/shCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 시크릿 키를 가져옵니다.
wget http://127.0.0.1:8006/cdh/resource/default/kbsres1/key1
$ wget http://127.0.0.1:8006/cdh/resource/default/kbsres1/key1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Connecting to 127.0.0.1:8006 (127.0.0.1:8006) saving to 'key1' key1 100% |*******************************************| 8 0:00:00 ETA 'key1' saved
Connecting to 127.0.0.1:8006 (127.0.0.1:8006) saving to 'key1' key1 100% |*******************************************| 8 0:00:00 ETA 'key1' savedCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
key1값을 표시합니다.cat key1
$ cat key1Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
res1val1/ #
res1val1/ #Copy to Clipboard Copied! Toggle word wrap Toggle overflow
8장. 모니터링 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 샌드박스된 워크로드 및 노드의 상태와 관련된 메트릭을 모니터링할 수 있습니다.
OpenShift 샌드박스 컨테이너에는 OpenShift Container Platform 웹 콘솔에서 사전 구성된 대시보드가 있습니다. 관리자는 Prometheus를 통해 원시 지표에 액세스하고 쿼리할 수도 있습니다.
8.1. 메트릭 정보 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너 메트릭을 사용하면 관리자가 샌드박스 컨테이너를 실행하는 방법을 모니터링할 수 있습니다. OpenShift Container Platform 웹 콘솔에서 Metrics UI에서 이러한 메트릭을 쿼리할 수 있습니다.
OpenShift 샌드박스 컨테이너 지표는 다음 카테고리에 대해 수집됩니다.
- Kata 에이전트 메트릭
-
Kata 에이전트 메트릭은 샌드박스 컨테이너에 포함된 VM에서 실행되는 kata 에이전트 프로세스에 대한 정보를 표시합니다. 이러한 메트릭에는
/proc/<pid>/[io, stat, status]의 데이터가 포함됩니다. - Kata 게스트 운영 체제 메트릭
-
Kata 게스트 운영 체제 메트릭은 샌드박스 컨테이너에서 실행되는 게스트 운영 체제의 데이터를 표시합니다. 이러한 메트릭에는
/proc/[stats, diskstats, meminfo, vmstats]및/proc/net/dev의 데이터가 포함됩니다. - 하이퍼바이저 지표
-
하이퍼바이저 지표는 샌드박스 컨테이너에 포함된 VM을 실행하는 하이퍼바이저와 관련된 데이터를 표시합니다. 이러한 메트릭에는 주로
/proc/<pid>/[io, stat, status]의 데이터가 포함됩니다. - Kata 모니터 메트릭
- Kata 모니터는 지표 데이터를 수집하여 Prometheus에서 사용할 수 있도록 하는 프로세스입니다. kata 모니터 메트릭에는 kata-monitor 프로세스 자체의 리소스 사용량에 대한 자세한 정보가 표시됩니다. 이러한 메트릭에는 Prometheus 데이터 수집의 카운터도 포함됩니다.
- Kata containerd shim v2 메트릭
-
Kata containerd shim v2 메트릭에는 kata shim 프로세스에 대한 자세한 정보가 표시됩니다. 이러한 메트릭에는
/proc/<pid>/[io, stat, status]및 세부 리소스 사용량 메트릭의 데이터가 포함됩니다.
8.2. 메트릭 보기 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔의 Metrics 페이지에서 OpenShift 샌드박스 컨테이너의 메트릭에 액세스할 수 있습니다.
사전 요구 사항
-
cluster-admin역할 또는 모든 프로젝트에 대한 보기 권한이 있는 사용자로 클러스터에 액세스할 수 있습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 모니터링 → 메트릭 으로 이동합니다.
입력 필드에 모니터링할 지표 쿼리를 입력합니다.
모든 카타 관련 메트릭은 카타 로 시작합니다. kata 를 입력하면 사용 가능한 모든 카타 메트릭 목록이 표시됩니다.
쿼리의 메트릭은 페이지에 시각화됩니다.
9장. 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너를 설치 제거하고 기밀 컨테이너 환경을 제거할 수 있습니다.
9.1. OpenShift 샌드박스 컨테이너 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔 또는 명령줄을 사용하여 OpenShift 샌드박스 컨테이너를 설치 제거할 수 있습니다.
다음 작업을 수행하여 OpenShift 샌드박스 컨테이너를 설치 제거합니다.
- 워크로드 Pod를 삭제합니다.
-
KataConfig사용자 지정 리소스를 삭제합니다. - OpenShift 샌드박스 컨테이너 Operator를 설치 제거합니다.
-
KataConfig사용자 지정 리소스 정의를 삭제합니다.
9.1.1. 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너를 설치 제거할 수 있습니다.
9.1.1.1. 워크로드 Pod 삭제 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 워크로드 Pod를 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - OpenShift 샌드박스 컨테이너 런타임 클래스를 사용하는 Pod 목록이 있습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 워크로드 → Pod 로 이동합니다.
- 이름으로 검색 필드에 삭제할 Pod의 이름을 입력합니다.
- 포드 이름을 클릭하여 엽니다.
-
세부 정보 페이지에서 런타임 클래스에 대해
kata또는kata-remote가 표시되는지 확인합니다. -
옵션 메뉴
를 클릭하고 Pod 삭제 를 선택합니다.
- 삭제를 클릭합니다.
9.1.1.2. KataConfig 사용자 지정 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
웹 콘솔을 사용하여 KataConfig CR(사용자 정의 리소스)을 삭제할 수 있습니다.
KataConfig CR을 삭제하면 클러스터에서 kata 런타임 및 관련 리소스가 제거되고 제거됩니다.
KataConfig CR을 삭제하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
kata를runtimeClass로 사용하는 실행 중인 모든 Pod를 삭제했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
-
이름으로 검색 필드에
OpenShift 샌드박스 컨테이너 Operator를입력합니다. - Operator를 클릭하여 엽니다. 그런 다음 KataConfig 탭을 클릭합니다.
-
옵션 메뉴
를 클릭하고 KataConfig삭제 를 선택합니다. - 확인 창에서 삭제를 클릭합니다.
다음 단계를 진행하기 전에 kata 런타임 및 리소스가 제거되고 작업자 노드가 재부팅될 때까지 기다립니다.
9.1.1.3. OpenShift 샌드박스 컨테이너 Operator 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치 제거할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KataConfig사용자 지정 리소스를 삭제했습니다.
프로세스
- Operators → 설치된 Operator로 이동합니다.
-
이름으로 검색 필드에
OpenShift 샌드박스 컨테이너 Operator를입력합니다. Operator 세부 정보 페이지 오른쪽에 있는 작업 목록에서 Operator 제거를 선택합니다.
Operator를 설치 제거하시겠습니까? 대화 상자가 표시됩니다.
- 설치 제거를 클릭하여 Operator, Operator 배포 및 Pod를 제거합니다.
- 관리 → 네임스페이스로 이동합니다.
-
이름으로 검색 필드에
openshift-sandboxed-containers-operator를 입력합니다. -
옵션 메뉴
를 클릭하고 네임스페이스 삭제 를 선택합니다.
-
확인 대화 상자에서
openshift-sandboxed-containers-operator를 입력하고 삭제 를 클릭합니다.
9.1.1.4. KataConfig CRD 삭제 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 KataConfig CRD(사용자 정의 리소스 정의)를 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KataConfig사용자 지정 리소스를 삭제했습니다. - OpenShift 샌드박스 컨테이너 Operator를 설치 제거했습니다.
프로세스
- 웹 콘솔에서 Administration → CustomResourceDefinitions 로 이동합니다.
-
이름으로 검색 필드에
KataConfig이름을 입력합니다. - 옵션 메뉴를 클릭하고 Delete CustomResourceDefinition 을 선택합니다.
- 확인 창에서 삭제를 클릭합니다.
9.1.2. CLI를 사용하여 OpenShift 샌드박스 컨테이너 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스)를 사용하여 OpenShift 샌드박스 컨테이너를 설치 제거할 수 있습니다.
9.1.2.1. 워크로드 Pod 삭제 링크 복사링크가 클립보드에 복사되었습니다!
CLI를 사용하여 OpenShift 샌드박스 컨테이너 워크로드 Pod를 삭제할 수 있습니다.
사전 요구 사항
-
JSON 프로세서(
jq) 유틸리티가 설치되어 있습니다.
프로세스
다음 명령을 실행하여 Pod를 검색합니다.
oc get pods -A -o json | jq -r '.items[] | \ select(.spec.runtimeClassName == "<runtime>").metadata.name'
$ oc get pods -A -o json | jq -r '.items[] | \ select(.spec.runtimeClassName == "<runtime>").metadata.name'1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 베어 메탈 배포에는
kata를 지정합니다. AWS, Azure, IBM Z® 및 IBM® LinuxONE에kata-remote를 지정합니다.
다음 명령을 실행하여 각 Pod를 삭제합니다.
oc delete pod <pod>
$ oc delete pod <pod>Copy to Clipboard Copied! Toggle word wrap Toggle overflow
9.1.2.2. KataConfig 사용자 지정 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 KataConfig CR(사용자 정의 리소스)을 삭제할 수 있습니다.
KataConfig CR을 삭제하면 클러스터에서 런타임 및 관련 리소스가 제거됩니다.
KataConfig CR을 삭제하면 작업자 노드가 자동으로 재부팅됩니다. 재부팅에는 10분에서 60분 이상 걸릴 수 있습니다. 재부팅 시간을 방해하는 요소는 다음과 같습니다.
- 더 많은 작업자 노드가 있는 대규모 OpenShift Container Platform 배포
- BIOS 및 Cryostat 유틸리티 활성화.
- SSD가 아닌 하드 드라이브에 배포합니다.
- 가상 노드가 아닌 베어 메탈과 같은 물리적 노드에 배포됩니다.
- 느린 CPU 및 네트워크입니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
다음 명령을 실행하여
KataConfigCR을 삭제합니다.oc delete kataconfig example-kataconfig
$ oc delete kataconfig example-kataconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow OpenShift 샌드박스된 컨테이너 Operator는 클러스터에서 런타임을 활성화하기 위해 처음 생성된 모든 리소스를 제거합니다.
중요KataConfigCR을 삭제하면 모든 작업자 노드가 재부팅될 때까지 CLI가 응답하지 않습니다. 확인을 수행하기 전에 삭제 프로세스를 완료해야 합니다.다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.
oc get kataconfig example-kataconfig
$ oc get kataconfig example-kataconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
No example-kataconfig instances exist
No example-kataconfig instances existCopy to Clipboard Copied! Toggle word wrap Toggle overflow
9.1.2.3. OpenShift 샌드박스 컨테이너 Operator 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 OpenShift 샌드박스 컨테이너 Operator를 설치 제거할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - OpenShift 샌드박스 컨테이너 워크로드 Pod를 삭제했습니다.
-
KataConfig사용자 지정 리소스를 삭제했습니다.
프로세스
다음 명령을 실행하여 서브스크립션을 삭제합니다.
oc delete subscription sandboxed-containers-operator -n openshift-sandboxed-containers-operator
$ oc delete subscription sandboxed-containers-operator -n openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네임스페이스를 삭제합니다.
oc delete namespace openshift-sandboxed-containers-operator
$ oc delete namespace openshift-sandboxed-containers-operatorCopy to Clipboard Copied! Toggle word wrap Toggle overflow
9.1.2.4. KataConfig CRD 삭제 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 KataConfig CRD(사용자 정의 리소스 정의)를 삭제할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KataConfig사용자 지정 리소스를 삭제했습니다. - OpenShift 샌드박스 컨테이너 Operator를 설치 제거했습니다.
프로세스
다음 명령을 실행하여
KataConfigCRD를 삭제합니다.oc delete crd kataconfigs.kataconfiguration.openshift.io
$ oc delete crd kataconfigs.kataconfiguration.openshift.ioCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 CRD가 삭제되었는지 확인합니다.
oc get crd kataconfigs.kataconfiguration.openshift.io
$ oc get crd kataconfigs.kataconfiguration.openshift.ioCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Unknown CRD kataconfigs.kataconfiguration.openshift.io
Unknown CRD kataconfigs.kataconfiguration.openshift.ioCopy to Clipboard Copied! Toggle word wrap Toggle overflow
9.2. 기밀 컨테이너 환경 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔 또는 명령줄을 사용하여 기밀 컨테이너 환경을 제거할 수 있습니다.
다음 작업을 수행하여 기밀성 컨테이너 환경을 제거합니다.
-
KbsConfig사용자 지정 리소스를 삭제합니다. - Confidential Compute attestation Operator를 설치 제거합니다.
-
KbsConfig사용자 지정 리소스 정의를 삭제합니다.
9.2.1. 웹 콘솔을 사용하여 기밀 컨테이너 환경 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 기밀 컨테이너 환경을 제거할 수 있습니다.
9.2.1.1. KbsConfig 사용자 정의 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
웹 콘솔을 사용하여 KbsConfig CR(사용자 정의 리소스)을 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - OpenShift 샌드박스 컨테이너를 설치 제거했습니다.
프로세스
- OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator로 이동합니다.
-
이름으로 검색 필드에
Confidential compute attestation을 입력합니다. - Operator를 클릭하여 연 다음 KbsConfig 탭을 클릭합니다.
-
옵션 메뉴
를 클릭하고 KbsConfig삭제 를 선택합니다. - 확인 창에서 삭제를 클릭합니다.
9.2.1.2. Confidential Compute attestation Operator 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 기밀 컴퓨팅 인증 Operator를 설치 제거할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KbsConfig사용자 정의 리소스를 삭제했습니다.
프로세스
- Operators → 설치된 Operator로 이동합니다.
-
이름으로 검색 필드에
Confidential compute attestation을 입력합니다. Operator 세부 정보 페이지 오른쪽에 있는 작업 목록에서 Operator 제거를 선택합니다.
Operator를 설치 제거하시겠습니까? 대화 상자가 표시됩니다.
- 설치 제거를 클릭하여 Operator, Operator 배포 및 Pod를 제거합니다.
- 관리 → 네임스페이스로 이동합니다.
-
이름으로 검색 필드에
trustee-operator-system을 입력합니다. -
옵션 메뉴
를 클릭하고 네임스페이스 삭제 를 선택합니다.
-
확인 대화 상자에서
trustee-operator-system을 입력하고 삭제 를 클릭합니다.
9.2.1.3. KbsConfig CRD 삭제 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift Container Platform 웹 콘솔을 사용하여 KbsConfig CRD(사용자 정의 리소스 정의)를 삭제할 수 있습니다.
사전 요구 사항
-
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KbsConfig사용자 정의 리소스를 삭제했습니다. - Confidential Compute attestation Operator를 설치 제거했습니다.
프로세스
- 웹 콘솔에서 Administration → CustomResourceDefinitions 로 이동합니다.
-
이름으로 검색 필드에
KbsConfig이름을 입력합니다. - 옵션 메뉴를 클릭하고 Delete CustomResourceDefinition 을 선택합니다.
- 확인 창에서 삭제를 클릭합니다.
9.2.2. CLI를 사용하여 기밀 컨테이너 환경 제거 링크 복사링크가 클립보드에 복사되었습니다!
CLI(명령줄 인터페이스)를 사용하여 기밀 컨테이너 환경을 제거할 수 있습니다.
9.2.2.1. KbsConfig 사용자 정의 리소스 삭제 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 KbsConfig CR(사용자 정의 리소스)을 삭제할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. - OpenShift 샌드박스 컨테이너를 설치 제거했습니다.
프로세스
다음 명령을 실행하여
KbsConfigCR을 삭제합니다.oc delete kbsconfig kbsconfig
$ oc delete kbsconfig kbsconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 사용자 정의 리소스가 삭제되었는지 확인합니다.
oc get kbsconfig kbsconfig
$ oc get kbsconfig kbsconfigCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
No kbsconfig instances exist
No kbsconfig instances existCopy to Clipboard Copied! Toggle word wrap Toggle overflow
9.2.2.2. Confidential Compute attestation Operator 설치 제거 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 Confidential Compute attestation Operator를 설치 제거할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KbsConfig사용자 정의 리소스를 삭제했습니다.
프로세스
다음 명령을 실행하여 서브스크립션을 삭제합니다.
oc delete subscription trustee-operator -n trustee-operator-system
$ oc delete subscription trustee-operator -n trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 네임스페이스를 삭제합니다.
oc delete namespace trustee-operator-system
$ oc delete namespace trustee-operator-systemCopy to Clipboard Copied! Toggle word wrap Toggle overflow
9.2.2.3. KbsConfig CRD 삭제 링크 복사링크가 클립보드에 복사되었습니다!
명령줄을 사용하여 KbsConfig CRD(사용자 정의 리소스 정의)를 삭제할 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다. -
KbsConfig사용자 정의 리소스를 삭제했습니다. - Confidential Compute attestation Operator를 설치 제거했습니다.
프로세스
다음 명령을 실행하여
KbsConfigCRD를 삭제합니다.oc delete crd kbsconfigs.confidentialcontainers.org
$ oc delete crd kbsconfigs.confidentialcontainers.orgCopy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 CRD가 삭제되었는지 확인합니다.
oc get crd kbsconfigs.confidentialcontainers.org
$ oc get crd kbsconfigs.confidentialcontainers.orgCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Unknown CRD kbsconfigs.confidentialcontainers.org
Unknown CRD kbsconfigs.confidentialcontainers.orgCopy to Clipboard Copied! Toggle word wrap Toggle overflow
10장. 업그레이드 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너 구성 요소의 업그레이드는 다음 세 단계로 구성됩니다.
-
OpenShift Container Platform을 업그레이드하여
Kata런타임 및 해당 종속 항목을 업데이트합니다. - OpenShift 샌드박스 컨테이너 Operator를 업그레이드하여 Operator 서브스크립션을 업데이트합니다.
아래에 언급된 한 가지 예외를 제외하고 OpenShift 샌드박스 컨테이너 Operator 업그레이드 전이나 후에 OpenShift Container Platform을 업그레이드할 수 있습니다. OpenShift 샌드박스 컨테이너 Operator를 업그레이드한 직후 KataConfig 패치를 항상 적용합니다.
10.1. 리소스 업그레이드 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너 리소스는 RHCOS(Red Hat Enterprise Linux CoreOS) 확장을 사용하여 클러스터에 배포됩니다.
RHCOS 확장 샌드박스 컨테이너에 는 Kata 컨테이너 런타임, 하이퍼바이저 QEMU 및 기타 종속 항목과 같은 OpenShift 샌드박스 컨테이너를 실행하는 데 필요한 구성 요소가 포함되어 있습니다. 클러스터를 새 OpenShift Container Platform 릴리스로 업그레이드하여 확장을 업그레이드합니다.
OpenShift Container Platform 업그레이드에 대한 자세한 내용은 클러스터 업데이트를 참조하십시오.
10.2. Operator 업그레이드 링크 복사링크가 클립보드에 복사되었습니다!
OLM(Operator Lifecycle Manager)을 사용하여 OpenShift 샌드박스 컨테이너 Operator를 수동 또는 자동으로 업그레이드합니다. 초기 배포 중에 수동 또는 자동 업그레이드 중 하나를 선택하면 향후 업그레이드 모드가 결정됩니다. 수동 업그레이드의 경우 OpenShift Container Platform 웹 콘솔에는 클러스터 관리자가 설치할 수 있는 사용 가능한 업데이트가 표시됩니다.
OLM(Operator Lifecycle Manager)에서 OpenShift 샌드박스 컨테이너 Operator를 업그레이드하는 방법에 대한 자세한 내용은 설치된 Operator 업데이트를 참조하십시오.
11장. 문제 해결 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너의 문제를 해결할 때 지원 케이스를 열고 must-gather 툴을 사용하여 디버깅 정보를 제공할 수 있습니다.
클러스터 관리자인 경우 로그를 직접 검토하여 더 자세한 로그 수준을 활성화할 수도 있습니다.
11.1. Red Hat 지원을 위한 데이터 수집 링크 복사링크가 클립보드에 복사되었습니다!
지원 사례를 여는 경우 클러스터에 대한 디버깅 정보를 Red Hat 지원에 제공하면 도움이 됩니다.
must-gather 툴을 사용하면 가상 머신 및 OpenShift 샌드박스 컨테이너와 관련된 기타 데이터를 포함하여 OpenShift Container Platform 클러스터에 대한 진단 정보를 수집할 수 있습니다.
즉각 지원을 받을 수 있도록 OpenShift Container Platform 및 OpenShift 샌드박스 컨테이너 둘 다에 대한 진단 정보를 제공하십시오.
must-gather 툴 사용
oc adm must-gather CLI 명령은 다음을 포함하여 문제를 디버깅하는 데 필요할 가능성이 높은 클러스터에서 정보를 수집합니다.
- 리소스 정의
- 서비스 로그
기본적으로 oc adm must-gather 명령은 기본 플러그인 이미지를 사용하고 ./must-gather.local 에 씁니다.
또는 다음 섹션에 설명된 대로 적절한 인수로 명령을 실행하여 특정 정보를 수집할 수 있습니다.
하나 이상의 특정 기능과 관련된 데이터를 수집하려면 다음 섹션에 나열된 대로 이미지와 함께
--image인수를 사용합니다.예를 들면 다음과 같습니다.
oc adm must-gather --image=registry.redhat.io/openshift-sandboxed-containers/osc-must-gather-rhel9:1.8.0
$ oc adm must-gather --image=registry.redhat.io/openshift-sandboxed-containers/osc-must-gather-rhel9:1.8.0Copy to Clipboard Copied! Toggle word wrap Toggle overflow 감사 로그를 수집하려면 다음 섹션에 설명된 대로
-- /usr/bin/gather_audit_logs인수를 사용하십시오.예를 들면 다음과 같습니다.
oc adm must-gather -- /usr/bin/gather_audit_logs
$ oc adm must-gather -- /usr/bin/gather_audit_logsCopy to Clipboard Copied! Toggle word wrap Toggle overflow 참고감사 로그는 파일 크기를 줄이기 위해 기본 정보 세트의 일부로 수집되지 않습니다.
oc adm must-gather 를 실행하면 클러스터의 새 프로젝트에 임의의 이름이 있는 새 Pod가 생성됩니다. 해당 Pod에 대한 데이터가 수집되어 must-gather.local로 시작하는 새 디렉터리에 저장됩니다. 이 디렉터리는 현재 작업 중인 디렉터리에 생성되어 있습니다.
예를 들면 다음과 같습니다.
NAMESPACE NAME READY STATUS RESTARTS AGE ... openshift-must-gather-5drcj must-gather-bklx4 2/2 Running 0 72s openshift-must-gather-5drcj must-gather-s8sdh 2/2 Running 0 72s ...
NAMESPACE NAME READY STATUS RESTARTS AGE
...
openshift-must-gather-5drcj must-gather-bklx4 2/2 Running 0 72s
openshift-must-gather-5drcj must-gather-s8sdh 2/2 Running 0 72s
...
필요한 경우 --run-namespace 옵션을 사용하여 특정 네임스페이스에서 oc adm must-gather 명령을 실행할 수 있습니다.
예를 들면 다음과 같습니다.
oc adm must-gather --run-namespace <namespace> --image=registry.redhat.io/openshift-sandboxed-containers/osc-must-gather-rhel9:1.8.0
$ oc adm must-gather --run-namespace <namespace> --image=registry.redhat.io/openshift-sandboxed-containers/osc-must-gather-rhel9:1.8.0
11.2. 로그 데이터 수집 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift 샌드박스 컨테이너와 관련된 기능 및 오브젝트는 다음과 같습니다.
- OpenShift 샌드박스 컨테이너 리소스에 속하는 모든 네임스페이스 및 해당 하위 오브젝트
- 모든 OpenShift 샌드박스 컨테이너 CRD(사용자 정의 리소스 정의)
kata 런타임으로 실행되는 각 Pod에 대해 다음 구성 요소 로그를 수집할 수 있습니다.
- Kata 에이전트 로그
- Kata 런타임 로그
- QEMU 로그
- 감사 로그
- CRI-O 로그
11.2.1. CRI-O 런타임의 디버그 로그 활성화 링크 복사링크가 클립보드에 복사되었습니다!
KataConfig CR에서 logLevel 필드를 업데이트하여 디버그 로그를 활성화할 수 있습니다. 이렇게 하면 OpenShift 샌드박스 컨테이너를 실행하는 작업자 노드의 CRI-O 런타임의 로그 수준이 변경됩니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
기존
KataConfigCR의logLevel필드를debug로 변경합니다.oc patch kataconfig <kataconfig> --type merge --patch '{"spec":{"logLevel":"debug"}}'$ oc patch kataconfig <kataconfig> --type merge --patch '{"spec":{"logLevel":"debug"}}'Copy to Clipboard Copied! Toggle word wrap Toggle overflow UPDATED의 값이True가 될 때까지kata-oc머신 구성 풀을 모니터링하여 모든 작업자 노드가 업데이트됨을 나타냅니다.oc get mcp kata-oc
$ oc get mcp kata-ocCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME CONFIG UPDATED UPDATING DEGRADED MACHINECOUNT READYMACHINECOUNT UPDATEDMACHINECOUNT DEGRADEDMACHINECOUNT AGE kata-oc rendered-kata-oc-169 False True False 3 1 1 0 9h
NAME CONFIG UPDATED UPDATING DEGRADED MACHINECOUNT READYMACHINECOUNT UPDATEDMACHINECOUNT DEGRADEDMACHINECOUNT AGE kata-oc rendered-kata-oc-169 False True False 3 1 1 0 9hCopy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
머신 구성 풀에서 노드로 디버그 세션을 시작합니다.
oc debug node/<node_name>
$ oc debug node/<node_name>Copy to Clipboard Copied! Toggle word wrap Toggle overflow root 디렉토리를
/host로 변경합니다.chroot /host
# chroot /hostCopy to Clipboard Copied! Toggle word wrap Toggle overflow crio.conf파일의 변경 사항을 확인합니다.crio config | egrep 'log_level
# crio config | egrep 'log_levelCopy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
log_level = "debug"
log_level = "debug"Copy to Clipboard Copied! Toggle word wrap Toggle overflow
11.2.2. 구성 요소의 디버그 로그 보기 링크 복사링크가 클립보드에 복사되었습니다!
클러스터 관리자는 디버그 로그를 사용하여 문제를 해결할 수 있습니다. 각 노드의 로그는 노드 저널에 출력됩니다.
다음 OpenShift 샌드박스 컨테이너 구성 요소의 로그를 검토할 수 있습니다.
- Kata 에이전트
-
Kata 런타임 (
containerd-shim-kata-v2) -
virtiofsd
QEMU는 경고 및 오류 로그만 생성합니다. 이러한 경고 및 오류는 추가 qemuPid 필드를 사용하여 Kata 런타임 로그와 CRI-O 로그 모두에서 노드 저널에 출력됩니다.
QEMU 로그 예
Mar 11 11:57:28 openshift-worker-0 kata[2241647]: time="2023-03-11T11:57:28.587116986Z" level=info msg="Start logging QEMU (qemuPid=2241693)" name=containerd-shim-v2 pid=2241647 sandbox=d1d4d68efc35e5ccb4331af73da459c13f46269b512774aa6bde7da34db48987 source=virtcontainers/hypervisor subsystem=qemu Mar 11 11:57:28 openshift-worker-0 kata[2241647]: time="2023-03-11T11:57:28.607339014Z" level=error msg="qemu-kvm: -machine q35,accel=kvm,kernel_irqchip=split,foo: Expected '=' after parameter 'foo'" name=containerd-shim-v2 pid=2241647 qemuPid=2241693 sandbox=d1d4d68efc35e5ccb4331af73da459c13f46269b512774aa6bde7da34db48987 source=virtcontainers/hypervisor subsystem=qemu Mar 11 11:57:28 openshift-worker-0 kata[2241647]: time="2023-03-11T11:57:28.60890737Z" level=info msg="Stop logging QEMU (qemuPid=2241693)" name=containerd-shim-v2 pid=2241647 sandbox=d1d4d68efc35e5ccb4331af73da459c13f46269b512774aa6bde7da34db48987 source=virtcontainers/hypervisor subsystem=qemu
Mar 11 11:57:28 openshift-worker-0 kata[2241647]: time="2023-03-11T11:57:28.587116986Z" level=info msg="Start logging QEMU (qemuPid=2241693)" name=containerd-shim-v2 pid=2241647 sandbox=d1d4d68efc35e5ccb4331af73da459c13f46269b512774aa6bde7da34db48987 source=virtcontainers/hypervisor subsystem=qemu
Mar 11 11:57:28 openshift-worker-0 kata[2241647]: time="2023-03-11T11:57:28.607339014Z" level=error msg="qemu-kvm: -machine q35,accel=kvm,kernel_irqchip=split,foo: Expected '=' after parameter 'foo'" name=containerd-shim-v2 pid=2241647 qemuPid=2241693 sandbox=d1d4d68efc35e5ccb4331af73da459c13f46269b512774aa6bde7da34db48987 source=virtcontainers/hypervisor subsystem=qemu
Mar 11 11:57:28 openshift-worker-0 kata[2241647]: time="2023-03-11T11:57:28.60890737Z" level=info msg="Stop logging QEMU (qemuPid=2241693)" name=containerd-shim-v2 pid=2241647 sandbox=d1d4d68efc35e5ccb4331af73da459c13f46269b512774aa6bde7da34db48987 source=virtcontainers/hypervisor subsystem=qemu
Kata 런타임은 QEMU가 시작될 때 로깅 QEMU 시작 및 QEMU가 중지되면 로깅 QEMU 를 중지합니다. 이러한 두 로그 메시지 사이에 qemuPid 필드가 있는 오류가 표시됩니다. QEMU의 실제 오류 메시지가 빨간색으로 표시됩니다.
QEMU 게스트의 콘솔도 노드 저널에 출력됩니다. Kata 에이전트 로그와 함께 게스트 콘솔 로그를 볼 수 있습니다.
사전 요구 사항
-
OpenShift CLI(
oc)가 설치되어 있습니다. -
cluster-admin역할의 사용자로 클러스터에 액세스할 수 있어야 합니다.
프로세스
Kata 에이전트 로그 및 게스트 콘솔 로그를 검토하려면 다음 명령을 실행합니다.
oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t kata -g “reading guest console”
$ oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t kata -g “reading guest console”Copy to Clipboard Copied! Toggle word wrap Toggle overflow Kata 런타임 로그를 검토하려면 다음 명령을 실행합니다.
oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t kata
$ oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t kataCopy to Clipboard Copied! Toggle word wrap Toggle overflow virtiofsd로그를 검토하려면 다음 명령을 실행합니다.oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t virtiofsd
$ oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t virtiofsdCopy to Clipboard Copied! Toggle word wrap Toggle overflow QEMU 로그를 검토하려면 다음 명령을 실행합니다.
oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t kata -g "qemuPid=\d+"
$ oc debug node/<nodename> -- journalctl -D /host/var/log/journal -t kata -g "qemuPid=\d+"Copy to Clipboard Copied! Toggle word wrap Toggle overflow
추가 리소스
- OpenShift Container Platform 문서에서 클러스터에 대한 데이터 수집
부록 A. KataConfig 상태 메시지 링크 복사링크가 클립보드에 복사되었습니다!
다음 표에는 두 개의 작업자 노드가 있는 클러스터의 KataConfig CR(사용자 정의 리소스)의 상태 메시지가 표시됩니다.
| 상태 | 설명 |
|---|---|
| 초기 설치
|
|
| 설치 몇 초 내에 상태가 변경됩니다. |
|
| 설치 (Worker-1 설치 시작)
잠시 동안 하나의 노드가 |
|
| 설치 (Worker-1 설치, worker-0 설치 시작)
잠시 후 |
|
| 설치됨
설치하는 경우 두 작업자 모두 설치된 것으로 나열되고 |
|
| 상태 | 설명 |
|---|---|
| 초기 설치 제거
|
|
| 설치 제거 몇 초 후에 작업자 중 하나가 제거를 시작합니다. |
|
| 설치 제거 worker-1이 완료되고 worker-0이 제거를 시작합니다. |
kataNodes: nodeCount: 0 readyNodeCount: 0 uninstalling: - worker-0
|
reason 필드는 다음 원인도 보고할 수 있습니다.
-
Failed: 노드가 전환을 완료할 수 없는 경우 보고됩니다.상태는True이고메시지는Node <node_name> Degraded: <error_message_from_the_node>입니다. -
BlockedByExistingKataPods: kata-remote를 제거하는 동안런타임을 사용하는 클러스터에서 실행 중인 Pod가 있는 경우 보고됩니다.kata-remotestatus필드는False이고메시지는kata-remote" RuntimeClass를 사용하는 기존 Pod입니다. KataConfig 삭제의 경우 Pod를 수동으로 삭제하여 다음을 진행합니다.. 클러스터 컨트롤 플레인과의 통신에 실패하는 경우Failed to list kata pods: <error_message>와 같은 기술 오류 메시지가 표시될 수도 있습니다.