12.6. NUMA 인식 워크로드 예약
지연 시간에 민감한 워크로드를 실행하는 클러스터는 일반적으로 워크로드 지연 시간을 최소화하고 성능을 최적화하는 데 도움이 되는 성능 프로필을 갖추고 있습니다. NUMA 인식 스케줄러는 사용 가능한 노드 NUMA 리소스와 노드에 적용된 모든 성능 프로필 설정을 기준으로 작업 부하를 배포합니다. NUMA 인식 배포와 워크로드의 성능 프로필을 결합하면 워크로드가 성능을 극대화하는 방식으로 예약됩니다.
NUMA 리소스 운영자가 완전히 작동하려면 NUMAResourcesOperator
사용자 지정 리소스와 NUMA 인식 보조 포드 스케줄러를 배포해야 합니다.
12.6.1. NUMAResourcesOperator 사용자 정의 리소스 생성 링크 복사링크가 클립보드에 복사되었습니다!
NUMA Resources Operator를 설치한 후 NUMA Resources Operator가 데몬 세트와 API를 포함하여 NUMA 인식 스케줄러를 지원하는 데 필요한 모든 클러스터 인프라를 설치하도록 지시하는 NUMAResourcesOperator
사용자 지정 리소스(CR)를 만듭니다.
사전 요구 사항
-
OpenShift CLI(
oc
)를 설치합니다. -
cluster-admin
권한이 있는 사용자로 로그인합니다. - NUMA 리소스 운영자를 설치합니다.
프로세스
NUMAResourcesOperator
사용자 지정 리소스를 만듭니다.다음의 최소 필수 YAML 파일 예를
nrop.yaml
로 저장합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 이는 NUMA 리소스 연산자를 구성하려는
MachineConfigPool
리소스와 일치해야 합니다. 예를 들어, 통신 작업을 실행할 것으로 예상되는 노드 집합을 지정하는worker-cnf
라는MachineConfigPool
리소스를 만들었을 수 있습니다. 각NodeGroup은
정확히 하나의MachineConfigPool
과 일치해야 합니다.NodeGroup이
두 개 이상의MachineConfigPool
과 일치하는 구성은 지원되지 않습니다.
다음 명령을 실행하여
NUMAResourcesOperator
CR을 만듭니다.oc create -f nrop.yaml
$ oc create -f nrop.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
선택 사항: 여러 머신 구성 풀(MCP)에 대해 NUMA 인식 스케줄링을 활성화하려면 각 풀에 대해 별도의
NodeGroup을
정의합니다. 예를 들어, 다음 예와 같이NUMAResourcesOperator
CR에서worker-cnf
,worker-ht
및worker-other
에 대한 세 개의NodeGroup을
정의합니다.여러
NodeGroups가
있는NUMAResourcesOperator
CR에 대한 YAML 정의 예Copy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
다음 명령을 실행하여 NUMA 리소스 운영자가 성공적으로 배포되었는지 확인하세요.
oc get numaresourcesoperators.nodetopology.openshift.io
$ oc get numaresourcesoperators.nodetopology.openshift.io
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME AGE numaresourcesoperator 27s
NAME AGE numaresourcesoperator 27s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 몇 분 후, 다음 명령을 실행하여 필요한 리소스가 성공적으로 배포되었는지 확인하세요.
oc get all -n openshift-numaresources
$ oc get all -n openshift-numaresources
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME READY STATUS RESTARTS AGE pod/numaresources-controller-manager-7d9d84c58d-qk2mr 1/1 Running 0 12m pod/numaresourcesoperator-worker-7d96r 2/2 Running 0 97s pod/numaresourcesoperator-worker-crsht 2/2 Running 0 97s pod/numaresourcesoperator-worker-jp9mw 2/2 Running 0 97s
NAME READY STATUS RESTARTS AGE pod/numaresources-controller-manager-7d9d84c58d-qk2mr 1/1 Running 0 12m pod/numaresourcesoperator-worker-7d96r 2/2 Running 0 97s pod/numaresourcesoperator-worker-crsht 2/2 Running 0 97s pod/numaresourcesoperator-worker-jp9mw 2/2 Running 0 97s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
12.6.2. 호스팅된 제어 평면에 대한 NUMAResourcesOperator 사용자 지정 리소스 만들기 링크 복사링크가 클립보드에 복사되었습니다!
NUMA 리소스 연산자를 설치한 후 NUMAResourcesOperator
사용자 정의 리소스(CR)를 만듭니다. CR은 NUMA 리소스 운영자에게 데몬 세트와 API를 포함하여 호스팅된 제어 평면에서 NUMA 인식 스케줄러를 지원하는 데 필요한 모든 클러스터 인프라를 설치하도록 지시합니다.
호스팅된 제어 평면에 대한 NUMAResourcesOperator 사용자 지정 리소스를 만드는 것은 기술 미리 보기 기능에만 해당됩니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. 따라서 프로덕션 환경에서 사용하는 것은 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
사전 요구 사항
-
OpenShift CLI(
oc
)를 설치합니다. -
cluster-admin
권한이 있는 사용자로 로그인합니다. - NUMA 리소스 운영자를 설치합니다.
프로세스
다음 명령을 실행하여 관리 클러스터 kubeconfig 파일을 내보냅니다.
export KUBECONFIG=<path-to-management-cluster-kubeconfig>
$ export KUBECONFIG=<path-to-management-cluster-kubeconfig>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 클러스터의
노드 풀 이름을
찾으세요.oc --kubeconfig="$MGMT_KUBECONFIG" get np -A
$ oc --kubeconfig="$MGMT_KUBECONFIG" get np -A
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAMESPACE NAME CLUSTER DESIRED NODES CURRENT NODES AUTOSCALING AUTOREPAIR VERSION UPDATINGVERSION UPDATINGCONFIG MESSAGE clusters democluster-us-east-1a democluster 1 1 False False 4.19.0 False False
NAMESPACE NAME CLUSTER DESIRED NODES CURRENT NODES AUTOSCALING AUTOREPAIR VERSION UPDATINGVERSION UPDATINGCONFIG MESSAGE clusters democluster-us-east-1a democluster 1 1 False False 4.19.0 False False
Copy to Clipboard Copied! Toggle word wrap Toggle overflow node-pool-name은
출력의NAME
필드입니다. 이 예에서노드 풀 이름
은democluster-us-east-1a
입니다.최소한 다음 내용을 포함하는
nrop-hcp.yaml
이라는 YAML 파일을 만듭니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
poolName
은 2단계에서 검색된노드 풀 이름
입니다.
관리 클러스터에서 다음 명령을 실행하여 사용 가능한 비밀을 나열합니다.
oc get secrets -n clusters
$ oc get secrets -n clusters
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 호스팅된 클러스터의
kubeconfig
파일을 추출합니다.oc get secret <SECRET_NAME> -n clusters -o jsonpath='{.data.kubeconfig}' | base64 -d > hosted-cluster-kubeconfig
$ oc get secret <SECRET_NAME> -n clusters -o jsonpath='{.data.kubeconfig}' | base64 -d > hosted-cluster-kubeconfig
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 예
oc get secret democluster-admin-kubeconfig -n clusters -o jsonpath='{.data.kubeconfig}' | base64 -d > hosted-cluster-kubeconfig
$ oc get secret democluster-admin-kubeconfig -n clusters -o jsonpath='{.data.kubeconfig}' | base64 -d > hosted-cluster-kubeconfig
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여 호스팅된 클러스터
kubeconfig
파일을 내보냅니다.export HC_KUBECONFIG=<path_to_hosted-cluster-kubeconfig>
$ export HC_KUBECONFIG=<path_to_hosted-cluster-kubeconfig>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 호스팅된 클러스터에서 다음 명령을 실행하여
NUMAResourcesOperator
CR을 만듭니다.oc create -f nrop-hcp.yaml
$ oc create -f nrop-hcp.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
다음 명령을 실행하여 NUMA 리소스 운영자가 성공적으로 배포되었는지 확인하세요.
oc get numaresourcesoperators.nodetopology.openshift.io
$ oc get numaresourcesoperators.nodetopology.openshift.io
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME AGE numaresourcesoperator 27s
NAME AGE numaresourcesoperator 27s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 몇 분 후, 다음 명령을 실행하여 필요한 리소스가 성공적으로 배포되었는지 확인하세요.
oc get all -n openshift-numaresources
$ oc get all -n openshift-numaresources
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME READY STATUS RESTARTS AGE pod/numaresources-controller-manager-7d9d84c58d-qk2mr 1/1 Running 0 12m pod/numaresourcesoperator-democluster-7d96r 2/2 Running 0 97s pod/numaresourcesoperator-democluster-crsht 2/2 Running 0 97s pod/numaresourcesoperator-democluster-jp9mw 2/2 Running 0 97s
NAME READY STATUS RESTARTS AGE pod/numaresources-controller-manager-7d9d84c58d-qk2mr 1/1 Running 0 12m pod/numaresourcesoperator-democluster-7d96r 2/2 Running 0 97s pod/numaresourcesoperator-democluster-crsht 2/2 Running 0 97s pod/numaresourcesoperator-democluster-jp9mw 2/2 Running 0 97s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
12.6.3. NUMA 인식 보조 포드 스케줄러 배포 링크 복사링크가 클립보드에 복사되었습니다!
NUMA 리소스 연산자를 설치한 후 다음 절차에 따라 NUMA 인식 보조 포드 스케줄러를 배포합니다.
프로세스
NUMA 인식 사용자 정의 Pod 스케줄러를 배포하는
NUMAResourcesScheduler
사용자 정의 리소스를 만듭니다.다음의 최소한의 필수 YAML을
nro-scheduler.yaml
파일에 저장합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 연결이 끊긴 환경에서는 다음 중 하나를 수행하여 이 이미지의 해상도를 구성해야 합니다.
-
ImageTagMirrorSet
사용자 정의 리소스(CR) 생성. 자세한 내용은 "추가 리소스" 섹션의 "이미지 레지스트리 저장소 미러링 구성"을 참조하세요. - 연결이 끊긴 레지스트리에 URL을 설정합니다.
-
다음 명령을 실행하여
NUMAResourcesScheduler
CR을 만듭니다.oc create -f nro-scheduler.yaml
$ oc create -f nro-scheduler.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고호스팅된 제어 평면 클러스터에서 호스팅된 제어 평면 노드에서 이 명령을 실행합니다.
몇 초 후에 다음 명령을 실행하여 필요한 리소스가 성공적으로 배포되었는지 확인하세요.
oc get all -n openshift-numaresources
$ oc get all -n openshift-numaresources
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
12.6.4. NUMA 인식 스케줄러를 사용한 작업 스케줄링 링크 복사링크가 클립보드에 복사되었습니다!
이제 topo-aware-scheduler가
설치되었고 NUMAResourcesOperator
및 NUMAResourcesScheduler
CR이 적용되었으며 클러스터에 일치하는 성능 프로필이나 kubeletconfig
가 있으므로 워크로드를 처리하는 데 필요한 최소 리소스를 지정하는 배포 CR을 사용하여 NUMA 인식 스케줄러로 워크로드를 예약할 수 있습니다.
다음 예제 배포에서는 샘플 워크로드에 대해 NUMA 인식 스케줄링을 사용합니다.
사전 요구 사항
-
OpenShift CLI(
oc
)를 설치합니다. -
cluster-admin
권한이 있는 사용자로 로그인합니다.
프로세스
다음 명령을 실행하여 클러스터에 배포된 NUMA 인식 스케줄러의 이름을 가져옵니다.
oc get numaresourcesschedulers.nodetopology.openshift.io numaresourcesscheduler -o json | jq '.status.schedulerName'
$ oc get numaresourcesschedulers.nodetopology.openshift.io numaresourcesscheduler -o json | jq '.status.schedulerName'
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
"topo-aware-scheduler"
"topo-aware-scheduler"
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 예를 들어
topo-aware-scheduler
라는 스케줄러를 사용하는배포
CR을 만듭니다.다음 YAML을
nro-deployment.yaml
파일에 저장합니다.Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
schedulerName은
클러스터에 배포된 NUMA 인식 스케줄러의 이름과 일치해야 합니다(예:topo-aware-scheduler )
.
다음 명령을 실행하여
배포
CR을 만듭니다.oc create -f nro-deployment.yaml
$ oc create -f nro-deployment.yaml
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
검증
배포가 성공했는지 확인하세요.
oc get pods -n openshift-numaresources
$ oc get pods -n openshift-numaresources
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 다음 명령을 실행하여
topo-aware-scheduler가
배포된 Pod를 예약하는지 확인하세요.oc describe pod numa-deployment-1-6c4f5bdb84-wgn6g -n openshift-numaresources
$ oc describe pod numa-deployment-1-6c4f5bdb84-wgn6g -n openshift-numaresources
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 4m45s topo-aware-scheduler Successfully assigned openshift-numaresources/numa-deployment-1-6c4f5bdb84-wgn6g to worker-1
Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled 4m45s topo-aware-scheduler Successfully assigned openshift-numaresources/numa-deployment-1-6c4f5bdb84-wgn6g to worker-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 참고스케줄링에 사용할 수 있는 리소스보다 많은 리소스를 요청하는 배포는
MinimumReplicasUnavailable
오류로 인해 실패합니다. 필요한 리소스를 사용할 수 있게 되면 배포가 성공합니다. 필요한 리소스가 제공될 때까지 Pod는보류
상태로 유지됩니다.노드에 대해 예상 할당 리소스가 나열되어 있는지 확인합니다.
다음 명령을 실행하여 배포 포드를 실행하는 노드를 식별합니다.
oc get pods -n openshift-numaresources -o wide
$ oc get pods -n openshift-numaresources -o wide
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES numa-deployment-1-6c4f5bdb84-wgn6g 0/2 Running 0 82m 10.128.2.50 worker-1 <none> <none>
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES numa-deployment-1-6c4f5bdb84-wgn6g 0/2 Running 0 82m 10.128.2.50 worker-1 <none> <none>
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 배포 포드를 실행 중인 노드의 이름으로 다음 명령을 실행합니다.
oc describe noderesourcetopologies.topology.node.k8s.io worker-1
$ oc describe noderesourcetopologies.topology.node.k8s.io worker-1
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 보장된 포드에 할당된 리소스로 인해
사용 가능한
용량이 감소합니다.
보장된 포드에서 사용되는 리소스는
noderesourcetopologies.topology.node.k8s.io
에 나열된 사용 가능한 노드 리소스에서 빼집니다.
Best-effort
또는Burstable
서비스 품질(qosClass
)을 갖춘 포드에 대한 리소스 할당은noderesourcetopologies.topology.node.k8s.io
아래의 NUMA 노드 리소스에 반영되지 않습니다. Pod의 소모된 리소스가 노드 리소스 계산에 반영되지 않는 경우 Pod에보장된
qosClass
가 있고 CPU 요청이 십진수 값이 아닌 정수 값인지 확인합니다. 다음 명령을 실행하여 Pod의qosClass
가Guaranteed
인지 확인할 수 있습니다.oc get pod numa-deployment-1-6c4f5bdb84-wgn6g -n openshift-numaresources -o jsonpath="{ .status.qosClass }"
$ oc get pod numa-deployment-1-6c4f5bdb84-wgn6g -n openshift-numaresources -o jsonpath="{ .status.qosClass }"
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 출력 예
Guaranteed
Guaranteed
Copy to Clipboard Copied! Toggle word wrap Toggle overflow