Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

21.3. 대기 시간 테스트 실행

클라우드 기반 네트워크 기능(CNF) 워크로드에 대한 노드 튜닝을 검증하려면 클러스터 지연 시간 테스트를 실행합니다.

참고

루트가 아니거나 권한이 없는 사용자로 podman 명령을 실행하면 마운트 경로가 권한 거부 오류로 인해 실패할 수 있습니다. 로컬 운영 체제와 SELinux 구성에 따라 홈 디렉토리에서 이러한 명령을 실행하는 데 문제가 발생할 수도 있습니다. podman 명령을 작동시키려면 home/<username> 디렉토리가 아닌 폴더에서 명령을 실행하고 볼륨 생성에 :Z를 추가하세요. 예를 들어, -v $(pwd)/:/kubeconfig:Z . 이를 통해 podman은 SELinux를 적절히 재레이블링할 수 있습니다.

이 절차에서는 hwlatdetect , cycltest , oslat 의 세 가지 개별 테스트를 실행합니다. 개별 테스트에 대한 자세한 내용은 해당 섹션을 참조하세요.

프로세스

  1. kubeconfig 파일이 있는 디렉토리에서 셸 프롬프트를 엽니다.

    현재 디렉토리에 있는 kubeconfig 파일과 관련 $KUBECONFIG 환경 변수를 볼륨을 통해 마운트하여 테스트 이미지를 제공합니다. 이를 통해 실행 중인 컨테이너는 컨테이너 내부에서 kubeconfig 파일을 사용할 수 있습니다.

    참고

    다음 명령에서는 로컬 kubeconfig가 cnf-tests 컨테이너의 kubeconfig/kubeconfig에 마운트되어 클러스터에 액세스할 수 있습니다.

  2. 지연 시간 테스트를 실행하려면 다음 명령을 실행하고 적절한 변수 값을 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUNTIME=600\
-e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel9:v4.19 /usr/bin/test-run.sh \
--ginkgo.v --ginkgo.timeout="24h"

    LATENCY_TEST_RUNTIME은 초 단위로 표시되며, 이 경우 600초(10분)입니다. 최대 관찰 지연 시간이 MAXIMUM_LATENCY(20μs)보다 낮으면 테스트가 성공적으로 실행됩니다.

    결과가 지연 임계값을 초과하면 테스트가 실패합니다.

  3. 선택 사항: --ginkgo.dry-run 플래그를 추가하여 드라이런 모드로 지연 테스트를 실행합니다. 이는 테스트에서 어떤 명령을 실행하는지 확인하는 데 유용합니다.
  4. 선택 사항: --ginkgo.v 플래그를 추가하여 테스트를 더 자세하게 실행합니다.

  5. 선택 사항: --ginkgo.timeout="24h" 플래그를 추가하여 지연 테스트가 완료되기 전에 Ginkgo 2.0 테스트 모음의 시간이 초과되지 않도록 합니다.

    중요

    표시된 대로 테스트하는 동안에는 더 짧은 기간을 사용하여 테스트를 실행할 수 있습니다. 그러나 최종 검증 및 유효한 결과를 얻으려면 테스트를 최소 12시간(43,200초) 동안 실행해야 합니다.

21.3.1. hwlatdetect 실행
링크 복사

hwlatdetect 도구는 Red Hat Enterprise Linux(RHEL) 9.x의 일반 구독을 통해 rt-kernel 패키지에서 사용할 수 있습니다.

참고

루트가 아니거나 권한이 없는 사용자로 podman 명령을 실행하면 마운트 경로가 권한 거부 오류로 인해 실패할 수 있습니다. 로컬 운영 체제와 SELinux 구성에 따라 홈 디렉토리에서 이러한 명령을 실행하는 데 문제가 발생할 수도 있습니다. podman 명령을 작동시키려면 home/<username> 디렉토리가 아닌 폴더에서 명령을 실행하고 볼륨 생성에 :Z를 추가하세요. 예를 들어, -v $(pwd)/:/kubeconfig:Z . 이를 통해 podman은 SELinux를 적절히 재레이블링할 수 있습니다.

사전 요구 사항

  • 지연 시간 테스트를 실행하기 위한 전제 조건을 검토했습니다.

프로세스

  • hwlatdetect 테스트를 실행하려면 다음 명령을 실행하고 적절한 변수 값을 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel9:v4.19 \
/usr/bin/test-run.sh --ginkgo.focus="hwlatdetect" --ginkgo.v --ginkgo.timeout="24h"

    hwlatdetect 테스트는 10분(600초) 동안 실행됩니다. 최대 관찰 지연 시간이 MAXIMUM_LATENCY (20μs)보다 낮으면 테스트가 성공적으로 실행됩니다.

    결과가 지연 임계값을 초과하면 테스트가 실패합니다.

    중요

    표시된 대로 테스트하는 동안에는 더 짧은 기간을 사용하여 테스트를 실행할 수 있습니다. 그러나 최종 검증 및 유효한 결과를 얻으려면 테스트를 최소 12시간(43,200초) 동안 실행해야 합니다.

    실패 출력 예시

    running /usr/bin/cnftests -ginkgo.v -ginkgo.focus=hwlatdetect
I0908 15:25:20.023712      27 request.go:601] Waited for 1.046586367s due to client-side throttling, not priority and fairness, request: GET:https://api.hlxcl6.lab.eng.tlv2.redhat.com:6443/apis/imageregistry.operator.openshift.io/v1?timeout=32s
Running Suite: CNF Features e2e integration tests
=================================================
Random Seed: 1662650718
Will run 1 of 3 specs

[...]

• Failure [283.574 seconds]
[performance] Latency Test
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:62
  with the hwlatdetect image
  /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:228
    should succeed [It]
    /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:236

    Log file created at: 2022/09/08 15:25:27
    Running on machine: hwlatdetect-b6n4n
    Binary: Built with gc go1.17.12 for linux/amd64
    Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
    I0908 15:25:27.160620       1 node.go:39] Environment information: /proc/cmdline: BOOT_IMAGE=(hd1,gpt3)/ostree/rhcos-c6491e1eedf6c1f12ef7b95e14ee720bf48359750ac900b7863c625769ef5fb9/vmlinuz-4.18.0-372.19.1.el8_6.x86_64 random.trust_cpu=on console=tty0 console=ttyS0,115200n8 ignition.platform.id=metal ostree=/ostree/boot.1/rhcos/c6491e1eedf6c1f12ef7b95e14ee720bf48359750ac900b7863c625769ef5fb9/0 ip=dhcp root=UUID=5f80c283-f6e6-4a27-9b47-a287157483b2 rw rootflags=prjquota boot=UUID=773bf59a-bafd-48fc-9a87-f62252d739d3 skew_tick=1 nohz=on rcu_nocbs=0-3 tuned.non_isolcpus=0000ffff,ffffffff,fffffff0 systemd.cpu_affinity=4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79 intel_iommu=on iommu=pt isolcpus=managed_irq,0-3 nohz_full=0-3 tsc=nowatchdog nosoftlockup nmi_watchdog=0 mce=off skew_tick=1 rcutree.kthread_prio=11 + +
    I0908 15:25:27.160830       1 node.go:46] Environment information: kernel version 4.18.0-372.19.1.el8_6.x86_64
    I0908 15:25:27.160857       1 main.go:50] running the hwlatdetect command with arguments [/usr/bin/hwlatdetect --threshold 1 --hardlimit 1 --duration 100 --window 10000000us --width 950000us]
    F0908 15:27:10.603523       1 main.go:53] failed to run hwlatdetect command; out: hwlatdetect:  test duration 100 seconds
       detector: tracer
       parameters:
            Latency threshold: 1us
    1 
    
            Sample window:     10000000us
            Sample width:      950000us
         Non-sampling period:  9050000us
            Output File:       None

    Starting test
    test finished
    Max Latency: 326us
    2 
    
    Samples recorded: 5
    Samples exceeding threshold: 5
    ts: 1662650739.017274507, inner:6, outer:6
    ts: 1662650749.257272414, inner:14, outer:326
    ts: 1662650779.977272835, inner:314, outer:12
    ts: 1662650800.457272384, inner:3, outer:9
    ts: 1662650810.697273520, inner:3, outer:2

[...]

JUnit report was created: /junit.xml/cnftests-junit.xml


Summarizing 1 Failure:

[Fail] [performance] Latency Test with the hwlatdetect image [It] should succeed
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:476

Ran 1 of 194 Specs in 365.797 seconds
FAIL! -- 0 Passed | 1 Failed | 0 Pending | 2 Skipped
--- FAIL: TestTest (366.08s)
FAIL

    1
    MAXIMUM_LATENCY 또는 HWLATDETECT_MAXIMUM_LATENCY 환경 변수를 사용하여 대기 시간 임계값을 구성할 수 있습니다.
    2
    테스트 중에 측정된 최대 대기 시간 값입니다.
hwlatdetect 테스트 결과 예시

다음과 같은 유형의 결과를 캡처할 수 있습니다.

  • 테스트 전반에 걸쳐 변경된 사항에 대한 영향 기록을 작성하기 위해 각 실행 후 수집된 대략적인 결과입니다.
  • 가장 좋은 결과와 구성 설정을 적용한 대략적인 테스트를 결합한 세트입니다.

좋은 결과의 예

hwlatdetect: test duration 3600 seconds
detector: tracer
parameters:
Latency threshold: 10us
Sample window: 1000000us
Sample width: 950000us
Non-sampling period: 50000us
Output File: None

Starting test
test finished
Max Latency: Below threshold
Samples recorded: 0

hwlatdetect 도구는 샘플이 지정된 임계값을 초과하는 경우에만 출력을 제공합니다.

나쁜 결과의 예

hwlatdetect: test duration 3600 seconds
detector: tracer
parameters:Latency threshold: 10usSample window: 1000000us
Sample width: 950000usNon-sampling period: 50000usOutput File: None

Starting tests:1610542421.275784439, inner:78, outer:81
ts: 1610542444.330561619, inner:27, outer:28
ts: 1610542445.332549975, inner:39, outer:38
ts: 1610542541.568546097, inner:47, outer:32
ts: 1610542590.681548531, inner:13, outer:17
ts: 1610543033.818801482, inner:29, outer:30
ts: 1610543080.938801990, inner:90, outer:76
ts: 1610543129.065549639, inner:28, outer:39
ts: 1610543474.859552115, inner:28, outer:35
ts: 1610543523.973856571, inner:52, outer:49
ts: 1610543572.089799738, inner:27, outer:30
ts: 1610543573.091550771, inner:34, outer:28
ts: 1610543574.093555202, inner:116, outer:63

hwlatdetect 의 출력은 여러 샘플이 임계값을 초과함을 보여줍니다. 그러나 동일한 출력이라도 다음 요소에 따라 다른 결과를 나타낼 수 있습니다.

  • 시험 기간
  • CPU 코어 수
  • 호스트 펌웨어 설정
주의

다음 지연 시간 테스트를 진행하기 전에 hwlatdetect 에서 보고된 지연 시간이 필요한 임계값을 충족하는지 확인하세요. 하드웨어로 인해 발생하는 지연 시간을 해결하려면 시스템 공급업체 지원팀에 문의해야 할 수도 있습니다.

모든 지연 시간 급증이 하드웨어와 관련된 것은 아닙니다. 작업 부하 요구 사항을 충족하도록 호스트 펌웨어를 조정하세요. 자세한 내용은 시스템 튜닝을 위한 펌웨어 매개변수 설정을 참조하세요.

21.3.2. cyclitect 실행
링크 복사

cycltest 도구는 지정된 CPU에서 실시간 커널 스케줄러 지연 시간을 측정합니다.

참고

루트가 아니거나 권한이 없는 사용자로 podman 명령을 실행하면 마운트 경로가 권한 거부 오류로 인해 실패할 수 있습니다. 로컬 운영 체제와 SELinux 구성에 따라 홈 디렉토리에서 이러한 명령을 실행하는 데 문제가 발생할 수도 있습니다. podman 명령을 작동시키려면 home/<username> 디렉토리가 아닌 폴더에서 명령을 실행하고 볼륨 생성에 :Z를 추가하세요. 예를 들어, -v $(pwd)/:/kubeconfig:Z . 이를 통해 podman은 SELinux를 적절히 재레이블링할 수 있습니다.

사전 요구 사항

  • 지연 시간 테스트를 실행하기 위한 전제 조건을 검토했습니다.

프로세스

  • cycltest를 수행하려면 다음 명령을 실행하고 적절한 변수 값을 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_CPUS=10 -e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel9:v4.19 \
/usr/bin/test-run.sh --ginkgo.focus="cyclictest" --ginkgo.v --ginkgo.timeout="24h"

    이 명령은 cycltest 도구를 10분(600초) 동안 실행합니다. 최대 관찰 지연 시간이 MAXIMUM_LATENCY (이 예에서는 20μs)보다 낮으면 테스트가 성공적으로 실행됩니다. 일반적으로 20μs 이상의 지연 시간 급증은 통신사 RAN 워크로드에 허용되지 않습니다.

    결과가 지연 임계값을 초과하면 테스트가 실패합니다.

    중요

    표시된 대로 테스트하는 동안에는 더 짧은 기간을 사용하여 테스트를 실행할 수 있습니다. 그러나 최종 검증 및 유효한 결과를 얻으려면 테스트를 최소 12시간(43,200초) 동안 실행해야 합니다.

    실패 출력 예시

    running /usr/bin/cnftests -ginkgo.v -ginkgo.focus=cyclictest
I0908 13:01:59.193776      27 request.go:601] Waited for 1.046228824s due to client-side throttling, not priority and fairness, request: GET:https://api.compute-1.example.com:6443/apis/packages.operators.coreos.com/v1?timeout=32s
Running Suite: CNF Features e2e integration tests
=================================================
Random Seed: 1662642118
Will run 1 of 3 specs

[...]

Summarizing 1 Failure:

[Fail] [performance] Latency Test with the cyclictest image [It] should succeed
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:220

Ran 1 of 194 Specs in 161.151 seconds
FAIL! -- 0 Passed | 1 Failed | 0 Pending | 2 Skipped
--- FAIL: TestTest (161.48s)
FAIL

순환테스트 결과 예시

동일한 출력이라도 작업 부하에 따라 다른 결과가 나타날 수 있습니다. 예를 들어, 최대 18μs의 스파이크는 4G DU 워크로드에는 허용되지만 5G DU 워크로드에는 허용되지 않습니다.

좋은 결과의 예

running cmd: cyclictest -q -D 10m -p 1 -t 16 -a 2,4,6,8,10,12,14,16,54,56,58,60,62,64,66,68 -h 30 -i 1000 -m
# Histogram
000000 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000001 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000002 579506   535967  418614  573648  532870  529897  489306  558076  582350  585188  583793  223781  532480  569130  472250  576043
More histogram entries ...
# Total: 000600000 000600000 000600000 000599999 000599999 000599999 000599998 000599998 000599998 000599997 000599997 000599996 000599996 000599995 000599995 000599995
# Min Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Avg Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Max Latencies: 00005 00005 00004 00005 00004 00004 00005 00005 00006 00005 00004 00005 00004 00004 00005 00004
# Histogram Overflows: 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000 00000
# Histogram Overflow at cycle number:
# Thread 0:
# Thread 1:
# Thread 2:
# Thread 3:
# Thread 4:
# Thread 5:
# Thread 6:
# Thread 7:
# Thread 8:
# Thread 9:
# Thread 10:
# Thread 11:
# Thread 12:
# Thread 13:
# Thread 14:
# Thread 15:

나쁜 결과의 예

running cmd: cyclictest -q -D 10m -p 1 -t 16 -a 2,4,6,8,10,12,14,16,54,56,58,60,62,64,66,68 -h 30 -i 1000 -m
# Histogram
000000 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000001 000000   000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000  000000
000002 564632   579686  354911  563036  492543  521983  515884  378266  592621  463547  482764  591976  590409  588145  589556  353518
More histogram entries ...
# Total: 000599999 000599999 000599999 000599997 000599997 000599998 000599998 000599997 000599997 000599996 000599995 000599996 000599995 000599995 000599995 000599993
# Min Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Avg Latencies: 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002 00002
# Max Latencies: 00493 00387 00271 00619 00541 00513 00009 00389 00252 00215 00539 00498 00363 00204 00068 00520
# Histogram Overflows: 00001 00001 00001 00002 00002 00001 00000 00001 00001 00001 00002 00001 00001 00001 00001 00002
# Histogram Overflow at cycle number:
# Thread 0: 155922
# Thread 1: 110064
# Thread 2: 110064
# Thread 3: 110063 155921
# Thread 4: 110063 155921
# Thread 5: 155920
# Thread 6:
# Thread 7: 110062
# Thread 8: 110062
# Thread 9: 155919
# Thread 10: 110061 155919
# Thread 11: 155918
# Thread 12: 155918
# Thread 13: 110060
# Thread 14: 110060
# Thread 15: 110059 155917

21.3.3. 오슬랫을 달리다
링크 복사

oslat 테스트는 CPU를 많이 사용하는 DPDK 애플리케이션을 시뮬레이션하고 모든 중단과 교란을 측정하여 클러스터가 CPU를 많이 사용하는 데이터 처리를 어떻게 처리하는지 테스트합니다.

참고

루트가 아니거나 권한이 없는 사용자로 podman 명령을 실행하면 마운트 경로가 권한 거부 오류로 인해 실패할 수 있습니다. 로컬 운영 체제와 SELinux 구성에 따라 홈 디렉토리에서 이러한 명령을 실행하는 데 문제가 발생할 수도 있습니다. podman 명령을 작동시키려면 home/<username> 디렉토리가 아닌 폴더에서 명령을 실행하고 볼륨 생성에 :Z를 추가하세요. 예를 들어, -v $(pwd)/:/kubeconfig:Z . 이를 통해 podman은 SELinux를 적절히 재레이블링할 수 있습니다.

사전 요구 사항

  • 지연 시간 테스트를 실행하기 위한 전제 조건을 검토했습니다.

프로세스

  • oslat 테스트를 수행하려면 다음 명령을 실행하고 변수 값을 적절하게 대체합니다. 

    $ podman run -v $(pwd)/:/kubeconfig:Z -e KUBECONFIG=/kubeconfig/kubeconfig \
-e LATENCY_TEST_CPUS=10 -e LATENCY_TEST_RUNTIME=600 -e MAXIMUM_LATENCY=20 \
registry.redhat.io/openshift4/cnf-tests-rhel9:v4.19 \
/usr/bin/test-run.sh --ginkgo.focus="oslat" --ginkgo.v --ginkgo.timeout="24h"

    LATENCY_TEST_CPUS는 oslat 명령으로 테스트할 CPU 수를 지정합니다.

    이 명령은 oslat 도구를 10분(600초) 동안 실행합니다. 최대 관찰 지연 시간이 MAXIMUM_LATENCY (20μs)보다 낮으면 테스트가 성공적으로 실행됩니다.

    결과가 지연 임계값을 초과하면 테스트가 실패합니다.

    중요

    표시된 대로 테스트하는 동안에는 더 짧은 기간을 사용하여 테스트를 실행할 수 있습니다. 그러나 최종 검증 및 유효한 결과를 얻으려면 테스트를 최소 12시간(43,200초) 동안 실행해야 합니다.

    실패 출력 예시

    running /usr/bin/cnftests -ginkgo.v -ginkgo.focus=oslat
I0908 12:51:55.999393      27 request.go:601] Waited for 1.044848101s due to client-side throttling, not priority and fairness, request: GET:https://compute-1.example.com:6443/apis/machineconfiguration.openshift.io/v1?timeout=32s
Running Suite: CNF Features e2e integration tests
=================================================
Random Seed: 1662641514
Will run 1 of 3 specs

[...]

• Failure [77.833 seconds]
[performance] Latency Test
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:62
  with the oslat image
  /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:128
    should succeed [It]
    /remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:153

    The current latency 304 is bigger than the expected one 1 :
    1 
    

[...]

Summarizing 1 Failure:

[Fail] [performance] Latency Test with the oslat image [It] should succeed
/remote-source/app/vendor/github.com/openshift/cluster-node-tuning-operator/test/e2e/performanceprofile/functests/4_latency/latency.go:177

Ran 1 of 194 Specs in 161.091 seconds
FAIL! -- 0 Passed | 1 Failed | 0 Pending | 2 Skipped
--- FAIL: TestTest (161.42s)
FAIL

    1
    이 예에서 측정된 지연 시간은 허용되는 최대값을 벗어납니다.
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2026 Red Hat맨 위로 이동