확장 및 성능

1. YAML 구성 파일 cluster-monitoring-config.yaml 을 생성합니다. 예를 들면 다음과 같습니다.

   apiVersion: v1
   kind: ConfigMap
   data:
     config.yaml: |
       prometheusK8s:
         retention: {{PROMETHEUS_RETENTION_PERIOD}} 

   1

   
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         volumeClaimTemplate:
           spec:
             storageClassName: {{STORAGE_CLASS}} 

   2

   
             resources:
               requests:
                 storage: {{PROMETHEUS_STORAGE_SIZE}} 

   3

   
       alertmanagerMain:
         nodeSelector:
           node-role.kubernetes.io/infra: ""
         volumeClaimTemplate:
           spec:
             storageClassName: {{STORAGE_CLASS}} 

   4

   
             resources:
               requests:
                 storage: {{ALERTMANAGER_STORAGE_SIZE}} 

   5

   
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring

   Copy to Clipboard Toggle word wrap

   1

   Prometheus 보존의 기본값은 PROMETHEUS_RETENTION_PERIOD=15d 입니다. 단위는 s, m, h, d 접미사 중 하나를 사용하는 시간으로 측정됩니다.

   2 4

   클러스터의 스토리지 클래스입니다.

   3

   일반적인 값은 PROMETHEUS_STORAGE_SIZE=2000Gi입니다. 스토리지 값은 일반 정수 또는 E, P, T, G, M, K 접미사 중 하나를 사용하는 고정 지점 정수일 수 있습니다. Ei, Pi, Ti, Gi, Mi, Ki의 power-of-two를 사용할 수도 있습니다.

   5

   일반적인 값은 ALERTMANAGER_STORAGE_SIZE=20Gi입니다. 스토리지 값은 일반 정수 또는 E, P, T, G, M, K 접미사 중 하나를 사용하는 고정 지점 정수일 수 있습니다. Ei, Pi, Ti, Gi, Mi, Ki의 power-of-two를 사용할 수도 있습니다.

2. 보존 기간, 스토리지 클래스 및 스토리지 크기에 대한 값을 추가합니다.
3. 파일을 저장합니다.

4. 다음을 실행하여 변경사항을 적용합니다.

   $ oc create -f cluster-monitoring-config.yaml

   Copy to Clipboard Toggle word wrap

절차

1. 새 디스크를 클러스터에 연결하고 디버그 쉘에서 lsblk 명령을 실행하여 노드에서 디스크가 감지되었는지 확인합니다.

   $ oc debug node/<node_name>

   Copy to Clipboard Toggle word wrap

   # lsblk

   Copy to Clipboard Toggle word wrap

   lsblk 명령에서 보고한 새 디스크의 장치 이름을 확인합니다.

2. 다음 스크립트를 생성하고 이름을 etcd-find-secondary-device.sh 로 지정합니다.

   #!/bin/bash
   set -uo pipefail
   
   for device in <device_type_glob>; do 

   1

   
   /usr/sbin/blkid "${device}" &> /dev/null
    if [ $? == 2  ]; then
       echo "secondary device found ${device}"
       echo "creating filesystem for etcd mount"
       mkfs.xfs -L var-lib-etcd -f "${device}" &> /dev/null
       udevadm settle
       touch /etc/var-lib-etcd-mount
       exit
    fi
   done
   echo "Couldn't find secondary block device!" >&2
   exit 77

   Copy to Clipboard Toggle word wrap

   1

   & lt;device_type_glob >를 블록 장치 유형의 쉘 글로 바꿉니다. SCSI 또는 SATA 드라이브의 경우 /dev/sd* 를 사용합니다. 가상 드라이브의 경우 /dev/vd* 를 사용합니다. NVMe 드라이브의 경우 /dev/nvme*[0-9]* 를 사용합니다.

3. etcd-find-secondary-device.sh 스크립트에서 base64로 인코딩된 문자열을 생성하고 해당 내용을 확인합니다.

   $ base64 -w0 etcd-find-secondary-device.sh

   Copy to Clipboard Toggle word wrap

4. 다음과 같은 콘텐츠를 사용하여 etcd-mc.yml 이라는 MachineConfig YAML 파일을 만듭니다.

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master
     name: 98-var-lib-etcd
   spec:
     config:
       ignition:
         version: 3.1.0
       storage:
         files:
           - path: /etc/find-secondary-device
             mode: 0755
             contents:
               source: data:text/plain;charset=utf-8;base64,<encoded_etcd_find_secondary_device_script> 

   1

   
       systemd:
         units:
           - name: find-secondary-device.service
             enabled: true
             contents: |
               [Unit]
               Description=Find secondary device
               DefaultDependencies=false
               After=systemd-udev-settle.service
               Before=local-fs-pre.target
               ConditionPathExists=!/etc/var-lib-etcd-mount
   
               [Service]
               RemainAfterExit=yes
               ExecStart=/etc/find-secondary-device
   
               RestartForceExitStatus=77
   
               [Install]
               WantedBy=multi-user.target
           - name: var-lib-etcd.mount
             enabled: true
             contents: |
               [Unit]
               Before=local-fs.target
   
               [Mount]
               What=/dev/disk/by-label/var-lib-etcd
               Where=/var/lib/etcd
               Type=xfs
               TimeoutSec=120s
   
               [Install]
               RequiredBy=local-fs.target
           - name: sync-var-lib-etcd-to-etcd.service
             enabled: true
             contents: |
               [Unit]
               Description=Sync etcd data if new mount is empty
               DefaultDependencies=no
               After=var-lib-etcd.mount var.mount
               Before=crio.service
   
               [Service]
               Type=oneshot
               RemainAfterExit=yes
               ExecCondition=/usr/bin/test ! -d /var/lib/etcd/member
               ExecStart=/usr/sbin/setsebool -P rsync_full_access 1
               ExecStart=/bin/rsync -ar /sysroot/ostree/deploy/rhcos/var/lib/etcd/ /var/lib/etcd/
               ExecStart=/usr/sbin/semanage fcontext -a -t container_var_lib_t '/var/lib/etcd(/.*)?'
               ExecStart=/usr/sbin/setsebool -P rsync_full_access 0
               TimeoutSec=0
   
               [Install]
               WantedBy=multi-user.target graphical.target
           - name: restorecon-var-lib-etcd.service
             enabled: true
             contents: |
               [Unit]
               Description=Restore recursive SELinux security contexts
               DefaultDependencies=no
               After=var-lib-etcd.mount
               Before=crio.service
   
               [Service]
               Type=oneshot
               RemainAfterExit=yes
               ExecStart=/sbin/restorecon -R /var/lib/etcd/
               TimeoutSec=0
   
               [Install]
               WantedBy=multi-user.target graphical.target

   Copy to Clipboard Toggle word wrap

   1

   & lt;encoded_etcd_find_secondary_device_script >를 사용자가 언급한 인코딩된 스크립트 콘텐츠로 바꿉니다.

1. etcd는 대기 시간에 민감하기 때문에 3000 IOPS 및 125MiB의 성능이 있는 gp3 디스크는 컨트롤 플레인/etcd 노드에 사용됩니다. gp3 볼륨은 버스트 성능을 사용하지 않습니다.
2. 인프라 노드는 모니터링, Ingress 및 레지스트리 구성 요소를 호스팅하는데 사용되어 대규모로 실행할 수 있는 충분한 리소스가 있는지 확인합니다.
3. 워크로드 노드는 성능 및 확장 가능한 워크로드 생성기 실행 전용입니다.
4. 성능 및 확장성 테스트 실행 중에 수집되는 대량의 데이터를 저장할 수 있는 충분한 공간을 확보 할 수 있도록 큰 디스크 크기가 사용됩니다.
5. 클러스터는 반복적으로 확장되며 성능 및 확장성 테스트는 지정된 노드 수에 따라 실행됩니다.

1. etcd는 I/O 집약적이고 대기 시간에 민감하므로 GiB당 120/10 IOPS가 있는 io1 디스크가 컨트롤 플레인/etcd 노드에 사용됩니다.
2. 인프라 노드는 모니터링, Ingress 및 레지스트리 구성 요소를 호스팅하는데 사용되어 대규모로 실행할 수 있는 충분한 리소스가 있는지 확인합니다.
3. 워크로드 노드는 성능 및 확장 가능한 워크로드 생성기 실행 전용입니다.
4. 성능 및 확장성 테스트 실행 중에 수집되는 대량의 데이터를 저장할 수 있는 충분한 공간을 확보 할 수 있도록 큰 디스크 크기가 사용됩니다.
5. 클러스터는 반복적으로 확장됩니다.

1. 노드는 두 개의 LUN(Logical Control Unit) 간에 분산되어 etcd가 I/O 집약적이고 지연 시간에 민감하므로 컨트롤 플레인/etcd 노드의 디스크 I/O 부하를 최적화합니다. etcd I/O 수요가 다른 워크로드를 방해하지 않아야 합니다.
2. 4개의 컴퓨팅 노드는 동시에 100/250/500개의 Pod를 사용하여 여러 번 반복하는 테스트에 사용됩니다. 먼저 Pod를 인스턴스에 사용할 수 있는지 평가하는 데 Pod를 유휴 상태로 설정합니다. 다음으로 네트워크 및 CPU 까다로운 클라이언트/서버 워크로드가 스트레스를 받고 시스템의 안정성을 평가하는 데 사용되었습니다. 클라이언트 및 서버 포드는 쌍으로 배포되었으며 각 쌍은 두 개의 계산 노드에 분산되었습니다.
3. 별도의 워크로드 노드를 사용하지 않았습니다. 워크로드는 두 개의 컴퓨팅 노드 간에 마이크로 서비스 워크로드를 시뮬레이션합니다.
4. 사용되는 물리적 프로세서 수는 Linux (IFL)에 대한 6 개의 통합 기능입니다.
5. 사용된 총 실제 메모리는 512GiB입니다.

절차

1. $ oc describe node ip-172-31-27-209.us-west-2.compute.internal | egrep 'Capacity|Allocatable|gpu'

   Copy to Clipboard Toggle word wrap

   출력 예

                       openshift.com/gpu-accelerator=true
   Capacity:
    nvidia.com/gpu:  2
   Allocatable:
    nvidia.com/gpu:  2
    nvidia.com/gpu:  0           0

   Copy to Clipboard Toggle word wrap

   이 예에서는 GPU 2개를 사용할 수 있습니다.

2. 이 예에서 할당량은 1입니다.

   $ cat gpu-quota.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   apiVersion: v1
   kind: ResourceQuota
   metadata:
     name: gpu-quota
     namespace: nvidia
   spec:
     hard:
       requests.nvidia.com/gpu: 1

   Copy to Clipboard Toggle word wrap

3. $ oc create -f gpu-quota.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   resourcequota/gpu-quota created

   Copy to Clipboard Toggle word wrap

4. $ oc describe quota gpu-quota -n nvidia

   Copy to Clipboard Toggle word wrap

   출력 예

   Name:                    gpu-quota
   Namespace:               nvidia
   Resource                 Used  Hard
   --------                 ----  ----
   requests.nvidia.com/gpu  0     1

   Copy to Clipboard Toggle word wrap

5. $ oc create pod gpu-pod.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   apiVersion: v1
   kind: Pod
   metadata:
     generateName: gpu-pod-s46h7
     namespace: nvidia
   spec:
     restartPolicy: OnFailure
     containers:
     - name: rhel7-gpu-pod
       image: rhel7
       env:
         - name: NVIDIA_VISIBLE_DEVICES
           value: all
         - name: NVIDIA_DRIVER_CAPABILITIES
           value: "compute,utility"
         - name: NVIDIA_REQUIRE_CUDA
           value: "cuda>=5.0"
   
       command: ["sleep"]
       args: ["infinity"]
   
       resources:
         limits:
           nvidia.com/gpu: 1

   Copy to Clipboard Toggle word wrap

6. $ oc get pods

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME              READY     STATUS      RESTARTS   AGE
   gpu-pod-s46h7     1/1       Running     0          1m

   Copy to Clipboard Toggle word wrap

7. $ oc describe quota gpu-quota -n nvidia

   Copy to Clipboard Toggle word wrap

   출력 예

   Name:                    gpu-quota
   Namespace:               nvidia
   Resource                 Used  Hard
   --------                 ----  ----
   requests.nvidia.com/gpu  1     1

   Copy to Clipboard Toggle word wrap

8. 노드에 GPU가 2개 있으므로 기술적으로 가능합니다.

   $ oc create -f gpu-pod.yaml

   Copy to Clipboard Toggle word wrap

   출력 예

   Error from server (Forbidden): error when creating "gpu-pod.yaml": pods "gpu-pod-f7z2w" is forbidden: exceeded quota: gpu-quota, requested: requests.nvidia.com/gpu=1, used: requests.nvidia.com/gpu=1, limited: requests.nvidia.com/gpu=1

   Copy to Clipboard Toggle word wrap

1. 예를 들어 demoproject라는 프로젝트의 경우 다음과 같습니다.

   $ oc get quota -n demoproject
   NAME                AGE
   besteffort          11m
   compute-resources   2m
   core-object-counts  29m

   Copy to Clipboard Toggle word wrap

2. 관심 있는 할당량을 입력합니다. 예를 들어 core-object-counts 할당량은 다음과 같습니다.

   $ oc describe quota core-object-counts -n demoproject
   Name:			core-object-counts
   Namespace:		demoproject
   Resource		Used	Hard
   --------		----	----
   configmaps		3	10
   persistentvolumeclaims	0	4
   replicationcontrollers	3	20
   secrets			9	10
   services		2	10

   Copy to Clipboard Toggle word wrap

프로세스

1. 오브젝트를 생성합니다.

   $ oc create -f <limit_range_file> -n <project>

   Copy to Clipboard Toggle word wrap

프로세스

1. 프로젝트에 정의된 제한 범위 오브젝트 목록을 가져옵니다. 예를 들어 demoproject 라는 프로젝트는 다음과 같습니다.

   $ oc get limits -n demoproject

   Copy to Clipboard Toggle word wrap

   출력 예

   NAME              AGE
   resource-limits   6d

   Copy to Clipboard Toggle word wrap

2. 제한 범위를 설명합니다. 예를 들어 resource-limits 라는 제한 범위의 경우 다음을 수행합니다.

   $ oc describe limits resource-limits -n demoproject

   Copy to Clipboard Toggle word wrap

   출력 예

   Name:                           resource-limits
   Namespace:                      demoproject
   Type                            Resource                Min     Max     Default Request Default Limit   Max Limit/Request Ratio
   ----                            --------                ---     ---     --------------- -------------   -----------------------
   Pod                             cpu                     200m    2       -               -               -
   Pod                             memory                  6Mi     1Gi     -               -               -
   Container                       cpu                     100m    2       200m            300m            10
   Container                       memory                  4Mi     1Gi     100Mi           200Mi           -
   openshift.io/Image              storage                 -       1Gi     -               -               -
   openshift.io/ImageStream        openshift.io/image      -       12      -               -               -
   openshift.io/ImageStream        openshift.io/image-tags -       10      -               -               -

   Copy to Clipboard Toggle word wrap

절차

1. 다음 MCO 샘플 프로필을 YAML 파일에 복사합니다. 예를 들면 enable-rfs.yaml:

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 50-enable-rfs
   spec:
     config:
       ignition:
         version: 2.2.0
       storage:
         files:
         - contents:
             source: data:text/plain;charset=US-ASCII,%23%20turn%20on%20Receive%20Flow%20Steering%20%28RFS%29%20for%20all%20network%20interfaces%0ASUBSYSTEM%3D%3D%22net%22%2C%20ACTION%3D%3D%22add%22%2C%20RUN%7Bprogram%7D%2B%3D%22/bin/bash%20-c%20%27for%20x%20in%20/sys/%24DEVPATH/queues/rx-%2A%3B%20do%20echo%208192%20%3E%20%24x/rps_flow_cnt%3B%20%20done%27%22%0A
           filesystem: root
           mode: 0644
           path: /etc/udev/rules.d/70-persistent-net.rules
         - contents:
             source: data:text/plain;charset=US-ASCII,%23%20define%20sock%20flow%20enbtried%20for%20%20Receive%20Flow%20Steering%20%28RFS%29%0Anet.core.rps_sock_flow_entries%3D8192%0A
           filesystem: root
           mode: 0644
           path: /etc/sysctl.d/95-enable-rps.conf

   Copy to Clipboard Toggle word wrap

2. MCO 프로필을 만듭니다.

   $ oc create -f enable-rfs.yaml

   Copy to Clipboard Toggle word wrap

3. 50-enable-rfs 라는 항목이 나열되었는지 확인합니다.

   $ oc get mc

   Copy to Clipboard Toggle word wrap

4. 비활성화하려면 다음을 입력합니다.

   $ oc delete mc 50-enable-rfs

   Copy to Clipboard Toggle word wrap

절차

1. 다음 MCO 샘플 프로필을 컨트롤 플레인 노드의 YAML 파일에 복사합니다. 예를 들면 05-master-kernelarg-hpav.yaml 입니다.

   $ cat 05-master-kernelarg-hpav.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master
     name: 05-master-kernelarg-hpav
   spec:
     config:
       ignition:
         version: 3.1.0
     kernelArguments:
       - rd.dasd=800-805

   Copy to Clipboard Toggle word wrap

2. 다음 MCO 샘플 프로필을 계산 노드의 YAML 파일에 복사합니다. 예를 들면 05-worker-kernelarg-hpav.yaml 입니다.

   $ cat 05-worker-kernelarg-hpav.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 05-worker-kernelarg-hpav
   spec:
     config:
       ignition:
         version: 3.1.0
     kernelArguments:
       - rd.dasd=800-805

   Copy to Clipboard Toggle word wrap
   참고

   장치 ID에 맞게 rd.dasd 인수를 수정해야 합니다.

3. MCO 프로필을 만듭니다.

   $ oc create -f 05-master-kernelarg-hpav.yaml

   Copy to Clipboard Toggle word wrap

   $ oc create -f 05-worker-kernelarg-hpav.yaml

   Copy to Clipboard Toggle word wrap

4. 비활성화하려면 다음을 입력합니다.

   $ oc delete -f 05-master-kernelarg-hpav.yaml

   Copy to Clipboard Toggle word wrap

   $ oc delete -f 05-worker-kernelarg-hpav.yaml

   Copy to Clipboard Toggle word wrap

절차

1. 선택한 편집기를 사용하여 /etc/libvirt/qemu.conf 를 엽니다.
2. cgroup_controllers 행으로 이동합니다.
3. 전체 행을 복제하고 사본에서 선행 숫자 기호(#)를 제거합니다.

4. 다음과 같이 cpuset 항목을 제거합니다.

   cgroup_controllers = [ "cpu", "devices", "memory", "blkio", "cpuacct" ]

   Copy to Clipboard Toggle word wrap

5. 새 설정을 적용하려면 libvirtd 데몬을 다시 시작해야 합니다.

   1. 모든 가상 머신을 중지합니다.

   2. 다음 명령을 실행합니다.

      # systemctl restart libvirtd

      Copy to Clipboard Toggle word wrap
   3. 가상 머신을 재시작합니다.