17장. 단일 노드 OpenShift에 수동으로 분산 장치 배포

절차

• 아래 base64로 인코딩된 콘텐츠에는 관리 워크로드가 제한된 CPU 세트가 포함되어 있습니다. 이 콘텐츠는 performanceprofile 에 지정된 세트와 일치하도록 조정해야 하며 클러스터의 코어 수에 맞게 정확해야 합니다.

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineConfig
  metadata:
    labels:
      machineconfiguration.openshift.io/role: master
    name: 02-master-workload-partitioning
  spec:
    config:
      ignition:
        version: 3.2.0
      storage:
        files:
        - contents:
            source: data:text/plain;charset=utf-8;base64,W2NyaW8ucnVudGltZS53b3JrbG9hZHMubWFuYWdlbWVudF0KYWN0aXZhdGlvbl9hbm5vdGF0aW9uID0gInRhcmdldC53b3JrbG9hZC5vcGVuc2hpZnQuaW8vbWFuYWdlbWVudCIKYW5ub3RhdGlvbl9wcmVmaXggPSAicmVzb3VyY2VzLndvcmtsb2FkLm9wZW5zaGlmdC5pbyIKW2NyaW8ucnVudGltZS53b3JrbG9hZHMubWFuYWdlbWVudC5yZXNvdXJjZXNdCmNwdXNoYXJlcyA9IDAKQ1BVcyA9ICIwLTEsIDUyLTUzIgo=
          mode: 420
          overwrite: true
          path: /etc/crio/crio.conf.d/01-workload-partitioning
          user:
            name: root
        - contents:
            source: data:text/plain;charset=utf-8;base64,ewogICJtYW5hZ2VtZW50IjogewogICAgImNwdXNldCI6ICIwLTEsNTItNTMiCiAgfQp9Cg==
          mode: 420
          overwrite: true
          path: /etc/kubernetes/openshift-workload-pinning
          user:
            name: root

• /etc/crio/crio.conf.d/01-workload-partitioning 의 내용은 다음과 같아야 합니다.

  [crio.runtime.workloads.management]
  activation_annotation = "target.workload.openshift.io/management"
  annotation_prefix = "resources.workload.openshift.io"
  [crio.runtime.workloads.management.resources]
  cpushares = 0
  cpuset = "0-1, 52-53" 1

  1

  cpuset 값은 설치에 따라 다릅니다.

  Hyper-Threading이 활성화된 경우 각 코어에 대해 두 스레드를 모두 지정합니다. cpuset 값은 성능 프로필의 spec.cpu.reserved 필드에 정의된 예약된 CPU와 일치해야 합니다.

• /etc/kubernetes/openshift-workload-pinning 의 내용은 다음과 같아야 합니다.

  {
    "management": {
      "cpuset": "0-1,52-53" 1
    }
  }

  1

  cpuset 는 /etc/crio/crio.conf.d/01-workload-partitioning 의 cpuset 값과 일치해야 합니다.

절차

• 구성 변경이 필요하지 않습니다. 제공된 설정을 사용합니다.

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineConfig
  metadata:
    labels:
      machineconfiguration.openshift.io/role: master
    name: load-sctp-module
  spec:
    config:
      ignition:
        version: 2.2.0
      storage:
        files:
          - contents:
              source: data:,
              verification: {}
            filesystem: root
              mode: 420
              path: /etc/modprobe.d/sctp-blacklist.conf
          - contents:
              source: data:text/plain;charset=utf-8,sctp
            filesystem: root
              mode: 420
              path: /etc/modules-load.d/sctp-load.conf

절차

• 구성 변경이 필요하지 않습니다. 제공된 설정을 사용합니다.

  Local Storage Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    name: openshift-local-storage
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: openshift-local-storage
    namespace: openshift-local-storage
  spec:
    targetNamespaces:
      - openshift-local-storage

  Logging Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    name: openshift-logging
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: cluster-logging
    namespace: openshift-logging
  spec:
    targetNamespaces:
      - openshift-logging

  Performance Addon Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    labels:
      openshift.io/cluster-monitoring: "true"
    name: openshift-performance-addon-operator
  spec: {}
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: performance-addon-operator
    namespace: openshift-performance-addon-operator

  PTP Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    labels:
      openshift.io/cluster-monitoring: "true"
    name: openshift-ptp
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: ptp-operators
    namespace: openshift-ptp
  spec:
    targetNamespaces:
      - openshift-ptp

  SRIOV Network Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
      name: openshift-sriov-network-operator
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: sriov-network-operators
    namespace: openshift-sriov-network-operator
  spec:
    targetNamespaces:
      - openshift-sriov-network-operator

절차

• 다음 예제를 사용하여 서브스크립션을 구성합니다.

  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: cluster-logging
    namespace: openshift-logging
  spec:
    channel: "stable" 1
    name: cluster-logging
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual 2
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: local-storage-operator
    namespace: openshift-local-storage
  spec:
    channel: "stable" 3
    installPlanApproval: Automatic
    name: local-storage-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: performance-addon-operator
    namespace: openshift-performance-addon-operator
  spec:
    channel: "4.10" 4
    name: performance-addon-operator
    source: performance-addon-operator
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
      name: ptp-operator-subscription
      namespace: openshift-ptp
  spec:
    channel: "stable" 5
    name: ptp-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: sriov-network-operator-subscription
    namespace: openshift-sriov-network-operator
  spec:
    channel: "stable" 6
    name: sriov-network-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual

  1

  cluster-logging Operator를 가져올 채널을 지정합니다.

  2

  수동 또는 자동 을 지정합니다. 자동 모드에서 Operator는 레지스트리에서 사용 가능할 때 채널의 최신 버전으로 자동으로 업데이트됩니다. 수동 모드에서 새 Operator 버전은 명시적으로 승인 된 후에만 설치됩니다.

  3

  local-storage-operator Operator를 가져올 채널을 지정합니다.

  4

  performance-addon-operator Operator를 가져오려면 채널을 지정합니다.

  5

  ptp-operator Operator를 가져올 채널을 지정합니다.

  6

  sriov-network-operator Operator를 가져올 채널을 지정합니다.

절차

• openshift-logging 프로젝트에서 ClusterLogging 사용자 정의 리소스(CR)를 편집합니다.

  apiVersion: logging.openshift.io/v1
  kind: ClusterLogging 1
   metadata:
    name: instance
    namespace: openshift-logging
  spec:
    collection:
      logs:
        fluentd: {}
        type: fluentd
    curation:
      type: "curator"
      curator:
        schedule: "30 3 * * *"
      managementState: Managed
  ---
  apiVersion: logging.openshift.io/v1
  kind: ClusterLogForwarder 2
  metadata:
    name: instance
    namespace: openshift-logging
  spec:
    inputs:
      - infrastructure: {}
    outputs:
      - name: kafka-open
        type: kafka
        url: tcp://10.46.55.190:9092/test    3
    pipelines:
      - inputRefs:
        - audit
        name: audit-logs
        outputRefs:
        - kafka-open
      - inputRefs:
        - infrastructure
        name: infrastructure-logs
        outputRefs:
        - kafka-open

  1

  기존 인스턴스를 업데이트하거나 인스턴스가 없는 경우 만듭니다.

  2

  기존 인스턴스를 업데이트하거나 인스턴스가 없는 경우 만듭니다.

  3

  kafka 서버의 대상을 지정합니다.

절차

• 다음 예제를 사용하여 성능 애드온을 구성합니다.

  권장되는 성능 프로파일 구성

  apiVersion: performance.openshift.io/v2
  kind: PerformanceProfile
  metadata:
    name: openshift-node-performance-profile 1
  spec:
    additionalKernelArgs:
      - "idle=poll"
      - "rcupdate.rcu_normal_after_boot=0"
    cpu:
      isolated: 2-51,54-103 2
      reserved: 0-1,52-53   3
    hugepages:
      defaultHugepagesSize: 1G
      pages:
        - count: 32 4
          size: 1G  5
          node: 0 6
    machineConfigPoolSelector:
      pools.operator.machineconfiguration.openshift.io/master: ""
    net:
      userLevelNetworking: true 7
    nodeSelector:
      node-role.kubernetes.io/master: ''
    numa:
      topologyPolicy: "restricted"
    realTimeKernel:
      enabled: true    8

  1

  이름 값이 TunedPerformancePatch.yaml 의 spec.profile.data 필드에 지정된 값과 일치하고 validatorCRs/informDuValidator.yaml 의 status.configuration.source.name 필드와 일치하는지 확인합니다.

  2

  분리된 CPU를 설정합니다. 모든 하이퍼 스레딩 쌍이 일치하는지 확인합니다.

  3

  예약된 CPU를 설정합니다. 워크로드 파티셔닝이 활성화되면 시스템 프로세스, 커널 스레드 및 시스템 컨테이너 스레드가 이러한 CPU로 제한됩니다. 분리되지 않은 모든 CPU는 예약해야 합니다.

  4

  대규모 페이지 수를 설정합니다.

  5

  대규모 페이지 크기를 설정합니다.

  6

  node 를 hugepages 가 할당된 NUMA 노드로 설정합니다.

  7

  CPU를 네트워킹 인터럽트에서 분리하려면 userLevelNetworking 을 true 로 설정합니다.

  8

  실시간 Linux 커널을 설치하려면 enabled 를 true 로 설정합니다.

절차

• 다음 예제를 사용하여 PTP를 구성합니다.

  apiVersion: ptp.openshift.io/v1
  kind: PtpConfig
  metadata:
    name: du-ptp-slave
    namespace: openshift-ptp
  spec:
    profile:
      - interface: ens5f0     1
        name: slave
        phc2sysOpts: -a -r -n 24
        ptp4lConf: |
          [global]
          #
          # Default Data Set
          #
          twoStepFlag 1
          slaveOnly 0
          priority1 128
          priority2 128
          domainNumber 24
          #utc_offset 37
          clockClass 248
          clockAccuracy 0xFE
          offsetScaledLogVariance 0xFFFF
          free_running 0
          freq_est_interval 1
          dscp_event 0
          dscp_general 0
          dataset_comparison ieee1588
          G.8275.defaultDS.localPriority 128
          #
          # Port Data Set
          #
          logAnnounceInterval -3
          logSyncInterval -4
          logMinDelayReqInterval -4
          logMinPdelayReqInterval -4
          announceReceiptTimeout 3
          syncReceiptTimeout 0
          delayAsymmetry 0
          fault_reset_interval 4
          neighborPropDelayThresh 20000000
          masterOnly 0
          G.8275.portDS.localPriority 128
          #
          # Run time options
          #
          assume_two_step 0
          logging_level 6
          path_trace_enabled 0
          follow_up_info 0
          hybrid_e2e 0
          inhibit_multicast_service 0
          net_sync_monitor 0
          tc_spanning_tree 0
          tx_timestamp_timeout 50
          unicast_listen 0
          unicast_master_table 0
          unicast_req_duration 3600
          use_syslog 1
          verbose 0
          summary_interval 0
          kernel_leap 1
          check_fup_sync 0
          #
          # Servo Options
          #
          pi_proportional_const 0.0
          pi_integral_const 0.0
          pi_proportional_scale 0.0
          pi_proportional_exponent -0.3
          pi_proportional_norm_max 0.7
          pi_integral_scale 0.0
          pi_integral_exponent 0.4
          pi_integral_norm_max 0.3
          step_threshold 2.0
          first_step_threshold 0.00002
          max_frequency 900000000
          clock_servo pi
          sanity_freq_limit 200000000
          ntpshm_segment 0
          #
          # Transport options
          #
          transportSpecific 0x0
          ptp_dst_mac 01:1B:19:00:00:00
          p2p_dst_mac 01:80:C2:00:00:0E
          udp_ttl 1
          udp6_scope 0x0E
          uds_address /var/run/ptp4l
          #
          # Default interface options
          #
          clock_type OC
          network_transport UDPv4
          delay_mechanism E2E
          time_stamping hardware
          tsproc_mode filter
          delay_filter moving_median
          delay_filter_length 10
          egressLatency 0
          ingressLatency 0
          boundary_clock_jbod 0
          #
          # Clock description
          #
          productDescription ;;
          revisionData ;;
          manufacturerIdentity 00:00:00
          userDescription ;
          timeSource 0xA0
        ptp4lOpts: -2 -s --summary_interval -4
  recommend:
    - match:
        - nodeLabel: node-role.kubernetes.io/master
      priority: 4
      profile: slave

절차

• 구성 변경이 필요하지 않습니다. 제공된 설정을 사용합니다.

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineConfig
  metadata:
    labels:
      machineconfiguration.openshift.io/role: master
    name: disable-chronyd
  spec:
    config:
      systemd:
        units:
          - contents: |
              [Unit]
              Description=NTP client/server
              Documentation=man:chronyd(8) man:chrony.conf(5)
              After=ntpdate.service sntp.service ntpd.service
              Conflicts=ntpd.service systemd-timesyncd.service
              ConditionCapability=CAP_SYS_TIME
              [Service]
              Type=forking
              PIDFile=/run/chrony/chronyd.pid
              EnvironmentFile=-/etc/sysconfig/chronyd
              ExecStart=/usr/sbin/chronyd $OPTIONS
              ExecStartPost=/usr/libexec/chrony-helper update-daemon
              PrivateTmp=yes
              ProtectHome=yes
              ProtectSystem=full
              [Install]
              WantedBy=multi-user.target
            enabled: false
            name: chronyd.service
      ignition:
        version: 2.2.0

절차

• 다음 구성을 사용하여 단일 노드 분산 장치(DU)에서 SRIOV를 구성합니다. 첫 번째 CR(사용자 정의 리소스)이 필요합니다. 다음 CR은 예제입니다.

  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovOperatorConfig
  metadata:
    name: default
    namespace: openshift-sriov-network-operator
  spec:
    configDaemonNodeSelector:
      node-role.kubernetes.io/master: ""
    disableDrain: true
    enableInjector: true
    enableOperatorWebhook: true
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetwork
  metadata:
    name: sriov-nw-du-mh
    namespace: openshift-sriov-network-operator
  spec:
    networkNamespace: openshift-sriov-network-operator
    resourceName: du_mh
    vlan: 150 1
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodePolicy
  metadata:
    name: sriov-nnp-du-mh
    namespace: openshift-sriov-network-operator
  spec:
    deviceType: vfio-pci 2
    isRdma: false
    nicSelector:
      pfNames:
        - ens7f0 3
    nodeSelector:
      node-role.kubernetes.io/master: ""
    numVfs: 8 4
    priority: 10
    resourceName: du_mh
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetwork
  metadata:
    name: sriov-nw-du-fh
    namespace: openshift-sriov-network-operator
  spec:
    networkNamespace: openshift-sriov-network-operator
    resourceName: du_fh
    vlan: 140 5
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodePolicy
  metadata:
    name: sriov-nnp-du-fh
    namespace: openshift-sriov-network-operator
  spec:
    deviceType: netdevice 6
    isRdma: true
    nicSelector:
      pfNames:
        - ens5f0 7
    nodeSelector:
      node-role.kubernetes.io/master: ""
    numVfs: 8 8
    priority: 10
    resourceName: du_fh

절차

• 다음 구성 파일을 사용하여 Operator를 비활성화할 수 있습니다. 구성 변경이 필요하지 않습니다. 제공된 설정을 사용합니다.

  apiVersion: operator.openshift.io/v1
  kind: Console
  metadata:
    annotations:
      include.release.openshift.io/ibm-cloud-managed: "false"
      include.release.openshift.io/self-managed-high-availability: "false"
      include.release.openshift.io/single-node-developer: "false"
      release.openshift.io/create-only: "true"
    name: cluster
  spec:
    logLevel: Normal
    managementState: Removed
    operatorLogLevel: Normal