第17章 分散ユニットを単一ノードの OpenShift に手動でデプロイ

手順

• 以下の base64 でエンコードされたコンテンツには、管理ワークロードが制限されている CPU セットが含まれています。このコンテンツは、performanceprofile プロファイルで指定されたセットに一致するように調整する必要があり、クラスター上のコアの数に対して正確である必要があります。

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineConfig
  metadata:
    labels:
      machineconfiguration.openshift.io/role: master
    name: 02-master-workload-partitioning
  spec:
    config:
      ignition:
        version: 3.2.0
      storage:
        files:
        - contents:
            source: data:text/plain;charset=utf-8;base64,W2NyaW8ucnVudGltZS53b3JrbG9hZHMubWFuYWdlbWVudF0KYWN0aXZhdGlvbl9hbm5vdGF0aW9uID0gInRhcmdldC53b3JrbG9hZC5vcGVuc2hpZnQuaW8vbWFuYWdlbWVudCIKYW5ub3RhdGlvbl9wcmVmaXggPSAicmVzb3VyY2VzLndvcmtsb2FkLm9wZW5zaGlmdC5pbyIKW2NyaW8ucnVudGltZS53b3JrbG9hZHMubWFuYWdlbWVudC5yZXNvdXJjZXNdCmNwdXNoYXJlcyA9IDAKQ1BVcyA9ICIwLTEsIDUyLTUzIgo=
          mode: 420
          overwrite: true
          path: /etc/crio/crio.conf.d/01-workload-partitioning
          user:
            name: root
        - contents:
            source: data:text/plain;charset=utf-8;base64,ewogICJtYW5hZ2VtZW50IjogewogICAgImNwdXNldCI6ICIwLTEsNTItNTMiCiAgfQp9Cg==
          mode: 420
          overwrite: true
          path: /etc/kubernetes/openshift-workload-pinning
          user:
            name: root

• /etc/crio/crio.conf.d/01-workload-partitioning の内容は次のようになります。

  [crio.runtime.workloads.management]
  activation_annotation = "target.workload.openshift.io/management"
  annotation_prefix = "resources.workload.openshift.io"
  [crio.runtime.workloads.management.resources]
  cpushares = 0
  cpuset = "0-1, 52-53" 1

  1

  cpuset の 値は、インストールによって異なります。

  ハイパースレッディングが有効になっている場合は、各コアの両方のスレッドを指定します。cpuset 値は、パフォーマンスプロファイルの spec.cpu.reserved フィールドで定義した予約済み CPU と一致する必要があります。

• /etc/kubernetes/openshift-workload-pinning の内容は次のようになります。

  {
    "management": {
      "cpuset": "0-1,52-53" 1
    }
  }

  1

  cpuset は、/etc/crio/crio.conf.d/01-workload-partitioning の cpuset 値と一致する必要があります。

手順

• 設定を変更する必要はありません。提供されている設定を使用します。

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineConfig
  metadata:
    labels:
      machineconfiguration.openshift.io/role: master
    name: load-sctp-module
  spec:
    config:
      ignition:
        version: 2.2.0
      storage:
        files:
          - contents:
              source: data:,
              verification: {}
            filesystem: root
              mode: 420
              path: /etc/modprobe.d/sctp-blacklist.conf
          - contents:
              source: data:text/plain;charset=utf-8,sctp
            filesystem: root
              mode: 420
              path: /etc/modules-load.d/sctp-load.conf

手順

• 設定を変更する必要はありません。提供されている設定を使用します。

  Local Storage Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    name: openshift-local-storage
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: openshift-local-storage
    namespace: openshift-local-storage
  spec:
    targetNamespaces:
      - openshift-local-storage

  Logging Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    name: openshift-logging
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: cluster-logging
    namespace: openshift-logging
  spec:
    targetNamespaces:
      - openshift-logging

  Performance Addon Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    labels:
      openshift.io/cluster-monitoring: "true"
    name: openshift-performance-addon-operator
  spec: {}
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: performance-addon-operator
    namespace: openshift-performance-addon-operator

  PTP Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
    labels:
      openshift.io/cluster-monitoring: "true"
    name: openshift-ptp
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: ptp-operators
    namespace: openshift-ptp
  spec:
    targetNamespaces:
      - openshift-ptp

  SRIOV Network Operator

  apiVersion: v1
  kind: Namespace
  metadata:
    annotations:
      workload.openshift.io/allowed: management
      name: openshift-sriov-network-operator
  ---
  apiVersion: operators.coreos.com/v1
  kind: OperatorGroup
  metadata:
    name: sriov-network-operators
    namespace: openshift-sriov-network-operator
  spec:
    targetNamespaces:
      - openshift-sriov-network-operator

手順

• 次の例を使用して、サブスクリプションを設定します。

  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: cluster-logging
    namespace: openshift-logging
  spec:
    channel: "stable" 1
    name: cluster-logging
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual 2
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: local-storage-operator
    namespace: openshift-local-storage
  spec:
    channel: "stable" 3
    installPlanApproval: Automatic
    name: local-storage-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: performance-addon-operator
    namespace: openshift-performance-addon-operator
  spec:
    channel: "4.10" 4
    name: performance-addon-operator
    source: performance-addon-operator
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
      name: ptp-operator-subscription
      namespace: openshift-ptp
  spec:
    channel: "stable" 5
    name: ptp-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual
  ---
  apiVersion: operators.coreos.com/v1alpha1
  kind: Subscription
  metadata:
    name: sriov-network-operator-subscription
    namespace: openshift-sriov-network-operator
  spec:
    channel: "stable" 6
    name: sriov-network-operator
    source: redhat-operators
    sourceNamespace: openshift-marketplace
    installPlanApproval: Manual

  1

  cluster-logging Operator を取得するチャネルを指定します。

  2

  Manual または Automatic を指定します。Automatic モードでは、Operator は、レジストリーで利用可能になると、チャネル内の最新バージョンに自動的に更新します。Manual モードでは、新しい Operator バージョンは、明示的に承認された後にのみインストールされます。

  3

  local-storage-operator Operator を取得するチャンネルを指定します。

  4

  performance-addon-operator Operator を取得するチャネルを指定します。

  5

  ptp-operator Operator を取得するチャンネルを指定します。

  6

  sriov-network-operatorOperator Operator を取得するチャンネルを指定します。

手順

• openshift-logging プロジェクトで ClusterLogging カスタムリソース (CR) を編集します。

  apiVersion: logging.openshift.io/v1
  kind: ClusterLogging 1
   metadata:
    name: instance
    namespace: openshift-logging
  spec:
    collection:
      logs:
        fluentd: {}
        type: fluentd
    curation:
      type: "curator"
      curator:
        schedule: "30 3 * * *"
      managementState: Managed
  ---
  apiVersion: logging.openshift.io/v1
  kind: ClusterLogForwarder 2
  metadata:
    name: instance
    namespace: openshift-logging
  spec:
    inputs:
      - infrastructure: {}
    outputs:
      - name: kafka-open
        type: kafka
        url: tcp://10.46.55.190:9092/test    3
    pipelines:
      - inputRefs:
        - audit
        name: audit-logs
        outputRefs:
        - kafka-open
      - inputRefs:
        - infrastructure
        name: infrastructure-logs
        outputRefs:
        - kafka-open

  1

  既存のインスタンスを更新するか、インスタンスが存在しない場合はインスタンスを作成します。

  2

  既存のインスタンスを更新するか、インスタンスが存在しない場合はインスタンスを作成します。

  3

  kafka サーバーの宛先を指定します。

手順

• 次の例を使用して、パフォーマンスアドオンを設定します。

  推奨されるパフォーマンスプロファイル設定

  apiVersion: performance.openshift.io/v2
  kind: PerformanceProfile
  metadata:
    name: openshift-node-performance-profile 1
  spec:
    additionalKernelArgs:
      - "idle=poll"
      - "rcupdate.rcu_normal_after_boot=0"
    cpu:
      isolated: 2-51,54-103 2
      reserved: 0-1,52-53   3
    hugepages:
      defaultHugepagesSize: 1G
      pages:
        - count: 32 4
          size: 1G  5
          node: 0 6
    machineConfigPoolSelector:
      pools.operator.machineconfiguration.openshift.io/master: ""
    net:
      userLevelNetworking: true 7
    nodeSelector:
      node-role.kubernetes.io/master: ''
    numa:
      topologyPolicy: "restricted"
    realTimeKernel:
      enabled: true    8

  1

  name の値が、TunedPerformancePatch.yaml の spec.profile.data フィールドと validatorCRs/informDuValidator.yaml の status.configuration.source.name フィールドで指定された値と一致することを確認します。

  2

  分離された CPU を設定します。すべてのハイパースレッディングペアが一致していることを確認します。

  3

  予約済みの CPU を設定します。ワークロードの分割が有効になっている場合、システムプロセス、カーネルスレッド、およびシステムコンテナースレッドは、これらの CPU に制限されます。分離されていないすべての CPU を予約する必要があります。

  4

  Huge Page の数を設定します。

  5

  Huge Page のサイズを設定します。

  6

  node を hugepage が割り当てられている NUMA ノードに設定します。

  7

  CPU をネットワーク割り込みから分離するには、userLevelNetworking を true に設定します。

  8

  リアルタイム Linux カーネルをインストールするには、enabled を true に設定します。

手順

• 次の例を使用して PTP を設定します。

  apiVersion: ptp.openshift.io/v1
  kind: PtpConfig
  metadata:
    name: du-ptp-slave
    namespace: openshift-ptp
  spec:
    profile:
      - interface: ens5f0     1
        name: slave
        phc2sysOpts: -a -r -n 24
        ptp4lConf: |
          [global]
          #
          # Default Data Set
          #
          twoStepFlag 1
          slaveOnly 0
          priority1 128
          priority2 128
          domainNumber 24
          #utc_offset 37
          clockClass 248
          clockAccuracy 0xFE
          offsetScaledLogVariance 0xFFFF
          free_running 0
          freq_est_interval 1
          dscp_event 0
          dscp_general 0
          dataset_comparison ieee1588
          G.8275.defaultDS.localPriority 128
          #
          # Port Data Set
          #
          logAnnounceInterval -3
          logSyncInterval -4
          logMinDelayReqInterval -4
          logMinPdelayReqInterval -4
          announceReceiptTimeout 3
          syncReceiptTimeout 0
          delayAsymmetry 0
          fault_reset_interval 4
          neighborPropDelayThresh 20000000
          masterOnly 0
          G.8275.portDS.localPriority 128
          #
          # Run time options
          #
          assume_two_step 0
          logging_level 6
          path_trace_enabled 0
          follow_up_info 0
          hybrid_e2e 0
          inhibit_multicast_service 0
          net_sync_monitor 0
          tc_spanning_tree 0
          tx_timestamp_timeout 50
          unicast_listen 0
          unicast_master_table 0
          unicast_req_duration 3600
          use_syslog 1
          verbose 0
          summary_interval 0
          kernel_leap 1
          check_fup_sync 0
          #
          # Servo Options
          #
          pi_proportional_const 0.0
          pi_integral_const 0.0
          pi_proportional_scale 0.0
          pi_proportional_exponent -0.3
          pi_proportional_norm_max 0.7
          pi_integral_scale 0.0
          pi_integral_exponent 0.4
          pi_integral_norm_max 0.3
          step_threshold 2.0
          first_step_threshold 0.00002
          max_frequency 900000000
          clock_servo pi
          sanity_freq_limit 200000000
          ntpshm_segment 0
          #
          # Transport options
          #
          transportSpecific 0x0
          ptp_dst_mac 01:1B:19:00:00:00
          p2p_dst_mac 01:80:C2:00:00:0E
          udp_ttl 1
          udp6_scope 0x0E
          uds_address /var/run/ptp4l
          #
          # Default interface options
          #
          clock_type OC
          network_transport UDPv4
          delay_mechanism E2E
          time_stamping hardware
          tsproc_mode filter
          delay_filter moving_median
          delay_filter_length 10
          egressLatency 0
          ingressLatency 0
          boundary_clock_jbod 0
          #
          # Clock description
          #
          productDescription ;;
          revisionData ;;
          manufacturerIdentity 00:00:00
          userDescription ;
          timeSource 0xA0
        ptp4lOpts: -2 -s --summary_interval -4
  recommend:
    - match:
        - nodeLabel: node-role.kubernetes.io/master
      priority: 4
      profile: slave

手順

• 設定を変更する必要はありません。提供されている設定を使用します。

  apiVersion: machineconfiguration.openshift.io/v1
  kind: MachineConfig
  metadata:
    labels:
      machineconfiguration.openshift.io/role: master
    name: disable-chronyd
  spec:
    config:
      systemd:
        units:
          - contents: |
              [Unit]
              Description=NTP client/server
              Documentation=man:chronyd(8) man:chrony.conf(5)
              After=ntpdate.service sntp.service ntpd.service
              Conflicts=ntpd.service systemd-timesyncd.service
              ConditionCapability=CAP_SYS_TIME
              [Service]
              Type=forking
              PIDFile=/run/chrony/chronyd.pid
              EnvironmentFile=-/etc/sysconfig/chronyd
              ExecStart=/usr/sbin/chronyd $OPTIONS
              ExecStartPost=/usr/libexec/chrony-helper update-daemon
              PrivateTmp=yes
              ProtectHome=yes
              ProtectSystem=full
              [Install]
              WantedBy=multi-user.target
            enabled: false
            name: chronyd.service
      ignition:
        version: 2.2.0

手順

• 次の設定を使用して、単一ノード分散ユニット (DU) で SRIOV を設定します。最初のカスタムリソース (CR) が必要であることに注意してください。次の CR は例です。

  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovOperatorConfig
  metadata:
    name: default
    namespace: openshift-sriov-network-operator
  spec:
    configDaemonNodeSelector:
      node-role.kubernetes.io/master: ""
    disableDrain: true
    enableInjector: true
    enableOperatorWebhook: true
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetwork
  metadata:
    name: sriov-nw-du-mh
    namespace: openshift-sriov-network-operator
  spec:
    networkNamespace: openshift-sriov-network-operator
    resourceName: du_mh
    vlan: 150 1
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodePolicy
  metadata:
    name: sriov-nnp-du-mh
    namespace: openshift-sriov-network-operator
  spec:
    deviceType: vfio-pci 2
    isRdma: false
    nicSelector:
      pfNames:
        - ens7f0 3
    nodeSelector:
      node-role.kubernetes.io/master: ""
    numVfs: 8 4
    priority: 10
    resourceName: du_mh
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetwork
  metadata:
    name: sriov-nw-du-fh
    namespace: openshift-sriov-network-operator
  spec:
    networkNamespace: openshift-sriov-network-operator
    resourceName: du_fh
    vlan: 140 5
  ---
  apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodePolicy
  metadata:
    name: sriov-nnp-du-fh
    namespace: openshift-sriov-network-operator
  spec:
    deviceType: netdevice 6
    isRdma: true
    nicSelector:
      pfNames:
        - ens5f0 7
    nodeSelector:
      node-role.kubernetes.io/master: ""
    numVfs: 8 8
    priority: 10
    resourceName: du_fh

手順

• 次の設定ファイルを使用して、Operator を無効にすることができます。設定を変更する必要はありません。提供されている設定を使用します。

  apiVersion: operator.openshift.io/v1
  kind: Console
  metadata:
    annotations:
      include.release.openshift.io/ibm-cloud-managed: "false"
      include.release.openshift.io/self-managed-high-availability: "false"
      include.release.openshift.io/single-node-developer: "false"
      release.openshift.io/create-only: "true"
    name: cluster
  spec:
    logLevel: Normal
    managementState: Removed
    operatorLogLevel: Normal