9.2. 带有 PolicyGenerator 资源的高级受管集群配置

流程

1. 在 out/argocd/example/acmpolicygenerator// 中更新 acm-group-du-sno-ranGen.yaml 参考文件中的 PerformanceProfile 的 PolicyGenerator 条目，以设置性能模式。

   - path: source-crs/PerformanceProfile.yaml
     patches:
       - spec:
           workloadHints:
                realTime: true
                highPowerConsumption: false
                perPodPowerManagement: false

2. 在 Git 中提交 PolicyGenerator 的更改，然后推送到由 GitOps ZTP Argo CD 应用程序监控的 Git 存储库。

流程

1. 在 out/argocd/example/acmpolicygenerator/ 中更新 acm-group-du-sno-ranGen.yaml 参考文件中的 PerformanceProfile 的 PolicyGenerator 条目，以设置高性能模式。

   - path: source-crs/PerformanceProfile.yaml
     patches:
       - spec:
           workloadHints:
                realTime: true
                highPowerConsumption: true
                perPodPowerManagement: false

2. 在 Git 中提交 PolicyGenerator 的更改，然后推送到由 GitOps ZTP Argo CD 应用程序监控的 Git 存储库。

流程

1. 在 out/argocd/example/acmpolicygenerator/ 中更新 acm-group-du-sno-ranGen.yaml 参考文件中的 PerformanceProfile 的 PolicyGenerator 条目，以配置节能模式。建议您通过额外的内核参数对象为节能模式配置 CPU 调控器。

   - path: source-crs/PerformanceProfile.yaml
     patches:
       - spec:
           # ...
           workloadHints:
             realTime: true
             highPowerConsumption: false
             perPodPowerManagement: true
           # ...
           additionalKernelArgs:
             - # ...
             - "cpufreq.default_governor=schedutil" 1

   1

   建议使用 schedutil governor，但您也可以使用其他 governor，包括 ondemand 和 powersave。

2. 在 Git 中提交 PolicyGenerator 的更改，然后推送到由 GitOps ZTP Argo CD 应用程序监控的 Git 存储库。

验证

1. 使用以下命令，从标识的节点列表中选择部署的集群中的 worker 节点：

   $ oc get nodes

2. 使用以下命令登录到节点：

   $ oc debug node/<node-name>

   将 <node-name> 替换为您要验证电源状态的节点的名称。

3. 将 /host 设置为 debug shell 中的根目录。debug pod 在 pod 中的 /host 中挂载主机的 root 文件系统。通过将根目录改为 /host，您可以运行主机可执行路径中包含的二进制文件，如下例所示：

   # chroot /host

4. 运行以下命令验证应用的电源状态：

   # cat /proc/cmdline

流程

1. 更新 out/argocd/example/acmpolicygenerator/ 中的 acm-group-du-sno-ranGen.yaml 参考文件中的 Tuned PerformancePatch 的 PolicyGenerator 条目。要最大化节能，请添加 max_perf_pct，如下例所示：

   - path: source-crs/TunedPerformancePatch.yaml
     patches:
       - spec:
         profile:
           - name: performance-patch
             data: |
               # ...
               [sysfs]
               /sys/devices/system/cpu/intel_pstate/max_perf_pct=<x> 1

   1

   max_perf_pct 控制 cpufreq 驱动程序的最大频率，以最大百分比的形式设置支持的 CPU 频率。这个值适用于所有 CPU。您可以检查 /sys/devices/system/cpu/cpu0/cpufreq/cpuinfo_max_freq 中的最大支持频率。作为起点，您可以使用以 All Cores Turbo 频率封装所有 CPU 的百分比。All Cores Turbo 频率是所有内核在运行的频率，当内核完全占用时。

   注意

   要最大化节能，请设置一个较低的值。为 max_perf_pct 设置较低值会限制最大 CPU 频率，从而减少功耗，但可能会影响性能。试验不同的值并监控系统性能和功耗，以查找您的用例的最佳设置。

2. 在 Git 中提交 PolicyGenerator 的更改，然后推送到由 GitOps ZTP Argo CD 应用程序监控的 Git 存储库。

流程

1. 根据您的要求，将以下 PolicyGenerator 应用到 acm-group-du-3node-ranGen.yaml,acm-group-du-sno-ranGen.yaml, 或 acm-group-du-standard-ranGen.yaml 文件：

   1. 在 policies.manifests 中，添加 PtpOperatorConfig CR 文件来配置传输主机：

      - path: source-crs/PtpOperatorConfigForEvent.yaml
        patches:
        - metadata:
            name: default
            namespace: openshift-ptp
            annotations:
              ran.openshift.io/ztp-deploy-wave: "10"
          spec:
            daemonNodeSelector:
              node-role.kubernetes.io/$mcp: ""
            ptpEventConfig:
              enableEventPublisher: true
              transportHost: "http://ptp-event-publisher-service-NODE_NAME.openshift-ptp.svc.cluster.local:9043"

      注意

      在 OpenShift Container Platform 4.13 或更高版本中，在使用带有 PTP 事件的 HTTP 传输时，您不需要在 PtpOperatorConfig 资源中设置 transportHost 字段。

   2. 为 PTP 时钟类型和接口配置 linuxptp 和 phc2sys。例如，将以下 YAML 添加到 policies.manifests 中：

      - path: source-crs/PtpConfigSlave.yaml 1
        patches:
        - metadata:
            name: "du-ptp-slave"
          spec:
            recommend:
            - match:
              - nodeLabel: node-role.kubernetes.io/master
              priority: 4
              profile: slave
            profile:
            - name: "slave"
              # This interface must match the hardware in this group
              interface: "ens5f0" 2
              ptp4lOpts: "-2 -s --summary_interval -4" 3
              phc2sysOpts: "-a -r -n 24" 4
              ptpSchedulingPolicy: SCHED_FIFO
              ptpSchedulingPriority: 10
              ptpSettings:
                logReduce: "true"
              ptp4lConf: |
                [global]
                #
                # Default Data Set
                #
                twoStepFlag 1
                slaveOnly 1
                priority1 128
                priority2 128
                domainNumber 24
                #utc_offset 37
                clockClass 255
                clockAccuracy 0xFE
                offsetScaledLogVariance 0xFFFF
                free_running 0
                freq_est_interval 1
                dscp_event 0
                dscp_general 0
                dataset_comparison G.8275.x
                G.8275.defaultDS.localPriority 128
                #
                # Port Data Set
                #
                logAnnounceInterval -3
                logSyncInterval -4
                logMinDelayReqInterval -4
                logMinPdelayReqInterval -4
                announceReceiptTimeout 3
                syncReceiptTimeout 0
                delayAsymmetry 0
                fault_reset_interval -4
                neighborPropDelayThresh 20000000
                masterOnly 0
                G.8275.portDS.localPriority 128
                #
                # Run time options
                #
                assume_two_step 0
                logging_level 6
                path_trace_enabled 0
                follow_up_info 0
                hybrid_e2e 0
                inhibit_multicast_service 0
                net_sync_monitor 0
                tc_spanning_tree 0
                tx_timestamp_timeout 50
                unicast_listen 0
                unicast_master_table 0
                unicast_req_duration 3600
                use_syslog 1
                verbose 0
                summary_interval 0
                kernel_leap 1
                check_fup_sync 0
                clock_class_threshold 7
                #
                # Servo Options
                #
                pi_proportional_const 0.0
                pi_integral_const 0.0
                pi_proportional_scale 0.0
                pi_proportional_exponent -0.3
                pi_proportional_norm_max 0.7
                pi_integral_scale 0.0
                pi_integral_exponent 0.4
                pi_integral_norm_max 0.3
                step_threshold 2.0
                first_step_threshold 0.00002
                max_frequency 900000000
                clock_servo pi
                sanity_freq_limit 200000000
                ntpshm_segment 0
                #
                # Transport options
                #
                transportSpecific 0x0
                ptp_dst_mac 01:1B:19:00:00:00
                p2p_dst_mac 01:80:C2:00:00:0E
                udp_ttl 1
                udp6_scope 0x0E
                uds_address /var/run/ptp4l
                #
                # Default interface options
                #
                clock_type OC
                network_transport L2
                delay_mechanism E2E
                time_stamping hardware
                tsproc_mode filter
                delay_filter moving_median
                delay_filter_length 10
                egressLatency 0
                ingressLatency 0
                boundary_clock_jbod 0
                #
                # Clock description
                #
                productDescription ;;
                revisionData ;;
                manufacturerIdentity 00:00:00
                userDescription ;
                timeSource 0xA0
            ptpClockThreshold: 5
              holdOverTimeout: 30 # seconds
              maxOffsetThreshold: 100  # nano seconds
              minOffsetThreshold: -100

      1

      可以是 PtpConfigMaster.yaml、PtpConfigSlave.yaml 或 PtpConfigSlaveCvl.yaml 之一，具体取决于您的要求。PtpConfigSlaveCvl.yaml 为 Intel E810 Columbiaville NIC 配置 linuxptp 服务。对于基于 acm-group-du-sno-ranGen.yaml 或 acm-group-du-3node-ranGen.yaml 的配置，请使用 PtpConfigSlave.yaml。

      2

      特定于设备的接口名称。

      3

      您必须将 --summary_interval -4 值附加到 .spec.sourceFiles.spec.profile 中的 ptp4lOpts 中，以启用 PTP fast 事件。

      4

      所需的 phc2sysOpts 值。-m 将消息输出到 stdout。linuxptp-daemon DaemonSet 解析日志并生成 Prometheus 指标。

      5

      可选。如果 ptpClockThreshold 小节不存在，则默认值用于 ptpClockThreshold 字段。小节显示默认的 ptpClockThreshold 值。ptpClockThreshold 值配置 PTP master 时钟在触发 PTP 事件前的时长。holdOverTimeout 是在 PTP master clock 断开连接时，PTP 时钟事件状态更改为 FREERUN 前的时间值（以秒为单位）。maxOffsetThreshold 和 minOffsetThreshold 设置以纳秒为单位，它们与 CLOCK_REALTIME (phc2sys) 或 master 偏移 (ptp4l) 的值进行比较。当 ptp4l 或 phc2sys 偏移值超出这个范围时，PTP 时钟状态被设置为 FREERUN。当偏移值在这个范围内时，PTP 时钟状态被设置为 LOCKED。

2. 将任何其他必要的更改和文件与自定义站点存储库合并。
3. 将更改推送到站点配置存储库，以使用 GitOps ZTP 将 PTP 快速事件部署到新站点。

流程

1. 通过在 acm-common-ranGen.yaml 文件中的 policies.manifests 中添加以下 YAML 来配置 Bare Metal Event Relay Operator：

   # Bare Metal Event Relay Operator
   - path: source-crs/BareMetalEventRelaySubscriptionNS.yaml
   - path: source-crs/BareMetalEventRelaySubscriptionOperGroup.yaml
   - path: source-crs/BareMetalEventRelaySubscription.yaml

2. 将 HardwareEvent CR 添加到特定组配置文件中的 policies.manifests，例如在 acm-group-du-sno-ranGen.yaml 文件中：

   - path: source-crs/HardwareEvent.yaml 1
     patches:
       - spec:
           logLevel: debug
           nodeSelector: {}
           transportHost: http://hw-event-publisher-service.openshift-bare-metal-events.svc.cluster.local:9043

   1

   每个基板管理控制器 (BMC) 只需要一个 HardwareEvent CR。

   注意

   在 OpenShift Container Platform 4.13 或更高版本中，当将 HTTP 传输用于裸机事件时，您不需要在 HardwareEvent 自定义资源 (CR) 中设置 transportHost 字段。

3. 将任何其他必要的更改和文件与自定义站点存储库合并。
4. 将更改推送到站点配置存储库，以使用 GitOps ZTP 将裸机事件部署到新站点。

5. 运行以下命令来创建 Redfish Secret：

   $ oc -n openshift-bare-metal-events create secret generic redfish-basic-auth \
   --from-literal=username=<bmc_username> --from-literal=password=<bmc_password> \
   --from-literal=hostaddr="<bmc_host_ip_addr>"

流程

1. 要配置 AMQ Interconnect Operator 和 Bare Metal Event Relay Operator，请在 acm-common-ranGen.yaml 文件中的 policies.manifests 中添加以下 YAML：

   # AMQ Interconnect Operator for fast events
   - path: source-crs/AmqSubscriptionNS.yaml
   - path: source-crs/AmqSubscriptionOperGroup.yaml
   - path: source-crs/AmqSubscription.yaml
   # Bare Metal Event Relay Operator
   - path: source-crs/BareMetalEventRelaySubscriptionNS.yaml
   - path: source-crs/BareMetalEventRelaySubscriptionOperGroup.yaml
   - path: source-crs/BareMetalEventRelaySubscription.yaml

2. 将 Interconnect CR 添加到站点配置文件中的 policies.manifests，例如 acm-example-sno-site.yaml 文件：

   - path: source-crs/AmqInstance.yaml

3. 将 HardwareEvent CR 添加到特定组配置文件中的 policies.manifests，例如在 acm-group-du-sno-ranGen.yaml 文件中：

   - path: HardwareEvent.yaml
     patches:
       nodeSelector: {}
       transportHost: "amqp://<amq_interconnect_name>.<amq_interconnect_namespace>.svc.cluster.local" 1
       logLevel: "info"

   1

   transportHost URL 由现有的 AMQ Interconnect CR 名称和命名空间组成。例如，在 transportHost: "amq-router.amq-router.svc.cluster.local" 中，AMQ Interconnect name 和 namespace 都被设置为 amq-router。

   注意

   每个基板管理控制器 (BMC) 仅需要一个 HardwareEvent 资源。

4. 在 Git 中提交 PolicyGenerator 更改，然后将更改推送到您的站点配置存储库，以使用 GitOps ZTP 将裸机事件监控部署到新站点。

5. 运行以下命令来创建 Redfish Secret：

   $ oc -n openshift-bare-metal-events create secret generic redfish-basic-auth \
   --from-literal=username=<bmc_username> --from-literal=password=<bmc_password> \
   --from-literal=hostaddr="<bmc_host_ip_addr>"

流程

1. 创建 storage.bu 文件。

   variant: fcos
   version: 1.3.0
   storage:
     disks:
     - device: /dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0 1
       wipe_table: false
       partitions:
       - label: var-lib-containers
         start_mib: <start_of_partition> 2
         size_mib: <partition_size> 3
     filesystems:
       - path: /var/lib/containers
         device: /dev/disk/by-partlabel/var-lib-containers
         format: xfs
         wipe_filesystem: true
         with_mount_unit: true
         mount_options:
           - defaults
           - prjquota

   1

   指定根磁盘。

   2

   以 MiB 为单位指定分区的起始位置。如果值太小，安装会失败。

   3

   指定分区的大小。如果值太小，部署会失败。

2. 运行以下命令，将 storage.bu 转换为 Ignition 文件：

   $ butane storage.bu

   输出示例

   {"ignition":{"version":"3.2.0"},"storage":{"disks":[{"device":"/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0","partitions":[{"label":"var-lib-containers","sizeMiB":0,"startMiB":250000}],"wipeTable":false}],"filesystems":[{"device":"/dev/disk/by-partlabel/var-lib-containers","format":"xfs","mountOptions":["defaults","prjquota"],"path":"/var/lib/containers","wipeFilesystem":true}]},"systemd":{"units":[{"contents":"# # Generated by Butane\n[Unit]\nRequires=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\nAfter=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\n\n[Mount]\nWhere=/var/lib/containers\nWhat=/dev/disk/by-partlabel/var-lib-containers\nType=xfs\nOptions=defaults,prjquota\n\n[Install]\nRequiredBy=local-fs.target","enabled":true,"name":"var-lib-containers.mount"}]}}

3. 使用 JSON Pretty Print 等工具将输出转换为 JSON 格式。

4. 将输出复制到 SiteConfig CR 中的 .spec.clusters.nodes.ignitionConfigOverride 字段中。

   Example

   [...]
   spec:
     clusters:
       - nodes:
           - ignitionConfigOverride: |
             {
               "ignition": {
                 "version": "3.2.0"
               },
               "storage": {
                 "disks": [
                   {
                     "device": "/dev/disk/by-path/pci-0000:01:00.0-scsi-0:2:0:0",
                     "partitions": [
                       {
                         "label": "var-lib-containers",
                         "sizeMiB": 0,
                         "startMiB": 250000
                       }
                     ],
                     "wipeTable": false
                   }
                 ],
                 "filesystems": [
                   {
                     "device": "/dev/disk/by-partlabel/var-lib-containers",
                     "format": "xfs",
                     "mountOptions": [
                       "defaults",
                       "prjquota"
                     ],
                     "path": "/var/lib/containers",
                     "wipeFilesystem": true
                   }
                 ]
               },
               "systemd": {
                 "units": [
                   {
                     "contents": "# # Generated by Butane\n[Unit]\nRequires=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\nAfter=systemd-fsck@dev-disk-by\\x2dpartlabel-var\\x2dlib\\x2dcontainers.service\n\n[Mount]\nWhere=/var/lib/containers\nWhat=/dev/disk/by-partlabel/var-lib-containers\nType=xfs\nOptions=defaults,prjquota\n\n[Install]\nRequiredBy=local-fs.target",
                     "enabled": true,
                     "name": "var-lib-containers.mount"
                   }
                 ]
               }
             }
   [...]

   注意

   如果 .spec.clusters.nodes.ignitionConfigOverride 字段不存在，请创建它。

验证

1. 在安装过程中，运行以下命令来在 hub 集群上验证 BareMetalHost 对象显示注解：

   $ oc get bmh -n my-sno-ns my-sno -ojson | jq '.metadata.annotations["bmac.agent-install.openshift.io/ignition-config-overrides"]

   输出示例

   "{\"ignition\":{\"version\":\"3.2.0\"},\"storage\":{\"disks\":[{\"device\":\"/dev/disk/by-id/wwn-0x6b07b250ebb9d0002a33509f24af1f62\",\"partitions\":[{\"label\":\"var-lib-containers\",\"sizeMiB\":0,\"startMiB\":250000}],\"wipeTable\":false}],\"filesystems\":[{\"device\":\"/dev/disk/by-partlabel/var-lib-containers\",\"format\":\"xfs\",\"mountOptions\":[\"defaults\",\"prjquota\"],\"path\":\"/var/lib/containers\",\"wipeFilesystem\":true}]},\"systemd\":{\"units\":[{\"contents\":\"# Generated by Butane\\n[Unit]\\nRequires=systemd-fsck@dev-disk-by\\\\x2dpartlabel-var\\\\x2dlib\\\\x2dcontainers.service\\nAfter=systemd-fsck@dev-disk-by\\\\x2dpartlabel-var\\\\x2dlib\\\\x2dcontainers.service\\n\\n[Mount]\\nWhere=/var/lib/containers\\nWhat=/dev/disk/by-partlabel/var-lib-containers\\nType=xfs\\nOptions=defaults,prjquota\\n\\n[Install]\\nRequiredBy=local-fs.target\",\"enabled\":true,\"name\":\"var-lib-containers.mount\"}]}}"

2. 安装后，检查单节点 OpenShift 磁盘状态。

   1. 运行以下命令，在单节点 OpenShift 节点上进入 debug 会话。此步骤被实例化为一个名为 <node_name>-debug 的 debug pod:

      $ oc debug node/my-sno-node

   2. 运行以下命令，将 /host 设置为 debug shell 中的根目录。debug pod 在 pod 中的 /host 中挂载主机的 root 文件系统。将根目录改为 /host，您可以运行主机可执行路径中包含的二进制文件：

      # chroot /host

   3. 运行以下命令，列出所有可用块设备的信息：

      # lsblk

      输出示例

      NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
      sda      8:0    0 446.6G  0 disk
      ├─sda1   8:1    0     1M  0 part
      ├─sda2   8:2    0   127M  0 part
      ├─sda3   8:3    0   384M  0 part /boot
      ├─sda4   8:4    0 243.6G  0 part /var
      │                                /sysroot/ostree/deploy/rhcos/var
      │                                /usr
      │                                /etc
      │                                /
      │                                /sysroot
      └─sda5   8:5    0 202.5G  0 part /var/lib/containers

   4. 运行以下命令，显示文件系统磁盘空间使用情况的信息：

      # df -h

      输出示例

      Filesystem      Size  Used Avail Use% Mounted on
      devtmpfs        4.0M     0  4.0M   0% /dev
      tmpfs           126G   84K  126G   1% /dev/shm
      tmpfs            51G   93M   51G   1% /run
      /dev/sda4       244G  5.2G  239G   3% /sysroot
      tmpfs           126G  4.0K  126G   1% /tmp
      /dev/sda5       203G  119G   85G  59% /var/lib/containers
      /dev/sda3       350M  110M  218M  34% /boot
      tmpfs            26G     0   26G   0% /run/user/1000

流程

1. 在适当的 PolicyGenerator CR 中配置存储类、持久性卷声明、持久性卷和镜像 registry 配置。例如，要配置单个站点，请将以下 YAML 添加到文件 acm-example-sno-site.yaml 中：

   sourceFiles:
     # storage class
     - fileName: StorageClass.yaml
       policyName: "sc-for-image-registry"
       metadata:
         name: image-registry-sc
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100" 1
     # persistent volume claim
     - fileName: StoragePVC.yaml
       policyName: "pvc-for-image-registry"
       metadata:
         name: image-registry-pvc
         namespace: openshift-image-registry
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100"
       spec:
         accessModes:
           - ReadWriteMany
         resources:
           requests:
             storage: 100Gi
         storageClassName: image-registry-sc
         volumeMode: Filesystem
     # persistent volume
     - fileName: ImageRegistryPV.yaml 2
       policyName: "pv-for-image-registry"
       metadata:
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100"
     - fileName: ImageRegistryConfig.yaml
       policyName: "config-for-image-registry"
       complianceType: musthave
       metadata:
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100"
       spec:
         storage:
           pvc:
             claim: "image-registry-pvc"

   1

   根据您要在站点、通用或组级别配置镜像 registry，为 ztp-deploy-wave 设置适当的值。ZTP-deploy-wave: "100" 适用于开发或测试，因为它允许您将引用的源文件分组到一起。

   2

   在 ImageRegistryPV.yaml 中，确保将 spec.local.path 字段设置为 /var/imageregistry，以匹配 SiteConfig CR 中为 mount_point 字段设置的值。

   重要

   不要为 - fileName: ImageRegistryConfig.yaml 配置设置 complianceType: mustonlyhave。这可能导致 registry pod 部署失败。

2. 在 Git 中提交 PolicyGenerator 的更改，然后推送到由 GitOps ZTP Argo CD 应用程序监控的 Git 存储库。