监控和管理系统状态和性能

流程

1. 安装 TuneD 软件包：

   # dnf install tuned

2. 启用并启动 TuneD 服务：

   # systemctl enable --now tuned

3. 可选：为实时系统安装 TuneD 配置集：

   对于实时系统的 TuneD 配置集，启用 rhel-10 存储库。

   # subscription-manager repos --enable=rhel-10-for-x86_64-nfv-beta-rpms
   # dnf install tuned-profiles-realtime tuned-profiles-nfv

流程

1. 列出所有可用的预定义的 TuneD 配置集：

   $ tuned-adm list

2. 可选： 要让 TuneD 为您的系统推荐最合适的配置集，请使用以下命令：

   # tuned-adm recommend
   throughput-performance

3. 激活配置文件：

   # tuned-adm profile selected-profile

   另外，您可以激活多个配置文件的组合：

   # tuned-adm profile selected-profile1 selected-profile2

4. 查看系统中的当前活跃的 TuneD 配置集：

   # tuned-adm active
   Current active profile: selected-profile

5. 临时禁用所有调整：

   # tuned-adm off
   The tunings are applied again after the TuneD service restarts.

6. 可选：永久停止并禁用 TuneD 服务：

   # systemctl disable --now tuned

流程

1. 在 /etc/tuned/profiles 目录中，创建一个名为您要创建的配置集的新目录：

   # mkdir /etc/tuned/profiles/my-profile

2. 在新目录中，创建名为 tuned.conf 的文件。

3. 编辑该文件，并根据您的要求在定义中添加 [main] 部分并插入。例如，查看 balanced 配置文件的配置：

   [main]
   summary=General non-specialized TuneD profile
   
   [cpu]
   governor=conservative
   energy_perf_bias=normal
   
   [audio]
   timeout=10
   
   [video]
   radeon_powersave=dpm-balanced, auto
   
   [scsi_host]
   alpm=medium_power

4. 激活配置文件。

   # tuned-adm profile my-profile

流程

1. 在 /etc/tuned/profiles 目录中，创建一个名为您要创建的配置集的新目录：

   # mkdir /etc/tuned/profiles/modified-profile

2. 在新目录中，创建一个名为 tuned.conf 的文件，并将 [main] 部分设置为如下：

   [main]
   include=parent-profile

   使用您要修改的配置集的名称替换 parent-profile，例如： throughput-performance

3. 包括您的配置文件修改。例如，要在 throughput-performance 配置集中降低 swappiness，将 vm.swappiness 的值改为 5，而不是默认的 10，请使用：

   [main]
   include=throughput-performance
   
   [sysctl]
   vm.swappiness=5

4. 激活配置文件。

   # tuned-adm profile modified-profile

流程

1. 使用以下更改编辑 /etc/tuned/tuned-main.conf 文件：

   sudo vi /etc/tuned/tuned-main.conf
   daemon = 0

2. 保存并关闭该文件。

3. 重启 tuned 服务或重新应用或切换配置集：

   # systemctl restart tuned
   # tuned-adm profile <tuned_profile>

4. 验证 tuned 状态：

   # tuned-adm active
   It seems that tuned daemon is not running, preset profile is not activated.
   Preset profile: <tuned_profile>

流程

1. 可选：选择一个您的配置集将基于的现有 TuneD 配置集。有关可用配置集列表，请参阅 RHEL 提供的 TuneD 配置集。

2. 要查看哪个配置文件当前处于活跃状态，请使用：

   # tuned-adm active

3. 创建一个新目录来保存 TuneD 配置集：

   # mkdir /etc/tuned/<new-profile>

4. 查找所选块设备系统唯一标识符：

   # udevadm info --query=property --name=/dev/device | grep -E '(WWN|SERIAL)'
   ID_WWN=0x5002538d00000000_
   ID_SERIAL=Generic-_SD_MMC_20120501030900000-0:0
   ID_SERIAL_SHORT=20120501030900000

   注意

   本例中的命令将返回以 World Wide Name (WWN)或与指定块设备关联的序列号的所有值。虽然最好使用 WWN，但给定设备始终不能使用 WWN，但 example 命令返回的任何值都可以接受用作设备系统的唯一 ID。

5. 创建 /etc/tuned/my-profile/tuned.conf 配置文件。在该文件中设置以下选项：

   1. 可选：包含现有配置文件：

      [main]
      include=<existing-profile>

   2. 为与 WWN 标识符匹配的设备设置所选磁盘调度程序：

      [disk]
      devices_udev_regex=IDNAME=device system unique id
      elevator=selected-scheduler

      在这里：

      • 使用要使用的标识符的名称替换 IDNAME （如 ID_WWN）。

      • 将 device system unique id 替换为所选标识符的值（如 0x5002538d00000000）。要匹配 devices_udev_regex 选项中的多个设备，将标识符放在括号中，并使用垂直栏来分离它们：

        devices_udev_regex=(ID_WWN=0x5002538d00000000)|(ID_WWN=0x1234567800000000)

6. 启用您的配置文件：

   # tuned-adm profile <new-profile>

验证

1. 验证 TuneD 配置文件是否活跃并应用：

   $ tuned-adm active
   Current active profile: <profile>

   $ tuned-adm verify
   Verification succeeded, current system settings match the preset profile.
   See TuneD log file ('/var/log/tuned/tuned.log') for details.

2. 读取 /sys/block/device/queue/scheduler 文件的内容：

   $ cat /sys/block/device/queue/scheduler
   [mq-deadline] kyber bfq none

   在文件名中，将 device 替换为块设备名称，如 sdc。活跃的调度程序列在方括号中 ([]) 。

流程

1. 查找块设备系统唯一标识符：

   # $ udevadm info --name=/dev/device | grep -E '(WWN|SERIAL)'
   E: ID_WWN=0x5002538d00000000
   E: ID_SERIAL=Generic-_SD_MMC_20120501030900000-0:0
   E: ID_SERIAL_SHORT=20120501030900000

   注意

   本例中的命令将返回以 World Wide Name (WWN)或与指定块设备关联的序列号的所有值。虽然最好使用 WWN，但给定设备始终不能使用 WWN，但 example 命令返回的任何值都可以接受用作设备系统的唯一 ID。

2. 要配置 udev 规则，请使用以下内容创建 /etc/udev/rules.d/99-scheduler.rules 文件：

   ACTION=="add|change", SUBSYSTEM=="block", ENV{IDNAME}=="device system unique id", ATTR{queue/scheduler}="selected-scheduler"

   在这里：

   • 使用要使用的标识符的名称替换 IDNAME （如 ID_WWN）。
   • 将 device system unique id 替换为所选标识符的值（如 0x5002538d00000000）。

3. 重新载入 udev 规则：

   # udevadm control --reload-rules

4. 应用调度程序配置：

   # udevadm trigger --type=devices --action=change

流程

1. 安装 pcp 软件包：

   # dnf install pcp

2. 在主机机器上启用并启动 pmcd 服务：

   # systemctl enable pmcd
   # systemctl start pmcd

流程

1. 更新 pmlogger 配置：

   # pmlogconf -r /var/lib/pcp/config/pmlogger/config.default

2. 启动 pmcd 和 pmlogger 服务：

   # systemctl start pmcd.service
   # systemctl start pmlogger.service

3. 执行所需的操作来记录性能数据。

4. 保存输出并将其保存到根据主机名和当前日期和时间命名的 tar.gz 文件中：

   # cd /var/log/pcp/pmlogger/
   # tar -czf $(hostname).$(date +%F-%Hh%M).pcp.tar.gz $(hostname)

5. 使用 PCP 工具提取此文件并分析数据。

流程

1. 安装 pmda-openmetrics PMDA。

   # dnf -y install pcp-pmda-openmetrics
   # cd /var/lib/pcp/pmdas/openmetrics/
   # ./Install

2. 创建一个示例 OpenMetrics 文件。

   # echo 'var1 {var2="var3"} 42' > /tmp/example.txt

   将 示例.txt 替换为所需的文件名。

3. 验证该文件是否已正确创建。

   # cat /tmp/example.txt

4. 使用 OpenMetrics 代理注册指标文件路径。

   # echo "file:///tmp/example.txt" > /etc/pcp/openmetrics/example.url

5. 验证配置是否已正确创建。

   # cat /etc/pcp/openmetrics/example.url

6. 配置 systemd- xetex 以创建必要的符号链接。

   # echo 'L+ /var/lib/pcp/pmdas/openmetrics/config.d/example.url - - - - ../../../../../../etc/pcp/openmetrics/example.url' \ > /usr/lib/tmpfiles.d/pcp-pmda-openmetrics-cust.conf

7. 验证符号链接是否已正确配置。

   # cat /usr/lib/tmpfiles.d/pcp-pmda-openmetrics-cust.conf

8. 通过应用 NVME 配置来创建符号链接。

   # systemd-tmpfiles --create --remove /usr/lib/tmpfiles.d/pcp-pmda-openmetrics-cust.conf

9. 验证符号链接是否已正确创建。

   # ls -al /var/lib/pcp/pmdas/openmetrics/config.d/

10. 验证指标是否已正确报告。

    # pminfo -f openmetrics.example.var1
        inst [0 or "0 var2:var3"] value 42

流程

1. 创建或修改 pmlogger 配置文件：

   # pmlogconf -r /var/lib/pcp/config/pmlogger/config.default

2. 按照 pmlogconf 提示启用或禁用相关性能指标组，并控制每个启用的组的日志间隔。例如，

   # pmlogconf -r /var/lib/pcp/config/pmlogger/config.default
   Group: per logical block device activity
   Log this group? [y]
   Logging interval? [default]

流程

1. 安装 pcp-system-tools 软件包：

   # dnf install pcp-system-tools

2. 为 pmcd 配置 IP 地址：

   # echo "-i 192.168.4.62" >>/etc/pcp/pmcd/pmcd.options

   使用客户端应侦听的 IP 地址替换 192.168.4.62。默认情况下，pmcd 侦听 localhost。

3. 配置防火墙以永久添加公共区：

   # firewall-cmd --permanent --zone=public --add-port=44321/tcp
   success
   # firewall-cmd --reload
   success

4. 设置 SELinux 布尔值：

   # setsebool -P pcp_bind_all_unreserved_ports on

5. 启用 pmcd 和 pmlogger 服务：

   # systemctl enable pmcd pmlogger
   # systemctl restart pmcd pmlogger

流程

1. 安装 pcp-system-tools 软件包：

   # dnf install pcp-system-tools

2. 使用以下内容创建 /etc/pcp/pmlogger/control.d/remote 文件：

   # DO NOT REMOVE OR EDIT THE FOLLOWING LINE
   $version=1.1
   192.168.4.13 n n PCP_ARCHIVE_DIR/rhel7u4a -r -T24h10m -c config.rhel7u4a
   192.168.4.14 n n PCP_ARCHIVE_DIR/rhel6u10a -r -T24h10m -c config.rhel6u10a
   192.168.4.62 n n PCP_ARCHIVE_DIR/rhel8u1a -r -T24h10m -c config.rhel8u1a

   使用客户端 IP 地址替换 192.168.4.13、192.168.4.14 和 192.168.4.62。

3. 启用 pmcd 和 pmlogger 服务：

   # systemctl enable pmcd pmlogger
   # systemctl restart pmcd pmlogger

流程

1. 安装以下软件包：

   1. 安装 pcp-system-tools ：

      # dnf install pcp-system-tools

   2. 安装 pmda-postfix 软件包以监控 postfix ：

      # dnf install pcp-pmda-postfix postfix

   3. 安装 日志记录 守护进程：

      # dnf install rsyslog

   4. 安装邮件客户端进行测试：

      # dnf install mutt

2. 启用 postfix 和 rsyslog 服务：

   # systemctl enable postfix rsyslog
   # systemctl restart postfix rsyslog

3. 启用 SELinux 布尔值，以便 pmda-postfix 可以访问所需的日志文件：

   # setsebool -P pcp_read_generic_logs=on

4. 安装 PMDA：

   # cd /var/lib/pcp/pmdas/postfix/
   # ./Install
   Updating the Performance Metrics Name Space (PMNS) ...
   Terminate PMDA if already installed ...
   Updating the PMCD control file, and notifying PMCD ...
   Waiting for pmcd to terminate ...
   Starting pmcd ...
   Check postfix metrics have appeared ... 7 metrics and 58 values

流程

1. 从命令行启动 PCP Charts 应用程序：

   # pmchart

   pmtime 服务器设置位于底部。通过 start 和 pause 按钮，您可以控制：

   • PCP 轮询指标数据的时间间隔
   • 历史数据指标的日期和时间
2. 点 File 然后点 New Chart，通过指定主机名或地址来选择来自本地机器和远程机器的指标。高级配置选项包括手动设置图表值的功能，以及手动选择图表颜色。

3. 记录 PCP Charts 应用程序中创建的视图：

   以下是获取镜像或记录 PCP Charts 应用程序中创建的视图的选项：

   • 点 File，然后点 Export 以保存当前视图的镜像。
   • 点 Record，然后 Start 启动记录。
   • 点 Record，然后 Stop 停止记录。停止记录后，会存档记录的指标，以便稍后查看。
4. 可选：在 PCP Charts 应用程序中，主配置文件称为 view，允许保存与一个或多个 chart 关联的元数据。此元数据描述了所有图表，包括所使用的指标和图表列。

5. 可选：点 File 保存自定义视图配置，然后保存 View，稍后载入 view 配置。

   以下 PCP Charts 应用程序视图配置文件示例描述了一个堆栈图表图，显示了读取和写入到给定 XFS 文件系统 loop1 的字节数：

   # pmchart
   version 1
   chart title "Filesystem Throughput /loop1" style stacking antialiasing off
       plot legend Read rate   metric xfs.read_bytes   instance  loop1
       plot legend Write rate  metric xfs.write_bytes  instance  loop1

步骤

1. 安装 PCP：

   # dnf install pcp-zeroconf

2. 安装 pyodbc 驱动程序所需的软件包：

   # dnf install gcc-c++ python3-devel unixODBC-devel
   # dnf install python3-pyodbc

3. 安装 mssql 代理：

   1. 为 PCP 安装 Microsoft SQL Server 域名代理：

      # dnf install pcp-pmda-mssql

   2. 编辑 /etc/pcp/mssql/mssql.conf 文件，为 mssql 代理配置 SQL 服务器帐户的用户名和密码。请确定您配置的帐户具有性能数据的访问权限。

      username: user_name
      password: user_password

      使用这个帐户的 SQL Server 帐户 username 和 user_password 替换 user_name。

4. 安装代理：

   # cd /var/lib/pcp/pmdas/mssql
   # ./Install
   Updating the Performance Metrics Name Space (PMNS) ...
   Terminate PMDA if already installed ...
   Updating the PMCD control file, and notifying PMCD ...
   Check mssql metrics have appeared ... 168 metrics and 598 values
   [...]

   验证

   • 使用 pcp 命令，验证 SQL Server PMDA (mssql)是否已加载并在运行：

     $ pcp
     Performance Co-Pilot configuration on rhel.local:
     platform: Linux rhel.local 4.18.0-167.el8.x86_64 #1 SMP Sun Dec 15 01:24:23 UTC 2019 x86_64
      hardware: 2 cpus, 1 disk, 1 node, 2770MB RAM
      timezone: PDT+7
      services: pmcd pmproxy
          pmcd: Version 5.0.2-1, 12 agents, 4 clients
          pmda: root pmcd proc pmproxy xfs linux nfsclient mmv kvm mssql
                jbd2 dm
      pmlogger: primary logger: /var/log/pcp/pmlogger/rhel.local/20200326.16.31
         pmie: primary engine: /var/log/pcp/pmie/rhel.local/pmie.log

   • 查看 PCP 可以从 SQL Server 收集的指标的完整列表：

     # pminfo mssql

   • 查看指标列表后，您可以报告事务的速度。例如，要报告每秒总事务数，超过 5 秒时间窗：

     # pmval -t 1 -T 5 mssql.databases.transactions

   • 使用 pmchart 命令查看系统中的这些指标的图形图表。如需更多信息，请参阅系统上 带有 PCP Charts 应用程序和 pcp (1)、pminfo (1)、pmval (1)、pmchart (1) 和 pmdamssql (1) man page 的 Visual tracing PCP 日志存档。

流程

1. 安装以下软件包：

   # dnf install grafana grafana-pcp

2. 重启并启用 grafana-server ：

   # systemctl restart grafana-server
   # systemctl enable grafana-server

3. 为到 Grafana 服务的网络流量打开服务器防火墙。

   # firewall-cmd --permanent --add-service=grafana
   success
   # firewall-cmd --reload
   success

流程

1. 安装 valkey 软件包：

   # dnf install valkey

2. 启动并启用 pmproxy 和 valkey 服务：

   # systemctl start pmproxy valkey
   # systemctl enable pmproxy valkey

3. 重启 grafana-server ：

   # systemctl restart grafana-server

流程

1. 在客户端系统中，打开浏览器并使用 http://192.0.2.0:3000 链接在端口 3000 上访问 grafana-server。

   当从远程机器访问 Grafana web UI 时，将 192.0.2.0 替换为机器 IP，或者在本地访问 web UI 时替换为 localhost。

2. 首次登录时，在 Email 或 username 和 Password 字段中输入 admin。
3. Grafana 提示设置 新密码 以创建安全帐户。如果要稍后设置，请点 Skip。
4. 在左上角的 hamburger 图标(swig)中，点 Administration > Plugins。
5. 在 Plugins 选项卡中，在 Search by name or type 文本框中键入 performance co-pilot，然后单击 Performance Co-Pilot (PCP) 插件。
6. 在 Plugins / Performance Co-Pilot 窗格中，点 Enable。

7. 点 Grafana 图标。Grafana Home 页会被 显示。

   图 8.1. 仪表盘主页

   
   注意

   屏幕右上角有一个 Settings 图标，但它控制常规 仪表板设置。

8. 在 Grafana Home 页面中，点 Add your first data source 添加 Valkey、PCP bpftrace 和 PCP Vector 数据源。

   • 要添加 PCP valkey 数据源，查看默认仪表板、创建面板和警报规则，请参阅在 PCP valkey 数据源中创建面板和警报。
   • 要添加 pcp bpftrace 数据源并查看默认仪表板，请参阅 PCP bpftrace System Analysis 仪表板。
   • 要添加 pcp向量数据源，查看默认仪表板并查看向量清单，请参阅 查看 PCP 向量 检查列表。

9. 可选：在菜单中，将鼠标悬停在 admin 配置集图标上，更改 "首选项"，包括 编辑配置文件、更改密码或 注销。

   如需更多信息，请参阅系统中的 grafana-cli 和 grafana-server man page。

流程

1. 作为 root 用户，打开 /etc/valkey/valkey.conf 文件并调整 TLS/SSL 选项以反映以下属性：

   port 0
   tls-port 6379
   tls-cert-file /etc/valkey/valkey.crt
   tls-key-file /etc/valkey/valkey.key
   tls-client-key-file /etc/valkey/client.key
   tls-client-cert-file /etc/valkey/client.crt
   tls-ca-cert-file /etc/valkey/ca.crt

2. 确保 valkey 可以访问 TLS 证书：

   # su valkey -s /bin/bash -c \
     'ls -1 /etc/valkey/ca.crt /etc/valkey/valkey.key /etc/valkey/valkey.crt'
   /etc/valkey/ca.crt
   /etc/valkey/valkey.crt
   /etc/valkey/valkey.key

3. 重启 valkey 服务器以应用配置更改：

   # systemctl restart valkey

流程

1. 登录到 Grafana Web UI。
2. 在 Grafana Home 页面中，点 Add your first data source。
3. 在 Add data source 窗格中，在 Filter by name or type 文本框中键入 valkey，然后单击 Valkey。

4. 在 Data Sources / Valkey 窗格中，执行以下操作：

   1. 在 URL 字段中添加 http://localhost:44322，然后点 Save & Test。

   2. 点 Dashboards tab > Import > Valkey: Host Overview 查看带有任何有用指标概述的仪表板。

      图 8.2. Valkey: 主机概述

      

5. 添加新面板：

   1. 在菜单中，将鼠标悬停在 Create icon > Dashboard > Add new panel 图标上来添加面板。
   2. 在 Query 选项卡中，从查询列表中选择 Valkey，而不是所选的 默认选项，并在 A 的文本字段中输入 metric，例如 kernel.all.load 以视觉化内核负载图形。
   3. 可选：添加 Panel title 和 Description，更新来自 Settings 的选项。
   4. 点击 Save 以应用更改并保存仪表板。添加Dashboard name。

   5. 点击 Apply 以应用更改并返回控制面板。

      图 8.3. Valkey 查询面板

      

6. 创建警报规则：

   1. 在 Valkey 查询面板中，单击 Alert，然后单击 Create Alert。
   2. 编辑 Rule 中的 Name, Evaluate query 和 For 项，为您的警报指定 Conditions。

   3. 点击 Save 以应用更改并保存仪表板。点击 Apply 以应用更改并返回控制面板。

      图 8.4. 在 Valkey 面板中创建警报

      
   4. 可选：在同一面板中，向下滚动并点 Delete 图标删除创建的规则。
   5. 可选： 在菜单中，点击 Alerting 图标查看具有不同警报状态的创建的警报规则，以编辑警报规则，或者从 Alert Rules 选项卡中暂停现有规则。要为创建的警报规则添加通知频道以接收来自 Grafana 的警报通知，请参阅为警报添加通知频道。

流程

1. 在菜单中，将鼠标悬停在 Alerting 图标 > 点 Notification channels > Add channel。

2. 在 Add notification 频道详情窗格中执行以下操作：

   1. 在 Name 文本框中输入您的名称。
   2. 选择通信 类型，例如 Email 并输入电子邮件地址。您可以使用 ; 分隔符添加多个电子邮件地址。
   3. 可选： 配置可选电子邮件 设置和 通知设置。
3. 点击 Save。

4. 在警报规则中选择通知频道：

   1. 在菜单中，将鼠标悬停在 Alerting 图标上，然后单击 Alert rules。
   2. 在 Alert Rules 选项卡中点创建的警报规则。
   3. 在 通知 选项卡上，从 Send to 选项中选择您的通知频道名称，然后添加警报消息。
5. 点应用。

流程

1. 为 scram-sha-256 身份验证机制安装 SASL 框架：

   # dnf install cyrus-sasl-scram cyrus-sasl-lib

2. 在 pmcd.conf 文件中指定支持的身份验证机制和用户数据库路径：

   # vi /etc/sasl2/pmcd.conf
   mech_list: scram-sha-256
   sasldb_path: /etc/pcp/passwd.db

3. 创建一个新用户：

   # useradd -r metrics

   使用您的用户名替换 metrics。

4. 在用户数据库中添加创建的用户：

   # saslpasswd2 -a pmcd metrics
   Password:
   Again (for verification):

   要添加创建的用户，需要输入 指标 帐户密码。

5. 设置用户数据库的权限：

   # chown root:pcp /etc/pcp/passwd.db
   # chmod 640 /etc/pcp/passwd.db

6. 重启 pmcd 服务：

   # systemctl restart pmcd

流程

1. 安装 pcp-pmda-bpftrace 软件包：

   # dnf install pcp-pmda-bpftrace

2. 编辑 bpftrace.conf 文件并添加您在设置 PCP 组件间身份验证时创建的用户：

   # vi /var/lib/pcp/pmdas/bpftrace/bpftrace.conf
   [dynamic_scripts]
   enabled = true
   auth_enabled = true
   allowed_users = root,metrics

   使用您的用户名替换 metrics。

3. 安装 bpftrace PMDA：

   # cd /var/lib/pcp/pmdas/bpftrace/
   # ./Install
   Updating the Performance Metrics Name Space (PMNS) ...
   Terminate PMDA if already installed ...
   Updating the PMCD control file, and notifying PMCD …
   Check bpftrace metrics have appeared ... 7 metrics and 6 values

   pmda-bpftrace 现已安装，只能在验证您的用户后使用。如需更多信息，请参阅 查看 PCP bpftrace System Analysis 仪表板。

流程

1. 登录到 Grafana Web UI。
2. 在 Grafana Home 页面中，点 Add your first data source。
3. 在 Add data source 窗格中，在 Filter by name or type 文本框中键入 bpftrace，然后点 PCP bpftrace。

4. 在 Data Sources / PCP bpftrace 窗格中，执行以下操作：

   1. 在 URL 字段中添加 http://localhost:44322。
   2. 切换 Basic Auth 选项，并在 User 和 Password 字段中添加创建的用户凭证。

   3. 点 Save and Test。

      图 8.5. 在数据源中添加 PCP bpftrace

      

   4. 点 Dashboards tab > Import > PCP bpftrace: System Analysis 查看带有任何有用指标概述的仪表板。

      图 8.6. PCP bpftrace: 系统分析

      

流程

1. 登录到 Grafana Web UI。
2. 在 Grafana Home 页面中，点 Add your first data source。
3. 在 Add data source 窗格中，在 Filter by name or type 文本框中键入 vector，然后点 PCP 向量。

4. 在 Data Sources / PCP Vector 窗格中，执行以下操作：

   1. 在 URL 字段中添加 http://localhost:44322，然后点 Save & Test。

   2. 点 Dashboards 标签页 > Import * PCP Vector: Host Overview 查看带有任何有用指标概述的仪表板。

      图 8.7. PCP 向量：主机概述

      

5. 在菜单中，将鼠标悬停在 Performance Co-Pilot 插件上，然后单击 PCP Vector Checklist。

   在 PCP 检查列表中，点 help 或 warning 图标查看相关的故障排除或参考链接。

   图 8.8. Performance Co-Pilot / PCP 向量清单

   

流程

1. 将光标悬停在 Dashboards 选项卡上，然后单击 + New dashboard。
2. 在 Add 面板 菜单上，单击 Add a new panel。

3. 在 Query 选项卡中：

   1. 从查询列表中选择 Valkey，而不是所选的默认选项。
   2. 在文本字段 A 中，输入指标，如 kernel.all.load ，来视觉化内核负载图。
4. 单击视觉化下拉菜单，其默认被设为 Time series ，然后单击 Heatmap。
5. 可选：在 Panel Options 下拉菜单中，添加 Panel Title 和 Description 。

6. 在 Heatmap 下拉菜单中，在 Calculate from data 设置下，单击 Yes。

   图 8.9. Heatmap

   
7. 可选：在 Colors 下拉菜单中，将默认的 Orange 改为 Scheme，然后选择步骤数(色调)。

8. 可选：在 Tooltip 下拉菜单中，在 Show histogram (Y Axis) 设置下，单击 toggle，以便在光标悬停在 heatmap 中的单元格上时，显示特定直方图中单元的位置。例如：

   

流程

1. 查看所有与 Grafana 相关的 SELinux 布尔值：

   # semanage boolean -l | grep grafana

2. 启用 SELinux 布尔值：

   # setsebool [-P] <boolean_name> on

   • 将 <boolean_name > 替换为您要启用的 SELinux 布尔值的名称。
   • 使用 -P 选项使更改在系统重启后仍然有效。

3. 可选：关闭任何 SELinux 选项：

   # setsebool [-P] <boolean_name> off

流程

1. 查看载入哪些驱动程序以及在什么模式中：

   # cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_driver

   • 如果 Intel P-State 驱动程序被加载且处于活跃模式，则返回 intel_pstate。
   • 如果 Intel P-State 驱动程序被加载且处于被动模式，则返回 intel_cpufreq。
   • 如果载入 ACPI CPUfreq 驱动程序，则返回 acpi-cpufreq。

2. 在使用 Intel P-State 驱动程序时：

   1. 在内核引导命令行中添加以下参数，以强制驱动程序在被动模式下运行：

      intel_pstate=passive

   2. 要禁用 Intel P-State 驱动程序并使用 ACPI CPUfreq 驱动程序，请在内核引导命令行中添加以下参数：

      intel_pstate=disable

流程

1. 启动连接到要调试的应用程序或库的 GDB。GDB 自动识别缺少的调试信息，并建议要运行的命令。

   $ gdb -q /bin/ls
   Reading symbols from /bin/ls...Reading symbols from .gnu_debugdata for /usr/bin/ls...(no debugging symbols found)...done.
   (no debugging symbols found)...done.
   Missing separate debuginfos, use: dnf debuginfo-install coreutils-9.5-6.el10.x86_64
   (gdb)

2. 要退出 GDB，请键入 q 并使用 Enter 进行确认。

   (gdb) q

3. 运行 GDB 建议的命令来安装所需的 debuginfo 软件包：

   # dnf debuginfo-install coreutils-9.5-6.el10.x86_64

   dnf 软件包管理工具提供更改摘要、要求确认，并在确认后，下载并安装所有必要的文件。如果 GDB 无法建议 debuginfo 软件包，请按照 手动应用程序或库获取 debuginfo 软件包中所述的步骤进行操作。

流程

1. 捕获您需要进一步调查的性能数据：

   # perf record -a --call-graph fp sleep <seconds>

   这个示例在整个系统中生成一个 perf.data，覆盖的时间为 sleep 命令指定的 seconds 秒数。它还将使用数据框架指针方法捕获调用图形数据。

2. 生成包含记录数据的 debug 符号的归档文件：

   # perf archive

流程

1. 将 perf.data 文件和存档文件复制到您当前的活跃目录中。

2. 将存档文件提取到 ~/.debug 中：

   # mkdir -p ~/.debug
   # tar xf perf.data.tar.bz2 -C ~/.debug

   注意

   归档文件可能也命名为 perf.data.tar.gz。

3. 打开 perf.data 文件以进一步分析：

   # perf report

流程

1. 记录来自特定 CPU 的性能数据：

   将 -C 选项与 perf record 用于目标特定的 CPU。以下示例演示了如何指定单个 CPU 或范围。

   • 从所选 CPU 中对数据进行抽样（以分开）：

     # perf record -C 0,1 sleep <seconds>

     此命令对 CPU 0 和 1 的指定秒数进行抽样并记录性能数据。

   • 从一系列 CPU 中对数据进行抽样：

     # perf record -C 0-2 sleep <seconds>

     此命令在指定持续时间内对 CPU 0、1 和 2 的性能数据进行抽样并记录。

2. 分析记录的性能数据：

   使用 perf report 命令读取和分析 perf.data 文件。

   # perf report

   此命令显示 perf.data 文件的内容。

   注意

   如果要查看记录的每个示例的 CPU，请参阅显示使用 perf report 的 CPU 样本。

流程

1. 查看可以放置 uprobe 的功能行：

   $ perf probe -x ./your_executable -L main

2. 这个命令的输出结果类似如下：

   <main@/home/user/my_executable:0>
                 0  int main(int argc, const char *argv) 1 { int err; const char *cmd; char sbuf[STRERR_BUFSIZE]; / libsubcmd init */
                 7         exec_cmd_init("perf", PREFIX, PERF_EXEC_PATH, EXEC_PATH_ENVIRONMENT);
   8         pager_init(PERF_PAGER_ENVIRONMENT);

3. 为所需的功能行创建 uprobe ：

   # perf probe -x ./my_executable main:8
   Added new event:
             probe_my_executable:main_L8   (on main:8 in /home/user/my_executable)
   
   you can now use it in all perf tools, such as:
   
   Perf record -e probe_my_executable:main_L8 -aR sleep 1

流程

1. 内存访问示例：

   # perf mem record -a sleep <seconds>

   此命令在所有 CPU 中对内存访问进行抽样，覆盖的时间为 sleep 命令指定的 &lt;seconds> 秒。您可以替换您要在其中示例内存访问数据的任何命令的 sleep 命令。默认情况下，perf mem 样本会加载和存储。您可以使用 a -t 选项只选择一个内存操作，并指定 perf mem 和 record 之间的负载 或存储。对于负载，捕获内存层次结构级别的信息、TLB 内存访问、总线 snoops 和内存锁定。

2. 打开 perf.data 文件进行分析：

   # perf mem report

   如果您使用了示例命令，输出为：

   Available samples
   35k cpu/mem-loads,ldlat=30/P
   54k cpu/mem-stores/P

   cpu/mem-loads,ldlat=30/P 行表示通过内存负载收集的数据，cpu/mem-stores/P 行表示通过内存存储收集的数据。突出显示感兴趣的类别，然后按 Enter 键以查看数据：

   Samples: 35K of event 'cpu/mem-loads,ldlat=30/P', Event count (approx.): 4067062
   Overhead       Samples  Local Weight  Memory access             Symbol                                                                 Shared Object                 Data Symbol                                                     Data Object                            Snoop         TLB access              Locked
      0.07%            29  98            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.06%            26  97            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.06%            25  96            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.06%             1  2325          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e9084                                          [kernel.kallsyms]                      None          L1 or L2 hit            No
      0.06%             1  2247          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e8164                                          [kernel.kallsyms]                      None          L1 or L2 hit            No
      0.05%             1  2166          L1 or L1 hit              [.] 0x00000000038140d6                                                 libxul.so                     [.] 0x00007ffd7b84b4a8                                          [stack]                                None          L1 or L2 hit            No
      0.05%             1  2117          Uncached or N/A hit       [k] check_for_unclaimed_mmio                                           [kernel.kallsyms]             [k] 0xffffb092c1842300                                          [kernel.kallsyms]                      None          L1 or L2 hit            No
      0.05%            22  95            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.05%             1  1898          L1 or L1 hit              [.] 0x0000000002a30e07                                                 libxul.so                     [.] 0x00007f610422e0e0                                          anon                                   None          L1 or L2 hit            No
      0.05%             1  1878          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e8164                                          [kernel.kallsyms]                      None          L2 miss                 No
      0.04%            18  94            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.04%             1  1593          Local RAM or RAM hit      [.] 0x00000000026f907d                                                 libxul.so                     [.] 0x00007f3336d50a80                                          anon                                   Hit           L2 miss                 No
      0.03%             1  1399          L1 or L1 hit              [.] 0x00000000037cb5f1                                                 libxul.so                     [.] 0x00007fbe81ef5d78                                          libxul.so                              None          L1 or L2 hit            No
      0.03%             1  1229          LFB or LFB hit            [.] 0x0000000002962aad                                                 libxul.so                     [.] 0x00007fb6f1be2b28                                          anon                                   None          L2 miss                 No
      0.03%             1  1202          LFB or LFB hit            [.] __pthread_mutex_lock                                               libpthread-2.29.so            [.] 0x00007fb75583ef20                                          anon                                   None          L1 or L2 hit            No
      0.03%             1  1193          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e9164                                          [kernel.kallsyms]                      None          L2 miss                 No
   0.03%             1  1191          L1 or L1 hit              [k] azx_get_delay_from_lpib                                            [kernel.kallsyms]             [k] 0xffffb092ca7efcf0                                          [kernel.kallsyms]                      None          L1 or L2 hit            No

3. 可选：对结果进行排序，以便在显示数据时调查感兴趣的不同方面。例如，在抽样周期内按类型内存访问对内存负载进行排序，以降低其帐户的开销：

   # perf mem -t load report --sort=mem

   例如，输出可以是：

   Samples: 35K of event 'cpu/mem-loads,ldlat=30/P', Event count (approx.): 40670
   Overhead       Samples  Memory access
     31.53%          9725  LFB or LFB hit
     29.70%         12201  L1 or L1 hit
     23.03%          9725  L3 or L3 hit
     12.91%          2316  Local RAM or RAM hit
      2.37%           743  L2 or L2 hit
      0.34%             9  Uncached or N/A hit
      0.10%            69  I/O or N/A hit
      0.02%           825  L3 miss

流程

1. 打开 perf.data 文件进行分析：

   # perf c2c report --stdio

   此命令可在终端中将 perf.data 文件视觉化到多个图中：

   =================================================
              Trace Event Information
   =================================================
    Total records                     :     329219
    Locked Load/Store Operations      :      14654
    Load Operations                   :      69679
    Loads - uncacheable               :          0
    Loads - IO                        :          0
    Loads - Miss                      :       3972
    Loads - no mapping                :          0
    Load Fill Buffer Hit              :      11958
    Load L1D hit                      :      17235
    Load L2D hit                      :         21
    Load LLC hit                      :      14219
    Load Local HITM                   :       3402
    Load Remote HITM                  :      12757
    Load Remote HIT                   :       5295
    Load Local DRAM                   :        976
    Load Remote DRAM                  :       3246
    Load MESI State Exclusive         :       4222
    Load MESI State Shared            :          0
    Load LLC Misses                   :      22274
    LLC Misses to Local DRAM          :        4.4%
    LLC Misses to Remote DRAM         :       14.6%
    LLC Misses to Remote cache (HIT)  :       23.8%
    LLC Misses to Remote cache (HITM) :       57.3%
    Store Operations                  :     259539
    Store - uncacheable               :          0
    Store - no mapping                :         11
    Store L1D Hit                     :     256696
    Store L1D Miss                    :       2832
    No Page Map Rejects               :       2376
    Unable to parse data source       :          1
   
   =================================================
      Global Shared Cache Line Event Information
   =================================================
    Total Shared Cache Lines          :         55
    Load HITs on shared lines         :      55454
    Fill Buffer Hits on shared lines  :      10635
    L1D hits on shared lines          :      16415
    L2D hits on shared lines          :          0
    LLC hits on shared lines          :       8501
    Locked Access on shared lines     :      14351
    Store HITs on shared lines        :     109953
    Store L1D hits on shared lines    :     109449
    Total Merged records              :     126112
   
   =================================================
                    c2c details
   =================================================
    Events                            : cpu/mem-loads,ldlat=30/P
   	                                    : cpu/mem-stores/P
    Cachelines sort on                : Remote HITMs
    Cacheline data grouping          : offset,pid,iaddr
   
   =================================================
   	   Shared Data Cache Line Table
   =================================================
   #
   #                              Total      Rmt  ----- LLC Load Hitm -----  ---- Store Reference ----  --- Load Dram ----      LLC    Total  ----- Core Load Hit -----  -- LLC Load Hit --
   # Index           Cacheline  records     Hitm    Total      Lcl      Rmt    Total    L1Hit   L1Miss       Lcl       Rmt  Ld Miss    Loads       FB       L1       L2       Llc       Rmt
   # .....  ..................  .......  .......  .......  .......  .......  .......  .......  .......  ........  ........  .......  .......  .......  .......  .......  ........  ........
   #
         0            0x602180   149904   77.09%    12103     2269     9834   109504   109036      468       727      2657    13747    40400     5355    16154        0      2875       529
         1            0x602100    12128   22.20%     3951     1119     2832        0        0        0        65       200     3749    12128     5096      108        0      2056       652
         2  0xffff883ffb6a7e80      260    0.09%       15        3       12      161      161        0         1         1       15       99       25       50        0         6         1
         3  0xffffffff81aec000      157    0.07%        9        0        9        1        0        1         0         7       20      156       50       59        0        27         4
         4  0xffffffff81e3f540      179    0.06%        9        1        8      117       97       20         0        10       25       62       11        1        0        24         7
   
   =================================================
         Shared Cache Line Distribution Pareto
   =================================================
   #
   #        ----- HITM -----  -- Store Refs --        Data address                               ---------- cycles ----------       cpu                                     Shared
   #   Num      Rmt      Lcl   L1 Hit  L1 Miss              Offset      Pid        Code address  rmt hitm  lcl hitm      load       cnt               Symbol                Object                  Source:Line  Node{cpu list}
   # .....  .......  .......  .......  .......  ..................  .......  ..................  ........  ........  ........  ........  ...................  ....................  ...........................  ....
   #
     -------------------------------------------------------------
         0     9834     2269   109036      468            0x602180
     -------------------------------------------------------------
             65.51%   55.88%   75.20%    0.00%                 0x0    14604            0x400b4f     27161     26039     26017         9  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:144   0{0-1,4}  1{24-25,120}  2{48,54}  3{169}
   	   0.41%    0.35%    0.00%    0.00%                 0x0    14604            0x400b56     18088     12601     26671         9  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:145   0{0-1,4}  1{24-25,120}  2{48,54}  3{169}
   	   0.00%    0.00%   24.80%  100.00%                 0x0    14604            0x400b61         0         0         0         9  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:145   0{0-1,4}  1{24-25,120}  2{48,54}  3{169}
   	   7.50%    9.92%    0.00%    0.00%                0x20    14604            0x400ba7      2470      1729      1897         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:154   1{122}  2{144}
   	  17.61%   20.89%    0.00%    0.00%                0x28    14604            0x400bc1      2294      1575      1649         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:158   2{53}  3{170}
   	   8.97%   12.96%    0.00%    0.00%                0x30    14604            0x400bdb      2325      1897      1828         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:162   0{96}  3{171}
   
     -------------------------------------------------------------
         1     2832     1119        0        0            0x602100
     -------------------------------------------------------------
   	  29.13%   36.19%    0.00%    0.00%                0x20    14604            0x400bb3      1964      1230      1788         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:155   1{122}  2{144}
   	  43.68%   34.41%    0.00%    0.00%                0x28    14604            0x400bcd      2274      1566      1793         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:159   2{53}  3{170}
   27.19%   29.40%    0.00%    0.00%                0x30    14604            0x400be7      2045      1247      2011         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:163   0{96}  3{171}

流程

1. 打开 perf.data 文件：

   # perf c2c report --stdio

   这会在终端中打开 perf.data 文件。

2. 在 Trace Event Information 表中，找到包含 LLC Misses to Remote Cache (HITM)的值的行：

   LLC Misses to Remote Cache (HITM) 行的值列中的百分比表示在修改的 cache-lines 中的 NUMA 节点之间发生 LLC misses 的百分比，这是错误共享发生的关键指示。

   =================================================
               Trace Event Information
   =================================================
     Total records                     :     329219
     Locked Load/Store Operations      :      14654
     Load Operations                   :      69679
     Loads - uncacheable               :          0
     Loads - IO                        :          0
     Loads - Miss                      :       3972
     Loads - no mapping                :          0
     Load Fill Buffer Hit              :      11958
     Load L1D hit                      :      17235
     Load L2D hit                      :         21
     Load LLC hit                      :      14219
     Load Local HITM                   :       3402
     Load Remote HITM                  :      12757
     Load Remote HIT                   :       5295
     Load Local DRAM                   :        976
     Load Remote DRAM                  :       3246
     Load MESI State Exclusive         :       4222
     Load MESI State Shared            :          0
     Load LLC Misses                   :      22274
     LLC Misses to Local DRAM          :        4.4%
     LLC Misses to Remote DRAM         :       14.6%
     LLC Misses to Remote cache (HIT)  :       23.8%
     LLC Misses to Remote cache (HITM) : 57.3%
     Store Operations                  :     259539
     Store - uncacheable               :          0
     Store - no mapping                :         11
     Store L1D Hit                     :     256696
     Store L1D Miss                    :       2832
     No Page Map Rejects               :       2376
     Unable to parse data source       :          1

3. 检查 Shared Data Cache Line Table 的 LLC Load Hitm 字段的 Rmt 列：

   =================================================
                Shared Data Cache Line Table
   =================================================
     #
     #                              Total      Rmt  ----- LLC Load Hitm -----  ---- Store Reference ----  --- Load Dram ----      LLC    Total  ----- Core Load Hit -----  -- LLC Load Hit --
     # Index           Cacheline  records     Hitm    Total      Lcl      Rmt    Total    L1Hit   L1Miss       Lcl       Rmt  Ld Miss    Loads       FB       L1       L2       Llc       Rmt
     # .....  ..................  .......  .......  .......  .......  .......  .......  .......  .......  ........  ........  .......  .......  .......  .......  .......  ........  ........
     #
           0            0x602180   149904   77.09%    12103     2269     9834   109504   109036      468       727      2657    13747    40400     5355    16154        0      2875       529
           1            0x602100    12128   22.20%     3951     1119     2832        0        0        0        65       200     3749    12128     5096      108        0      2056       652
           2  0xffff883ffb6a7e80      260    0.09%       15        3       12      161      161        0         1         1       15       99       25       50        0         6         1
           3  0xffffffff81aec000      157    0.07%        9        0        9        1        0        1         0         7       20      156       50       59        0        27         4
           4  0xffffffff81e3f540      179    0.06%        9        1        8      117       97       20         0        10       25       62       11        1        0        24         7

   表按照每个缓存行检测到的远程 Hitm 的数量降序排列。LLC Load Hitm 部分的 Rmt 列中的数量很高，需要进一步检查调试 false 共享活动的缓存行。

流程

1. 配置控制管道接口：

   # mkfifo control ack perf.pipe

2. 使用您启用的控制文件设置和事件运行 perf 记录 ：

   # perf record --control=fifo:control,ack -D -1 --no-buffering -e 'sched:*' -o - > perf.pipe

   在本例中，在 -e 选项后声明 'sched:*' 使用调度程序事件启动 perf record。

3. 在第二个终端中，启动控制管道的读取权限：

   # cat perf.pipe | perf --no-pager script -i -

4. 启动控制管道的读取侧会在第一个终端中触发以下信息：

   Events disabled

5. 在第三个终端中，使用控制文件启用追踪点：

   # echo 'enable sched:sched_process_fork' > control

   此命令触发 perf，以扫描控制文件中针对声明的事件扫描当前事件列表。如果事件存在，则会启用 tracepoint，并在第一个终端中显示以下消息：

   event sched:sched_process_fork enabled

6. 启用追踪点后，第二个终端会显示 perf 检测追踪点的输出：

   bash 33349 [034] 149587.674295: sched:sched_process_fork: comm=bash pid=33349 child_comm=bash child_pid=34056

流程

1. 登录到 RHEL 10 web 控制台。
2. 点 Overview。

3. 在 Configuration 部分中，点当前的性能配置文件。

   

4. 在 Change performance profile 对话框中设置所需的配置集。
5. 点 Change profile。

流程

1. 登录到 RHEL 10 web 控制台。
2. 点 Overview。

3. 在 Usage 部分中，点 View metrics and history。

   

   Metrics 和 history 部分会打开并显示： 当前系统配置 ，并使用在用户指定的时间间隔以图形形式使用性能指标

流程

1. 登录到 RHEL 10 web 控制台。
2. 在 Overview 页面中，点 Usage 表中的 View metrics and history。
3. 点 Metrics 设置 按钮。

4. 将 Export to network 滑块移到活跃位置。

   如果您没有安装 valkey 软件包，Web 控制台会提示您安装它。

5. 要打开 pmproxy 服务，请从下拉列表中选择一个区域，然后点 Add pmproxy 按钮。
6. 点击 Save。

验证

1. 点 Networking。
2. 在 Firewall 表中，点 Edit rules and zones 按钮。

3. 在您选择的区域中搜索 pmproxy。

   重要

   在您要监控的所有系统上重复此步骤。

流程

1. 在一个终端中运行 execsnoop 程序：

   # /usr/share/bcc/tools/execsnoop

2. 要创建一个短暂的 ls 命令的进程，请在另一个终端中输入：

   $ ls /usr/share/bcc/tools/doc/

   运行 execsnoop 的终端显示类似如下的输出：

   PCOMM	PID    PPID   RET ARGS
   ls   	8382   8287     0 /usr/bin/ls --color=auto /usr/share/bcc/tools/doc/

   execsnoop 程序打印消耗系统资源的每个新进程的输出行。它甚至会检测很快运行的程序（如 ls ）的进程，大多数监控工具也不会进行注册。execsnoop 输出显示以下字段：

   PCOMM

   父进程名称。(ls)

   PID

   进程 ID。(8382)

   PPID

   父进程 ID。(8287)

   RET

   exec （）系统调用(0)的返回值，它将程序代码加载到新进程中。

   ARGS

   启动的程序的参数的位置。

   如需更多信息，请参阅系统中的 /usr/share/bcc/tools/doc/execsnoop_example.txt 文件和 exec (3) 手册页。

流程

1. 在一个终端中，运行 opensnoop 程序，以打印仅由 uname 命令进程打开的文件的输出：

   # /usr/share/bcc/tools/opensnoop -n uname

2. 在另一个终端中，输入命令来打开某些文件：

   $ uname
   The terminal running opensnoop shows the output similar to the following:
   PID    COMM 	FD ERR PATH
   8596   uname 	3  0   /etc/ld.so.cache
   8596   uname 	3  0   /lib64/libc.so.6
   8596   uname 	3  0   /usr/lib/locale/locale-archive
   ...

   opensnoop 程序在整个系统中监视 open （） 系统调用，并为 uname 尝试打开的每个文件打印一行输出。opensnoop 输出显示以下字段：

   PID

   进程 ID。(8596)

   COMM

   进程名称。(uname)

   FD

   文件描述符 - open （）返回的值来引用打开的文件。(3)

   ERR

   任何错误。

   PATH

   open （） 试图打开的文件位置。

   如果命令尝试读取不存在的文件，则 FD 列返回 -1，ERR 列会打印与相关错误对应的值。通过使用 opensnoop，您可以识别行为不正确的应用程序。如需更多信息，请参阅系统中的 /usr/share/bcc/tools/doc/opensnoop_example.txt 文件和 open (2) 手册页。

流程

1. 在一个终端中运行 biotop 程序，并作为参数生成 30 秒概述：

   # /usr/share/bcc/tools/biotop 30

   当您不提供任何参数时，输出屏幕默认会每 1 秒刷新一次。

2. 在另一个终端中，输入命令从本地硬盘设备读取内容，并将结果写入 /dev/zero 文件：

   # dd if=/dev/vda of=/dev/zero

   此步骤会生成特定的 I/O 流量来演示 biotop。运行 biotop 的终端显示类似如下的输出：

   PID    COMM             D MAJ MIN DISK       I/O  Kbytes     AVGms
   9568   dd               R 252 0   vda      16294 14440636.0  3.69
   48     kswapd0          W 252 0   vda       1763 120696.0    1.65
   7571   gnome-shell      R 252 0   vda        834 83612.0     0.33
   1891   gnome-shell      R 252 0   vda       1379 19792.0     0.15
   7515   Xorg             R 252 0   vda        280  9940.0     0.28
   7579   llvmpipe-1       R 252 0   vda        228  6928.0     0.19
   9515   gnome-control-c  R 252 0   vda         62  6444.0     0.43
   8112   gnome-terminal-  R 252 0   vda         67  2572.0     1.54
   7807   gnome-software   R 252 0   vda         31  2336.0     0.73
   9578   awk              R 252 0   vda         17  2228.0     0.66
   7578   llvmpipe-0       R 252 0   vda        156  2204.0     0.07
   9581   pgrep            R 252 0   vda         58  1748.0     0.42
   7531   InputThread      R 252 0   vda         30  1200.0     0.48
   7504   gdbus            R 252 0   vda          3  1164.0     0.30
   1983   llvmpipe-1       R 252 0   vda         39   724.0     0.08
   1982   llvmpipe-0       R 252 0   vda         36   652.0     0.06
   ...

   biotop 输出显示以下字段：

   PID

   进程 ID。(9568)

   COMM

   进程名称。(dd)

   DISK

   磁盘执行读取操作。(vda)

   I/O

   执行的读操作的数量。(16294)

   Kbytes

   读操作达到的 Kbytes 量。(14,440,636)

   AVGms

   读操作的平均 I/O 时间。(3.69)

   如需更多信息，请参阅系统中的 /usr/share/bcc/tools/doc/biotop_example.txt 文件和 dd (1) 手册页。

流程

1. 在一个终端中运行 xfsslower 程序：

   # /usr/share/bcc/tools/xfsslower 1

   当您不提供任何参数时，xfsslower 默认会显示比 10 ms 慢的操作。

2. 在另一个终端中，输入以下命令在 vim 编辑器中创建一个文本文件，以开始与 XFS 文件系统交互：

   $ vim text
   The terminal running xfsslower shows something similar upon saving the file from the previous step:
   TIME     COMM           PID    T BYTES   OFF_KB   LAT(ms) FILENAME
   13:07:14 b'bash'        4754   R 256     0           7.11 b'vim'
   13:07:14 b'vim'         4754   R 832     0           4.03 b'libgpm.so.2.1.0'
   13:07:14 b'vim'         4754   R 32      20          1.04 b'libgpm.so.2.1.0'
   13:07:14 b'vim'         4754   R 1982    0           2.30 b'vimrc'
   13:07:14 b'vim'         4754   R 1393    0           2.52 b'getscriptPlugin.vim'
   13:07:45 b'vim'         4754   S 0       0           6.71 b'text'
   13:07:45 b'pool'        2588   R 16      0           5.58 b'text’
   ...

   每行代表文件系统中的一个操作，它花费的时间超过特定阈值。xfsslower 检测到可能的文件系统问题，这些问题可能会以意外的慢速操作的形式出现。xfsslower 输出显示以下字段：

   COMM

   进程名称。(b'bash')

   T

   操作类型。(R)

   • Read
   • Write
   • open
   • Sync

   OFF_KB

   KB 为单位的文件偏移。(0)

   FILENAME

   被读、写或同步的文件。

   如需更多信息，请参阅系统上的 /usr/share/bcc/tools/doc/xfsslower_example.txt 文件和 fsync (2) 手册页。

流程

1. 要在特定内核中启用动态无空行为，在内核命令行中使用 nohz_full 参数指定这些核心。例如，在 16 核系统上启用 nohz_full=1-15 内核选项：

   # grubby --update-kernel=ALL --args="nohz_full=1-15"

   这可启用内核 1 到 15 的动态无空行为，将所有时间保留到唯一未指定的内核（内核 0）。

2. 当系统引导时，手动将 rcu 线程移到非延迟敏感的核心中，本例中为 core 0 ：

   # for i in pgrep rcu[^c] ; do taskset -pc 0 $i ; done

3. 可选：在内核命令行中使用 isolcpus 参数，将特定内核与用户空间任务隔离开来。

4. 可选：将内核的 write-back bdi-flush 线程的 CPU 关联性设置为 housekeeping 内核：

   echo 1 > /sys/bus/workqueue/devices/writeback/cpumask

流程

1. 检查哪些设备对应于您要配置的中断请求。

2. 查找平台的硬件规格。检查您系统上的芯片组是否支持分发中断。

   • 如果芯片组支持分发，您可以配置中断交付，如以下步骤中所述。另外，检查您的芯片组用来平衡中断的算法。有些 BIOS 有一些选项来配置中断交付。
   • 如果芯片组不支持分发，您的芯片组始终将所有中断路由到单个静态 CPU。您无法配置使用哪些 CPU。

3. 检查系统上使用了 Advanced Programmable Interrupt Controller (APIC) 模式：

   $ journalctl --dmesg | grep APIC

   • 如果您的系统使用 flat 以外的模式，您可以看到一个类似于 Setting APIC routing to physical flat 的行。
   • 如果看不到这个信息，代表您的系统使用 flat 模式。

   • 如果您的系统使用 x2apic 模式，您可以通过将 nox2apic 选项添加到引导装载程序配置中的内核命令行来禁用它。

     只有非物理平面模式(flat)支持将中断分发到多个 CPU。这个模式仅适用于有 8 个或更少 CPU 的系统。

4. 计算 smp_affinity 掩码。有关如何计算 smp_affinity mask 的更多信息，请参阅设置 smp_affinity mask。

流程

1. 二进制代码，对于处理中断的 CPU 使用值 1。例如，要设置 CPU 0 和 CPU 7 以处理中断，请使用 0000000010000001 作为二进制代码：

   Expand

   表 23.1. CPU 的二进制位

   CPU	15	14	13	12	11	10	9	8	7	6	5	4	3	2	1	0
   二进制	0	0	0	0	0	0	0	0	1	0	0	0	0	0	0	1

   Show more

2. 将二进制代码转换为十六进制代码：

   例如，使用 Python 转换二进制代码：

   >>> hex(int('0000000010000001', 2))
   
   '0x81'

   在有 32 个处理器的系统上，您必须限制离散的 32 位组的 smp_affinity 值。例如，如果您只想 64 位处理器系统的第一个 32 个处理器来服务中断请求，请使用 0xffffffff,00000000。

3. 特定中断请求的中断关联性值存储在关联的 /proc/irq/irq_number/smp_affinity 文件中。在此文件中设置 smp_affinity mask：

   # echo mask > /proc/irq/irq_number/smp_affinity