システムの状態とパフォーマンスの監視と管理

手順

1. TuneD パッケージをインストールします。

   # dnf install tuned

2. TuneD サービスを有効にして起動します。

   # systemctl enable --now tuned

3. オプション: リアルタイムシステム用の TuneD プロファイルをインストールします。

   リアルタイムシステム用の TuneD プロファイルの場合は、rhel-10 リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-10-for-x86_64-nfv-beta-rpms
   # dnf install tuned-profiles-realtime tuned-profiles-nfv

手順

1. 利用可能な定義済みの TuneD プロファイルをすべてリスト表示します。

   $ tuned-adm list

2. オプション: 次のコマンドを使用して、TuneD がシステムに最適なプロファイルを推奨するようにします。

   # tuned-adm recommend
   throughput-performance

3. プロファイルをアクティブ化します。

   # tuned-adm profile selected-profile

   または、複数のプロファイルを組み合わせてアクティブ化することもできます。

   # tuned-adm profile selected-profile1 selected-profile2

4. 使用しているシステムで現在アクティブになっている TuneD プロファイルを表示します。

   # tuned-adm active
   Current active profile: selected-profile

5. すべてのチューニングを一時的に無効にします。

   # tuned-adm off
   The tunings are applied again after the TuneD service restarts.

6. オプション: TuneD サービスを完全に停止して無効にします。

   # systemctl disable --now tuned

手順

1. /etc/tuned/profiles ディレクトリーで、作成するプロファイルと同じ名前の新しいディレクトリー作成します。

   # mkdir /etc/tuned/profiles/my-profile

2. 新しいディレクトリーに、tuned.conf ファイルを作成します。

3. 要件に応じて、ファイルを編集して [main] セクションとプラグイン定義を追加します。たとえば、balanced プロファイルの設定を表示します。

   [main]
   summary=General non-specialized TuneD profile
   
   [cpu]
   governor=conservative
   energy_perf_bias=normal
   
   [audio]
   timeout=10
   
   [video]
   radeon_powersave=dpm-balanced, auto
   
   [scsi_host]
   alpm=medium_power

4. プロファイルをアクティブ化します。

   # tuned-adm profile my-profile

手順

1. /etc/tuned/profiles ディレクトリーで、作成するプロファイルと同じ名前の新しいディレクトリー作成します。

   # mkdir /etc/tuned/profiles/modified-profile

2. 新しいディレクトリーに、ファイル tuned.conf を作成し、以下のように [main] セクションを設定します。

   [main]
   include=parent-profile

   parent-profile を、変更するプロファイルの名前に置き換えます (例: throughput-performance)。

3. プロファイルの変更を含めます。たとえば、throughput-performance プロファイルの swappiness を低減するには、次のコマンドを使用して、vm.swappiness の値をデフォルトの 10 ではなく 5 に変更します。

   [main]
   include=throughput-performance
   
   [sysctl]
   vm.swappiness=5

4. プロファイルをアクティブ化します。

   # tuned-adm profile modified-profile

手順

1. 次の変更を加えて /etc/tuned/tuned-main.conf ファイルを編集します。

   sudo vi /etc/tuned/tuned-main.conf
   daemon = 0

2. ファイルを保存してから閉じます。

3. tuned サービスを再起動するか、プロファイルを再適用または切り替えます。

   # systemctl restart tuned
   # tuned-adm profile <tuned_profile>

4. tuned のステータスを確認します。

   # tuned-adm active
   It seems that tuned daemon is not running, preset profile is not activated.
   Preset profile: <tuned_profile>

手順

1. オプション: プロファイルのベースとなる既存の TuneD プロファイルを選択します。利用可能なプロファイルのリストは、RHEL とともに配布される TuneD プロファイル を参照してください。

2. 現在アクティブなプロファイルを確認するには、次のコマンドを実行します。

   # tuned-adm active

3. TuneD プロファイルを保存する新しいディレクトリーを作成します。

   # mkdir /etc/tuned/<new-profile>

4. 選択したブロックデバイスのシステム固有の識別子を見つけます。

   # udevadm info --query=property --name=/dev/device | grep -E '(WWN|SERIAL)'
   ID_WWN=0x5002538d00000000_
   ID_SERIAL=Generic-_SD_MMC_20120501030900000-0:0
   ID_SERIAL_SHORT=20120501030900000

   注記

   この例のコマンドは、指定したブロックデバイスに関連付けられた World Wide Name (WWN) またはシリアル番号として識別されるすべての値を返します。WWN を使用することを推奨しますが、特定のデバイスで WWN が常に使用できるとは限りません。コマンド例によって返される値は、いずれもデバイスシステムの一意の ID として使用できます。

5. /etc/tuned/my-profile/tuned.conf 設定ファイルを作成します。このファイルで、以下のオプションを設定します。

   1. 必要に応じて、既存のプロファイルを追加します。

      [main]
      include=<existing-profile>

   2. WWN 識別子に一致するデバイスに対して選択したディスクスケジューラーを設定します。

      [disk]
      devices_udev_regex=IDNAME=device system unique id
      elevator=selected-scheduler

      ここでは、以下のようになります。

      • IDNAME は、使用されている識別子の名前に置き換えます (例:ID_WWN)。

      • device system unique id は、選択した識別子の値に置き換えます (例: 0x5002538d00000000)。devices_udev_regex オプションで複数のデバイスにマッチさせるには、識別子を括弧で囲み、縦棒で区切ります。

        devices_udev_regex=(ID_WWN=0x5002538d00000000)|(ID_WWN=0x1234567800000000)

6. プロファイルを有効にします。

   # tuned-adm profile <new-profile>

検証

1. TuneD プロファイルがアクティブで、適用されていることを確認します。

   $ tuned-adm active
   Current active profile: <profile>

   $ tuned-adm verify
   Verification succeeded, current system settings match the preset profile.
   See TuneD log file ('/var/log/tuned/tuned.log') for details.

2. /sys/block/device/queue/scheduler ファイルの内容を読み取ります。

   $ cat /sys/block/device/queue/scheduler
   [mq-deadline] kyber bfq none

   ファイル名の device は、ブロックデバイス名に置き換えます (例: sdc)。アクティブなスケジューラーは、角括弧 ([]) にリスト表示されます。

手順

1. ブロックデバイスのシステム固有の識別子を見つけます。

   # $ udevadm info --name=/dev/device | grep -E '(WWN|SERIAL)'
   E: ID_WWN=0x5002538d00000000
   E: ID_SERIAL=Generic-_SD_MMC_20120501030900000-0:0
   E: ID_SERIAL_SHORT=20120501030900000

   注記

   この例のコマンドは、指定したブロックデバイスに関連付けられた World Wide Name (WWN) またはシリアル番号として識別されるすべての値を返します。WWN を使用することを推奨しますが、特定のデバイスで WWN が常に使用できるとは限りません。コマンド例によって返される値は、いずれもデバイスシステムの一意の ID として使用できます。

2. udev ルールを設定するために、次の内容の /etc/udev/rules.d/99-scheduler.rules ファイルを作成します。

   ACTION=="add|change", SUBSYSTEM=="block", ENV{IDNAME}=="device system unique id", ATTR{queue/scheduler}="selected-scheduler"

   ここでは、以下のようになります。

   • IDNAME は、使用されている識別子の名前に置き換えます (例:ID_WWN)。
   • device system unique id は、選択した識別子の値に置き換えます (例: 0x5002538d00000000)。

3. udev ルールを再読み込みします。

   # udevadm control --reload-rules

4. スケジューラー設定を適用します。

   # udevadm trigger --type=devices --action=change

手順

1. pcp パッケージをインストールします。

   # dnf install pcp

2. ホストマシンで pmcd サービスを有効にして起動します。

   # systemctl enable pmcd
   # systemctl start pmcd

手順

1. pmlogger 設定を更新します。

   # pmlogconf -r /var/lib/pcp/config/pmlogger/config.default

2. pmcd サービスおよび pmlogger サービスを起動します。

   # systemctl start pmcd.service
   # systemctl start pmlogger.service

3. 必要な操作を実行して、パフォーマンスデータを記録します。

4. 出力を保存し、ホスト名と現在の日時に基づいて名前が付けられた tar.gz ファイルに保存します。

   # cd /var/log/pcp/pmlogger/
   # tar -czf $(hostname).$(date +%F-%Hh%M).pcp.tar.gz $(hostname)

5. このファイルを展開し、PCP ツールを使用してデータを分析します。

手順

1. pmda-openmetrics PMDA をインストールします。

   # dnf -y install pcp-pmda-openmetrics
   # cd /var/lib/pcp/pmdas/openmetrics/
   # ./Install

2. サンプルの OpenMetrics ファイルを作成します。

   # echo 'var1 {var2="var3"} 42' > /tmp/example.txt

   example.txt を目的のファイル名に置き換えます。

3. ファイルが正しく作成されていることを確認します。

   # cat /tmp/example.txt

4. メトリクスファイルパスを OpenMetrics エージェントに登録します。

   # echo "file:///tmp/example.txt" > /etc/pcp/openmetrics/example.url

5. 設定が正しく作成されていることを確認します。

   # cat /etc/pcp/openmetrics/example.url

6. 必要なシンボリックリンクを作成するために systemd-tmpfiles を設定します。

   # echo 'L+ /var/lib/pcp/pmdas/openmetrics/config.d/example.url - - - - ../../../../../../etc/pcp/openmetrics/example.url' \ > /usr/lib/tmpfiles.d/pcp-pmda-openmetrics-cust.conf

7. シンボリックリンクが正しく設定されていることを確認します。

   # cat /usr/lib/tmpfiles.d/pcp-pmda-openmetrics-cust.conf

8. tmpfiles 設定を適用してシンボリックリンクを作成します。

   # systemd-tmpfiles --create --remove /usr/lib/tmpfiles.d/pcp-pmda-openmetrics-cust.conf

9. シンボリックリンクが正しく作成されていることを確認します。

   # ls -al /var/lib/pcp/pmdas/openmetrics/config.d/

10. メトリクスが正しく報告されていることを確認します。

    # pminfo -f openmetrics.example.var1
        inst [0 or "0 var2:var3"] value 42

手順

1. pmlogger 設定ファイルを作成または変更します。

   # pmlogconf -r /var/lib/pcp/config/pmlogger/config.default

2. pmlogconf のプロンプトに従って、関連するパフォーマンスメトリクスのグループを有効または無効にし、有効になっている各グループのロギング間隔を制御します。以下に例を示します。

   # pmlogconf -r /var/lib/pcp/config/pmlogger/config.default
   Group: per logical block device activity
   Log this group? [y]
   Logging interval? [default]

手順

1. pcp-system-tools パッケージをインストールします。

   # dnf install pcp-system-tools

2. pmcd の IP アドレスを設定します。

   # echo "-i 192.168.4.62" >>/etc/pcp/pmcd/pmcd.options

   192.168.4.62 を、クライアントがリッスンする IP アドレスに置き換えます。デフォルトでは、pmcd は、ローカルホストをリッスンします。

3. パブリック zone を永続的に追加するように、ファイアウォールを設定します。

   # firewall-cmd --permanent --zone=public --add-port=44321/tcp
   success
   # firewall-cmd --reload
   success

4. SELinux ブール値を設定します。

   # setsebool -P pcp_bind_all_unreserved_ports on

5. pmcd サービスおよび pmlogger サービスを有効にします。

   # systemctl enable pmcd pmlogger
   # systemctl restart pmcd pmlogger

手順

1. pcp-system-tools パッケージをインストールします。

   # dnf install pcp-system-tools

2. 以下の内容で /etc/pcp/pmlogger/control.d/remote ファイルを作成してください。

   # DO NOT REMOVE OR EDIT THE FOLLOWING LINE
   $version=1.1
   192.168.4.13 n n PCP_ARCHIVE_DIR/rhel7u4a -r -T24h10m -c config.rhel7u4a
   192.168.4.14 n n PCP_ARCHIVE_DIR/rhel6u10a -r -T24h10m -c config.rhel6u10a
   192.168.4.62 n n PCP_ARCHIVE_DIR/rhel8u1a -r -T24h10m -c config.rhel8u1a

   192.168.4.13、192.168.4.14、および 192.168.4.62 を、クライアントの IP アドレスに置き換えます。

3. pmcd サービスおよび pmlogger サービスを有効にします。

   # systemctl enable pmcd pmlogger
   # systemctl restart pmcd pmlogger

手順

1. 以下のパッケージをインストールします。

   1. pcp-system-tools をインストールします。

      # dnf install pcp-system-tools

   2. pmda-postfix パッケージをインストールして、postfix を監視します。

      # dnf install pcp-pmda-postfix postfix

   3. logging デーモンをインストールします。

      # dnf install rsyslog

   4. テスト用にメールクライアントをインストールします。

      # dnf install mutt

2. postfix サービスおよび rsyslog サービスを有効にします。

   # systemctl enable postfix rsyslog
   # systemctl restart postfix rsyslog

3. SELinux ブール値を有効にして、pmda-postfix が必要なログファイルにアクセスできるようにします。

   # setsebool -P pcp_read_generic_logs=on

4. PMDA をインストールします。

   # cd /var/lib/pcp/pmdas/postfix/
   # ./Install
   Updating the Performance Metrics Name Space (PMNS) ...
   Terminate PMDA if already installed ...
   Updating the PMCD control file, and notifying PMCD ...
   Waiting for pmcd to terminate ...
   Starting pmcd ...
   Check postfix metrics have appeared ... 7 metrics and 58 values

手順

1. コマンドラインで PCP Charts アプリケーションを起動します。

   # pmchart

   pmtime サーバー設定は下部にあります。start ボタンと pause ボタンで以下を制御できます。

   • PCP がメトリックデータをポーリングする間隔
   • 履歴データのメトリックの日付および時間
2. File をクリックしてから、New Chart をクリックして、ホスト名またはアドレスを指定して、ローカルマシンおよびリモートマシンの両方からメトリックを選択します。高度な設定オプションには、チャートの軸値を手動で設定する機能、およびプロットの色を手動で選択する機能が含まれます。

3. PCP Charts アプリケーションで作成したビューを記録します。

   以下は、PCP Charts アプリケーションで作成したイメージを撮影したり、ビューを記録するためのオプションです。

   • File をクリックしてから Export をクリックして、現在のビューのイメージを保存します。
   • Record をクリックしてから Start をクリックし、録画を開始します。
   • Record をクリックしてから Stop をクリックし、録画を停止します。録画の停止後、記録されたメトリックは後で表示できるようにアーカイブが作成されます。
4. 必要に応じて、PCP Charts アプリケーションでは、ビューと呼ばれるメインの設定ファイルによって、1 つ以上のチャートに関連付けられたメタデータを保存できます。このメタデータでは、使用されるメトリックや、チャート列など、チャート側面をすべて記述します。

5. オプション: File をクリックし、Save View をクリックしてカスタムビュー設定を保存し、後でビュー設定を読み込みます。

   以下の PCP Charts アプリケーションビューの設定ファイルの例では、指定の XFS ファイルシステム loop1 に対して読み書きされた合計バイト数を示す積み上げチャートグラフを説明します。

   # pmchart
   version 1
   chart title "Filesystem Throughput /loop1" style stacking antialiasing off
       plot legend Read rate   metric xfs.read_bytes   instance  loop1
       plot legend Write rate  metric xfs.write_bytes  instance  loop1

手順

1. PCP をインストールします。

   # dnf install pcp-zeroconf

2. pyodbc ドライバーに必要なパッケージをインストールします。

   # dnf install gcc-c++ python3-devel unixODBC-devel
   # dnf install python3-pyodbc

3. mssql エージェントをインストールします。

   1. PCP の Microsoft SQL Server ドメインエージェントをインストールします。

      # dnf install pcp-pmda-mssql

   2. /etc/pcp/mssql/mssql.conf ファイルを編集して、mssql エージェントの SQL サーバーアカウントのユーザー名およびパスワードを設定します。設定するアカウントに、パフォーマンスデータに対するアクセス権限があることを確認します。

      username: user_name
      password: user_password

      user_name を SQL Server アカウントのユーザー名に置き換え、user_password をこのアカウントの SQL Server ユーザーパスワードに置き換えます。

4. エージェントをインストールします。

   # cd /var/lib/pcp/pmdas/mssql
   # ./Install
   Updating the Performance Metrics Name Space (PMNS) ...
   Terminate PMDA if already installed ...
   Updating the PMCD control file, and notifying PMCD ...
   Check mssql metrics have appeared ... 168 metrics and 598 values
   [...]

   検証

   • pcp コマンドを使用して、SQL Server PMDA (mssql) が読み込まれて実行されていることを確認します。

     $ pcp
     Performance Co-Pilot configuration on rhel.local:
     platform: Linux rhel.local 4.18.0-167.el8.x86_64 #1 SMP Sun Dec 15 01:24:23 UTC 2019 x86_64
      hardware: 2 cpus, 1 disk, 1 node, 2770MB RAM
      timezone: PDT+7
      services: pmcd pmproxy
          pmcd: Version 5.0.2-1, 12 agents, 4 clients
          pmda: root pmcd proc pmproxy xfs linux nfsclient mmv kvm mssql
                jbd2 dm
      pmlogger: primary logger: /var/log/pcp/pmlogger/rhel.local/20200326.16.31
         pmie: primary engine: /var/log/pcp/pmie/rhel.local/pmie.log

   • PCP が SQL Server から収集できるメトリックの完全なリストを表示します。

     # pminfo mssql

   • メトリックのリストを表示した後は、トランザクションのレートを報告できます。たとえば、5 秒間の時間枠で、1 秒あたりの全体的なトランザクション数を報告するには、以下のコマンドを実行します。

     # pmval -t 1 -T 5 mssql.databases.transactions

   • pmchart コマンドを使用して、システムでこれらのメトリックのグラフィックチャートを表示します。詳細は、PCP Charts アプリケーションを使用した PCP ログアーカイブの視覚的なトレース およびシステム上の pcp(1)、pminfo(1)、pmval(1)、pmchart(1)、および pmdamssql(1) man ページを参照してください。

手順

1. 以下のパッケージをインストールします。

   # dnf install grafana grafana-pcp

2. grafana-server を再起動して有効にします。

   # systemctl restart grafana-server
   # systemctl enable grafana-server

3. Grafana サービスへのネットワークトラフィック用にサーバーのファイアウォールを開きます。

   # firewall-cmd --permanent --add-service=grafana
   success
   # firewall-cmd --reload
   success

手順

1. valkey パッケージをインストールします。

   # dnf install valkey

2. pmproxy および valkey サービスを起動して有効にします。

   # systemctl start pmproxy valkey
   # systemctl enable pmproxy valkey

3. grafana-server を再起動します。

   # systemctl restart grafana-server

手順

1. クライアントシステムで http://192.0.2.0:3000 リンクを使用してブラウザーを開き、ポート 3000 の grafana-server にアクセスします。

   リモートマシンから Grafana Web UI にアクセスする場合は 192.0.2.0 を自分のマシンの IP に置き換え、ローカルで Web UI にアクセスする場合は localhost に置き換えます。

2. 初回ログイン時は、Email または username、および username の 2 つのフィールドに admin と入力します。
3. Grafana は、新しいパスワード を設定してセキュアなアカウントを作成するようにプロンプトを表示します。後で設定する場合は、Skip をクリックします。
4. 左上のハンバーガーアイコン (☰) から、Administration > Plugins をクリックします。
5. プラグイン タブで、Search by name or type テキストボックスに performance co-pilot と入力し、Performance Co-Pilot (PCP) プラグインをクリックします。
6. Plugins / Performance Co-Pilot ペインで、Enable をクリックします。

7. Grafana アイコンをクリックします。Grafana Home ページ が表示されます。

   図8.1 Home ダッシュボード

   
   注記

   画面上部の隅には同様の Settings アイコンがありますが、これは一般的な ダッシュボード設定 を制御します。

8. Grafana Home ページで、Add your first data source をクリックして Valkey、PCP bpftrace、PCP Vector データソースを追加します。

   • PCP valkey データソースを追加するには、デフォルトのダッシュボードを表示し、パネルとアラートルールを作成します。詳細は、PCP valkey データソースでのパネルおよびアラートの作成 を参照してください。
   • pcp bpftrace データソースを追加してデフォルトのダッシュボードを表示するには、PCP bpftrace システム分析ダッシュボードの表示 を参照してください。
   • pcp vector データソースを追加するには、デフォルトのダッシュボードを表示します。Vector Checklist を表示するには、PCP Vector Checklist の表示 を参照してください。

9. オプション: メニューから、admin プロファイルアイコンにカーソルを合わせ、Edit Profile、Change Password などの Preferences を変更するか、Sign out を選択します。

   詳細は、システム上の grafana-cli および grafana-server man ページを参照してください。

手順

1. root ユーザーとして /etc/valkey/valkey.conf ファイルを開き、次のプロパティーを反映するように TLS/SSL オプションを調整します。

   port 0
   tls-port 6379
   tls-cert-file /etc/valkey/valkey.crt
   tls-key-file /etc/valkey/valkey.key
   tls-client-key-file /etc/valkey/client.key
   tls-client-cert-file /etc/valkey/client.crt
   tls-ca-cert-file /etc/valkey/ca.crt

2. valkey が TLS 証明書にアクセスできることを確認します。

   # su valkey -s /bin/bash -c \
     'ls -1 /etc/valkey/ca.crt /etc/valkey/valkey.key /etc/valkey/valkey.crt'
   /etc/valkey/ca.crt
   /etc/valkey/valkey.crt
   /etc/valkey/valkey.key

3. valkey サーバーを再起動して、設定の変更を適用します。

   # systemctl restart valkey

手順

1. Grafana Web UI にログインします。
2. Grafana Home ページで、Add your first data source をクリックします。
3. Add data source ペインで、Filter by name or type テキストボックスに valkey と入力し、Valkey をクリックします。

4. Data Sources / Valkey ペインで、次の操作を実行します。

   1. URL フィールドに http://localhost:44322 を追加し、Save & Test をクリックします。

   2. Dashboards タブ > Import > Valkey: Host Overview をクリックすると、有用なメトリクスの概要が含まれるダッシュボードが表示されます。

      図8.2 Valkey: ホストの概要

      

5. 新しいパネルを追加します。

   1. メニューで、Create アイコン > Dashboard > Add new panel の順にカーソルを合わせ、パネルを追加します。
   2. Query タブで、選択した default オプションではなく、クエリーリストから Valkey を選択し、A のテキストフィールドで kernel.all.load などのメトリクスを入力して、カーネル負荷グラフを表示します。
   3. 必要に応じて、Panel title と Description を追加し、Settings から他のオプションを更新します。
   4. Save をクリックして変更を適用し、ダッシュボードを保存します。Dashboard name を追加します。

   5. Apply をクリックして変更を適用し、ダッシュボードに戻ります。

      図8.3 Valkey クエリーパネル

      

6. アラートルールを作成します。

   1. Valkey クエリーパネルで、Alert をクリックし、Create Alert をクリックします。
   2. Rule の Name、Evaluate query、および For フィールドを編集して、アラートの Conditions を指定します。

   3. Save をクリックして変更を適用し、ダッシュボードを保存します。Apply をクリックして変更を適用し、ダッシュボードに戻ります。

      図8.4 Valkey パネルでアラートを作成する

      
   4. 必要に応じて、同じパネルでスクロールダウンし、Delete アイコンをクリックして作成したルールを削除します。
   5. オプション: メニューで Alerting アイコンをクリックし、作成されたアラートルールをさまざまなアラートステータスで表示したり、アラートルールを編集したり、Alert Rules タブから既存のルールを一時停止したりできます。作成したアラートルールに通知チャネルを追加して Grafana からアラート通知を受信するには、アラートの通知チャネルの追加 を参照してください。

手順

1. メニューから、Alerting アイコンにカーソルを合わせ、Notification channels > Add channel をクリックします。

2. Add notification channel details ペインで、以下を実行します。

   1. Name テキストボックスに名前を入力します。
   2. 通信 Type (例: Email) を選択し、メールアドレスを入力します。区切り文字 ; を使用して複数のメールアドレスを追加できます。
   3. オプション: Configure Optional Email と Notification を設定します。
3. Save をクリックします。

4. アラートルールで通知チャネルを選択します。

   1. メニューから、Alerting アイコンにカーソルを合わせ、Alert rules をクリックします。
   2. Alert Rules タブで、作成されたアラートルールをクリックします。
   3. Notifications タブで Send to オプションから通知チャネル名を選択し、アラートメッセージを追加します。
5. Apply をクリックします。

手順

1. scram-sha-256 認証メカニズムの SASL フレームワークをインストールします。

   # dnf install cyrus-sasl-scram cyrus-sasl-lib

2. pmcd.conf ファイルに、サポートされている認証メカニズムとユーザーデータベースのパスを指定します。

   # vi /etc/sasl2/pmcd.conf
   mech_list: scram-sha-256
   sasldb_path: /etc/pcp/passwd.db

3. 新しいユーザーを作成します。

   # useradd -r metrics

   metrics をユーザー名に置き換えます。

4. 作成したユーザーをユーザーデータベースに追加します。

   # saslpasswd2 -a pmcd metrics
   Password:
   Again (for verification):

   作成したユーザーを追加するには、metrics アカウントのパスワードを入力する必要があります。

5. ユーザーデータベースのパーミッションを設定します。

   # chown root:pcp /etc/pcp/passwd.db
   # chmod 640 /etc/pcp/passwd.db

6. pmcd サービスを再起動します。

   # systemctl restart pmcd

手順

1. pcp-pmda-bpftrace パッケージをインストールします。

   # dnf install pcp-pmda-bpftrace

2. bpftrace.conf ファイルを編集し、「PCP コンポーネント間の認証の設定」で作成したユーザーを追加します。

   # vi /var/lib/pcp/pmdas/bpftrace/bpftrace.conf
   [dynamic_scripts]
   enabled = true
   auth_enabled = true
   allowed_users = root,metrics

   metrics をユーザー名に置き換えます。

3. bpftrace PMDA をインストールします。

   # cd /var/lib/pcp/pmdas/bpftrace/
   # ./Install
   Updating the Performance Metrics Name Space (PMNS) ...
   Terminate PMDA if already installed ...
   Updating the PMCD control file, and notifying PMCD …
   Check bpftrace metrics have appeared ... 7 metrics and 6 values

   pmda-bpftrace がインストールされたため、ユーザーの認証後にのみ使用できるようになりました。詳細は PCP bpftrace システム分析ダッシュボードの表示 を参照してください。

手順

1. Grafana web UI にログインします。
2. Grafana Home ページで、Add your first data source をクリックします。
3. Add data source ペインで、Filter by name or type テキストボックスに bpftrace と入力し、PCP bpftrace をクリックします。

4. Data Sources / PCP bpftrace ペインで、以下を実行します。

   1. URL フィールドに http://localhost:44322 を追加します。
   2. Basic Auth オプションを切り替えて、作成されたユーザーの認証情報を、User フィールドおよび Password フィールドに追加します。

   3. Save & Test をクリックします。

      図8.5 データソースへの PCP bpftrace の追加

      

   4. Dashboards タブ > Import > PCP bpftrace: System Analysis をクリックし、有用なメトリクスの概要を含むダッシュボードを表示します。

      図8.6 PCP bpftrace: システム分析

      

手順

1. Grafana web UI にログインします。
2. Grafana Home ページで、Add your first data source をクリックします。
3. Add data source ペインで、Filter by name or type テキストボックスに vector と入力してから PCP Vector をクリックします。

4. Data Sources / PCP Vector ペインで、以下を実行します。

   1. URL フィールドに http://localhost:44322 を追加し、Save & Test をクリックします。

   2. Dashboards タブ > Import * PCP Vector: Host Overview をクリックして、有用なメトリックの概要を含むダッシュボードを表示します。

      図8.7 PCP Vector: ホストの概要

      

5. メニューで Performance Co-Pilot プラグインにカーソルを合わせ、PCP Vector チェックリストをクリックします。

   PCP チェックリストで、ヘルプまたは警告アイコをクリックし、関連するトラブルシューティングまたは参照リンクを表示します。

   図8.8 Performance Co-Pilot / PCP Vector チェックリスト

   

手順

1. Dashboards tab タブにカーソルを合わせて、+ New dashboard をクリックします。
2. Add panel メニューで、Add a new panel をクリックします。

3. Query タブで以下を実行します。

   1. 選択中のデフォルトオプションの代わりに、クエリーリストから Valkey を選択します。
   2. A のテキストフィールドに、カーネル負荷グラフを可視化するためのメトリクス (例: kernel.all.load) を入力します。
4. 可視化ドロップダウンメニュー (デフォルトで Time series に設定されています) をクリックし、Heatmap をクリックします。
5. オプション: Panel Options ドロップダウンメニューで、Panel Title と Description を追加します。

6. Heatmap ドロップダウンメニューの Calculate from data 設定で、Yes をクリックします。

   図8.9 ヒートマップ

   
7. オプション: Colors ドロップダウンメニューで、Scheme をデフォルトの Orange から変更し、ステップ数 (色の濃淡) を選択します。

8. オプション: Tooltip ドロップダウンメニューの Show histogram (Y Axis) 設定で、トグルをクリックすると、ヒートマップ内のセルの上にカーソルを置いたときに、特定のヒストグラム内でのセルの位置が表示されます。以下に例を示します。

   

手順

1. Grafana 関連の SELinux ブール値をすべて表示します。

   # semanage boolean -l | grep grafana

2. SELinux ブール値を有効にします。

   # setsebool [-P] <boolean_name> on

   • <boolean_name> は、有効にする SELinux ブール値の名前に置き換えます。
   • -P オプションを使用すると、システムの再起動後も変更が維持されます。

3. オプション: SELinux オプションをオフにします。

   # setsebool [-P] <boolean_name> off

手順

1. どのドライバーがどのモードでロードされているかを表示します。

   # cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_driver

   • Intel P-State ドライバーがロードされ、アクティブモードになっている場合は intel_pstate が返されます。
   • Intel P-State ドライバーがロードされ、パッシブモードになっている場合は、intel_cpufreq が返されます。
   • ACPI CPUfreq ドライバーがロードされている場合は、acpi-cpufreq が返されます。

2. Intel P-State ドライバーの使用中に、以下を実行します。

   1. ドライバーをパッシブモードで強制的に実行するには、カーネルブートコマンドラインに次の引数を追加します。

      intel_pstate=passive

   2. Intel P-State ドライバーを無効にして ACPI CPUfreq ドライバーを使用するには、カーネルブートコマンドラインに次の引数を追加します。

      intel_pstate=disable

手順

1. デバッグするアプリケーションまたはライブラリーに割り当てられた GDB を起動します。GDB は、足りないデバッグ情報を自動的に認識し、実行するコマンドを提案します。

   $ gdb -q /bin/ls
   Reading symbols from /bin/ls...Reading symbols from .gnu_debugdata for /usr/bin/ls...(no debugging symbols found)...done.
   (no debugging symbols found)...done.
   Missing separate debuginfos, use: dnf debuginfo-install coreutils-9.5-6.el10.x86_64
   (gdb)

2. GDB を終了するには、q と入力して Enter で確定します。

   (gdb) q

3. GDB が提案するコマンドを実行して、必要な debuginfo パッケージをインストールします。

   # dnf debuginfo-install coreutils-9.5-6.el10.x86_64

   dnf パッケージ管理ツールにより、変更の概要が表示され、確認を求められます。確認すると、必要なファイルがすべてダウンロードされてインストールされます。GDB が debuginfo パッケージを提案できない場合は、手動でのアプリケーションまたはライブラリーの debuginfo パッケージの取得 で説明されている手順に従ってください。

手順

1. さらに調査する予定のパフォーマンスデータを取得します。

   # perf record -a --call-graph fp sleep <seconds>

   この例では、sleep コマンドで指定した seconds 秒間、システム全体の perf.data を生成します。また、フレームポインターメソッドを使用してコールグラフデータを取得します。

2. 記録されたデータのデバッグシンボルを含むアーカイブファイルを生成します。

   # perf archive

手順

1. perf.data ファイルとアーカイブファイルの両方を現在のアクティブなディレクトリーにコピーします。

2. アーカイブファイルを ~/.debug に展開します。

   # mkdir -p ~/.debug
   # tar xf perf.data.tar.bz2 -C ~/.debug

   注記

   アーカイブファイルの名前は perf.data.tar.gz になることもあります。

3. perf.data ファイルを開いて詳細な分析を行います。

   # perf report

手順

1. 特定の CPU のパフォーマンスデータを記録します。

   特定の CPU をターゲットにするには、perf record で -C オプションを使用します。次の例は、個々の CPU または範囲を指定する方法を示しています。

   • 選択した CPU (コンマ区切り) からデータをサンプリングするには、次のコマンドを実行します。

     # perf record -C 0,1 sleep <seconds>

     このコマンドは、指定した秒数にわたって CPU 0 と 1 からパフォーマンスデータをサンプリングして記録します。

   • CPU の範囲からデータをサンプリングするには、次のコマンドを実行します。

     # perf record -C 0-2 sleep <seconds>

     このコマンドは、指定した期間にわたって CPU 0、1、および 2 からパフォーマンスデータをサンプリングして記録します。

2. 記録されたパフォーマンスデータを分析します。

   perf report コマンドを使用して、perf.data ファイルを読み取って分析します。

   # perf report

   このコマンドは、perf.data ファイルの内容を表示します。

   注記

   各サンプルがどの CPU で記録されたかを確認するには、「perf report を使用してサンプルがどの CPU で取得されたかを表示する」を参照してください。

手順

1. uprobe を配置できる関数の行を表示します。

   $ perf probe -x ./your_executable -L main

2. このコマンドの出力は、以下のようになります。

   <main@/home/user/my_executable:0>
                 0  int main(int argc, const char *argv) 1 { int err; const char *cmd; char sbuf[STRERR_BUFSIZE]; / libsubcmd init */
                 7         exec_cmd_init("perf", PREFIX, PERF_EXEC_PATH, EXEC_PATH_ENVIRONMENT);
   8         pager_init(PERF_PAGER_ENVIRONMENT);

3. 必要な関数の行の uprobe を作成します。

   # perf probe -x ./my_executable main:8
   Added new event:
             probe_my_executable:main_L8   (on main:8 in /home/user/my_executable)
   
   you can now use it in all perf tools, such as:
   
   Perf record -e probe_my_executable:main_L8 -aR sleep 1

手順

1. メモリーアクセスをサンプリングします。

   # perf mem record -a sleep <seconds>

   このコマンドは、sleep コマンドで指定した <seconds> 秒間、すべての CPU のメモリーアクセスをサンプリングします。sleep コマンドは、メモリーアクセスデータをサンプルしたいコマンドに置き換えることができます。デフォルトでは、perf mem は、メモリーロードおよびストアの両方をサンプルします。-t オプションを使用し、perf mem と record の間に load または store のいずれかを指定することにより、メモリー操作を 1 つだけ選択できます。ロードすると、メモリー階層レベルに関する情報、TLB メモリーアクセス、バススヌーピング、およびメモリーロックがキャプチャーされます。

2. 分析用に perf.data ファイルを開きます。

   # perf mem report

   上記のコマンド例を使用すると、以下のような出力になります。

   Available samples
   35k cpu/mem-loads,ldlat=30/P
   54k cpu/mem-stores/P

   cpu/mem-loads,ldlat=30/P の行は、メモリーロードで収集されるデータを示し、cpu/mem-stores/P の行はメモリーストアで収集されるデータを示します。対象のカテゴリーを強調表示し、Enter を押してデータを表示します。

   Samples: 35K of event 'cpu/mem-loads,ldlat=30/P', Event count (approx.): 4067062
   Overhead       Samples  Local Weight  Memory access             Symbol                                                                 Shared Object                 Data Symbol                                                     Data Object                            Snoop         TLB access              Locked
      0.07%            29  98            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.06%            26  97            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.06%            25  96            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.06%             1  2325          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e9084                                          [kernel.kallsyms]                      None          L1 or L2 hit            No
      0.06%             1  2247          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e8164                                          [kernel.kallsyms]                      None          L1 or L2 hit            No
      0.05%             1  2166          L1 or L1 hit              [.] 0x00000000038140d6                                                 libxul.so                     [.] 0x00007ffd7b84b4a8                                          [stack]                                None          L1 or L2 hit            No
      0.05%             1  2117          Uncached or N/A hit       [k] check_for_unclaimed_mmio                                           [kernel.kallsyms]             [k] 0xffffb092c1842300                                          [kernel.kallsyms]                      None          L1 or L2 hit            No
      0.05%            22  95            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.05%             1  1898          L1 or L1 hit              [.] 0x0000000002a30e07                                                 libxul.so                     [.] 0x00007f610422e0e0                                          anon                                   None          L1 or L2 hit            No
      0.05%             1  1878          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e8164                                          [kernel.kallsyms]                      None          L2 miss                 No
      0.04%            18  94            L1 or L1 hit              [.] 0x000000000000a255                                                 libspeexdsp.so.1.5.0          [.] 0x00007f697a3cd0f0                                          anon                                   None          L1 or L2 hit            No
      0.04%             1  1593          Local RAM or RAM hit      [.] 0x00000000026f907d                                                 libxul.so                     [.] 0x00007f3336d50a80                                          anon                                   Hit           L2 miss                 No
      0.03%             1  1399          L1 or L1 hit              [.] 0x00000000037cb5f1                                                 libxul.so                     [.] 0x00007fbe81ef5d78                                          libxul.so                              None          L1 or L2 hit            No
      0.03%             1  1229          LFB or LFB hit            [.] 0x0000000002962aad                                                 libxul.so                     [.] 0x00007fb6f1be2b28                                          anon                                   None          L2 miss                 No
      0.03%             1  1202          LFB or LFB hit            [.] __pthread_mutex_lock                                               libpthread-2.29.so            [.] 0x00007fb75583ef20                                          anon                                   None          L1 or L2 hit            No
      0.03%             1  1193          Uncached or N/A hit       [k] pci_azx_readl                                                      [kernel.kallsyms]             [k] 0xffffb092c06e9164                                          [kernel.kallsyms]                      None          L2 miss                 No
   0.03%             1  1191          L1 or L1 hit              [k] azx_get_delay_from_lpib                                            [kernel.kallsyms]             [k] 0xffffb092ca7efcf0                                          [kernel.kallsyms]                      None          L1 or L2 hit            No

3. オプション: データを表示するときに、結果を並べ替えて、関心のあるさまざまな側面を調査します。たとえば、サンプリング期間中に発生したメモリーアクセスの種類ごとに、主な原因となるオーバーヘッドの降順で、メモリー負荷でデータを分類するには、以下を行います。

   # perf mem -t load report --sort=mem

   たとえば、以下のような出力になります。

   Samples: 35K of event 'cpu/mem-loads,ldlat=30/P', Event count (approx.): 40670
   Overhead       Samples  Memory access
     31.53%          9725  LFB or LFB hit
     29.70%         12201  L1 or L1 hit
     23.03%          9725  L3 or L3 hit
     12.91%          2316  Local RAM or RAM hit
      2.37%           743  L2 or L2 hit
      0.34%             9  Uncached or N/A hit
      0.10%            69  I/O or N/A hit
      0.02%           825  L3 miss

手順

1. 分析用に perf.data ファイルを開きます。

   # perf c2c report --stdio

   このコマンドは、perf.data ファイルを端末内の複数のグラフに可視化します。

   =================================================
              Trace Event Information
   =================================================
    Total records                     :     329219
    Locked Load/Store Operations      :      14654
    Load Operations                   :      69679
    Loads - uncacheable               :          0
    Loads - IO                        :          0
    Loads - Miss                      :       3972
    Loads - no mapping                :          0
    Load Fill Buffer Hit              :      11958
    Load L1D hit                      :      17235
    Load L2D hit                      :         21
    Load LLC hit                      :      14219
    Load Local HITM                   :       3402
    Load Remote HITM                  :      12757
    Load Remote HIT                   :       5295
    Load Local DRAM                   :        976
    Load Remote DRAM                  :       3246
    Load MESI State Exclusive         :       4222
    Load MESI State Shared            :          0
    Load LLC Misses                   :      22274
    LLC Misses to Local DRAM          :        4.4%
    LLC Misses to Remote DRAM         :       14.6%
    LLC Misses to Remote cache (HIT)  :       23.8%
    LLC Misses to Remote cache (HITM) :       57.3%
    Store Operations                  :     259539
    Store - uncacheable               :          0
    Store - no mapping                :         11
    Store L1D Hit                     :     256696
    Store L1D Miss                    :       2832
    No Page Map Rejects               :       2376
    Unable to parse data source       :          1
   
   =================================================
      Global Shared Cache Line Event Information
   =================================================
    Total Shared Cache Lines          :         55
    Load HITs on shared lines         :      55454
    Fill Buffer Hits on shared lines  :      10635
    L1D hits on shared lines          :      16415
    L2D hits on shared lines          :          0
    LLC hits on shared lines          :       8501
    Locked Access on shared lines     :      14351
    Store HITs on shared lines        :     109953
    Store L1D hits on shared lines    :     109449
    Total Merged records              :     126112
   
   =================================================
                    c2c details
   =================================================
    Events                            : cpu/mem-loads,ldlat=30/P
   	                                    : cpu/mem-stores/P
    Cachelines sort on                : Remote HITMs
    Cacheline data grouping          : offset,pid,iaddr
   
   =================================================
   	   Shared Data Cache Line Table
   =================================================
   #
   #                              Total      Rmt  ----- LLC Load Hitm -----  ---- Store Reference ----  --- Load Dram ----      LLC    Total  ----- Core Load Hit -----  -- LLC Load Hit --
   # Index           Cacheline  records     Hitm    Total      Lcl      Rmt    Total    L1Hit   L1Miss       Lcl       Rmt  Ld Miss    Loads       FB       L1       L2       Llc       Rmt
   # .....  ..................  .......  .......  .......  .......  .......  .......  .......  .......  ........  ........  .......  .......  .......  .......  .......  ........  ........
   #
         0            0x602180   149904   77.09%    12103     2269     9834   109504   109036      468       727      2657    13747    40400     5355    16154        0      2875       529
         1            0x602100    12128   22.20%     3951     1119     2832        0        0        0        65       200     3749    12128     5096      108        0      2056       652
         2  0xffff883ffb6a7e80      260    0.09%       15        3       12      161      161        0         1         1       15       99       25       50        0         6         1
         3  0xffffffff81aec000      157    0.07%        9        0        9        1        0        1         0         7       20      156       50       59        0        27         4
         4  0xffffffff81e3f540      179    0.06%        9        1        8      117       97       20         0        10       25       62       11        1        0        24         7
   
   =================================================
         Shared Cache Line Distribution Pareto
   =================================================
   #
   #        ----- HITM -----  -- Store Refs --        Data address                               ---------- cycles ----------       cpu                                     Shared
   #   Num      Rmt      Lcl   L1 Hit  L1 Miss              Offset      Pid        Code address  rmt hitm  lcl hitm      load       cnt               Symbol                Object                  Source:Line  Node{cpu list}
   # .....  .......  .......  .......  .......  ..................  .......  ..................  ........  ........  ........  ........  ...................  ....................  ...........................  ....
   #
     -------------------------------------------------------------
         0     9834     2269   109036      468            0x602180
     -------------------------------------------------------------
             65.51%   55.88%   75.20%    0.00%                 0x0    14604            0x400b4f     27161     26039     26017         9  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:144   0{0-1,4}  1{24-25,120}  2{48,54}  3{169}
   	   0.41%    0.35%    0.00%    0.00%                 0x0    14604            0x400b56     18088     12601     26671         9  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:145   0{0-1,4}  1{24-25,120}  2{48,54}  3{169}
   	   0.00%    0.00%   24.80%  100.00%                 0x0    14604            0x400b61         0         0         0         9  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:145   0{0-1,4}  1{24-25,120}  2{48,54}  3{169}
   	   7.50%    9.92%    0.00%    0.00%                0x20    14604            0x400ba7      2470      1729      1897         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:154   1{122}  2{144}
   	  17.61%   20.89%    0.00%    0.00%                0x28    14604            0x400bc1      2294      1575      1649         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:158   2{53}  3{170}
   	   8.97%   12.96%    0.00%    0.00%                0x30    14604            0x400bdb      2325      1897      1828         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:162   0{96}  3{171}
   
     -------------------------------------------------------------
         1     2832     1119        0        0            0x602100
     -------------------------------------------------------------
   	  29.13%   36.19%    0.00%    0.00%                0x20    14604            0x400bb3      1964      1230      1788         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:155   1{122}  2{144}
   	  43.68%   34.41%    0.00%    0.00%                0x28    14604            0x400bcd      2274      1566      1793         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:159   2{53}  3{170}
   27.19%   29.40%    0.00%    0.00%                0x30    14604            0x400be7      2045      1247      2011         2  [.] read_write_func  no_false_sharing.exe  false_sharing_example.c:163   0{96}  3{171}

手順

1. perf.data ファイルを開きます。

   # perf c2c report --stdio

   これにより、端末で perf.data ファイルが開きます。

2. Trace Event Information の表で、LLC Misses to Remote Cache (HITM) の値を含む行を見つけます。

   LLC Misses to Remote Cache (HITM) 行の値列のパーセンテージは、変更されたキャッシュラインにおいて NUMA ノード全体で発生していた LLC ミスのパーセンテージを表すものであり、偽共有が発生したことを示す重要な指標です。

   =================================================
               Trace Event Information
   =================================================
     Total records                     :     329219
     Locked Load/Store Operations      :      14654
     Load Operations                   :      69679
     Loads - uncacheable               :          0
     Loads - IO                        :          0
     Loads - Miss                      :       3972
     Loads - no mapping                :          0
     Load Fill Buffer Hit              :      11958
     Load L1D hit                      :      17235
     Load L2D hit                      :         21
     Load LLC hit                      :      14219
     Load Local HITM                   :       3402
     Load Remote HITM                  :      12757
     Load Remote HIT                   :       5295
     Load Local DRAM                   :        976
     Load Remote DRAM                  :       3246
     Load MESI State Exclusive         :       4222
     Load MESI State Shared            :          0
     Load LLC Misses                   :      22274
     LLC Misses to Local DRAM          :        4.4%
     LLC Misses to Remote DRAM         :       14.6%
     LLC Misses to Remote cache (HIT)  :       23.8%
     LLC Misses to Remote cache (HITM) : 57.3%
     Store Operations                  :     259539
     Store - uncacheable               :          0
     Store - no mapping                :         11
     Store L1D Hit                     :     256696
     Store L1D Miss                    :       2832
     No Page Map Rejects               :       2376
     Unable to parse data source       :          1

3. Shared Data Cache Line Table の LLC Load Hitm フィールドの Rmt 列を確認します。

   =================================================
                Shared Data Cache Line Table
   =================================================
     #
     #                              Total      Rmt  ----- LLC Load Hitm -----  ---- Store Reference ----  --- Load Dram ----      LLC    Total  ----- Core Load Hit -----  -- LLC Load Hit --
     # Index           Cacheline  records     Hitm    Total      Lcl      Rmt    Total    L1Hit   L1Miss       Lcl       Rmt  Ld Miss    Loads       FB       L1       L2       Llc       Rmt
     # .....  ..................  .......  .......  .......  .......  .......  .......  .......  .......  ........  ........  .......  .......  .......  .......  .......  ........  ........
     #
           0            0x602180   149904   77.09%    12103     2269     9834   109504   109036      468       727      2657    13747    40400     5355    16154        0      2875       529
           1            0x602100    12128   22.20%     3951     1119     2832        0        0        0        65       200     3749    12128     5096      108        0      2056       652
           2  0xffff883ffb6a7e80      260    0.09%       15        3       12      161      161        0         1         1       15       99       25       50        0         6         1
           3  0xffffffff81aec000      157    0.07%        9        0        9        1        0        1         0         7       20      156       50       59        0        27         4
           4  0xffffffff81e3f540      179    0.06%        9        1        8      117       97       20         0        10       25       62       11        1        0        24         7

   この表は、キャッシュラインごとに検出されたリモート Hitm の量が多い順に並べ替えられます。LLC Load Hitm セクションの Rmt 列の数値が大きい場合は、偽共有を示しており、偽共有アクティビティーをデバッグするには、それが発生したキャッシュラインをさらに検査する必要があります。

手順

1. 制御パイプインターフェイスを設定します。

   # mkfifo control ack perf.pipe

2. コントロールファイル設定と、有効にするイベントで perf record を実行します。

   # perf record --control=fifo:control,ack -D -1 --no-buffering -e 'sched:*' -o - > perf.pipe

   この例では、-e オプションの後に 'sched:*' を宣言すると、スケジューラーイベントで perf record が開始されます。

3. 2 つ目の端末で、制御パイプの読み取り側を起動します。

   # cat perf.pipe | perf --no-pager script -i -

4. コントロールパイプの読み取り側を起動すると、最初の端末で以下のメッセージがトリガーされます。

   Events disabled

5. 3 番目のターミナルで、制御ファイルを使用してトレースポイントを有効にします。

   # echo 'enable sched:sched_process_fork' > control

   このコマンドは perf をトリガーし、宣言されたイベントについて制御ファイル内の現在のイベントリストをスキャンします。イベントが存在する場合は、トレースポイントが有効になり、次のメッセージが最初の端末に表示されます。

   event sched:sched_process_fork enabled

6. トレースポイントを有効にすると、2 番目のターミナルにトレースポイントを検出した perf からの出力が表示されます。

   bash 33349 [034] 149587.674295: sched:sched_process_fork: comm=bash pid=33349 child_comm=bash child_pid=34056

手順

1. RHEL 10 Web コンソールにログインします。
2. Overview をクリックします。

3. Configuration セクションで、現在のパフォーマンスプロファイルをクリックします。

   

4. Change performance profile ダイアログボックスで、必要なプロファイルを設定します。
5. Change profile をクリックします。

手順

1. RHEL 10 Web コンソールにログインします。
2. Overview をクリックします。

3. Usage セクションで、View metrics and history をクリックします。

   

   Metrics and history セクションが開きます。現在のシステム設定と使用状況: ユーザーが指定した時間間隔で、グラフ形式のパフォーマンスメトリクスが表示されます。

手順

1. RHEL 10 Web コンソールにログインします。
2. Overview ページで、Usage テーブルの View metrics and history をクリックします。
3. Metrics settings ボタンをクリックします。

4. Export to network スライダーをアクティブな位置に移動します。

   valkey パッケージがインストールされていない場合は、Web コンソールでインストールするように求められます。

5. pmproxy サービスを開くには、ドロップダウンリストからゾーンを選択し、Add pmproxy ボタンをクリックします。
6. Save をクリックします。

検証

1. Networking をクリックします。
2. Firewall テーブルで、Edit rules and zones ボタンをクリックします。

3. 選択したゾーンで pmproxy を検索します。

   重要

   パフォーマンスを監視するすべてのシステムでこの手順を繰り返してください。

手順

1. 1 つのターミナルで execsnoop プログラムを実行します。

   # /usr/share/bcc/tools/execsnoop

2. ls コマンドの短期的なプロセスを作成するために、別のターミナルで次のように入力します。

   $ ls /usr/share/bcc/tools/doc/

   execsnoop を実行している端末に、次のような出力が表示されます。

   PCOMM	PID    PPID   RET ARGS
   ls   	8382   8287     0 /usr/bin/ls --color=auto /usr/share/bcc/tools/doc/

   execsnoop プログラムは、システムリソースを消費する新しいプロセスごとに 1 つの行を出力します。また、ls などの非常に短期間に実行されるプログラムのプロセスを検出します。なお、ほとんどの監視ツールはそれらを登録しません。execsnoop 出力には以下のフィールドが表示されます。

   PCOMM

   親プロセス名。(ls)

   PID

   プロセス ID。(8382)

   PPID

   親プロセス ID。(8287)

   RET

   新しいプロセスにプログラムコードをロードする exec() システムコールの戻り値 (0)。

   ARGS

   引数を使用して起動したプログラムの場所。

   詳細は、システム上の /usr/share/bcc/tools/doc/execsnoop_example.txt ファイルと exec(3) man ページを参照してください。

手順

1. 1 つのターミナルで opensnoop プログラムを実行し、uname コマンドのプロセスによってのみ開かれたファイルを出力します。

   # /usr/share/bcc/tools/opensnoop -n uname

2. 別のターミナルで、特定のファイルを開くコマンドを入力します。

   $ uname
   The terminal running opensnoop shows the output similar to the following:
   PID    COMM 	FD ERR PATH
   8596   uname 	3  0   /etc/ld.so.cache
   8596   uname 	3  0   /lib64/libc.so.6
   8596   uname 	3  0   /usr/lib/locale/locale-archive
   ...

   opensnoop プログラムは、システム全体の open() システムコールを監視し、その過程で uname が開こうとしたファイルごとに行を出力します。opensnoop の出力には次のフィールドが表示されます。

   PID

   プロセス ID。(8596)

   COMM

   プロセス名。(uname)

   FD

   ファイル記述子 - 開いているファイルを参照するために open() が返す値。(3)

   ERR

   すべてのエラー。

   PATH

   open() が開こうとしたファイルの場所。

   コマンドが存在しないファイルを読み取ろうとすると、FD 列に -1 が返され、ERR 列に関連するエラーに対応する値が出力されます。opensnoop を使用すると、正常に動作しないアプリケーションを特定できます。詳細は、システム上の /usr/share/bcc/tools/doc/opensnoop_example.txt ファイルと open(2) man ページを参照してください。

手順

1. 1 つのターミナルで、引数として 30 を指定して biotop プログラムを実行し、30 秒のサマリーを生成します。

   # /usr/share/bcc/tools/biotop 30

   引数を指定しない場合、出力画面がデフォルトで 1 秒ごとに更新されます。

2. 別のターミナルで、次のコマンドを入力して、ローカルハードディスクデバイスからコンテンツを読み取り、出力を /dev/zero ファイルに書き込みます。

   # dd if=/dev/vda of=/dev/zero

   このステップでは、biotop の機能がわかるように、特定の I/O トラフィックを生成します。biotop を実行しているターミナルには、次のような出力が表示されます。

   PID    COMM             D MAJ MIN DISK       I/O  Kbytes     AVGms
   9568   dd               R 252 0   vda      16294 14440636.0  3.69
   48     kswapd0          W 252 0   vda       1763 120696.0    1.65
   7571   gnome-shell      R 252 0   vda        834 83612.0     0.33
   1891   gnome-shell      R 252 0   vda       1379 19792.0     0.15
   7515   Xorg             R 252 0   vda        280  9940.0     0.28
   7579   llvmpipe-1       R 252 0   vda        228  6928.0     0.19
   9515   gnome-control-c  R 252 0   vda         62  6444.0     0.43
   8112   gnome-terminal-  R 252 0   vda         67  2572.0     1.54
   7807   gnome-software   R 252 0   vda         31  2336.0     0.73
   9578   awk              R 252 0   vda         17  2228.0     0.66
   7578   llvmpipe-0       R 252 0   vda        156  2204.0     0.07
   9581   pgrep            R 252 0   vda         58  1748.0     0.42
   7531   InputThread      R 252 0   vda         30  1200.0     0.48
   7504   gdbus            R 252 0   vda          3  1164.0     0.30
   1983   llvmpipe-1       R 252 0   vda         39   724.0     0.08
   1982   llvmpipe-0       R 252 0   vda         36   652.0     0.06
   ...

   biotop 出力には、以下のフィールドが表示されます。

   PID

   プロセス ID。(9568)

   COMM

   プロセス名。(dd)

   DISK

   読み取り操作を実行するディスク。(vda)

   I/O

   実行された読み取り操作の数。(16294)

   Kbytes

   読み取り操作によって読み取られたキロバイト数。(14,440,636)

   AVGms

   読み取り操作の平均 I/O 時間。(3.69)

   詳細は、システム上の /usr/share/bcc/tools/doc/biotop_example.txt ファイルと dd(1) man ページを参照してください。

手順

1. 1 つのターミナルで xfsslower プログラムを実行します。

   # /usr/share/bcc/tools/xfsslower 1

   引数を指定しない場合、xfsslower はデフォルトで 10 ミリ秒より遅い操作を表示します。

2. 別のターミナルで、vim エディターでテキストファイルを作成するコマンドを入力して、XFS ファイルシステムとのやり取りを開始します。

   $ vim text
   The terminal running xfsslower shows something similar upon saving the file from the previous step:
   TIME     COMM           PID    T BYTES   OFF_KB   LAT(ms) FILENAME
   13:07:14 b'bash'        4754   R 256     0           7.11 b'vim'
   13:07:14 b'vim'         4754   R 832     0           4.03 b'libgpm.so.2.1.0'
   13:07:14 b'vim'         4754   R 32      20          1.04 b'libgpm.so.2.1.0'
   13:07:14 b'vim'         4754   R 1982    0           2.30 b'vimrc'
   13:07:14 b'vim'         4754   R 1393    0           2.52 b'getscriptPlugin.vim'
   13:07:45 b'vim'         4754   S 0       0           6.71 b'text'
   13:07:45 b'pool'        2588   R 16      0           5.58 b'text’
   ...

   各行は、特定のしきい値よりも時間がかかったファイルシステム内の操作を表しています。xfsslower は、操作に想定以上に時間がかかるなど、ファイルシステムで発生し得る問題を検出します。xfsslower の出力には次のフィールドが表示されます。

   COMM

   プロセス名。(b’bash')

   T

   操作の種類。(R)

   • Read
   • Write
   • Open
   • Sync

   OFF_KB

   ファイルオフセット (KB)。(0)

   FILENAME

   読み取り、書き込み、または同期されるファイル。

   詳細は、システム上の /usr/share/bcc/tools/doc/xfsslower_example.txt ファイルと fsync(2) man ページを参照してください。

手順

1. 特定のコアで動的なティックレス動作を有効にするには、nohz_full パラメーターを使用して、カーネルコマンドラインでこれらのコアを指定します。たとえば、16 コアのシステムでは、nohz_full=1-15 カーネルオプションを有効にします。

   # grubby --update-kernel=ALL --args="nohz_full=1-15"

   これにより、コア 1 から 15 までの動的なティックレス動作が有効になり、すべての時間管理が未指定のコアのみに移動します (コア 0)。

2. システムが起動したら、rcu スレッドをレイテンシーを区別しないコア (この場合は core 0) に手動で移動します。

   # for i in pgrep rcu[^c] ; do taskset -pc 0 $i ; done

3. オプション: カーネルコマンドラインで isolcpus パラメーターを使用して、特定のコアをユーザー空間タスクから分離します。

4. オプション: カーネルのライトバック bdi-flush スレッドの CPU アフィニティーをハウスキーピングコアに設定します。

   echo 1 > /sys/bus/workqueue/devices/writeback/cpumask

手順

1. 設定する割り込み要求に対応するデバイスを確認します。

2. プラットフォームのハードウェア仕様を見つけます。システムのチップセットが割り込みの分散に対応しているかどうかを確認します。

   • チップセットが分散をサポートしている場合は、次の手順に従って割り込みの配信を設定できます。また、チップセットが割り込みの分散に使用するアルゴリズムを確認してください。BIOS によっては割り込み配信を設定するオプションがあります。
   • チップセットが分散をサポートしていない場合は、チップセットは常にすべての割り込みを単一の静的 CPU にルーティングします。使用される CPU を設定することはできません。

3. システムでどの Advanced Programmable Interrupt Controller (APIC) モードが使用されているかを確認します。

   $ journalctl --dmesg | grep APIC

   • システムで flat 以外のモードが使用されている場合は、Setting APIC routing to physical flat のような行が表示されます。
   • このようなメッセージが表示されない場合は、システムが flat モードを使用します。

   • システムが x2apic モードを使用する場合は、ブートローダー設定のカーネルコマンドラインに nox2apic オプションを追加してこれを無効にできます。

     非物理フラットモード (flat) だけが、複数の CPU への割り込み分散をサポートしています。このモードは、CPU が 8 個以下のシステムでのみ使用できます。

4. smp_affinity マスクを計算します。smp_affinity マスクの計算方法の詳細は、smp_affinity マスクの設定 を参照してください。

手順

1. バイナリーで、割り込みを処理する CPU に値 1 を使用します。たとえば、CPU 0 と CPU 7 が割り込みを処理するように設定するには、バイナリーコードとして 0000000010000001 を使用します。

   Expand

   表23.1 CPU のバイナリービット

   CPU	15	14	13	12	11	10	9	8	7	6	5	4	3	2	1	0
   バイナリー	0	0	0	0	0	0	0	0	1	0	0	0	0	0	0	1

   Show more

2. バイナリーコードを 16 進数に変換します。

   たとえば、Python を使用してバイナリーコードを変換するには、次のコマンドを実行します。

   >>> hex(int('0000000010000001', 2))
   
   '0x81'

   プロセッサーが 32 個を超えるシステムでは、32 ビットグループごとに smp_affinity 値を区切る必要があります。たとえば、64 プロセッサーシステムの最初の 32 プロセッサーのみが割り込み要求を処理できるようにするには、0xffffffff,00000000 を使用します。

3. 特定の割り込み要求の割り込みアフィニティー値は、関連付けられた /proc/irq/irq_number/smp_affinity ファイルに保存されます。このファイルで smp_affinity マスクを設定します。

   # echo mask > /proc/irq/irq_number/smp_affinity