10.13. Grafana 问题故障排除

流程

• 通过执行以下命令，验证 pmlogger 服务是否已启动并正在运行：

  $ systemctl status pmlogger

  Copy to Clipboard Toggle word wrap

• 运行以下命令，验证是否在磁盘中创建或修改了文件：

  $ ls /var/log/pcp/pmlogger/$(hostname)/ -rlt
  total 4024
  -rw-r--r--. 1 pcp pcp   45996 Oct 13  2019 20191013.20.07.meta.xz
  -rw-r--r--. 1 pcp pcp     412 Oct 13  2019 20191013.20.07.index
  -rw-r--r--. 1 pcp pcp   32188 Oct 13  2019 20191013.20.07.0.xz
  -rw-r--r--. 1 pcp pcp   44756 Oct 13  2019 20191013.20.30-00.meta.xz
  [..]

  Copy to Clipboard Toggle word wrap

• 运行以下命令验证 pmproxy 服务是否正在运行：

  $ systemctl status pmproxy

  Copy to Clipboard Toggle word wrap

• 通过查看 /var/log/pcp/pmproxy/pmproxy.log 文件确定其包括一些内容来验证 pmproxy 是否正在运行、时间序列支持是否被启用以及到 Redis 的连接：

  pmproxy(1716) Info: Redis slots, command keys, schema version setup

  Copy to Clipboard Toggle word wrap

  在这里，1716 是 pmproxy 的 PID，对于每次调用 pmproxy 时，将有所不同。

• 运行以下命令，验证 Redis 数据库是否包含任何密钥：

  $ redis-cli dbsize
  (integer) 34837

  Copy to Clipboard Toggle word wrap

• 通过执行以下命令，验证 Redis 数据库和 pmproxy 中的任何 PCP 指标是否能够访问它们：

  $ pmseries disk.dev.read
  2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  
  $ pmseries "disk.dev.read[count:10]"
  2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
      [Mon Jul 26 12:21:10.085468000 2021] 117971 70e83e88d4e1857a3a31605c6d1333755f2dd17c
      [Mon Jul 26 12:21:00.087401000 2021] 117758 70e83e88d4e1857a3a31605c6d1333755f2dd17c
      [Mon Jul 26 12:20:50.085738000 2021] 116688 70e83e88d4e1857a3a31605c6d1333755f2dd17c
  [...]

  Copy to Clipboard Toggle word wrap

  $ redis-cli --scan --pattern "*$(pmseries 'disk.dev.read')"
  
  pcp:metric.name:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:values:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:desc:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:labelvalue:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:instances:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:labelflags:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df

  Copy to Clipboard Toggle word wrap

• 运行以下命令，验证 Grafana 日志中是否有错误：

  $ journalctl -e -u grafana-server
  -- Logs begin at Mon 2021-07-26 11:55:10 IST, end at Mon 2021-07-26 12:30:15 IST. --
  Jul 26 11:55:17 localhost.localdomain systemd[1]: Starting Grafana instance...
  Jul 26 11:55:17 localhost.localdomain grafana-server[1171]: t=2021-07-26T11:55:17+0530 lvl=info msg="Starting Grafana" logger=server version=7.3.6 c>
  Jul 26 11:55:17 localhost.localdomain grafana-server[1171]: t=2021-07-26T11:55:17+0530 lvl=info msg="Config loaded from" logger=settings file=/usr/s>
  Jul 26 11:55:17 localhost.localdomain grafana-server[1171]: t=2021-07-26T11:55:17+0530 lvl=info msg="Config loaded from" logger=settings file=/etc/g>
  [...]

  Copy to Clipboard Toggle word wrap