9.15. Grafana 문제 해결

절차

• 다음 명령을 실행하여 pmlogger 서비스가 실행 중인지 확인합니다.

  $ systemctl status pmlogger

• 다음 명령을 실행하여 파일이 디스크에 생성되거나 수정되었는지 확인합니다.

  $ ls /var/log/pcp/pmlogger/$(hostname)/ -rlt
  total 4024
  -rw-r--r--. 1 pcp pcp   45996 Oct 13  2019 20191013.20.07.meta.xz
  -rw-r--r--. 1 pcp pcp     412 Oct 13  2019 20191013.20.07.index
  -rw-r--r--. 1 pcp pcp   32188 Oct 13  2019 20191013.20.07.0.xz
  -rw-r--r--. 1 pcp pcp   44756 Oct 13  2019 20191013.20.30-00.meta.xz
  [..]

• 다음 명령을 실행하여 pmproxy 서비스가 실행 중인지 확인합니다.

  $ systemctl status pmproxy

• pmproxy 가 실행 중이고, 시계열 지원이 활성화되었으며 /var/log/pcp/pmproxy/pmproxy.log 파일을 보고 Redis에 대한 연결이 설정되어 있는지 확인하고 다음 텍스트가 포함되어 있는지 확인합니다.

  pmproxy(1716) Info: Redis slots, command keys, schema version setup

  여기에서 1716 은 pmproxy 의 PID이며, pmproxy를 호출할 때마다 다릅니다.

• 다음 명령을 실행하여 Redis 데이터베이스에 키가 포함되어 있는지 확인합니다.

  $ redis-cli dbsize
  (integer) 34837

• PCP 메트릭이 Redis 데이터베이스에 있고 pmproxy 가 다음 명령을 실행하여 액세스할 수 있는지 확인합니다.

  $ pmseries disk.dev.read
  2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  
  $ pmseries "disk.dev.read[count:10]"
  2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
      [Mon Jul 26 12:21:10.085468000 2021] 117971 70e83e88d4e1857a3a31605c6d1333755f2dd17c
      [Mon Jul 26 12:21:00.087401000 2021] 117758 70e83e88d4e1857a3a31605c6d1333755f2dd17c
      [Mon Jul 26 12:20:50.085738000 2021] 116688 70e83e88d4e1857a3a31605c6d1333755f2dd17c
  [...]

  $ redis-cli --scan --pattern "*$(pmseries 'disk.dev.read')"
  
  pcp:metric.name:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:values:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:desc:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:labelvalue:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:instances:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df
  pcp:labelflags:series:2eb3e58d8f1e231361fb15cf1aa26fe534b4d9df

• 다음 명령을 실행하여 Grafana 로그에 오류가 있는지 확인합니다.

  $ journalctl -e -u grafana-server
  -- Logs begin at Mon 2021-07-26 11:55:10 IST, end at Mon 2021-07-26 12:30:15 IST. --
  Jul 26 11:55:17 localhost.localdomain systemd[1]: Starting Grafana instance...
  Jul 26 11:55:17 localhost.localdomain grafana-server[1171]: t=2021-07-26T11:55:17+0530 lvl=info msg="Starting Grafana" logger=server version=7.3.6 c>
  Jul 26 11:55:17 localhost.localdomain grafana-server[1171]: t=2021-07-26T11:55:17+0530 lvl=info msg="Config loaded from" logger=settings file=/usr/s>
  Jul 26 11:55:17 localhost.localdomain grafana-server[1171]: t=2021-07-26T11:55:17+0530 lvl=info msg="Config loaded from" logger=settings file=/etc/g>
  [...]