5.2. 가장 일반적인 Ceph OSD 오류

이 문제를 해결하려면 다음을 수행합니다.

1. PG 개수가 충분한지 확인하고 필요한 경우 늘립니다.
2. CRUSH 튜닝 가능 항목을 클러스터 버전에 최적으로 사용하는지 확인하고 그렇지 않은 경우 조정합니다.
3. 사용률에 따라 OSD의 가중치를 변경합니다.

4. 분산을 위해 OSD 간에 배치 그룹(PG) 배치를 최적화하는 Ceph Manager 밸런서 모듈을 활성화합니다.

   예제

   [root@mon ~]# ceph mgr module enable balancer

   Copy to Clipboard Toggle word wrap

5. OSD에서 사용하는 디스크에 남은 공간 크기를 확인합니다.

   1. 일반적으로 사용되는 공간 OSD 양을 보려면 다음을 수행합니다.

      [root@mon ~]# ceph osd df

      Copy to Clipboard Toggle word wrap

   2. 특정 노드에서 사용하는 공간 OSD의 양을 보려면 다음을 수행합니다. 가까운 OSD 가 포함된 노드에서 다음 명령을 사용합니다.

      $ df

      Copy to Clipboard Toggle word wrap
   3. 필요한 경우 새 OSD 노드를 추가합니다.

이 문제를 해결하려면

1. 다운 된 OSD 확인 :

   [root@mon ~]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

   Copy to Clipboard Toggle word wrap

2. ceph-osd 데몬을 다시 시작하십시오.

   [root@mon ~]# systemctl restart ceph-osd@OSD_NUMBER

   Copy to Clipboard Toggle word wrap

   OSD_NUMBER 를 다운 된 OSD의 ID로 바꿉니다. 예를 들면 다음과 같습니다.

   [root@mon ~]# systemctl restart ceph-osd@0

   Copy to Clipboard Toggle word wrap
   1. ceph-osd를 시작할 수 없는 경우 ceph -osd 데몬의 단계를 시작할 수 없습니다.
   2. ceph-osd 데몬을 시작할 수 있지만 down 으로 표시되면 ceph-osd 데몬이 실행 중이지만 아직 '다운'으로 표시되어 있습니다.

ceph-osd 데몬을 시작할 수 없습니다.

1. 다수의 OSD(일반적으로 12개 이상)가 포함된 노드가 있는 경우 기본 최대 스레드(PID 수)가 충분한지 확인합니다. 자세한 내용은 PID 수 증가를 참조하십시오.
2. OSD 데이터와 저널 파티션이 올바르게 마운트되었는지 확인합니다. ceph-volume lvm list 명령을 사용하여 Ceph Storage 클러스터와 연결된 모든 장치와 볼륨을 나열한 다음 올바르게 마운트되었는지 수동으로 검사할 수 있습니다. 자세한 내용은 mount(8) 매뉴얼 페이지를 참조하십시오.
3. ERROR: 누락된 인증 키가 있는 경우 인증 오류 메시지에 cephx를 사용할 수 없는 경우 OSD가 인증 키 누락입니다.

4. ERROR: /var/lib/ceph/osd/ceph-1 오류 메시지에서 OSD 수퍼 블록을 열 수 없는 경우 ceph-osd 데몬이 기본 파일 시스템을 읽을 수 없습니다. 이 오류의 문제를 해결하고 수정하는 방법에 대한 지침은 다음 단계를 참조하십시오.

   참고

   OSD 호스트 부팅 시 이 오류 메시지가 반환되면 Red Hat Bugzilla 1439210 에서 추적된 알려진 문제를 나타낼 수 있으므로 지원 티켓을 엽니다.

5. 해당 로그 파일을 확인하여 오류의 원인을 확인합니다. 기본적으로 Ceph는 베어 메탈 배포를 위해 /var/log/ceph/ 디렉터리에 로그 파일을 저장합니다.

   참고

   컨테이너 기반 배포의 경우 Ceph는 journald 에 로그를 생성합니다. Ceph 구성 파일의 [global]에서 log_to_file 매개변수를 true 로 설정하여 /var/log/ceph 의 파일에 로깅을 활성화할 수 있습니다. 자세한 내용은 ceph 로그 이해를 참조하십시오.

   1. 다음과 유사한 EIO 오류 메시지는 기본 디스크의 실패를 나타냅니다.

      이 문제를 해결하려면 기본 OSD 디스크를 교체합니다. 자세한 내용은 OSD 드라이브 교체를 참조하십시오.

   2. 로그에 다음과 같은 other FAILED 어설 션 오류가 포함된 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

      FAILED assert(0 == "hit suicide timeout")

      Copy to Clipboard Toggle word wrap

6. dmesg 출력에 기본 파일 시스템 또는 디스크가 있는 오류가 있는지 확인합니다.

   $ dmesg

   Copy to Clipboard Toggle word wrap
   1. dmesg 출력에 SCSI 오류 오류 메시지가 포함된 경우 Red Hat 고객 포털의 SCSI 오류 코드 솔루션 파인더 솔루션을 참조하여 문제를 해결하는 가장 좋은 방법을 확인하십시오.
   2. 또는 기본 파일 시스템을 수정할 수 없는 경우 OSD 드라이브를 교체합니다. 자세한 내용은 OSD 드라이브 교체를 참조하십시오.

7. 다음과 같은 분할 오류로 OSD가 실패한 경우 필요한 정보를 수집하고 지원 티켓을 여십시오. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

   Caught signal (Segmentation fault)

   Copy to Clipboard Toggle word wrap

ceph-osd 가 실행 중이지만 여전히 down으로 표시됩니다.

1. 해당 로그 파일을 확인하여 오류의 원인을 확인합니다. 기본적으로 Ceph는 베어 메탈 배포의 /var/log/ceph/ 디렉터리에 로그 파일을 저장합니다.

   참고

   컨테이너 기반 배포의 경우 Ceph는 journald 에 로그를 생성합니다. Ceph 구성 파일의 [global]에서 log_to_file 매개변수를 true 로 설정하여 /var/log/ceph 의 파일에 로깅을 활성화할 수 있습니다. 자세한 내용은 ceph 로그 이해를 참조하십시오.

   1. 로그에 다음과 유사한 오류 메시지가 포함된 경우 Flapping OSDs를 참조하십시오.

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

      Copy to Clipboard Toggle word wrap
   2. 다른 오류가 표시되면 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

이 문제를 해결하려면

1. ceph 상태 세부 명령의 출력을 다시 확인합니다. 느린 요청 오류 메시지가 포함된 경우 이 문제를 해결하는 방법에 대한 자세한 내용은 를 참조하십시오.

   # ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

   Copy to Clipboard Toggle word wrap

2. down 으로 표시되고 있는 OSD와 해당 노드에 있는 OSD를 확인합니다.

   # ceph osd tree | grep down

   Copy to Clipboard Toggle word wrap
3. 토핑 OSD가 포함된 노드에서 네트워킹 문제를 해결하고 수정합니다. 자세한 내용은 네트워킹 문제 해결을 참조하십시오.

4. 또는 noup 및 no down 플래그를 설정하여 OSD를 down 및 up 으로 표시를 중지할 수도 있습니다.

   # ceph osd set noup
   # ceph osd set nodown

   Copy to Clipboard Toggle word wrap
   중요

   noup 및 nodown 플래그를 사용하면 문제의 근본 원인을 해결하지 않고 OSD만 토핑하지 못하게 합니다. 지원 티켓을 열려면 자세한 내용은 Red Hat 지원 문의 섹션을 참조하십시오.

이 문제를 해결하려면

1. 디스크 드라이브, 호스트, 랙 또는 네트워크 스위치와 같이 느린 또는 블록 요청이 있는 OSD가 공통 하드웨어 부분을 공유하는지 확인합니다.

2. OSD가 디스크를 공유하는 경우:

   1. smartmontools 유틸리티를 사용하여 디스크 또는 로그의 상태를 확인하여 디스크 오류를 확인합니다.

      참고

      smartmontools 유틸리티는 smartmontools 패키지에 포함되어 있습니다.

   2. iostat 유틸리티를 사용하여 OSD 디스크에서 I/O 대기 보고서(%iowai)를 가져와 디스크의 로드가 많은지 확인합니다.

      참고

      iostat 유틸리티는 sysstat 패키지에 포함되어 있습니다.

3. OSD가 다른 서비스와 노드를 공유하는 경우:

   1. RAM 및 CPU 사용률 확인
   2. netstat 유틸리티를 사용하여 NIC(네트워크 인터페이스 컨트롤러)에 대한 네트워크 통계를 확인하고 네트워킹 문제를 해결합니다. 자세한 내용은 네트워킹 문제 해결을 참조하십시오.
4. OSD가 랙을 공유하는 경우 랙의 네트워크 스위치를 확인합니다. 예를 들어 점보 프레임을 사용하는 경우 경로의 NIC에 점보 프레임이 설정되어 있는지 확인합니다.
5. 느린 요청으로 OSD에서 공유하는 일반적인 하드웨어를 확인하거나 하드웨어 및 네트워킹 문제를 해결하고 수정할 수 없는 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.