5.2. 대부분의 Ceph OSD 오류

이 문제를 해결하기 위해:

1. PG 개수가 충분한지 확인하고 필요한 경우 늘립니다.
2. CRUSH 튜닝 가능 항목을 클러스터 버전에 최적으로 사용하는지 확인하고, 그러지 않으면 조정합니다.
3. 사용률로 OSD의 가중치를 변경합니다.

4. OSD에서 사용하는 디스크에 남아 있는 공간 크기를 결정합니다.

   1. 특정 노드에서 OSD가 사용하는 공간 크기를 보려면 다음 명령을 사용합니다.

      [ceph: root@host01 /]# ceph osd df tree

      Copy to Clipboard Toggle word wrap

   2. 어떤 OSD가 어떤 호스트(full/nearfull)에서 가장 많이 사용되는지 확인한 후 OSD의 기본 디스크로 사용 중인 디스크를 확인합니다. 거의 전체 OSD가 포함된 노드에 로그인하고 다음 명령을 실행합니다.

      [ceph: root@host01 /]# cephadm shell
      [ceph: root@host01 /]# ceph-volume lvm list

      Copy to Clipboard Toggle word wrap

   3. 클러스터에 있는 풀 목록을 보려면 다음을 수행합니다.

      [ceph: root@host01 /]# ceph df

      Copy to Clipboard Toggle word wrap
   4. 필요한 경우 새 OSD 노드를 추가합니다.

이 문제를 해결하기 위해

1. 다운 된 OSD를 확인합니다.

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

   Copy to Clipboard Toggle word wrap

2. ceph-osd 데몬을 다시 시작합니다. OSD_ID 를 다운된 OSD의 ID로 바꿉니다.

   구문

   systemctl restart ceph-FSID@osd.OSD_ID

   Copy to Clipboard Toggle word wrap

   예제

   [root@host01 ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service

   Copy to Clipboard Toggle word wrap

   1. ceph-osd 를 시작할 수 없는 경우 ceph-osd 데몬의 단계를 따르십시오.
   2. ceph-osd 데몬을 시작할 수 있지만 down 으로 표시된 경우 The ceph-osd 데몬의 단계를 따르십시오. 그러나 여전히 'down'으로 표시됩니다.

ceph-osd 데몬을 시작할 수 없음

1. 다수의 OSD(일반적으로 12개)가 포함된 노드가 있는 경우 기본 최대 스레드 수(PID 수)가 충분한지 확인합니다. 자세한 내용은 PID 수 증가를 참조하십시오.
2. OSD 데이터 및 저널 파티션이 제대로 마운트되었는지 확인합니다. ceph-volume lvm list 명령을 사용하여 Ceph Storage 클러스터와 연결된 모든 장치 및 볼륨을 나열한 다음 제대로 마운트되었는지 수동으로 검사할 수 있습니다. 자세한 내용은 mount(8) 매뉴얼 페이지를 참조하십시오.
3. ERROR: missing keyring이 있는 경우 인증 오류 메시지에 requirement를 사용할 수 없습니다. OSD는 누락된 인증 키입니다.

4. ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-1 오류 메시지가 표시되면 ceph-osd 데몬에서 기본 파일 시스템을 읽을 수 없습니다. 이 오류 문제를 해결하고 수정하는 방법에 대한 지침은 다음 단계를 참조하십시오.

   1. 해당 로그 파일을 확인하여 오류 원인을 확인합니다. 기본적으로 Ceph는 파일에 로깅된 후 /var/log/ceph/CLUSTER_FSID/ 디렉터리에 로그 파일을 저장합니다.
   2. EIO 오류 메시지는 기본 디스크의 실패를 나타냅니다. 이 문제를 해결하려면 기본 OSD 디스크를 교체하십시오. 자세한 내용은 OSD 드라이브 교체를 참조하십시오.

   3. 로그에 다음과 같은 기타 FAILED assert 오류가 포함된 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

      FAILED assert(0 == "hit suicide timeout")

      Copy to Clipboard Toggle word wrap

5. 기본 파일 시스템 또는 디스크에 오류가 있는지 dmesg 출력에서 확인합니다.

   dmesg

   Copy to Clipboard Toggle word wrap
   1. dmesg 출력에 SCSI 오류 메시지가 포함된 경우 Red Hat Customer Portal의 SCSI 오류 코드 Solution find 솔루션을 참조하여 문제를 해결하는 가장 좋은 방법을 결정합니다.
   2. 또는 기본 파일 시스템을 수정할 수 없는 경우 OSD 드라이브를 교체합니다. 자세한 내용은 OSD 드라이브 교체를 참조하십시오.

6. OSD가 다음과 같은 세그멘테이션 오류로 인해 실패한 경우 필요한 정보를 수집하고 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

   Caught signal (Segmentation fault)

   Copy to Clipboard Toggle word wrap

ceph-osd 가 실행 중이지만 여전히 down으로 표시됩니다.

1. 해당 로그 파일을 확인하여 오류 원인을 확인합니다. 기본적으로 Ceph는 파일에 로깅된 후 /var/log/ceph/CLUSTER_FSID/ 디렉터리에 로그 파일을 저장합니다.

   1. 로그에 다음 항목과 유사한 오류 메시지가 포함된 경우 Flapping OSD 를 참조하십시오.

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

      Copy to Clipboard Toggle word wrap
   2. 다른 오류가 표시되면 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

이 문제를 해결하기 위해

1. ceph health detail 명령의 출력을 다시 확인합니다. 느린 요청 오류 메시지가 포함된 경우 이 문제 해결 방법에 대한 세부 정보를 참조하십시오.

   ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

   Copy to Clipboard Toggle word wrap

2. 다운 된 노드와 노드가 있는 OSD를 확인합니다.

   ceph osd tree | grep down

   Copy to Clipboard Toggle word wrap
3. OSD가 포함된 노드에서 네트워크 문제를 해결합니다. 자세한 내용은 네트워킹 문제 해결을 참조하십시오.

4. 또는 no up 및 nodown 플래그를 설정하여 OSD를 down 으로 표시하도록 임시로 강제 실행할 수 있습니다.

   ceph osd set noup
   ceph osd set nodown

   Copy to Clipboard Toggle word wrap
   중요

   noup 및 nodown 플래그를 사용하면 문제의 근본 원인을 해결할 수 없지만 OSD만 회전하지 않습니다. 지원 티켓을 열려면 자세한 내용은 서비스 관련 Red Hat 지원 연락처 섹션을 참조하십시오.

이 문제를 해결하기 위해

1. 느린 또는 차단 요청이 있는 OSD가 디스크 드라이브, 호스트, 랙 또는 네트워크 스위치와 같은 일반적인 하드웨어를 공유하는지 확인합니다.

2. OSD가 디스크를 공유하는 경우:

   1. smartmontools 유틸리티를 사용하여 디스크 또는 로그의 상태를 확인하여 디스크의 오류를 확인합니다.

      참고

      smartmontools 유틸리티는 smartmontools 패키지에 포함되어 있습니다.

   2. OSD 디스크에서 I/O 대기 보고서(%iowai)를 얻으려면 iostat 유틸리티를 사용하여 디스크가 과도한 부하인지 확인합니다.

      참고

      iostat 유틸리티는 tested 패키지에 포함되어 있습니다.

3. OSD가 노드를 다른 서비스와 공유하는 경우:

   1. RAM 및 CPU 사용률 확인
   2. netstat 유틸리티를 사용하여 NIC(네트워크 인터페이스 컨트롤러)의 네트워크 통계를 확인하고 모든 네트워킹 문제를 해결합니다. 자세한 내용은 네트워크 문제 해결을 참조하십시오.
4. OSD가 랙을 공유하는 경우 랙의 네트워크 스위치를 확인합니다. 예를 들어 점보 프레임을 사용하는 경우 경로의 NIC에 점보 프레임이 설정되어 있는지 확인합니다.
5. 느린 요청이 있는 OSD에서 공유하는 공통 하드웨어를 확인하거나 하드웨어 및 네트워킹 문제를 해결 및 수정할 수 없는 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.