5장. Ceph OSD 문제 해결

이 문제를 해결하려면 다음을 수행하십시오.

1. PG 수가 충분한지 확인하고 필요한 경우 늘리십시오.
2. CRUSH 튜닝 가능 항목이 클러스터 버전에 가장 적합한지 확인하고 그렇지 않은 경우 조정합니다.
3. 사용률에 따라 OSD의 가중치를 변경합니다.

4. OSD에서 사용하는 디스크에 남아 있는 공간 크기를 확인합니다.

   1. OSD가 일반적으로 사용하는 공간 크기를 보려면 다음을 수행합니다.

      [ceph: root@host01 /]# ceph osd df

   2. 특정 노드에서 OSD가 사용하는 공간 크기를 보려면 다음을 수행합니다. 거의 전체 OSD가 포함된 노드에서 다음 명령을 사용합니다.

      df

   3. 필요한 경우 새 OSD 노드를 추가합니다.

이 문제를 해결하기 위해

1. 어떤 OSD가 다운 되었는지 확인합니다.

   [ceph: root@host01 /]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

2. ceph-osd 데몬을 다시 시작합니다. OSD_ID 를 다운된 OSD의 ID로 바꿉니다.

   구문

   systemctl restart ceph-FSID@osd.OSD_ID

   예제

   [root@host01 ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service

   1. ceph-osd 를 시작할 수 없는 경우 ceph-osd 데몬의 단계를 실행할 수 없습니다.
   2. ceph-osd 데몬을 시작할 수 있지만 아래로 표시된 경우 ceph-osd 데몬이 실행 중이지만 여전히 'down' 로 표시됩니다.

ceph-osd 데몬을 시작할 수 없습니다

1. 여러 개의 OSD가 포함된 노드가 있는 경우(일반적으로 12개 이상) 기본 최대 스레드 수(PID 수)가 충분한지 확인합니다. 자세한 내용은 PID 수 감소를 참조하십시오.
2. OSD 데이터 및 저널 파티션이 올바르게 마운트되었는지 확인합니다. ceph-volume lvm list 명령을 사용하여 Ceph Storage 클러스터와 연결된 모든 장치 및 볼륨을 나열한 다음 제대로 마운트되었는지 수동으로 검사할 수 있습니다. 자세한 내용은 mount(8) 매뉴얼 페이지를 참조하십시오.
3. ERROR: missing keyring이 있는 경우 인증 오류 메시지에 cephx를 사용할 수 없으며 OSD가 인증 인증 키링이 누락되어 있습니다.

4. /var/lib/ceph/osd/ceph-1 오류 메시지에서 ERROR: unable to open OSD 슈퍼 블록을 열 수 없는 경우 ceph-osd 데몬이 기본 파일 시스템을 읽을 수 없습니다. 이 오류 문제를 해결하고 해결하는 방법에 대한 지침은 다음 단계를 참조하십시오.

   1. 해당 로그 파일을 확인하여 실패 원인을 확인합니다. 기본적으로 Ceph는 파일에 로깅이 활성화된 후 /var/log/ceph/CLUSTER_FSID/ 디렉터리에 로그 파일을 저장합니다.
   2. EIO 오류 메시지는 기본 디스크의 실패를 나타냅니다. 이 문제를 해결하려면 기본 OSD 디스크를 교체합니다. 자세한 내용은 OSD 드라이브 교체를 참조하십시오.

   3. 로그에 다음과 같은 기타 FAILED 어설션 오류가 포함된 경우 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

      FAILED assert(0 == "hit suicide timeout")

5. 기본 파일 시스템 또는 디스크의 오류가 있는지 dmesg 출력을 확인합니다.

   dmesg

   1. 다음과 유사한 오류 -5 오류 메시지는 기본 XFS 파일 시스템의 손상이라는 것을 나타냅니다. 이 문제를 해결하는 방법에 대한 자세한 내용은 Red Hat 고객 포털에서 "xfs_log_force: error -5 returned"의 의미는 무엇입니까?

      xfs_log_force: error -5 returned

   2. dmesg 출력에 SCSI 오류 오류 메시지가 포함된 경우 Red Hat 고객 포털에서 SCSI 오류 코드 솔루션 찾기 솔루션을 참조하여 문제를 해결하는 가장 좋은 방법을 확인합니다.
   3. 또는 기본 파일 시스템을 수정할 수 없는 경우 OSD 드라이브를 교체합니다. 자세한 내용은 OSD 드라이브 교체를 참조하십시오.

6. OSD가 다음과 같은 세그먼트 오류로 인해 실패한 경우 필요한 정보를 수집하고 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

   Caught signal (Segmentation fault)

ceph-osd 가 실행 중이지만 여전히 down으로 표시됩니다.

1. 해당 로그 파일을 확인하여 실패 원인을 확인합니다. 기본적으로 Ceph는 파일에 로깅이 활성화된 후 /var/log/ceph/CLUSTER_FSID/ 디렉터리에 로그 파일을 저장합니다.

   1. 로그에 다음과 유사한 오류 메시지가 포함된 경우 OSD Flapping을 참조하십시오.

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

   2. 다른 오류가 표시되면 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.

이 문제를 해결하기 위해

1. ceph 상태 세부 정보 명령의 출력을 다시 확인합니다. 느린 요청 오류 메시지가 포함된 경우 이 문제를 해결하는 방법에 대한 자세한 내용은 에서 참조하십시오.

   ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

2. 다운 으로 표시된 OSD와 노드가 어떤 노드에 있는지 확인합니다.

   ceph osd tree | grep down

3. 그래프 OSD가 포함된 노드에서 네트워킹 문제를 해결하고 해결합니다.

4. 또는 noup 및 nodown 플래그를 설정하여 OSD를 down 및 up 으로 표시하도록 일시적으로 모니터를 강제 실행할 수 있습니다.

   ceph osd set noup
   ceph osd set nodown

   중요

   noup 및 nodown 플래그를 사용하면 문제의 근본 원인이 해결되지 않고 OSD만 작동하지 않습니다. 지원 티켓을 열려면 자세한 내용은 Red Hat 지원 문의 섹션을 참조하십시오.

이 문제를 해결하기 위해

1. 느린 또는 블록 요청이 있는 OSD가 일반적인 하드웨어(예: 디스크 드라이브, 호스트, 랙 또는 네트워크 스위치)를 공유하는지 확인합니다.

2. OSD가 디스크를 공유하는 경우:

   1. smartmontools 유틸리티를 사용하여 디스크 또는 로그의 상태를 확인하여 디스크의 오류를 확인합니다.

      참고

      smartmontools 유틸리티는 smartmontools 패키지에 포함되어 있습니다.

   2. OSD 디스크에서 iostat 유틸리티를 사용하여 OSD 디스크에서 I/O 대기 보고서(%iowai)를 가져와서 디스크 부하가 많은지 확인합니다.

      참고

      iostat 유틸리티는 Cryo stat 패키지에 포함되어 있습니다.

3. OSD가 다른 서비스와 노드를 공유하는 경우:

   1. RAM 및 CPU 사용률 확인
   2. netstat 유틸리티를 사용하여 NIC(Network Interface Controller)에서 네트워크 통계를 확인하고 모든 네트워킹 문제를 해결합니다.
4. OSD가 랙을 공유하는 경우 랙에 대한 네트워크 스위치를 확인합니다. 예를 들어 점보 프레임을 사용하는 경우 경로의 NIC에 점보 프레임이 설정되어 있는지 확인합니다.
5. 느린 요청으로 OSD에서 공유하는 일반적인 하드웨어를 확인할 수 없거나 하드웨어 및 네트워킹 문제를 해결하고 해결하기 위해 지원 티켓을 엽니다. 자세한 내용은 Red Hat 지원 문의를 참조하십시오.