23.4. Rsyslog에서 큐 작업

메시지가 저장되는 위치에 따라 가장 널리 사용되는 대기열의 직접, 즉 직접 ,메모리 내, 디스크, 디스크 기반의 여러 종류가 있습니다. 기본 메시지 큐와 작업 대기열에 대해 이러한 유형 중 하나를 선택할 수 있습니다. 다음을 /etc/journal.conf에 추가하십시오.

object(queue.type=”queue_type”)

object(queue.type=”queue_type”)

이를 추가하면 다음에 대한 설정을 적용할 수 있습니다.

queue_type 을 직접,linkedlist 또는 fixedarray (메모리 대기열 내) 또는 디스크 중 하나로 교체합니다.

기본 메시지 큐에 대한 기본 설정은 10,000개의 메시지 제한이 있는 FixedRegistryLogin 대기열입니다. 작업 대기열은 기본적으로 직접 큐로 설정됩니다.

직접 대기열

로컬 파일에 출력을 쓸 때와 같은 많은 간단한 작업의 경우 작업 앞에 큐를 빌드할 필요가 없습니다. 대기를 방지하려면 다음을 사용하십시오.

object(queue.type=”Direct”)

object(queue.type=”Direct”)

오브젝트 를 기본 메시지 대기열,작업 대기열 또는 규칙 세트에 사용하도록 main_queue, action 또는 ruleset 로 바꿉니다. 직접 큐를 사용하면 생산자에서 소비자에게 즉시 메시지가 전달됩니다.

디스크 대기열

디스크 대기열은 하드 드라이브에 엄격하게 메시지를 저장하므로 높은 안정성과 가능한 모든 대기열 모드의 속도가 느려집니다. 이 모드를 사용하여 중요한 로그 데이터가 손실되지 않도록 할 수 있습니다. 그러나 대부분의 사용 사례에서는 디스크 큐를 사용하지 않는 것이 좋습니다. 디스크 큐를 설정하려면 /etc/journal.conf에 다음을 입력합니다.

object(queue.type=”Disk”)

object(queue.type=”Disk”)

오브젝트 를 기본 메시지 대기열,작업 대기열 또는 규칙 세트에 사용하도록 main_queue, action 또는 ruleset 로 바꿉니다. 다음 구성 지시문을 사용하여 큐의 기본 크기를 수정할 수 있습니다.

object(queue.size=”size”)

object(queue.size=”size”)

여기서 크기는 지정된 디스크 큐 부분을 나타냅니다. 정의된 크기 제한은 제한적이지 않으며, 크기 제한을 위반하는 경우에도 rsyslog 는 항상 하나의 전체 대기열 항목을 씁니다. 디스크 큐의 각 부분은 개별 파일과 일치합니다. 이러한 파일에 대한 naming 지시문은 다음과 같습니다.

object(queue.filename=”name”)

object(queue.filename=”name”)

이렇게 하면 파일의 이름 접두사와 한 파일에서 시작하여 각 파일에 대해 증가한 7자리 숫자가 설정됩니다.

object(queue.maxfilesize=”size”)

object(queue.maxfilesize=”size”)

디스크 대기열은 기본 크기 1MB로 부분으로 작성됩니다. 다른 값을 사용할 크기를 지정합니다.

메모리 내 대기열

메모리 내 큐에서는 enqueued 메시지가 메모리에 유지되므로 프로세스가 매우 빠릅니다. 대기 중인 데이터는 컴퓨터가 전원을 순환하거나 종료되면 손실됩니다. 그러나 작업(queue.saveonshutdown="on") 설정을 사용하여 데이터를 종료하기 전에 저장할 수 있습니다. 메모리 내 큐에는 다음 두 가지 유형이 있습니다.

일반적으로 의심이 있을 때 LinkedList 큐를 사용하십시오. FixedRegistryLogin과 비교하여 메모리를 적게 사용하고 처리 오버헤드를 줄입니다.

메모리 내 대기열을 구성하려면 다음 구문을 사용합니다.

object(queue.type=”LinkedList”)

object(queue.type=”LinkedList”)

object(queue.type=”FixedArray”)

object(queue.type=”FixedArray”)

오브젝트 를 기본 메시지 대기열,작업 대기열 또는 규칙 세트에 사용하도록 main_queue, action 또는 ruleset 로 바꿉니다.

디스크 지원 In-memory Queues

disk 및 in-memory 큐 모두 장점이 있으며 rsyslog 를 사용하면 디스크 지원 내부 대기열에서 이를 결합할 수 있습니다. 이를 위해 일반적인 메모리 내 대기열을 구성한 다음 queue.filename="file_name" 지시문을 해당 블록에 추가하여 디스크 지원을 위한 파일 이름을 정의합니다. 그런 다음 이 큐는 디스크 지원 대상이 됩니다. 즉, 메모리 내 대기열과 디스크 큐와 tandem이 작동합니다.

메모리 내 대기열이 가득 차거나 종료 후에도 유지되어야 하는 경우 디스크 대기열이 활성화됩니다. 디스크 지원 큐를 사용하면 디스크별 및 메모리 내 특정 구성 매개변수를 모두 설정할 수 있습니다. 이 유형의 큐는 가장 일반적으로 사용되는데, 잠재적으로 장기간 실행되거나 신뢰할 수 없는 작업에 유용합니다.

디스크 지원 내부 대기열의 기능을 지정하려면 so- called 워터마크를 사용합니다.

object(queue.highwatermark=”number”)

object(queue.highwatermark=”number”)

object(queue.lowwatermark=”number”)

object(queue.lowwatermark=”number”)

오브젝트 를 기본 메시지 대기열,작업 대기열 또는 규칙 세트에 사용하도록 main_queue, action 또는 ruleset 로 바꿉니다. 숫자를 여러 개의 큐에 있는 메시지로 바꿉니다. 메모리 내 대기열이 높은 워터마크에 의해 정의된 수에 도달하면 디스크에 메시지 쓰기를 시작하고 메모리 내 큐 크기가 낮은 워터마크로 정의된 수로 감소할 때까지 계속됩니다. 워터마크를 올바르게 설정하면 불필요한 디스크 쓰기를 최소화하지만 디스크 파일에 쓰기가 너무 길기 때문에 메시지 버스트도 메모리 공간을 남겨 둡니다. 따라서 높은 워터마크는 queue.size 로 설정된 전체 대기열 용량보다 작아야 합니다. 높은 워터마크와 전체 대기열 크기 간의 차이점은 메시지 버스트용으로 예약된 예비 메모리 버퍼입니다. 반면, 높은 워터마크를 너무 낮게 설정하면 불필요한 디스크 지원이 불필요하게 발생합니다.

rsyslog는 syslogd 데몬으로 실행되며 SELinux에서 관리합니다. 따라서 rsyslog를 작성해야 하는 모든 파일에 적절한 SELinux 파일 컨텍스트가 있어야 합니다.

모든 유형의 큐는 요구 사항에 맞게 추가로 구성할 수 있습니다. 여러 지시문을 사용하여 작업 대기열과 기본 메시지 큐를 모두 수정할 수 있습니다. 현재 사용 가능한 큐 매개변수는 20개 이상입니다. “온라인 문서” 을 참조하십시오. 이러한 설정 중 일부는 일반적으로 사용되며 작업자 스레드 관리와 같은 다른 설정은 큐 동작에 대한 더 가까운 제어 기능을 제공하며 고급 사용자를 위해 예약되어 있습니다. 고급 설정을 사용하면 rsyslog의 성능을 최적화하고 대기열을 예약하거나 시스템 종료 시 큐 동작을 수정할 수 있습니다.

대기열 크기 제한

다음 설정으로 큐에서 포함할 수 있는 메시지 수를 제한할 수 있습니다.

object(queue.highwatermark=”number”)

object(queue.highwatermark=”number”)

오브젝트 를 기본 메시지 대기열,작업 대기열 또는 규칙 세트에 사용하도록 main_queue, action 또는 ruleset 로 바꿉니다. 숫자를 여러 개의 큐에 있는 메시지로 바꿉니다. 실제 메모리 크기가 아닌 메시지 수로만 큐 크기를 설정할 수 있습니다. 기본 큐 크기는 기본 메시지 큐 및 규칙 세트 큐에 대한 10,000개의 메시지이며 작업 큐의 경우 1000입니다.

디스크 지원 대기열은 기본적으로 무제한이며 이 지시문을 사용하여 제한할 수 없지만 다음과 같은 설정으로 물리적 디스크 공간을 바이트 단위로 예약할 수 있습니다.

object(queue.maxdiskspace=”number”)

object(queue.maxdiskspace=”number”)

오브젝트 를 main_queue,action 또는 ruleset 으로 바꿉니다. number로 지정된 크기 제한이 히트되면 큐 메시지로 충분한 양의 공간을 확보할 때까지 메시지가 삭제됩니다.

메시지 삭제

대기열이 특정 수의 메시지에 도달하면 더 높은 우선순위의 항목에 대해 큐의 공간을 절약하기 위해 덜 중요한 메시지를 삭제할 수 있습니다. 삭제 프로세스를 시작하는 임계값은 so- called discard mark 로 설정할 수 있습니다.

object(queue.discardmark=”number”)

object(queue.discardmark=”number”)

오브젝트 를 MainMsg 또는 Action 으로 교체하여 이 옵션을 기본 메시지 큐 또는 작업 대기열에 각각 사용합니다. 여기서 number 는 삭제 프로세스를 시작하기 위해 큐에 있어야 하는 여러 메시지를 나타냅니다. 삭제할 메시지를 정의하려면 다음을 사용합니다.

object(queue.discardseverity=”number”)

object(queue.discardseverity=”number”)

각 우선순위에 대해 숫자를 다음 숫자 중 하나로 교체합니다. 7 (debug), 6 (info), 5 (notice), 4 (warning), 3 (err), 2 (crit), 1 (alert), 0 (emerg) 이 설정을 사용하면 삭제 표시에 도달한 직후 대기열에서 새로 들어오고 이미 대기 중인 메시지가 모두 대기열에서 삭제됩니다.

Timeframes 사용

특정 기간 동안 대기열을 처리하도록 rsyslog 를 구성할 수 있습니다. 예를 들어 이 옵션을 사용하면 일부 처리를 사용량이 많은 시간으로 전송할 수 있습니다. 시간 프레임을 정의하려면 다음 구문을 사용합니다.

object(queue.dequeuetimebegin=”hour”)

object(queue.dequeuetimebegin=”hour”)

object(queue.dequeuetimeend=”hour”)

object(queue.dequeuetimeend=”hour”)

시간 내에 시간 내에 바인딩된 시간을 지정할 수 있습니다. 분 없이 24시간 형식을 사용하십시오.

작업자 스레드 구성

작업자 스레드 는 큐에 있는 메시지에서 지정된 작업을 수행합니다. 예를 들어 기본 메시지 큐에서 작업자 작업은 들어오는 각 메시지에 필터 논리를 적용하고 관련 작업 큐에 큐에 추가하는 것입니다. 메시지가 도착하면 작업자 스레드가 자동으로 시작됩니다. 메시지 수가 특정 수에 도달하면 다른 작업자 스레드가 켜집니다. 이 번호를 지정하려면 다음을 사용합니다.

object(queue.workerthreadminimummessages=”number”)

object(queue.workerthreadminimummessages=”number”)

번호를 추가 작업자 스레드를 트리거할 여러 메시지로 바꿉니다. 예를 들어 숫자가 100으로 설정된 경우 100개 이상의 메시지가 도착하면 새 작업자 스레드가 시작됩니다. 200개 이상의 메시지가 도착하면 세 번째 작업자 스레드가 시작됩니다. 그러나 병렬에서 실행 중인 너무 많은 작업 스레드는 비효율적이므로 다음을 사용하여 최대 수를 제한할 수 있습니다.

object(queue.workerthreads=”number”)

object(queue.workerthreads=”number”)

여기서 number 는 병렬로 실행할 수 있는 최대 작업 스레드 수를 나타냅니다. 기본 메시지 큐의 경우 기본 제한은 1 스레드입니다. 작업 중인 스레드가 시작되면 비활성 시간 제한이 표시될 때까지 계속 실행됩니다. 시간 제한을 설정하려면 다음을 입력합니다.

object(queue.timeoutworkerthreadshutdown=”time”)

object(queue.timeoutworkerthreadshutdown=”time”)

시간을 밀리초에 설정된 기간으로 바꿉니다. 작업자 스레드를 종료한 후 새 메시지가 없는 시간을 지정합니다. 기본 설정은 1분입니다.

배치 종료

성능을 높이기 위해 한 번에 여러 개의 메시지를 큐에 적용하도록 rsyslog 를 구성할 수 있습니다. 이러한 대기열의 상한을 설정하려면 다음을 사용합니다.

$object(queue.DequeueBatchSize= ”number”)

$object(queue.DequeueBatchSize= ”number”)

number 를 한 번에 큐에 넣을 수 있는 최대 메시지 수로 바꿉니다. 많은 수의 허용된 작업 스레드와 결합된 설정이 늘어나면 메모리 소비가 증가합니다.

대기열 종료

메시지가 포함된 큐를 종료할 때 작업자 스레드가 큐 처리를 완료하는 데 시간 간격을 지정하여 데이터 손실을 최소화할 수 있습니다.

object(queue.timeoutshutdown=”time”)

object(queue.timeoutshutdown=”time”)

시간 (밀리초)을 지정합니다. 이 기간 후에도 작업자는 현재 데이터 요소를 완료한 다음 종료됩니다. 처리되지 않은 메시지는 손실됩니다. 작업자에 대해 다른 시간 간격을 설정하여 최종 요소를 완료할 수 있습니다.

object(queue.timeoutactioncompletion=”time”)

object(queue.timeoutactioncompletion=”time”)

이 시간 초과가 만료되면 나머지 작업자가 모두 종료됩니다. 종료 시 데이터를 저장하려면 다음을 사용합니다.

object(queue.saveonshutdown=”on”)

object(queue.saveonshutdown=”on”)

설정된 경우 rsyslog 가 종료되기 전에 모든 큐 요소가 디스크에 저장됩니다.

rsyslog 7에서 사용할 수 있는 새로운 구문에서 대기열은 action() 오브젝트 내부에 정의되어 있으며, 이 개체는 별도로 또는 /etc/journal.conf의 규칙 세트 내에서 사용할 수 있습니다. 작업 큐의 형식은 다음과 같습니다.

action(type="action_type "queue.size="queue_size" queue.type="queue_type" queue.filename="file_name"

action(type="action_type "queue.size="queue_size" queue.type="queue_type" queue.filename="file_name"

action_type 을 작업을 수행하고 queue_size 를 큐에서 포함할 수 있는 최대 메시지 수로 교체합니다. queue_type 의 경우 디스크 를 선택하거나 메모리 내 대기열 중 하나를 선택합니다. direct,linkedlist 또는 fixedarray. file_name 의 경우 경로가 아닌 파일 이름만 지정합니다. 로그 파일을 저장할 새 디렉터리를 만드는 경우 SELinux 컨텍스트를 설정해야 합니다. 예제는 23.4.2절. “rsyslog 로그 파일용 새 디렉터리 생성” 을 참조하십시오.

action(type="omfile" queue.size="10000" queue.type="linkedlist" queue.filename="logfile")

action(type="omfile" queue.size="10000" queue.type="linkedlist" queue.filename="logfile")

직접 작업 대기열에 대한 rsyslog 7 구문은 다음과 같습니다.

. action(type="omfile" file="/var/lib/rsyslog/log_file
   )

. action(type="omfile" file="/var/lib/rsyslog/log_file
   )

여러 매개 변수가 있는 작업 대기열에 대한 rsyslog 7 구문은 다음과 같이 작성할 수 있습니다.

. action(type="omfile"
       queue.filename="log_file"
       queue.type="linkedlist"
       queue.size="10000"
   )

. action(type="omfile"
       queue.filename="log_file"
       queue.type="linkedlist"
       queue.size="10000"
   )

기본 작업 디렉터리 또는 설정할 마지막 작업 디렉터리가 사용됩니다. 다른 작업 디렉터리를 사용해야 하는 경우 작업 큐보다 먼저 행을 다음과 같이 추가합니다.

global(workDirectory="/directory")

global(workDirectory="/directory")

. action(type="omfwd"
   queue.type="linkedlist"
   queue.filename="example_fwd"
   action.resumeRetryCount="-1"
   queue.saveOnShutdown="on"
   target="example.com" port="6514" protocol="tcp"
   )

. action(type="omfwd"
   queue.type="linkedlist"
   queue.filename="example_fwd"
   action.resumeRetryCount="-1"
   queue.saveOnShutdown="on"
   target="example.com" port="6514" protocol="tcp"
   )