23.4. 在 Rsyslog 中使用队列

根据消息的存储位置，有多种类型的队列：直接、内存中、磁盘 和磁盘辅助内存中队列使用最广。您可以为主消息队列选择这些类型之一，也可以选择用于操作队列。在 /etc/rsyslog.conf 中添加以下内容：

object(queue.type=”queue_type”)

通过添加此项，您可以为以下内容应用设置：

使用 直接、链接列表 或 固定阵列（ 内存中队列）或 磁盘 之一替换 queue_type。

主消息队列的默认设置是 FixedArray 队列，限制为 10,000 个消息。操作队列默认设置为直接队列。

直接队列

对于许多简单的操作，如将输出写入本地文件时，不需要在操作前构建队列。为了避免排队，请使用：

object(queue.type=”Direct”)

将 object 替换为 main_queue、操作 或 规则集，以将此选项分别用于主消息队列、操作队列或规则集。使用直接队列时，消息会直接直接从制作者传递至消费者。

磁盘队列

磁盘队列严格将消息存储在硬盘驱动器中，这使其高度可靠，同时也是所有可能的队列模式中最慢的消息。此模式可用于防止丢失高度重要的日志数据。但是，大多数用例中不建议使用磁盘队列。要设置磁盘队列，请在 /etc/rsyslog.conf 中输入以下内容：

object(queue.type=”Disk”)

将 object 替换为 main_queue、操作 或 规则集，以将此选项分别用于主消息队列、操作队列或规则集。可使用以下配置指令修改队列的默认大小：

object(queue.size=”size”)

其中 size 代表磁盘队列部分的指定大小。定义的大小限制不受限制，rsyslog 始终 会编写一个完整的队列条目，即使它违反了大小限制。磁盘队列的每个部分都与单个文件匹配。这些文件的命名指令如下：

object(queue.filename=”name”)

这会为文件设置一个名称前缀，后跟一个从 1 开始并递增每个文件的 7 位数字。

object(queue.maxfilesize=”size”)

磁盘队列以部分形式编写，默认大小为 1 MB。指定要使用其他值的大小。

内存中队列

使用内存中队列时，requeued 消息保存在内存中，这使得进程变得非常快速。如果计算机重启或关机，则排队的数据将丢失。但是，您可以使用 操作(queue.saveonshutdown="on") 设置在关闭前保存数据。内存队列有两种类型：

通常情况下，当有疑问时使用 LinkedList 队列。与 FixedArray 相比，它会消耗较少的内存并降低处理开销。

使用以下语法配置内存队列：

object(queue.type=”LinkedList”)

object(queue.type=”FixedArray”)

将 object 替换为 main_queue、操作 或 规则集，以将此选项分别用于主消息队列、操作队列或规则集。

磁盘辅助内存中队列

磁盘和内存中队列都有其优势，而 rsyslog 则允许您将其组合 到磁盘辅助内存中队列中。为此，请配置普通内存中队列，然后将 queue.filename="file_name" 指令添加到其块中，以定义磁盘协助的文件名。然后，这个队列变为 diskassisted，这意味着它将内存队列与磁盘队列相结合，从而协同工作。

如果内存中队列已满或者需要在关机后保留，则激活磁盘队列。使用磁盘辅助队列，您可以同时设置特定于磁盘和内存的特定配置参数。这种队列或许是最常用的，对于潜在的长时间运行且不可靠的操作特别有用。

要指定磁盘辅助内存队列的功能，请使用所谓的水位线：

object(queue.highwatermark=”number”)

object(queue.lowwatermark=”number”)

将 object 替换为 main_queue、操作 或 规则集，以将此选项分别用于主消息队列、操作队列或规则集。将 number 替换为一组 enqueued 消息。当内存中队列达到高水位线定义的数量时，它开始将消息写入磁盘并继续，直到内存中队列大小下降到使用低水位线定义的数字。正确设置水位线可最大程度减少不必要的磁盘写入，但也为消息突发保留内存空间，因为写入磁盘文件非常长。因此，高水位线必须小于通过 queue.size 设置的完整队列容量。高水位线与总体队列大小之间的区别在于为消息突发保留的备用内存缓冲区。另一方面，将高水位线设置得过低将会带来不必要的磁盘帮助。

rsyslog 作为 syslogd 守护进程运行，并由 SELinux 管理。因此，rsyslog 需要写入到的所有文件都必须具有相应的 SELinux 文件上下文。

可以进一步配置所有类型的队列，以符合您的要求。您可以使用多个指令来修改操作队列和主消息队列。目前，可用的队列参数超过 20 个，请参阅 “在线文档”一节。其中一些设置通常使用，另一些（如 worker 线程管理）提供对队列行为的更紧密控制，并保留给高级用户。使用高级设置，您可以优化 rsyslog的性能、调度排队或修改系统关闭时队列的行为。

限制队列大小

您可以使用以下设置限制队列可以包含的信息数量：

object(queue.highwatermark=”number”)

将 object 替换为 main_queue、操作 或 规则集，以将此选项分别用于主消息队列、操作队列或规则集。将 number 替换为一组 enqueued 消息。您只能将队列大小设置为消息数，而不是其实际内存大小。默认队列大小为主消息队列和规则集队列的 10,000 个消息，而 1000 则表示操作队列。

默认情况下，磁盘支持的队列没有限制，且无法使用这个指令进行限制，但您可以使用以下设置来为它们保留物理磁盘空间（以字节为单位）：

object(queue.maxdiskspace=”number”)

使用 main_queue、action 或 rules et 替换 object。当按数字指定的大小限制被命中时，消息会被丢弃，直到 dequeued 消息释放足够数量的空间。

丢弃消息

当队列到达特定数量的消息时，您可以丢弃不太重要的消息，以便在队列中为优先级较高的条目节省空间。启动丢弃过程的阈值可使用所谓的 discard 标记来设置 ：

object(queue.discardmark=”number”)

使用 MainMsg 或 Action 替换 object ，以 分别将此选项用于主消息队列或操作队列。此处，number 代表开始丢弃过程时必须要处于队列中的多个消息。要定义要丢弃的信息，请使用：

object(queue.discardseverity=”number”)

将 number 替换为以下对应优先级之一： 7 (debug)、6 (info)、5 （通知）、4（ 警告）、3 (err)、2( crit)、1 （证书）或 0 (emerg)。使用此设置时，在到达丢弃标记后，将立即从队列中删除优先级低于定义的新传入和排队消息。

使用时间戳

您可以将 rsyslog 配置为在特定时间段内处理队列。例如，您可以使用此选项将一些处理转移到非高峰时段。要定义时间段，请使用以下语法：

object(queue.dequeuetimebegin=”hour”)

object(queue.dequeuetimeend=”hour”)

通过小时，您可以指定绑定时间段的小时。使用 24 小时格式（无分钟）。

配置工作程序线程

worker 线程在 enqueued 消息上执行指定的操作。例如，在主消息队列中，worker 任务是将过滤器逻辑应用到每一传入消息，并将它们排队到相关的操作队列。当消息到达时，会自动启动 worker 线程。当消息数量达到特定数字时，将打开另一个 worker 线程。要指定这个号码，请使用：

object(queue.workerthreadminimummessages=”number”)

将 number 替换为将触发补充工作线程的消息。例如，当数字设置为 100 时，当到达 100 条消息时会启动一个新的 worker 线程。当到达 200 条信息时，第三个 worker 线程启动，以此类推。但是，并行运行的太多工作线程会变得无效，因此您可以使用以下方法限制它们的最大数量：

object(queue.workerthreads=”number”)

其中，数字表示可以并行运行的最大工作线程数。对于主消息队列，默认限制为 1 线程。启动工作线程后，它将持续运行，直到出现不活跃的超时为止。要设置超时长度，请输入：

object(queue.timeoutworkerthreadshutdown=”time”)

将 time 替换为以毫秒为单位设置的持续时间。指定没有新消息的时间，并在该消息后关闭 worker 线程。默认设置为一分钟。

批量取消

要提高性能，您可以将 rsyslog 配置为一次性取消排队多个消息。要为此类 dequeue 设置上限，请使用：

$object(queue.DequeueBatchSize= ”number”)

将 number 替换为一次可以取消排队的消息的最大数量。请注意，较高的设置结合了更多允许的工作线程数，可增加内存消耗。

终止队列

当终止仍包含信息的队列时，您可以通过为 worker 线程指定完成队列处理的时间间隔来尝试最小化数据丢失：

object(queue.timeoutshutdown=”time”)

以毫秒为单位指定时间。如果在该周期之后仍然有一些 enqueued 消息，worker 会完成当前数据元素，然后终止。因此，未经处理的消息会丢失。可以为 worker 设置另一个时间间隔以完成最终元素：

object(queue.timeoutactioncompletion=”time”)

如果这个超时过期，所有剩余的工作程序都会被关闭。要在关闭时保存数据，请使用：

object(queue.saveonshutdown=”on”)

如果设置，则所有队列元素都会保存到磁盘，然后 rsyslog 终止。

在 rsyslog 7 中提供的新语法中，队列在 action（） 对象中定义，可以单独或在 /etc/rsyslog.conf 中的规则集内使用。操作队列的格式如下：

action(type="action_type "queue.size="queue_size" queue.type="queue_type" queue.filename="file_name"

使用要执行该操作的模块的名称替换 action_type，并将 queue_size 替换为队列可以包含的最大消息数。对于 queue_type，请选择 disk，或从其中一个内存中队列中选择： 直接、链接列表 或 固定阵列。对于 file_name 仅指定文件名，而不是路径。请注意，如果创建新目录以存放日志文件，则必须设置 SELinux 上下文。示例请查看 第 23.4.2 节 “为 rsyslog 日志文件创建新目录”。

action(type="omfile" queue.size="10000" queue.type="linkedlist" queue.filename="logfile")

直接操作队列的 rsyslog 7 语法如下：

. action(type="omfile" file="/var/lib/rsyslog/log_file
   )

带有多个参数的操作队列的 rsyslog 7 语法可以编写如下：

. action(type="omfile"
       queue.filename="log_file"
       queue.type="linkedlist"
       queue.size="10000"
   )

将使用默认工作目录或要设置的最后一个工作目录。如果需要使用不同的工作目录，请在操作队列前添加以下行：

global(workDirectory="/directory")

. action(type="omfwd"
   queue.type="linkedlist"
   queue.filename="example_fwd"
   action.resumeRetryCount="-1"
   queue.saveOnShutdown="on"
   target="example.com" port="6514" protocol="tcp"
   )