UNIX 管道和过滤器 Logstash 参考指南（Logstash工作原理）

发布时间：2022-10-24 15:09:09 所属栏目：Unix 来源：

导读：　　Logstash工作原理

　　Logstash事件处理管道有三个阶段：输入→过滤器→输出，输入生成事件，过滤器修改它们，然后输出将它们发送到其他地方。输入和输出支持编解码器，使你能够在数据进入或离开管道

　　Logstash工作原理

　　Logstash事件处理管道有三个阶段：输入→过滤器→输出，输入生成事件，过滤器修改它们，然后输出将它们发送到其他地方。输入和输出支持编解码器，使你能够在数据进入或离开管道时对其进行编码或解码，而无需使用单独的过滤器。

　　输入

　　你使用输入将数据获取到Logstash中，一些比较常用的输入是：

　　有关可用输入的更多信息，请参见输入插件。

　　过滤器

　　过滤器是Logstash管道中的中间处理设备，如果事件符合一定的条件，你可以将过滤器与条件语句组合在一起，对其执行操作，一些有用的过滤器包括：

　　有关可用过滤器的更多信息，请参见过滤器插件。

　　输出

　　输出是Logstash管道的最后阶段，事件可以通过多个输出，但是一旦所有的输出处理完成，事件就完成了它的执行，一些常用的输出包括：

　　有关可用输出的更多信息，请参见输出插件。

　　编解码器

　　Codecs是基本的流过滤器，可以作为输入或输出的一部分进行操作，Codecs使你能够轻松地将消息的传输与序列化过程分开，流行的codecs包括json、msgpack和plain（text）。

　　有关可用编解码器的更多信息，请参见编解码器插件。

　　执行模型

　　Logstash事件处理管道协调输入、过滤器和输出的执行。

　　Logstash管道中的每个输入阶段都在自己的线程中运行，输入将事件写入位于内存（默认）或磁盘上的中央队列，每个管道工作线程从这个队列中取出一批事件，通过配置的过滤器运行事件批处理，然后通过任何输出运行过滤的事件，可以配置批处理的大小和管道工作线程的数量（参见调优和分析Logstash性能）。

　　默认情况下，Logstash使用内存有限队列在管道阶段之间（输入→过滤器和过滤器→输出）来缓冲事件，如果Logstash不安全的终止，则存储在内存中的任何事件都将丢失。为了防止数据丢失，你可以启用Logstash将运行中的事件持久化到磁盘上，有关更多信息UNIX 管道和过滤器，请参见持久队列。

（编辑：开发网_新乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!