二、日志文件采集、输出至 Elasticsearch 1，功能说明 在该样例中，我们通过 Filebeat 采集应用程序产生的日志数据，然后将日志数据输出到 Elasticsearch 中。 2，编写配置文件 （1）首先进入 Filebeat 目录，执行如下命令编辑默认的配置文件： vi filebeat.yml （2）需要修改里面的......
一、基本介绍 1，Beats 家族介绍 （1）早期的 ELK 架构中使用 Logstash 收集、解析日志，但是 Logstash 对内存、CPU 及 I/O 等资源的消耗比较高。相比 Logstash，Beats 所占用的系统 CPU 和内存几乎可以忽略不计。 （2）目前 Beats 家族中有 8 个成员，具体如下......
三、日志文件采集、输出至 Elasticsearch 1，功能说明 （1）在该样例中，通过 Logstash 采集服务器中应用程序运行期间产生的日志信息，特别是异常日志信息，采集到之后将其存储到 Elasticsearch（简称 ES）中，对外提供异常日志检索服务。 （2）具体实现如下......
二、接收键盘输入并输出至控制台 1，功能说明 该样例中，Input 使用 stdin 插件，Output 使用 stdout 插件，这样就可以接收键盘输入的数据，然后将其直接输出到控制台上。 2，启动程序 （1）进入 Logstash 安装目录后，执行如下命令： 通过 -e 参数指定使用的插件配置信息......
一、基本介绍 1，什么是 Logstash？ （1）Logstash 是 Elastic 公司开源的收集、解析和转换日志的工具，可以方便地把分散的、多样化的日志收集起来，然后进行自定义处理，最后将其传输到指定的目的地。 （2）Logstash 是由 JRuby 语言编写的，使用基于消息的简单架构，在 JVM 上运行......
Flume 的 Agent 服务是一个独立的进程。如果该采集进程因故障而退出，或者被误操作关闭，这将对数据收集和传输产生重大影响。为确保系统的稳定性和数据完整性，我们可以考虑引入自动恢复机制，使 Flume Agent 能够在意外退出后自动重新启动。下面我将通过样例进行演示......
在安装 Windows 操作系统时，建议使用原版官方的系统镜像文件。这些镜像文件不仅可以确保系统的稳定性和安全性，还能避免潜在的恶意软件和间谍软件。 我们可以访问 Microsoft 官方网站来获取官方镜像，但其下载地址比较不太好找，尤其是想要下载一些指定版本时并不是很方便......
十二、区分同一台服务器上多个 agent 的日志文件 1，为何要区分日志文件？ （1）在 flume 的 conf 目录下有个 log4j2.xml 文件，在这里面指定了日志文件的名称和位置，所有使用 conf 目录下面配置启动的 Agent 产生的日志都会记录到同一个日志文件中......
十一、内存优化 1，为何需要调整内存设置？ 因为 Flume 进程也是基于 Java 的，所以就涉及到进程的内存设置，一般建议启动的单个 Flume 进程（或者说单个 Agent）内存设置为 1G ~ 2G，内存太小的话会频繁 GC，影响 Agent 的执行效率......
十、自定义组件的实现 1，为什么需要自定义组件？ （1）在实际工作中，95% 以上的数据采集需求都是可以直接使用 Flume 内置的组件来实现，但是谁也不敢保证 100% 都能满足，因为什么奇葩的需求都会有： 例如：我们想把 flume 采集到的数据输出到 mysql 中......