Flume日志采集工具使用详解12(区分同一台服务器上多个agent的日志文件)
作者:hangge | 2024-03-22 08:50
十二、区分同一台服务器上多个 agent 的日志文件
1,为何要区分日志文件?
(1)在 flume 的 conf 目录下有个 log4j2.xml 文件,在这里面指定了日志文件的名称和位置,所有使用 conf 目录下面配置启动的 Agent 产生的日志都会记录到同一个日志文件中。如果我们在一台机器上启动了 10 几个 Agent,后期发现某一个 Agent 挂了,想要查看日志分析问题,这个时候就疯了,因为所有 Agent 产生的日志都混到一块了,压根都没法分析日志了。
(2)所以建议拷贝多个 conf 目录,然后修改对应 conf 目录中 log4j2.xml 日志的文件名称(可以保证多个 agent 的日志分别存储),这样在启动 Agent 的时候分别通过 -conf 参数指定不同的 conf 目录,后期分析日志就方便了,每一个 Agent 都有一个单独的日志文件。
提示:并且进行区分后,我们可以根据需求调整不同 Agent 的日志级别。比如可以将有的 Agent 日志级别调整为 warn(减少垃圾日志的产生),默认 info 级别会记录很多日志信息。
2,操作步骤
(1)比如我们需要创建一个新的 agent,首先从 conf 目录复制出一个新的目录(新目录名字根据情况自行调整):
(2)然后编辑这个新目录中的 log4j2.xml 文件:
(3)修改其中日志文件名称,同时也可修改日志记录级别。日志文件目录可以不用修改,统一使用 logs 目录即可。
(4)同时该 Agent 的配置文件我们也是存放在这个新目录下,然后执行命令启动 Agent(各启动参数都是指定为新目录):
(5)这样就会在 flume 的 logs 目录中产生我们指定的 flume-failover.log 文件:
cp -r conf/ conf-failover
(2)然后编辑这个新目录中的 log4j2.xml 文件:
vim conf-failover/log4j2.xml
(3)修改其中日志文件名称,同时也可修改日志记录级别。日志文件目录可以不用修改,统一使用 logs 目录即可。
nohup bin/flume-ng agent --name a1 --conf conf-failover --conf-file conf-failover/example.conf &
(5)这样就会在 flume 的 logs 目录中产生我们指定的 flume-failover.log 文件:
(6)该文件中也只有该 Agent 产生的日志信息:
cat flume-failover.log
全部评论(0)