返回 导航

大数据

hangge.com

Flume日志采集工具使用详解12(区分同一台服务器上多个agent的日志文件)

作者:hangge | 2024-03-22 08:50

十二、区分同一台服务器上多个 agent 的日志文件

1,为何要区分日志文件?

(1)在 flumeconf 目录下有个 log4j2.xml 文件,在这里面指定了日志文件的名称和位置,所有使用 conf 目录下面配置启动的 Agent 产生的日志都会记录到同一个日志文件中。如果我们在一台机器上启动了 10 几个 Agent,后期发现某一个 Agent 挂了,想要查看日志分析问题,这个时候就疯了,因为所有 Agent 产生的日志都混到一块了,压根都没法分析日志了。

(2)所以建议拷贝多个 conf 目录,然后修改对应 conf 目录中 log4j2.xml 日志的文件名称(可以保证多个 agent 的日志分别存储),这样在启动 Agent 的时候分别通过 -conf 参数指定不同的 conf 目录,后期分析日志就方便了,每一个 Agent 都有一个单独的日志文件。
提示:并且进行区分后,我们可以根据需求调整不同 Agent 的日志级别。比如可以将有的 Agent 日志级别调整为 warn(减少垃圾日志的产生),默认 info 级别会记录很多日志信息。

2,操作步骤

(1)比如我们需要创建一个新的 agent,首先从 conf 目录复制出一个新的目录(新目录名字根据情况自行调整):
 
cp -r conf/ conf-failover

(2)然后编辑这个新目录中的 log4j2.xml 文件:
vim conf-failover/log4j2.xml

(3)修改其中日志文件名称,同时也可修改日志记录级别。日志文件目录可以不用修改,统一使用 logs 目录即可。

(4)同时该 Agent 的配置文件我们也是存放在这个新目录下,然后执行命令启动 Agent(各启动参数都是指定为新目录):
nohup bin/flume-ng agent --name a1 --conf conf-failover --conf-file conf-failover/example.conf &

(5)这样就会在 flumelogs 目录中产生我们指定的 flume-failover.log 文件:

(6)该文件中也只有该 Agent 产生的日志信息:
cat flume-failover.log
评论

全部评论(0)

回到顶部