java+logstash

写在前面

在前面一篇文章中,我们介绍了如何在linux上搭建logstash+kafka的环境(logstash+kafka),在这篇中将介绍如何连通java日志文件和logstash。

日志分类

一般在java开发过程中最常用到的两种日志工具:

  • log4j : Apache的开源项目
  • logback : 可以说是log4j的改良版,和上者同一个作者

下面我们分别介绍这两种日志工具如何来和logstash连通,实现日志的收集。

log4j

log4j相对来说比较简单,它可以有两种配置方式:properties文件和xml文件

  • properties格式
log4j.rootLogger=DEBUG, logstash
##SocketAppender
log4j.appender.logstash=org.apache.log4j.net.SocketAppender
##logstash等待接收的端口
log4j.appender.logstash.Port=4560
##logstash服务所在机器的ip
log4j.appender.logstash.RemoteHost=logstash_hostname
log4j.appender.logstash.ReconnectionDelay=60000
log4j.appender.logstash.LocationInfo=true
##日志准入级别
log4j.appender.logstash.Threshold=DEBUG
  • xml格式

新增一个appender:

<appender name="LOGSTASH" class="org.apache.log4j.net.SocketAppender">
    ##logstash服务器IP
    <param name="RemoteHost" value="logstash_hostname" />
    <param name="ReconnectionDelay" value="60000" />
    <param name="LocationInfo" value="true" />
    ##日志准入等级
    <param name="Threshold" value="DEBUG" />
</appender>

加入需要监控的logger中

<logger name="com.springapp.mvc" additivity="false">
        <level class="org.apache.log4j.Level" value="debug"/>
        <appender-ref ref="LOGSTASH"/>
        <appender-ref ref="LOGFILE"/>
</logger>

对应的logstash的conf文件中的input配置如下:

input {
  log4j {
    type => "log4j-json"
    port => 4560
  }
}

log4j产生json格式的数据,格式如下:

{
        "message" => "Sorry, something wrong!",
       "@version" => "1",
     "@timestamp" => "2015-07-02T13:24:45.727Z",
           "type" => "log4j-json",
           "host" => "127.0.0.1:52420",
           "path" => "HelloExample",
       "priority" => "ERROR",
    "logger_name" => "HelloExample",
         "thread" => "main",
          "class" => "HelloExample",
           "file" => "HelloExample.java:9",
         "method" => "main",
    "stack_trace" => "java.lang.ArithmeticException: / by zero\n\tat HelloExample.divide(HelloExample.java:13)\n\tat HelloExample.main(HelloExample.java:7)"
}

只需要在日志配置文件中加入对应的appender即可,是不是so easy~

logback

logback相对比较复杂,我们需要用到git上的一个开源项目logstash-logback-encoder 来进行日志的输出,首先我们引入maven依赖:

<dependency> 
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>4.7</version>
</dependency>

还要保证我们的项目中有如下的依赖:

  • jackson-databind / jackson-core / jackson-annotations
  • logback-core
  • logback-classic (required for logging LoggingEvents)
  • logback-access (required for logging AccessEvents)
  • slf4j-api

在logback.xml文件中添加一个appender:

<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
     <destination>192.168.1.193:9250</destination>
     <!-- encoder必须配置,有多种可选 -->
     <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
</appender>

加入到需要监控的logger中:

<logger name="com.allinpay" level="ERROR">
     <appender-ref ref="LOGSTASH"/>
</logger>

logstash-logback-encoder 中还提供很多种协议,多种encoder,以及多目标配置等等功能,有需要的可以自己学习README

在logstash配置文件可以有多种交互方式,这里我们选择tcp协议:

input {
  tcp {
    ##host:port即为上面appender中的destination
    host => "192.168.1.193" 
    port => 9250
    ##模式选择server模式
    mode => "server"
    tags => ["tags"]
    ##格式json
    codec => json_lines
  }
}

按照上面的配置,输入的日志如下:

{
     "@timestamp" => "2016-09-13T07:05:06.480Z",
       "@version" => 1,
        "message" => "HelloController exception",
    "logger_name" => "com.springapp.mvc.HelloController",
    "thread_name" => "http-bio-8080-exec-1",
          "level" => "ERROR",
    "level_value" => 40000,
    "stack_trace" => "java.lang.ArithmeticException: / by zero",
       "HOSTNAME" => "gejunqingdeMacBook-Pro.local",
           "host" => "192.168.1.192",
           "port" => 57635,
           "tags" => [
        [0] "tags"
    ]
}

配置和log4j相似,只是需要引入额外的jar包,所以繁琐一点。

小结

至此,我们已经实现了log-->logstash-->kafka的配置,再加上邮件功能,我们的日志监控发邮件的系统就完成啦。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 201,552评论 5 474
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,666评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 148,519评论 0 334
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,180评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,205评论 5 363
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,344评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,781评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,449评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,635评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,467评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,515评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,217评论 3 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,775评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,851评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,084评论 1 258
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,637评论 2 348
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,204评论 2 341

推荐阅读更多精彩内容

  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 4,951评论 0 6
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,569评论 18 139
  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 4,915评论 1 13
  • 原文地址为 https://github.com/logstash/logstash-logback-encode...
    飞来来阅读 18,181评论 1 10
  • 概述 监控预警平台, eagle + eye (鹰眼)的合体词, 寓意可以快速发现问题, 并及时作出响应,Eagl...
    Kungfu猫熊阅读 7,345评论 0 52