资讯专栏INFORMATION COLUMN

log4j2+ELK

Sunxb / 888人阅读

摘要:问题初衷最近有个项目需求,需要统计下用户的使用情况,比如什么时候登录的,查询了什么内容等信息。缺点扩展能力需要靠自己设计,统计展示画面需要自己做。可轻松应对分布式,数据量大的情况。通过,如下修改,在重启后又会恢复原值。

问题初衷

最近有个项目需求,需要统计下用户app的使用情况,比如:什么时候登录的,查询了什么内容等信息。

解决方案

1.定义用户轨迹模型,每步操作都写到数据库中,然后在前端展示。

优点:可以针对业务需求自定义模型,操作灵活,有针对性。

缺点:扩展能力需要靠自己设计,统计展示画面需要自己做。

2.用现成的用户数据分析平台,网上有很多成熟的平台,对接其api接口即可。

优点:各种分析图,什么有的没有的,见过的没见过的一应俱全。ps:现在用不上以后可能会用上。

缺点:受制于人,主要还要看自身业务是否适用。

3.ELK,集中式日志管理,特点:收集,传输,存储,管理,告警。

优点:开源,可以通过日志记录各种你想要记录的东西。丰富的分析图表。可轻松应对分布式,数据量大的情况。

ELK对接

Elasticsearch+Logstash+Kibana(ELK)是一套开源的日志管理方案。

Elasticsearch:负责日志检索和分析
Logstash:负责日志的收集,处理和储存
Kibana:负责日志的可视化

对于保存日志到文件的的项目,可以用logstash的logstash-input-file插件直接进行文件读取,处理后转存到Elasticsearch中。处理可以用logstash-filter-kv键值插件或者logstash-filter-mutate等插件进行解析。具体查看Filter plugins。

由于我们的项目没有记录日志文件,所以选择直接发送日志信息到logstash,(对于log4j,logstash有专门的input插件)。

log4j2的配置



    
        {"logger": "%logger", "level": "%level", "msg": "%message"}%n
    
    
        
            
        
    
    
        
            
        
    

logstash的配置

input {
  tcp {
    host => "127.0.0.1"
    port => 4560
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {

}

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "logstash"
  }
}

转存到Elasticsearch的message就是我们log4j2配置中的Json形式,如果想要将message拉平,那么只需要加入logstash-filter-json。

filter {
  json {
    source => "message"
  }
}

这样保存到Elasticsearch中的数据,就会变成如下形式

{       
    ...                                                                                                                                       
    "message" => "{"logger": "elk", "level": "INFO", "msg": "logstash test"}
",
    "logger" => "elk",
    "level" => "INFO",
    "msg" => "logstash test"
} 

这样对于Kibana分析的时候比较方便。

log4j2用Socket的方式会有一个问题,当logstash断掉,重启后你会发现收不到log4j2的日志了,传输断掉没有重连。在生产环境中,elk断掉,我们不可能在去重启所有与之相连的服务。所以接下来我们采用gelf方式。

修改pom


    biz.paluch.logging
    logstash-gelf
    1.12.0

修改log4j2的配置



    
        
            
            
            
            
            
            
            
        
    
    
        
            
        
    

修改logstash配置

input {
  gelf {
    host => "127.0.0.1"
    port => 4560
    use_tcp => true
    codec => json {
      charset => "UTF-8"
    }
  }
}

filter {
  json {
    source => "message"
  }
}

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "logstash-%{+YYYY.MM.dd}"
    document_type => "logstash"
  }
}

保存到Elasticsearch中的数据就会如同log4j2中的配置格式一样,由于我们这里依然配置了json filter,如果你的message是json字串,这里依然会拉平处理。

ELK搭建

以上我们log4j2与logstash的对接就完成了,对于docker部署elk,比较简单,网上有很多教程,当然还是推荐大家先去官网看看,注意版本对应。我选择的是sebp/elk,集成好的elk容器。详细的文档elk-docker

这里主要说说需要注意的地方,强烈建议安装之前看下文档中的Prerequisites。

首先,我就遇见了vm.max_map_count限制问题,在Elasticsearch version 5这是最常出现的问题。通过,如下修改,在重启后又会恢复原值。

sysctl -w vm.max_map_count=262144

持久性的做法是修改/etc/sysctl.conf文件中的vm.max_map_count

echo "vm.max_map_count=262144" > /etc/sysctl.conf
sysctl -p

其次,logstash的配置文件在/etc/logstash/conf.d/目录下,将input,filter,out分开,最终组合成一个,建议将/etc/logstash/conf.d映射出来,自行管理。

最后,因为log4j2在发送日志是是通过4560接口,所以启动docker的时候需要映射此接口。

以上是我在对接elk的时候遇到的问题,再次记录下,更多的elk内容后续会继续探索。

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/28087.html

相关文章

  • springboot+ELK日志监控系统

    摘要:简介是简称是一个分布式的搜索和分析引擎,可以用于全文检索结构化检索和分析,并能将这三者结合起来。基于开发,现在是使用最广的开源搜索引擎之一。是一个开源的分析与可视化平台,设计出来用于和一起使用的。 ELK简介ELK是Elasticsearch+Logstash+Kibana简称 Elasticsearch 是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结...

    gclove 评论0 收藏0
  • Linux ELK 安装(服务器架设篇)

    摘要:新增了一个,它是一个轻量级的日志收集处理工具,占用资源少,适合于在各个服务器上搜集日志后传输给,官方也推荐此工具。具体的结构如下主机系统部署服务安装准备是需要的,建议安装。先下载通用安装包。 ELK简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工...

    funnyZhang 评论0 收藏0

发表评论

0条评论

最新活动
阅读需要支付1元查看
<