摘要:问题初衷最近有个项目需求,需要统计下用户的使用情况,比如什么时候登录的,查询了什么内容等信息。缺点扩展能力需要靠自己设计,统计展示画面需要自己做。可轻松应对分布式,数据量大的情况。通过,如下修改,在重启后又会恢复原值。
问题初衷
最近有个项目需求,需要统计下用户app的使用情况,比如:什么时候登录的,查询了什么内容等信息。
解决方案1.定义用户轨迹模型,每步操作都写到数据库中,然后在前端展示。
优点:可以针对业务需求自定义模型,操作灵活,有针对性。
缺点:扩展能力需要靠自己设计,统计展示画面需要自己做。
2.用现成的用户数据分析平台,网上有很多成熟的平台,对接其api接口即可。
优点:各种分析图,什么有的没有的,见过的没见过的一应俱全。ps:现在用不上以后可能会用上。
缺点:受制于人,主要还要看自身业务是否适用。
3.ELK,集中式日志管理,特点:收集,传输,存储,管理,告警。
优点:开源,可以通过日志记录各种你想要记录的东西。丰富的分析图表。可轻松应对分布式,数据量大的情况。
ELK对接Elasticsearch+Logstash+Kibana(ELK)是一套开源的日志管理方案。
Elasticsearch:负责日志检索和分析
Logstash:负责日志的收集,处理和储存
Kibana:负责日志的可视化
对于保存日志到文件的的项目,可以用logstash的logstash-input-file插件直接进行文件读取,处理后转存到Elasticsearch中。处理可以用logstash-filter-kv键值插件或者logstash-filter-mutate等插件进行解析。具体查看Filter plugins。
由于我们的项目没有记录日志文件,所以选择直接发送日志信息到logstash,(对于log4j,logstash有专门的input插件)。
log4j2的配置
{"logger": "%logger", "level": "%level", "msg": "%message"}%n
logstash的配置
input { tcp { host => "127.0.0.1" port => 4560 codec => json { charset => "UTF-8" } } } filter { } output { elasticsearch { hosts => ["localhost"] manage_template => false index => "logstash-%{+YYYY.MM.dd}" document_type => "logstash" } }
转存到Elasticsearch的message就是我们log4j2配置中的Json形式,如果想要将message拉平,那么只需要加入logstash-filter-json。
filter { json { source => "message" } }
这样保存到Elasticsearch中的数据,就会变成如下形式
{ ... "message" => "{"logger": "elk", "level": "INFO", "msg": "logstash test"} ", "logger" => "elk", "level" => "INFO", "msg" => "logstash test" }
这样对于Kibana分析的时候比较方便。
log4j2用Socket的方式会有一个问题,当logstash断掉,重启后你会发现收不到log4j2的日志了,传输断掉没有重连。在生产环境中,elk断掉,我们不可能在去重启所有与之相连的服务。所以接下来我们采用gelf方式。
修改pom
biz.paluch.logging logstash-gelf 1.12.0
修改log4j2的配置
修改logstash配置
input { gelf { host => "127.0.0.1" port => 4560 use_tcp => true codec => json { charset => "UTF-8" } } } filter { json { source => "message" } } output { elasticsearch { hosts => ["localhost"] manage_template => false index => "logstash-%{+YYYY.MM.dd}" document_type => "logstash" } }
保存到Elasticsearch中的数据就会如同log4j2中的配置格式一样,由于我们这里依然配置了json filter,如果你的message是json字串,这里依然会拉平处理。
ELK搭建以上我们log4j2与logstash的对接就完成了,对于docker部署elk,比较简单,网上有很多教程,当然还是推荐大家先去官网看看,注意版本对应。我选择的是sebp/elk,集成好的elk容器。详细的文档elk-docker
这里主要说说需要注意的地方,强烈建议安装之前看下文档中的Prerequisites。
首先,我就遇见了vm.max_map_count限制问题,在Elasticsearch version 5这是最常出现的问题。通过,如下修改,在重启后又会恢复原值。
sysctl -w vm.max_map_count=262144
持久性的做法是修改/etc/sysctl.conf文件中的vm.max_map_count
echo "vm.max_map_count=262144" > /etc/sysctl.conf sysctl -p
其次,logstash的配置文件在/etc/logstash/conf.d/目录下,将input,filter,out分开,最终组合成一个,建议将/etc/logstash/conf.d映射出来,自行管理。
最后,因为log4j2在发送日志是是通过4560接口,所以启动docker的时候需要映射此接口。
以上是我在对接elk的时候遇到的问题,再次记录下,更多的elk内容后续会继续探索。
文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。
转载请注明本文地址:https://www.ucloud.cn/yun/28087.html
摘要:简介是简称是一个分布式的搜索和分析引擎,可以用于全文检索结构化检索和分析,并能将这三者结合起来。基于开发,现在是使用最广的开源搜索引擎之一。是一个开源的分析与可视化平台,设计出来用于和一起使用的。 ELK简介ELK是Elasticsearch+Logstash+Kibana简称 Elasticsearch 是一个分布式的搜索和分析引擎,可以用于全文检索、结构化检索和分析,并能将这三者结...
摘要:新增了一个,它是一个轻量级的日志收集处理工具,占用资源少,适合于在各个服务器上搜集日志后传输给,官方也推荐此工具。具体的结构如下主机系统部署服务安装准备是需要的,建议安装。先下载通用安装包。 ELK简介 ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工...
阅读 2790·2021-10-08 10:12
阅读 3877·2021-09-22 15:45
阅读 2422·2019-08-30 15:52
阅读 2530·2019-08-29 18:44
阅读 2551·2019-08-29 12:37
阅读 1045·2019-08-26 13:36
阅读 2478·2019-08-26 13:34
阅读 1332·2019-08-26 12:20