摘要：环境要求由，和容器组成使用日志收集器将日志发送到。若使用自己的部署，分析和可视化日志的概念保持不变。日志可视化以索引数据为基础创建丰富的可视化和仪表板的能力而闻名，事实上，得到这些数据并不容易。
昨天小数分享的使用ELK处理Docker日志(一)很受欢迎，今天迫不及待的带来第二篇，侧重于分析和可视化，期待给您带来帮助：）
嘘，听说数人云工程师们在奥斯汀DockerCON2017买了DockerT恤，小数要抢来送给大家，具体规则请关注明日微信~
上篇文章介绍了如何将容器日志收集到ELK （Elasticsearch，Logstash和Kibana）的基本步骤。不管最终使用哪种方法来收集Docker日志--使用日志驱动程序或专用日志驱动均可行，接下来要解决的问题是如何在Elasticsearch中编入索引并在Kibana展现时处理日志。
本文将进一步分析使用ELK记录Docker的过程 - 分析和可视化日志。
Dockerized环境要求:
由ELK，Prometheus和Grafana容器组成
使用Docker日志收集器将Docker日志发送到Logz.io ELK。
若使用自己的ELK部署，分析和可视化日志的概念保持不变。
分析之前的准备工作...解析分析容器生成日志的难度级别取决于如何解析--将消息分解成有效字段的效率越高，可视化起来也就越容易，这正是 Kibana 知名的原因。
由于Dockerized环境存在差异，提供详细的解析说明是很困难的，以下是同一主机上两个不同容器的日志。首先是Grafana容器：
t=2017-03-22T13:04:47+0000 lvl=info msg="Request Completed" logger=context userId=1 orgId=1 uname=admin method=GET path=/logout status=302 remote_addr=109.67.183.188 time_ms=1ns size=29
然后是Elasticsearch容器：
[2017-03-22T13:05:01,974][INFO ][o.e.c.r.a.DiskThresholdMonitor] [0EUzBd2] rerouting shards: [high disk watermark exceeded on one or more nodes]
日志解析小技巧：
时间戳 尝试规范不同类型容器日志的时间戳字段，有助于以后日志的分析，不用修改每个新镜像的时间格式。
服务ID /标签 为了区分不同的容器日志，给每个日志类型添加标签至关重要，这样可以在Kibana中以不同的流来区分日志，若想在日志中获取容器名称和ID，也可以添加更多的数据注释，以便将来分析。
丢掉不必要的数据 如果有不必要的数据字符串，可以使用Logstash过滤器删除，经常清理后续分析会变得容易一些，另外，请不要将日志写入STDOUT / STDERR。
当然，自己完成所有这些操作并不简单，可以借助logspout和Logz.io日志收集器等工具。
日志查询上篇文章已经介绍如何将Docker日志存入Elasticsearch,基于这个条件我们开始新的操作。
分析数据之前，最好将一些字段添加到主日志显示区域（“Discover”选项），有助于了解数据。
如上所述，这个字段列表以及是否可以用于分析，完全取决于如何配置解析。示例中保留了一些有用的字段，可以看到诸如“image”（容器镜像名称），“id”（容器ID）和“name” （容器名称）。
.
接下来就是查询日志，这里需要熟悉Kibana基本查询语法，简单介绍下使用Kibana搜索Docker日志上下文，更多Kibana语法查询方法可关注Kibana教程。
用 "free-text"在日志中进行搜索是比较常用的方式，更精确的搜索例如"Field-level"可锁定特定容器或主机的日志：
id: 84379bdbe8e0
还可以在逻辑语句中组合两个"field-level"搜索，以查找特定容器和重要日志：
id: 6c05ea5efd6d AND loglevel:INFO
记住，这些字段需要在解析中进行映射，以便执行基于字段的搜索。
查看特定容器的日志的另一种方法是使用"_exists_"查询，可根据日志消息中存在的特定字段过滤。
例如:
_exists_:loglevel
完成数据查询后，不要忘记保存查询语句，这将会在接下来的可视化环节提供帮助，虽然可以在创建可视化的同时进行搜索，但是过滤后的数据范围缩小了查找更容易。
Docker日志可视化Kibana以索引数据为基础创建丰富的可视化和仪表板的能力而闻名，事实上，得到这些数据并不容易。需要再次强调的是-如何映射和解析消息至关重要。下面来看一些简单的例子。
单个容器日志根据每个容器或主机生成的日志量创建可视化饼图，使用容器“name”字段的聚合，得到以下结果：
当然也可以使用 "image" 或 "host" 进行聚合。
单个容器事件另一个例子是监控特定容器的事件数量，为此，将基于保存的事件日志搜索创建可视化折线图，示例中有生成日志事件(错误和警告日志)的特殊容器，需要做的是将X轴配置为使用日期直方图：
条形图可以更全面地查看每个容器日志:
镜像/容器/主机的数量用独特的可视化聚合方式，在环境中显示Docker容器，镜像和主机的数量：
这些只是在Kibana中可视化Docker容器日志的简单示例，Kibana包含更多可用的可视化类型 --平铺地图可视化可以创建IP字段（映射为地理位置字段），条形图，数据表等的地理图表。
如果使用Logz.io ELK来记录Docker日志，则可以在ELK APPS 中使用预制的仪表板--一个免费的Kibana可视化和仪表板库：
.
尽管在Docker1.12中引入了Docker驱动程序，容器日志记录仍然是一个很大的挑战，日志收集没有捷径，解决方案各有优缺点，然而文中未提及的Docker生成其他类型的数据(例如 container stats 和 daemon events)也应当被记录下来。
尽管从Docker主机到ELK的设置并创建良好的日志解析通道并不简单，但最终的结果是值得的，可视化全方位日志将能更有效地关联事件并监控Dockerized环境。
原文链接：https://logz.io/blog/docker-l...
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/26874.html
摘要：数据导入与校验容器运行之后，笔者需要验证是否启动成功，可以通过浏览器访问和的页面是否成功来判断。的整体操作流程比较简单，首先是收集各种日志并进行过滤，然后将过滤后的内容发送到服务中，最后用户通过的页面查看中的日志数据作者汤青松微信日期 一、背景 笔者所在项目组的项目由多个子项目所组成，每一个子项目都存在一定的日志，有时候想排查一些问题，需要到各个地方去查看，极为不方便，此前听说有ELK...
摘要：数据导入与校验容器运行之后，笔者需要验证是否启动成功，可以通过浏览器访问和的页面是否成功来判断。的整体操作流程比较简单，首先是收集各种日志并进行过滤，然后将过滤后的内容发送到服务中，最后用户通过的页面查看中的日志数据作者汤青松微信日期 一、背景 笔者所在项目组的项目由多个子项目所组成，每一个子项目都存在一定的日志，有时候想排查一些问题，需要到各个地方去查看，极为不方便，此前听说有ELK...
摘要：数据导入与校验容器运行之后，笔者需要验证是否启动成功，可以通过浏览器访问和的页面是否成功来判断。的整体操作流程比较简单，首先是收集各种日志并进行过滤，然后将过滤后的内容发送到服务中，最后用户通过的页面查看中的日志数据作者汤青松微信日期 一、背景 笔者所在项目组的项目由多个子项目所组成，每一个子项目都存在一定的日志，有时候想排查一些问题，需要到各个地方去查看，极为不方便，此前听说有ELK...
摘要：编者的话产品经理为了纪念四岁生日，撰写一系列文章，介绍如何使用收集和处理环境日志。在将日志发送到的上下文中，使用日志驱动可能是最简单的方法。如果使用或日志记录驱动程序，则需要将定义为输入。 [编者的话] Daniel Berman （ Logz.io 产品经理）为了纪念 Docker 四岁生日，撰写一系列文章，介绍如何使用 ELK 收集和处理 Dockerized 环境日志。小数今天...
摘要：汉化使用中文界面实践一背景笔者在上一篇文章使用快速部署分析日志实践当中有提到如何快速搭建分析日志，但是这只是第一步，后面还有很多仪表盘需要配置，而对于大部分人来说，英文并不是那么好，但都是英文界面，这就阻碍了笔者熟悉的一些操作所以笔者思考能 Kibana汉化使用中文界面实践 一、背景 笔者在上一篇文章使用Docker快速部署ELK分析Nginx日志实践当中有提到如何快速搭建ELK分析N...
阅读 1830·2021-11-22 15:24
阅读 1291·2021-11-12 10:36
阅读 3125·2021-09-28 09:36
阅读 1793·2021-09-02 15:15
阅读 2648·2019-08-30 15:54
阅读 2375·2019-08-30 11:02
阅读 2364·2019-08-29 13:52
阅读 3506·2019-08-26 11:53
