斌哥的 Docker 进阶指南—监控方案的实现

X_AirDu 发布于2019-06-28 15:10 / 3403人阅读

摘要：本文转自刘斌博文如何选择监控方案，文中刘斌从技术的角度深入解释了监控的数据采集原理，介绍了现有开源的监控方案，以及能够对进行监控功能的主流服务工具。下一章，刘斌将为大家介绍监控的开原方案，主流服务，及其特点。

过去的一年中，关于 Docker 的话题从未断过，而如今，从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高，关于 Docker 的讨论更是有增无减。另一方面，大家的注意力也渐渐从 “Docker 是什么”转移到“实践 Docker”与“监控 Docker”上。

本文转自刘斌博文「如何选择 Docker 监控方案」，文中刘斌从技术的角度深入解释了 Docker 监控的数据采集原理，介绍了现有开源的监控方案，以及能够对 Docker 进行监控功能的主流 SaaS 服务工具。

上一篇文章中介绍了 Docker 监控目的及技术基础，本篇文章将介绍，Docker 监控方案的实现。

Docker 监控方案的实现

自己动手 + 开源软件

SaaS

评价标准

功能

信息详细程度

查询的灵活程度

报警 + API

灵活性

定制

成本

学习、开发

维护

运维

部署复杂程度

高可用

需要考虑的基本要素如上所示，不多述。

自己动手

灵活性强

成本高

这里的成本包括开发成本，开发成本可能包括招人和培训，开发时间和填坑时间。开发完了还需要维护成本，而且随着Docker的升级，可能还需要对metric的采集实现进行升级，以及各种bugfix。

自己动手打造监控方案

采集

存储

展示

报警（动作）

StatsD 是 Flickr 公司首先提出来的，后来由 Esty 公司发扬光大的一个轻量级的指标采集模块。

简单来讲，StatsD 就是一个简单的网络守护进程，基于 Node.js 平台（Esty实现，其实也有其他语言版本），通过 UDP 或者 TCP 方式侦听各种统计信息，包括计数器和定时器，可以用来采集操作系统、不同数据库、中间件的数据指标，进行缓存、聚合，并发送到Graphite 等存储和可视化系统中。

StatsD 具有以下优点：

简单

首先安装部署简单，且StatsD 协议是基于文本的，可以直接写入和读取，方便实现各种客户端和SDK。

Cloud Insight的探针也是采用这些方式，我们有些SDK也是基于StatsD的，目前有Ruby、Python和Java的，在 GitHub 上可以看到。

低耦合性

StatsD 守护进程采取 UDP 这种无状态的协议，收集指标和应用程序本身之间没有依赖，不会阻塞应用，不管StatsD的状态是运行中，还是没在运行，都不会影响应用程序，应用程序也不关心StatsD是否收到数据。

易集成

StatsD非常容易整合其他组件，可以自己编写采集业务逻辑，发送到StatsD守护进程即可。也就是说用户的工作很简单，只需要按定义好的规则采集数据发送到Stats，然后用Graphite存储、展示，通过使用Riemann进行报警。

Tcollector

来源于OpenTSDB

Tcollector 是一个采集指标数据并保存到OpenTSDB的框架，你可以使用该框架自己编写采集的业务逻辑。类似StatsD，运行在客户端，收集本地的metric信息，推送到OpenTSDB。

Collectd

System statistics collection daemon

存储到RRD

插件机制（input/output）

简单报警功能

Collectd即是一个守护进程，也是一个框架，类似StatsD，它性能非常好，采用C语言编写。Collectd不直接支持从Docker中取数据，但是我们可以自己编写插件来采集性能指标数据。

Collectd有强大的插件机制，已经实现了包括amqp、rrdtool、graphite、http、kafka、redis、mongodb、OpenTSDB以及CSV文件等在内的各种插件。

在4.3版本之后还支持简单的基于阈值检查的报警机制。

cAdvisor是一个用于收集、聚合处理和输出容器运行指标的守护进程。而且cAdvisor基本算是一个获取Docker性能数据的标配了吧。

一句命令就可以启动cAdvisor容器，访问8080端口即可看到性能指标数据。cAdvisor可以通过storage_driver参数将数据存到influxdb，同时也可以将metric输出为Prometheus的格式，所以很多自定义Docker监控系统都会采取cAdvisor + Prometheus 的组合。

存储TSDB

OpenTSDB

Influxdb

RRDTool

Graphite

关于时序列数据库，可以看附录中相关的介绍文章。推荐使用OpenTSDB或者Influxdb，简单对比一下各自特点如下：

OpenTSDB

Java & HBase

易扩展（集群功能强大）

机器多，运维稍显麻烦

Influxdb

Golang

集群功能不太成熟

有类SQL的查询语句

单台即可工作

这两者都支持自由模式和多维度，非常适合用于采用tag机制的数据模式建模。
开源可视化工具

Graphite

Influxdb + Grafana

Prometheus

光有数据是不够的，raw data没有任何意义，我们需要良好的可视化组件来展示数据和数据的内在意义，发挥数据的作用。

我们也可以将数据存储和展示交给其他开源软件。

如果你的数据采集和存储都是自己来完成的，只想使用一个外部的图形化界面的话，选Grafana应该没错，Grafana展现形式非常丰富，配置也很灵活。

以上，先到这里。

下一章，刘斌将为大家介绍 Docker 监控的开原方案，主流 SaaS 服务，及其特点。

超好用的监控软件 Cloud Insight 不仅能监控 Docker，还能对 Nagios 进行更好的可视化哦~

阅读更多技术文章，请访问 OneAPM 官方博客。

本文转自 OneAPM 官方博客

GPU云服务器云服务器 docker 最常用的监控方案基于docker的混合云部署方案 docker使用指南 webrtc实现单向的视频监控

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/26564.html

斌哥的 Docker 进阶指南

摘要：斌哥是谁刘斌，拥有多年编程经验，曾参与翻译过第一本书入门与实践应用安全权威指南等多本技术书籍，主讲过入门与实践课程的后台工程师。主要的解决方式就是以或者为单位进行监控通过等方式。过去的一年中，关于 Docker 的话题从未断过，而如今，从尝试 Docker 到最终决定使用 Docker 的转化率依然在逐步升高，关于 Docker 的讨论更是有增无减。另一方面，大家的注意力也渐渐从 D...

Ververica 2019-06-28 15:10 评论0 收藏0
必看！java后端，亮剑诛仙（最全知识点）

摘要：鉴于目前大多数服务器环境都是，提前接触能够相辅相成。正则也是必须要掌握的一个知识点。有多种创建多线程的方式，不过目前使用线程池的多一些。原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。你可能有所感悟。零散的资料读了很多，但是很难有提升。到处是干货，但是并没什么用，简单来说就是缺乏系统化。另外，噪音太多，雷同的框架一大把，我不至于全都要去学了吧。这里，我...

陈江龙 2019-08-19 10:34 评论0 收藏0
Docker Swarm在生产环境中的进阶指南

摘要：应该如何解决本文将给出若干提示，如何在生产环境中使用。路由匹配服务发现负载均衡跨容器通讯非常可靠。在单个端口上运行一个服务，节点的任意主机都可以访问，负载均衡完全在后台实现。上周数人云给大家分享了——《你可能需要的关于Docker Swarm的经验分享》今天给大家带来这位作者大大的后续文章——《Docker Swarm在生产环境中的进阶指南》当在本地开发环境中使用Docker，或者...

galaxy_robot 2019-06-28 15:46 评论0 收藏0
【戴嘉乐】（进阶）基于IPFS和Ngrok构建自维护资源网关

摘要：五参考文献区块链利用构建自己的去中心化分布式系统相关文章和视频推荐戴嘉乐入门基于和构建自维护资源网关圆方圆学院汇集大批区块链名师，打造精品的区块链技术课程。作者简介：戴嘉乐( Mr.Maple ) | 前百度高级研发工程师 | IPFS应用实践者&布道师|个人网站：https://www.daijiale.cn联系方式：微信号：daijiale6239。一、背景上篇文章[《（入门...

xiyang 2019-06-27 18:54 评论0 收藏0
从小白程序员一路晋升为大厂高级技术专家我看过哪些书籍？（建议收藏）

摘要：大家好，我是冰河有句话叫做投资啥都不如投资自己的回报率高。马上就十一国庆假期了，给小伙伴们分享下，从小白程序员到大厂高级技术专家我看过哪些技术类书籍。大家好，我是...

sf_wangchong 2021-09-29 09:35 评论0 收藏0