标题：DKhadoop大数据处理平台监控数据介绍

AlienZHOU 发布于2019-08-16 13:33 / 1177人阅读

摘要：标题大数据处理平台监控数据介绍年国内大数据公司强榜单排名已经公布了出来，大快以黑马之姿闯入强，并摘得多项桂冠。本篇承接上一篇平台监控参数说明，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。

标题：DKhadoop大数据处理平台监控数据介绍
2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。
DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面
（1）执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量
纵轴表示应用程序数量，单位个
横轴表示时间,单位分钟
（2）已提交的应用程序

监控 yarn资源管理中已提交的应用程序数量
纵轴表示应用程序数量，单位个
横轴表示时间,单位分钟

（3）正在运行的应用程序

监控 yarn资源管理中正在运行的应用程序数量
纵轴表示应用程序数量，单位个
横轴表示时间,单位分钟
（4）等待执行的应用程序

监控 yarn资源管理中等待执行的应用程序数量
纵轴表示应用程序数量，单位个
横轴表示时间,单位分钟

（5）已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量
纵轴表示应用程序数量，单位个
横轴表示时间,单位分钟
（6）被kill的应用程序

监控 yarn资源管理中被杀死的应用程序数量
纵轴表示应用程序数量，单位个
横轴表示时间,单位分钟
2、Spark监控界面
注意：（spark 运行任务后才有监控数据）
（1）最大可使用内存

监控 Spark 集群中最大可使用的内存
纵轴表示内存容量，单位MB
横轴表示时间,单位分钟
（2）已使用的内存

监控 Spark 集群中已经使用的内存
纵轴表示内存容量，单位MB
横轴表示时间,单位分钟
（3）剩余内存

监控 Spark 集群中剩余的内存
纵轴表示内存容量，单位（MB）
横轴表示时间,单位分钟
（4）Spark中任务数量

监控 Spark 集群中任务数量
纵轴表示内存容量，单位MB
横轴表示时间,单位分钟
（5）Spark中正在运行的任务数量

监控 Spark中正在运行的任务数量
纵轴表示内存容量，单位MB
横轴表示时间,单位分钟
（6）正在运行的stage数量

监控 Spark集群中正在运行的stage数量
纵轴表示stage数量，单位个
横轴表示时间,单位分钟

（7）失败的stage数量

监控 Spark集群中运行失败的stage数量
纵轴表示stage数量，单位个
横轴表示时间,单位分钟
（8）准备就绪的stage数量

监控 Spark集群中准备就绪的stage数量
纵轴表示stage数量，单位个
横轴表示时间,单位分钟
备注：
（横轴的时间表示采集时间，一般是1分钟一次）

USDP大数据平台托管Hadoop集群大数据平台介绍大数据监控平台大数据平台资源监控大数据介绍

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/71925.html

DKhadoop安装包下载与监控参数说明

摘要：安装包下载与监控参数说明前阶段用了差不多两周的时间把的运行环境搭建以及安装的各个操作都介绍了一遍。我尽量把我知道的写完吧本文的重点还是最上部分的安装包下载，提取码上面也给了。 DKhadoop安装包下载与监控参数说明前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下，但好像大快搜索的服务器在更新，新...

vspiders 2019-08-16 13:33 评论0 收藏0
实用贴:hadoop系统下载安装教程

摘要：实用贴系统下载安装教程在前几篇的文章中分别就虚拟系统安装系统安装以及运行服务器的设置等内容写了详细的操作教程，本篇分享的是的下载安装步骤。我让他们去下载安装试一下，至于后来试没试就不得而知了。实用贴:hadoop系统下载安装教程在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程，本篇分享的是hadoop的下载安装步骤。在此之...

BenCHou 2019-08-16 13:33 评论0 收藏0
Hadoop新手篇：hadoop入门基础教程

摘要：新手篇入门基础教程关于的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。上两周写的五篇内容，汇总到一起就算是新手入门的一个基础性教程吧持续更新中。应该在改版完成后就可以正常申请下载了。 Hadoop新手篇：hadoop入门基础教程关于hadoop的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。最近可能还算好的吧，毕竟花了两周的时间详细的写完的了hadoop...

levinit 2019-08-16 13:33 评论0 收藏0
hadoop入门学习教程--DKHadoop完整安装步骤

摘要：入门学习教程完整安装步骤使用版本是标准三节点发行版，版本的易用性比较好，环境部署要简单的多，参考此篇安装前请先下载版本，网盘链接提取码第一部分准备工作大数据平台所需配置系统位需默认安装及以上。防止访问服务器时某些服务被拦截需关闭防火墙。 hadoop入门学习教程--DKHadoop完整安装步骤使用hadoop版本是DKH标准三节点发行版，DKHadoop版本的易用性比较好，环境部署要简...

superPershing 2019-08-16 13:37 评论0 收藏0
大数据框架hadoop服务角色介绍

摘要：大数据框架服务角色介绍翻了一下最近一段时间写的分享，发行版本下载安装运行环境部署等相关内容几乎都已经写了一遍了。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。大数据框架hadoop服务角色介绍翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧！我记得在...

atinosun 2019-08-16 13:40 评论0 收藏0