资讯专栏INFORMATION COLUMN

告警异常检测实现

IT那活儿 / 381人阅读
告警异常检测实现

点击上方“IT那活儿”公众号,关注后了解更多内容,不管IT什么活儿,干就完了!!!





异常检测



离群点是在给定数据集中,与其他数据集显著不同的点。异常检测是找出数据中离群点(和大多数数据点显著不同的数据点)的过程。





孤立森林



孤立森林(Isolation Forest)算法是西瓜书作者周志华老师的团队研究开发的算法,一般用于结构化数据的异常检测。

针对于不同类型的异常,要用不同的算法来进行检测,而孤立森林算法主要针对的是连续型结构化数据中的异常点。
使用孤立森林的前提是,将异常点定义为那些 “容易被孤立的离群点” —— 可以理解为分布稀疏,且距离高密度群体较远的点。

图片来源于网络

统计学来看,在数据空间里,若一个区域内只有分布稀疏的点,表示数据点落在此区域的概率很低,因此可以认为这些区域的点是异常的。

也就是说,孤立森林算法的理论基础有两点:

  • 异常数据占总样本量的比例很小;
  • 异常点的特征值与正常点的差异很大。





项目实现



综上所述,结合日常工作中的指标周期性的告警信息,通过算法编程,实现对指标的异常分析。

构建树

  • 模拟数据:

  • 初始化:
  • 取出样本:

  • 生成树:

  • 获取深度:

  • 异常判定:



END




本文作者:林志伟(上海新炬王翦团队)

本文来源:“IT那活儿”公众号

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/129435.html

相关文章

  • vivo统一告警平台设计与实践

    摘要:告警当一个问题通过告警系统将消息以短信电话邮件等方式告知给用户时,我们称之为一条告警。图统一告警系统结构图告警收敛对于告警平台每天会产生数以万计的告警,这些告警对于运维或开发人员都需要去分析甄别优先级并处理故障。 一、背景一套监控系统检测和告警是密不可分的,检测用来发现异常,告警用来将问题信息发送给相应的人。v...

    Rocko 评论0 收藏0
  • AIOps在携程的践行

    摘要:随着人工智能时代的到来,携程生产环境运维进入了新的运维时代。本文选取了几种典型的运维场景对在携程的践行展开了介绍,首先让我们从概念认识下。针对应用异常指标检测这种场景,抽取一定的样本统计,在基于专家经验标注下的准确率可达到以上,召回率接近。 作者简介徐新龙,携程技术保障中心应用管理团队高级工程师,负责多个AIOps项目的设计与研发。信号处理专业硕士毕业,对人工智能、机器学习、神经网络及数学有...

    MingjunYang 评论0 收藏0
  • 应该对什么告警

    摘要:至少可以提几点不应该做的事情不应该用采集的难度决定你使用什么指标去告警。 告警的本质 没有多少系统的告警是设计得当的。良好的告警设计是一项非常困难的工作。如何知道你收到的告警是糟糕的?多少次你收到了告警之后,立即就关掉了的?是不是成天被这些然而并没有什么卵用的东西给淹没?最常见的告警设置:cpu使用率超过90%,然后告警。这种设置在大部分场合下是没有办法提供高质量的告警的。 高质量...

    endless_road 评论0 收藏0
  • 如何实现多维智能监控?--AI运维的实践探索

    摘要:近十年监控系统开发经验,具有构建基于大数据平台的海量高可用分布式监控系统研发经验。监控多维数据特点监控的核心是对监控对象的指标采集处理检测和分析。通过单一对象的指标反映的状态已不能满足业务监控需求。 吴树生:腾讯高级工程师,负责SNG大数据监控平台建设。近十年监控系统开发经验,具有构建基于大数据平台的海量高可用分布式监控系统研发经验。前言在2015年构建多维监控平台时用kmeans做了异常点...

    王军 评论0 收藏0
  • 如何实现多维智能监控?--AI运维的实践探索【一】

    摘要:近十年监控系统开发经验,具有构建基于大数据平台的海量高可用分布式监控系统研发经验。的哈勃多维监控平台在完成大数据架构改造后,尝试引入能力,多维根因分析是其中一试点,用于摸索的应用经验。 作者丨吴树生:腾讯高级工程师,负责SNG大数据监控平台建设。近十年监控系统开发经验,具有构建基于大数据平台的海量高可用分布式监控系统研发经验。 导语:监控数据多维化后,带来新的应用场景。SNG的哈勃多...

    xioqua 评论0 收藏0
  • 网络安全态势可视化

    摘要:安全态势可视化系统的目的是生成网络安全综合态势图,以多视图多角度多尺度的方式与用户进行交互。可以看到,黑客攻击是无处不在,无时不有的,世界互联网的安全态势并不如我们印象中那么隐蔽和少见。 导语 网络态势可视化技术作为一项新技术,是网络安全态势感知与可视化技术的结合,将网络中蕴涵的态势状况通过可视化图形方式展示给用户,并借助于人在图形图像方面强大的处理能力,实现对网络异常行为的分析和检测...

    testHs 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<