随着智慧运维平台的不断落地，我们基于平台能力，落地了很多场景，监控、告警、运维操作等等，但我们的监控场景与运维操作场景依然还是分段式的，平台监测到故障告警，依旧需要运维人员根据告警内容去判断执行相对应的运维操作。
如何将监控、告警能力与运维操作能力结合，使之成为一套完整的自动化流程?这就是本篇我们分享的主题——基于智慧运维平台故障自愈场景的小“探索”。
基于智慧运维平台监控weblogicserverFullGC情况，模拟触发FullGC告警,再基于平台ATM模块编排自愈运维操作，在告警产生后自动触发故障自愈操作，完成自愈操作。
监控自愈流程如下：
基于AMP监控采集FullGC信息，同时针对监控项配置告警触发器
基于ATM配置自愈操作，完成故障时刻信息搜集、server重启
绑定告警与自愈操作，使告警产生后自动触发完成自愈动作
模拟FullGC场景，触发故障自愈流程
同时针对JVM堆old区使用率配置了告警触发器（PS：GC监控场景有很多，如：FullGC次数、持久代使用率、O区使用率等等，本次仅以O区使用率作为验证场景）。
操作内容也很简单，搜集了故障时刻server的堆栈信息treaddump、heapdump(PS:由于是测试，未做过多的信息搜集)，之后便进行了服务重启动作，脚本配置了采用local模式执行。
可在监控模板告触发器配置时，“故障自愈”页面配置操作绑定
或者在配置管理的“告警自愈配置”模块新增自愈配置，绑定监控模板和触发场景。两个页面配置类似，见下图，在故障自愈方案选择田间之前在ATM配置好多自愈操作：
配置完成后，如下图，则新增了一条故障自愈策略，“启用状态”开启，“自动执行”状态开启。其中自动执行状态若是未开启，则告警产生后需要手动触发自动动作，可以根据具体需要设定。
至此，一个简单的故障自愈场景算是配置完成了。
在模拟FullGC场景之前，我们先来观察一下正常情况下，weblogicserver的GC情况，如下图，JVMold区使用率较低，稳定在12.4%左右，FGC次数也仅有3次。
当模拟触发了FullGC场景后，weblogicserver进程的FULLGC频繁执行，old区使用率也接近100%。
观察平台，告警如期触发：
自愈动作在告警触发后同样触发，如下图，自愈触发记录
通过平台GC信息采集看，JVM堆Old区使用率在触发FULLGC前后的变化趋势图，从10%->100%->10%，恢复到正常水平。
Weblogicserver在模拟FullGC并自愈前后GC次数的变化趋势图如下图所示，FullGC次数迅速增加，触发自愈动作重启实例后，FULLGC再次恢复实例启动状态。
自愈后告警状态自动变更为“已恢复”，至此，自愈流程验证完成。
以上便是通过智慧运维平台AMP监控场景、ATM运维操作场景结合，以完成从监控，到告警产生，再到故障自愈的一次“探索”。过程略简陋了些，在实际运维中，自愈场景需要考虑的点有很多，如自动or手动触发自愈，自愈搜集哪些信息，如何确保自愈动作100%完成，风险等等，都是需要我们根据不同的故障场景，去探究分析一套安全有效的解决方案。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/129945.html
摘要：作者介绍王艺，百度云智能运维架构研发负责人。年转向运维方向，作为智能运维架构方向的技术负责人，致力于为百度智能运维平台和产品提供高性能高可用可扩展的系统架构和基础设施。持续的数据建设，是智能运维建设的关键。 作者介绍王艺，百度云智能运维架构研发负责人。2010年加入百度，先后负责百度链接库、百度志愿计算、百度统一资源管理的研发，经历过千亿级网页链接的洗礼，也调度过数十万量级的服务器，热衷于直...
摘要：只有当超时故障扇区等明确故障项出现后，两者关联才确诊硬盘故障，否则只是隔离观察，不报修。如果存在进程住时间超过分钟，我们认为这个硬盘故障的影响面已扩大到了整机，需要进行重启消除影响。 随着阿里大数据产品业务的增长，服务器数量不断增多，IT运维压力也成比例增大。各种软、硬件故障而造成的业务中断，成为稳定性影响的重要因素之一。本文详细解读阿里如何实现硬件故障预测、服务器自动下线、服务自愈以...
摘要：智能化数据中心发展的三部曲在中国电信北京研究院副总工程师杨明川看来，智能化的数据中心的发展可以被归纳为三个阶段。而在最终阶段，则是希望能够实现完全自动化的数据中心。对此，中国电信正在积极思考在未来智能化的数据中心里可以做一些什么样的探索。这其中，智能化的数据中心包含两方面含义，一方面是数据中心如何基于海量数据，利用人工智能的技术，进一步去优化数据中心的运营；另个方面是数据中心会越来越多地去承...
摘要：最新发布的全球半年度行业云跟踪报告也显示，年全球四大行业金融制造医疗和公共部门的行业云支出总额将高达亿美元。这样一来，华为的金融网络能够获得市场的青睐也就顺理成章了。金融业数字化转型的加速，使得金融云越来越成为行业标配；但金融云的普及，又让传统网络技术架构受到了前所未有的冲击。这样看来，逻辑就简单了：金融业必须先推动传统网络技术架构的升级，促进金融云的普及应用，才能进一步实现自身的数字化转型...
前言 以Docker为代表的容器技术缩短了企业应用从开发、构建到发布、运行的整个生命周期。Gartner推测到2022年将会有75%的全球化企业将在生产中使用容器化的应用（当前约为30%）。由于Docker往往难以独立支撑起大规模容器化部署，因此诞生了Kubernetes等容器编排工具，解决了大规模容器的组织和管理难题。 但事实上，Kubernetes的使用体系还是非常复杂的，对于企业的开...
阅读 1346·2023-01-11 13:20
阅读 1684·2023-01-11 13:20
阅读 1132·2023-01-11 13:20
阅读 1858·2023-01-11 13:20
阅读 4100·2023-01-11 13:20
阅读 2704·2023-01-11 13:20
阅读 1385·2023-01-11 13:20
阅读 3597·2023-01-11 13:20
