摘要：编者按本文作者为，主要介绍告警疲劳的产生原因与对抗告警疲劳的种方法。告警疲劳不仅会影响团队成员的工作情绪，而且会阻碍软件交付链的成长。利用工具事件管理工具对抵抗告警疲劳大有帮助。
【编者按】本文作者为 Chris Riley，主要介绍告警疲劳的产生原因与对抗告警疲劳的8种方法。文章系国内 ITOM 管理平台 OneAPM 编译呈现。
各司其职、孤军作战非常不利于团队沟通，一旦发生重大事件，各个部门就很难掌握事件始末，这不仅降低了整个开发团队的沟通质量，而且对运维工作也造成了极大困扰，即告警疲劳。告警疲劳不仅会影响团队成员的工作情绪，而且会阻碍软件交付链的成长。
DevOps 的最大优势是清除沟通障碍并简化运维操作。通常，DevOps 团队有两种类别：一种是面向所有应用程序的集中式团队，另一种是面向每个应用程序或核心服务的去中心化团队。前者规模较大，但是比传统的NOC环境要小，而后者则是很小的团队。
DevOps 团队除了负责维护基础设施以外，有时还要管理发布过程，以及维持生产的正常运行。而最后这项工作是最伤脑经也最耗时的，一旦处理有误就会影响到整个环境。虽然没有人愿意值班待命，但我们还是得这样做，因为平均修复时间（MTTR）越短，问题响应越迅速，接下来的几天甚至几周里，大家的日子都会好过些——最重要的是它能维持业务的正常运转。
但是，一旦值班开始影响到团队情绪并占据运维团队大量的时间，就可能招致巨大的风险——集中式团队和去中心化团队很容易产生告警疲劳。集中式团队的疲劳不仅是要解决所有应用上的大量告警，而且还很难找到合适的人来解决问题，因为值班的人很有可能没法解决告警的问题。至于去中心化团队的告警疲劳，主要是由于团队太小而告警太多所致。
告警疲劳对DevOps和IT运维团队的影响主要体现在四个方面：
士气低落：如果大部分时间都用于解决问题，你不仅要没日没夜地处理事件，而且所做的事情越来越无聊，感觉每天就是灭不完的火，这样很容易磨灭团队的沟通热情，导致工作效率降低。
单点故障：在集中式团队中，MTTR 主要取决于运维人员通过一组非常有限的值班操作来响应问题并确定根本原因的速度。在去中心化团队中，确定根本问题的时间会有所增加，但是由于掌握的信息不足，运维人员无法准确地筛选问题并快速解决。再有就是，由于呼叫列表太短，很有可能根本无法解决问题。因此，一旦有问题产生，这些因素都会造成运维瓶颈和单点故障。
机会成本：这是告警疲劳所造成的影响中最容易被忽略的一点——整个团队和交付链所耗费的成本增加。如果你的 DevOps 团队在告警过程中不堪重负，他们就无法完善和创新交付链，因为他们只会机械地响应，没有精力去开发更好的版本、完善基础设施的自动化过程或主动预防未来的问题。这不仅阻碍了团队进步，而且增加了技术成本，因为经常重复的问题并没有真正得到解决。
发布速度延迟：解决问题所耗费的时间越长，发布速度就越慢。仔细想想你们团队有多少次推迟了发布时间？
应对告警疲劳最简单的方式是扩大运维团队，但是这未必是最好的选择，因为有些情况下我们也确实需要小一点的DevOps团队。
所以，建议大家在与告警疲劳作斗争时试试以下8个方法：
创建更好的升级策略：计划！不要只是给团队创建一个呼叫列表，你要考虑告警疲劳可能会对团队资源和士气造成哪些影响，然后再制定相应的计划和策略，也许很小的变动就能带来极大的帮助，比如打破循环。
安排 QA 和开发人员值班：这需要整个团队全员上阵，虽然做起来很困难，但是如果你把 QA 团队和开发人员安排到值班工作中，你获得的信息就更完善，解决问题的速度也更快。他们即便是与运维团队的成员并行工作，其效果也可见一斑，因为更广泛的支持不仅可以提高生产问题的可见性，帮助开发人员解决应用程序的相关问题，而且还可以加强了解，防患于未然。
进行详细的事件分析：通过事件分析评估告警设置的效果可以让你随时改进设置并发现当前存在的瓶颈。同时，数据还可以指出重复性问题。总之，要充分发挥数据的指导性作用。
安排时间以终结重复性问题：分配一定的时间确定之前快速修复的问题并彻底解决，以确保将来不再重复。但是要将问题及所有后续问题完全消灭，这对运维团队而言是个艰巨的任务。
标准化通知规则：不要让值班成员任意设置自己的规则，一定要将规则标准化或模板化，以保证一致性和问责制。
允许平行告警：除了垂直呼叫以外，还要有平行告警，这样多个团队成员就可以共同攻克问题以缩短MTTR。
利用工具：事件管理工具对抵抗告警疲劳大有帮助。一个好的事件管理解决方案，例如 PagerDuty、OneAlert ，不仅可以帮助你自动处理告警并过滤告警噪音，以防止无关紧要的告警造成过重的负担；而且还能协助你找准告警以采取更加有效的值班操作。此后，要是在晚上出现告警，你就知道真的出了问题。
优化代码：提高代码质量可以减少宕机。这其实很简单，但又总是被忽略。所以，一定要花时间优化代码、提高测试覆盖率、完善系统测试和测试自动化，并将收获和成果向所有成员展示。
以上这些方法都可以优化运维性能，并且受益面广。总而言之，告警疲劳是确实存在的问题，它不仅会影响 DevOps 和 ITOps 团队的幸福感，而且会影响整个开发团队创新和完善发布代码的能力。
本文系 OneAPM 工程师编译整理。OneAlert 是 OneAPM 旗下产品，是国内第一个 SaaS 模式的云告警平台，集成国内外主流监控/支撑系统，实现一个平台上集中处理所有 IT 事件，提升 IT 可靠性。想阅读更多技术文章，请访问 OneAPM 官方技术博客。
本文转自 OneAPM 官方博客
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/7975.html
摘要：例如，把提示无效信用卡账号的告警替换为一个可执行的告警，比如指示用户支付成功率急剧下降的告警可能系统会做出较大的变化，需要回滚操作。因此，不断完善告警也是同样非常重要的，所以要养成定期浏览和删除不可执行告警的习惯。 对于运维团队而言，很多告警其实并不能帮助他们解决掉实际的问题，相反有时会加重多余的负担，这主要是因为大多数的告警并不具备足够的可执行性： 它们指出的问题压根儿不需要响应 ...
摘要：月，卡耐基梅隆大学的程序在一对一不限注的扑克比赛中，击败了一组的德州扑克职业选手。概述击败人类冠军的三件事的深蓝，由卡内基梅隆大学开饭，在年的复赛中击败国际象棋世界冠军卡斯帕罗夫。年，奥克兰大学发布。 2017年是AI在扑克上取得突破的一年，在AI的发展历史上，具有里程碑的意义。1月，卡耐基梅隆大学的 AI 程序在一对一不限注的扑克比赛中，击败了一组的德州扑克职业选手。出乎所有人的意外，这一...
摘要：在那些紧迫的告警中，找出需要立即处理的告警更则难上加难。是应用性能管理领军企业公司旗下产品，也是国内首个模式的云告警平台，集成国内外主流监控支撑系统，实现一个平台上集中处理所有事件，提升可靠性。 在 OneAlert，我们经常与运维团队聊天。因为产品开发过程中，这样的对话有助于了解客户的真正痛点。「告警垃圾」——监控系统中时常涌现的告警洪流，是运维团队经常提到的一大痛处。 至于其原因，...
摘要：为了掌握你的告警事件响应时间，在你已经开始处理告警时，强烈建议及时响应认领，例如通过移动端微信页面移动等方式及时认领。这一点国外做的很棒，在短信电话移动都可以很容易确认认领在微信端可以认领和关闭。 这是《运维不容错过的4个关键指标》的姐妹篇，上篇文章介绍了优秀运维团队需要关注的4个关键指标，我们分享了平均恢复时间 MTTR、平均响应时间 MTTA 等概念。这篇是介绍一些实践方法，更好的...
摘要：平均解决事件解决时间是衡量业务准备的最佳标准。平均每小时折合损失。说明整个团队的响应及时率是不错的。小结致力减少告警数量及时响应如果不能及时响应，能够升级处理，最终提升解决时间，个核心关键指标是运维支撑工作非常关键的指标。 很难说，生活在这个数据大爆炸的时代对运维同学是福还是祸。灵活的监控系统、开放 API 和易用的数据可视化资源可以将任何想要的数据图表化地显示出来，但是，过多的数据容...
阅读 1357·2021-09-02 10:19
阅读 1100·2019-08-26 13:25
阅读 2108·2019-08-26 11:37
阅读 2412·2019-08-26 10:18
阅读 2675·2019-08-23 16:43
阅读 2988·2019-08-23 16:25
阅读 775·2019-08-23 15:53
阅读 3296·2019-08-23 15:11
