摘要：运维流程管理工具发布变更流程管理工具做为系统接口与其他角色的工作衔接。流程管理工具并不负责具体的业务操作的执行，只是作为单据系统跟踪流程和确保闭环。告警和突发管理工具体现业务受损的告警自动建单管理。运维事件数据库记录所有的告警。
运维流程管理工具
发布变更流程管理工具：做为系统接口与其他角色的工作衔接。并提供审批环节控制发布变更的风险。流程管理工具并不负责具体的业务操作的执行，只是作为单据系统跟踪流程和确保闭环。
告警和突发管理工具：体现业务受损的告警自动建单管理。人工确认之后升级为突发单。通过建单管理告警和突发确保流程的闭环，以及每次故障都能够总结出经验，并未度量业务的可用性提供KPI。
运维发布变更工具版本管理工具（数据库）：所有的发布应该以版本管理为起点。研发给的版本包先入版本管理工具，再从版本管理工具分发到现网发布。杜绝 rsync 一台服务器发布另外一台的做法。
配置管理工具（数据库）：版本加配置等于现网每台机器的状态。最粗粒度的配置管理是到 IP 级别，相当于对机器做资产管理，分组到不同的业务，模块和大区等业务概念上。细粒度一点会管理到进程以及进程的相关的配置。
配置和版本下发工具：把指定的版本，结合配置好的配置下发到现网的机器上。不同的版本和配置方式需要完全不同的下发方式。以 ssh/fabric 为代表的下发方式是以脚本为中心的。以 puppet/chef 为代表的下发方式是以配置为中心的。
现网状态同步工具：为了规避现网状态漂移，与管理工具内的记录不一致。需要有一个工具定时上报现网的实际状况。
服务调度工具：发布变更经常需要一个串行的流程，先做A模块，再做B模块。很多机器的时候，需要把能并发的操作并发执行，不能并发的操作确保串行执行。同时很多发布变更流程需要操作管理范围外的服务，比如云端的DNS服务器记录等。这就需要有一个服务调度工具统一调度配置和版本下发工具，流程单据工具，以及其他系统的API接口共同组装成一个流程。
资源管理和隔离工具：以xen/kvm为代表的工具让运维可以更灵活的切割资源。比如虚拟机的快速起停，ip在idc内的漂移等。以 lxc/docker 为代表的工具让运维可以进一步的切割资源到进程级别。资源隔离代理的细粒度的资源控制可以获得更好的资源利用率，以及更容易进行可伸缩的资源配置。
发布变更统一界面：包装所有的下层工具，提供简单的界面完成标准化的发布变更操作。
运维监控告警工具采集工具：一般是采集日志文件，也可以是定时轮询 DB 或者其他系统的接口。流行的开源方案是 logstash。
收集工具：采集工具上报给收集工具。或者由开发直接修改代码上报指标给收集工具。流程的开源方案还是 logstash。
统计入库工具：上报可能是每次调用就上报一次，统计工具负责统计出一分钟内的次数。上报也可能是每5秒上报一次数值，统计工具负责统计出一分钟内的最大值。统计工具的存在是为了上报的方便。流行的开源方案是 statsd，也有大公司基于 storm 来做二次开发的。
时间序列数据库：所有定时指标会落地到数据库里。监控告警所需要的数据库需要能够支撑非常大的数据量，但是并没有很严格的 ACID 要求。
运维事件数据库：记录所有的告警。包括从其他系统获得告警，以及对现网的所有变更操作记录。这些数据用于支撑告警的原因定位。
指标异常检测工具：基于数学模型发现指标是否与过去的稳定模式背离，而推测出现网状态的变化。
拨测工具：定时 PING 或者 HTTP GET，模拟实际用户发现服务是否中断，产生告警。同时也产生指标上报给收集系统。拨测又分为本地拨测，和远程拨测。本地拨测可以用于发现磁盘只读等本机告警。远程拨测可以模拟用户的地理分布，把网络的链路状况也包含在拨测覆盖的范围内。
告警收敛工具：综合所有来源的告警，进行频率收敛，根源分析。统一汇总成报告催促人工修复。
告警自动修复工具：接受告警进行自动化的处理。帮运维完成固定的故障机下架退库等操作。或者在业务本身没有做高可用的情况下，做故障机替换，ip漂移等现网修复操作，一定程度地提高业务可用性。
告警通知工具：重要的告警需要升级为电话。需要有高可用的电话，短信，微信等通知接口。
监控告警统一界面：屏蔽下层各种工具，提供统一的agent安装，指标采集设置，指标曲线展示，告警查询的界面。一个地方知道现网的所有的问题。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/7931.html
摘要：导语鹿晗关晓彤公布恋情，造成微博服务短暂不可用。业务运维团队负责业务的整体运维，包括业务规划架构部署容灾演练节假日保障等整体协作性工作。 作者：李雄政，10年+ 证券、电信、互联网领域开发、系统集成、运维经验。 现任腾讯高级工程师，负责社交平台业务运维组管理工作。 导语：鹿晗关晓彤公布恋情，造成微博服务短暂不可用。相关的运维们也不得不提前结束国庆假期，执行各种紧急扩容预案。 而腾讯S...
摘要：只有当超时故障扇区等明确故障项出现后，两者关联才确诊硬盘故障，否则只是隔离观察，不报修。如果存在进程住时间超过分钟，我们认为这个硬盘故障的影响面已扩大到了整机，需要进行重启消除影响。 随着阿里大数据产品业务的增长，服务器数量不断增多，IT运维压力也成比例增大。各种软、硬件故障而造成的业务中断，成为稳定性影响的重要因素之一。本文详细解读阿里如何实现硬件故障预测、服务器自动下线、服务自愈以...
摘要：反正在阿里巴巴，很多的运维人员都说了，我们每年的工作中有一项不用写的工作就是搬迁。未来我们确实相信阿里巴巴，可能在未来搬迁会相对更少一点，我们认为不能让搬迁成为阿里巴巴运维团队的核心竞争力。以上，正是阿里巴巴的运维团队所覆盖的五个领域。 随着大数据、机器学习和 AI 技术的飞速发展，智能化运维成为运维的热点领域。Gartner 的报告宣称，到 2020 年，将近 50% 的企业将会在他们的业...
摘要：今天我将美团点评这几年在运维方面做的一些工作，以及自己的思考与大家分享一下。所以在美团点评给自己的使命，就是要把美团点评的运维做到腾讯百度的水平，把缺失的过程成长的过程由自己做出来。美团点评的自动化工具讲一下美团点评的自动化工具。 数人云当西方的SRE遇上东方的互联网Meetup第一弹实录来啦！ 本次分享嘉宾是美团点评运维中心高级总监钟红军，他向我们详细介绍了美团点评近3年来在大规模运...
阅读 3543·2021-09-24 09:48
阅读 1045·2021-09-10 10:51
阅读 3249·2019-08-30 13:03
阅读 3279·2019-08-30 12:51
阅读 1368·2019-08-30 11:22
阅读 1021·2019-08-29 18:38
阅读 2017·2019-08-29 16:41
阅读 3093·2019-08-29 15:32
