资讯专栏INFORMATION COLUMN

故障处理之记一起倒库多次,找儿子的过程

IT那活儿 / 1032人阅读
故障处理之记一起倒库多次,找儿子的过程

 “XX库又倒了”,最近这已成为大家的一句口头禅了。心里虽然碎碎念念,但身体还是很诚+顺滑的登上了环境。所有日志撸了一圈儿,确定还是之前的老毛病。


最近半个月,前前后后宕了6次。看到这儿,撸友们可能会有疑惑,萎了这么多次,难道还没找到原因吗?你们媳妇儿脾气可真好,不会跳?不会给送你个草色的帽子啥滴。。。


 大胸弟,先别急,哥先简单介绍下情况,这个库是边缘的库,11G单实例。宕个一两次影响也不大,但是这样5~6次的搞,再强的汉子脸上也绷不住啊。


其实这个故障,在第一次萎的时候,我们就核查到是由于磁盘链路异常或其他网络相关问题导致(SAN网络相关原因),相关故障处理及结论也邮件各方,并请求网络侧进行核查。


后面通过沟通得知在故障之前进行过网络改造,但网络侧也是提起裤子就不认儿子的主儿,一句话正常(我没做,我没干,我没漏)。后面正如大家看到的,半个月泄了6次(内裤都洗不赢了)。就这种内裤都没有了的情况下,网络侧还反馈正常。。。。。。


看来要想网络侧承认儿子是他的,得做DNA亲子鉴定了。


以最近捉奸现场为例,分析如下:

1、主机日志显示04:42:30时刻点磁盘offline


2、asm日志显示04:42:30时刻点,DG盘DWDATA2、DWDATA的磁盘offline,I/O读写挂起,磁盘组被强制dismount


3、数据库alert日志显示04:42:30磁盘无法读写。


4、报错涉及的部分数据文件如下:


5、故障时间点,通过oswatch可以看到当时主机负载并不高


半个月以来共出现6次故障(每次都是同一个姿势),经核查,故障时间点,主机负载正常,cpu、内存资源充足,操作系统日志均显示有磁盘offline,数据库alert日志显示磁盘无法进行读写,asm日志显示无法读写磁盘,强制dismount DG盘。


结合数据库日志,asm日志,操作系统日志可以看出是由于磁盘offline导致数据库无法读写磁盘进而导致数据库宕掉。


所以,还是之前的结论:相关SAN网络导致磁盘 offline,产生一系列数据库层面的故障。


其实捉奸不是目的,只是为了更好的解决问题,有时候红红脖子,拍拍屁股也挺好,这样更容易让各方认儿子。当然如果有其他的高效认儿子的方式更好,总是这样拿着高倍摄像机,看的人也焦躁。


当然,安慰自己的方式就是:做的就是帮人提裤子,认儿子的活儿,也是本职工作吧。






文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/130236.html

相关文章

  • 【零基础入门】 css学习笔记(3) 选择器 与 层叠性

    摘要:,高级选择器后代选择器空格表示后代选择器就是的后代所有的。注意是后代,并不一定是儿子空格可以出现多次补充后代选择器中出现的东西很灵活,可以是标签,可以是名,可以是名后代选择器,就是一种平衡共性特性的平衡。 一,选择器 1,基础选择器 1) 标签选择器:div{ } ,选择的所有,而不是一个,用来描述共性。 2) 类选择器:.class名{ } 多个元素可以同时属...

    cppprimer 评论0 收藏0
  • 关于继承那些事!

    摘要:格式子类名父类名好处提高了代码的复用性提高了代码的维护性通过少量的修改,满足不断变化的具体要求让类与类产生了一个关系,是多态的前提要求有共同的属性或操作有细微的差别继承的弊端让类的耦合性增强。 showImg(https://segmentfault.com/img/remote/1460000019321816?w=600&h=242); 第二阶段 JAVA面向对象 第二章 继承 其...

    soasme 评论0 收藏0
  • 儿子着迷游戏,程序员父亲辞职创业带火了少儿编程培训

    摘要:岁的余宙华是少儿编程培训机构阿儿法营的创办者,也是这个培训机构课程体系的主要研发者。如今少儿编程培训行业正越来越热,最近几年国内的少儿编程培训机构雨后春笋般一个个地冒出来。这时,余宙华意识到是他作为父亲出手的时候了。 什么是计算机的灵魂?余宙华用孩子式的语气问长桌旁坐着的小女孩。 小女孩认真地想了半天,有些腼腆地犹豫着给出了余宙华期待的答案:程序。 2018年7月,我在阿儿法营海淀人大...

    kidsamong 评论0 收藏0
  • 开发遇到瓶颈离职,体验了一把“自由职业”,最后入行测试···

    摘要:说干就干,年底就去上海体验了一把沪漂,这场旅行在年落幕,之后回到西安,开始为自己的自由职业做准备,之后条件成熟便从企业中走出来,以技术写作为生,开启了为期半年的自由职业。 ...

    chenjiang3 评论0 收藏0
  • css

    摘要:一选择器注释注释内容与的结合方式的引用直接在标签中引用在头部采用选择器加属性的方式引用在文件中以后常用在头部用选择器加属性引用引用标签引用指定的文件指的是引用的类型表示引用路径直接在标签中引用选择器加属性文 一 , css选择器   1, css注释     /*注释内容*/   2, HTML与css的结合方式 (css的引用)    1 , 直接在标签中引用;    2, 在头部采用选...

    番茄西红柿 评论0 收藏0
  • TypeScript极速完全进阶指南-2中级篇

    摘要:抽象类就是只是用来继承而不是实现的类。这里我解释清楚没有为什么会有抽象类。接口就是这么一个玩意,我们看看你刘姨的需求。 好,我们继续那个沉重的话题分割我的财产,上一篇TypeScript极速完全进阶指南-1初级篇我儿子确实拿到钱了, class Person{ name:string; age:number; food:string = 剁椒鱼头;//外面赋值这...

    rozbo 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<