资讯专栏INFORMATION COLUMN

上云采购季！| 2核2G4M爆款云服务器低至59元/年，更有多台、长期优惠，快来选购！

立即前往
首页/文章专栏/Redis磁盘故障分析

Redis磁盘故障分析

IT那活儿 / 447人阅读
Redis磁盘故障分析

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！


一

故障现象及原因分析

前段时间，生产环境上一个redis数据库服务器的ssd盘出现故障，只能读不能写，其他盘写入速度也很慢。导致redis实例的aof刷新一直失败，最终宕掉。

简言之：ssd磁盘故障导致redis异常宕库。

分析故障产生的原因是ssd盘早期没有格式化好，4k对齐没做好。


二

处理过程

该redis机器是用来存储collector采集到的日志的meta信息，比较关键，而且一台机器上开启了8个redis实例，所以不好处理。
一开始准备把redis的aof文件转移到一个新的盘上，并且把aof的dir动态更改到其他盘，结果发现redis实例挂掉了，就没有动态更换aof目录。这其中，redis的数据可能有所丢失，不过通过collector和redis日志发现，磁盘挂了后redis写入已经失败，估计有丢失数据也不多。collector有实现meta写入redis失败时转为写入本地磁盘，所以在redis实例down掉时，数据也不会丢失。

接着，处理4k对齐。    

先把所有redis实例进行bgwrite.

redis-cli -h redis02 -p 6379 bgrewriteaof，
停掉所有redis实例。
处理4k对齐， 重启机器。结果发现机器重启失败，阵列卡或线松了。
重启机器后，赶紧把所有aof文件都备份到其他机器上。结果有发现，有一块盘丢了，尝试mount回来。发现有很多block错误，要修复又怕丢数据。但现在盘有错误，只能先fsck修复，如果修复成功再从里面拷贝出来。要是觉得不保险，就先备份正常盘的数据，空出一块盘，把cache3的盘做个镜像，再做修复。最后aof文件终于弄出来了，启动redis实例，发现aof文件有问题，启动失败。使用redis-check-aof --fix修复了aof文件，再启动，成功。redis数据是被截断一部分丢失了。
数据恢复后，开始重新把redis机器上的ssd盘一个个重新格式化。


三

故障总结

因为redis的meta信息，是衔接collector采集，以及storm处理和hadoop camus入库。本次redis故障，大动干戈，对集群影响比较大。
还好collector有redis失败转存文件的功能，所以日志采集一直正常。
接下来的新机房，存储meta的redis准备使用cluster，避免单点故障。保障可用性。
本文首发于2021年9月26日。



本文作者：赵 刚（上海新炬王翦团队）

本文来源：“IT那活儿”公众号


云服务器 GPU云服务器 linux+模拟磁盘故障 linux 磁盘故障检测 故障分析 服务器故障分析

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/129285.html

相关文章

  • 讲讲NoSQL比较火的三个数据库Memcached、Redis、MongoDB

    摘要：而今天主要讲用得比较多的三个。支持持久化操作，可以进行及数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。单线程请求，所有命令串行执行，并发情况下不需要考虑数据一致性问题。 前言 NoSQL，泛指非关系型的数据库。随着互联网不断的发展，传统的关系数据库在应付新互联网模式的网站，特别是超大规模和高并发的SNS类型的纯动态网站已经显得力不从心，暴露了很多难以克服...

    Michael_Lin 评论0 收藏0

  • 讲讲NoSQL比较火的三个数据库Memcached、Redis、MongoDB

    摘要：而今天主要讲用得比较多的三个。支持持久化操作，可以进行及数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。单线程请求，所有命令串行执行，并发情况下不需要考虑数据一致性问题。 前言 NoSQL，泛指非关系型的数据库。随着互联网不断的发展，传统的关系数据库在应付新互联网模式的网站，特别是超大规模和高并发的SNS类型的纯动态网站已经显得力不从心，暴露了很多难以克服...

    Lionad-Morotar 评论0 收藏0

  • 讲讲NoSQL比较火的三个数据库Memcached、Redis、MongoDB

    摘要：而今天主要讲用得比较多的三个。支持持久化操作，可以进行及数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。单线程请求，所有命令串行执行，并发情况下不需要考虑数据一致性问题。 前言 NoSQL，泛指非关系型的数据库。随着互联网不断的发展，传统的关系数据库在应付新互联网模式的网站，特别是超大规模和高并发的SNS类型的纯动态网站已经显得力不从心，暴露了很多难以克服...

    szysky 评论0 收藏0

发表评论

登陆后可评论

0条评论

IT那活儿

男|高级讲师
我要私信

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<