资讯专栏INFORMATION COLUMN

mysql内存溢出处理

IT那活儿 / 2508人阅读
mysql内存溢出处理
喜欢就关注我吧,订阅更多最新消息



 业务场景

mysql 

组件版本:

mysql:

5.7.25软件架构:

两主两从

01
问题描述

 MySQL是一个关系型数据库管理系统,属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的RDBMS(Relational Database Management System,关系数据库管理系统)应用软件之一,MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策,分为社区版和商业版,由于其体积小、速度快、总体拥有成本低,尤其是开放源码这一特点,一般中小型网站的开发都选择MySQL作为网站数据库。

 某业务系统采用mysql社区开源版本架构为两主两从,排除人为因素故障,mysql常出现的故障是内存溢出(OOM全称"OutOfMemory",即内存溢出),内存溢出已经是软件开发历史上存在了近40年的“老大难”问题。在操作系统上运行各种软件时,软件所需申请的内存远远超出了物理内存所承受的大小,就叫内存溢出。由于该业务系统采用了主从+VIP架构,当主库由于内存溢出挂掉后,另外一个主库负责业务,所以业务有短暂几十秒时间的故障期,但对整体业务未产生影响。


02
结构及详细说明

Mysql高可用大致架构图:

两个实例互为主从,另外两个实例分别为这两个主实例的从库实例,两个主库实例之间通过keepalived监控实例以实现VIP高可用。




03
问题定位

主库实列发生OOM,实例进程由于占用内存达到linux系统的最大阈值,导致linux系统kill了mysql实例进程,可以通过如下方式查看mysql使用了多少内存:

查看每个线程占用多少内存,然后乘以正在运行的线程(也就是排查sleep的)。

SELECT( ( @@read_buffer_size + @@read_rnd_buffer_size + @@sort_buffer_size+ @@join_buffer_size + @@binlog_cache_size + @@thread_stack +@@tmp_table_size + @@bulk_insert_buffer_size + @@max_allowed_packet +@@net_buffer_length ) ) / (1024*1024) AS MEMORY_MB;

showglobal status like %threads%;


查看MySQL全局占用多少内存

select(@@innodb_buffer_pool_size+@@innodb_log_buffer_size+@@key_buffer_size)/ 1024 /1024 AS MEMORY_MB;


查看performance_schema占用多少内存

SELECTSUBSTRING_INDEX(event_name,/,2) AS code_area,sys.format_bytes(SUM(current_alloc)) AS current_alloc FROMsys.x$memory_global_by_current_bytes GROUP BYSUBSTRING_INDEX(event_name,/,2) ORDER BY SUM(current_alloc) DESC;


查看memory存储引擎占用多少内存

selectsum(max_data_length)/1024/1024 as MEMORY_MB from tables whereengine=memory;

04
解决过程

通过以上方式查看当前mysql数据库具体占用多少内存,从而找到占用内存较多的对象,在根据对象的具体作用来调节数据库配置:

  1. 如线程数过多,可以调整业务连接为长连接,长连接固定占用内存,是业务连接重复使用内存。

  2. 如innodbbuffer占用过多而业务所跑tps不大,可以通过调小innodbbuffer,减少内存占用

  3. 如以上方式无法整改,可以通过添加物理内存方式


由于该业务采用了高可用架构,所以mysql发生故障时,业务未产生影响。


05
总 结

1、mysql生产为了保证数据以及业务连续性,一定要使用高可用架构

2、oom内存溢出一定要仔细查看mysql是哪部分占用内存较多,再根据不同部分调整业务生产库的相关配置,包括硬件配置及软件配置。



END


文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/130046.html

相关文章

  • Java内存溢出(OutOfMemoryError)

    摘要:那就只能是处理的数据超过了堆区内存上限,按照这个猜测往下分析。主要暴增对象如上图框出来的地方。符合对象内存一篇文中分析的字节大小。优化自己的程序,使其在运行过程中占用内存尽可能的少。针对异常的具体优化措施。 前言 在正式开始讲解关于OutOfMemoryError错误之前先来了解下,我在遇到这个异常的背景。 对数据充满敬畏之心 我需要对hive中的数据进行批量操作处理,对于没有了解过h...

    calx 评论0 收藏0
  • PHP+MySQL导出大量数据(Iterator yield)

    摘要:开发中经常遇到这样的场景产品汪我要在后台做一个功能,可以导出自定义时间范围的订单信息。结果,第二天一上班产品汪过来就是拍桌子,我想把去年一整年的订单都导出来,结果后台直接就挂了开发小哥一查,原来是内存溢出了,一年下来的的订单量足足有条。 开发中经常遇到这样的场景 产品汪:我要在后台做一个功能,可以导出自定义时间范围的订单信息。开发小哥二话不说,半天就把功能做完并上线了。结果,第二天一上...

    codergarden 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<