{eval=Array;=+count(Array);}

问答专栏Q & A COLUMN

数据库访问量很大时,如何做优化?

DTeamDTeam 回答0 收藏1
收藏问题

3条回答

cloud

cloud

回答于2022-06-28 14:43

你好!如果有大量的访问用到调取到数据库时,往往查询速度会变得很慢,所以我们需要进行优化处理。

优化从三个方面考虑:

SQL语句优化、

主从复制,读写分离,负载均衡、

数据库分库分表。


一、SQL查询语句优化

1、使用索引

建立索引可以使查询速度得到提升,我们首先应该考虑在where及order by,group by涉及的列上建立索引。

2、借助explain(查询优化神器)选择更好的索引和优化查询语句

SQL 的 Explain 通过图形化或基于文本的方式详细说明了 SQL 语句的每个部分是如何执行以及何时执行的,以及执行效果。通过对选择更好的索引列,或者对耗时久的SQL语句进行优化达到对查询速度的优化。

3、任何地方都不要使用SELECT * FROM语句。

4、不要在索引列做运算或者使用函数

5、查询尽可能使用limit来减少返回的行数

6、使用查询缓存,并将尽量多的内存分配给MYSQL做缓存



二、主从复制,读写分离,负载均衡

目前大多数的主流关系型数据库都提供了主从复制的功能,通过配置两台(或多台)数据库的主从关系,可以将一台数据库服务器的数据更新同步到另一台服务器上。网站可以利用数据库这一功能,实现数据库的读写分离,从而改善数据库的负载压力。一个系统的读操作远远多于写操作,因此写操作发向master,读操作发向slaves进行操作(简单的轮询算法来决定使用哪个slave)。

利用数据库的读写分离,Web服务器在写数据的时候,访问主数据库(master),主数据库通过主从复制将数据更新同步到从数据库(slave),这样当Web服务器读数据的时候,就可以通过从数据库获得数据。这一方案使得在大量读操作的Web应用可以轻松地读取数据,而主数据库也只会承受少量的写入操作,还可以实现数据热备份,可谓是一举两得。



三、数据库分表、分区、分库

1、分表

通过分表可以提高表的访问效率。有两种拆分方法:

垂直拆分

在主键和一些列放在一个表中,然后把主键和另外的列放在另一个表中。如果一个表中某些列常用,而另外一些不常用,则可以采用垂直拆分。

水平拆分

根据一列或者多列数据的值把数据行放到两个独立的表中。

2、分区

分区就是把一张表的数据分成多个区块,这些区块可以在一个磁盘上,也可以在不同的磁盘上,分区后,表面上还是一张表,但是数据散列在多个位置,这样一来,多块硬盘同时处理不同的请求,从而提高磁盘I/O读写性能。实现比较简单,包括水平分区和垂直分区。

3、分库

分库是根据业务不同把相关的表切分到不同的数据库中,比如web、bbs、blog等库。

分库解决的是数据库端 并发量的问题。分库和分表并不一定两个都要上,比如数据量很大,但是访问的用户很少,我们就可以只使用分表不使用分库。如果数据量只有1万,而访问用户有一千,那就只使用分库。

注意:分库分表最难解决的问题是统计,还有跨表的连接(比如这个表的订单在另外一张表),解决这个的方法就是使用中间件,比如大名鼎鼎的MyCat,用它来做路由,管理整个分库分表,乃至跨库跨表的连接

评论0 赞同0
  •  加载中...
superPershing

superPershing

回答于2022-06-28 14:43

如果有一个特别大的访问量到数据库上时,往往查询速度会变得很慢,所以我们需要进行优化。优化从三个方面考虑:SQL语句优化、主从复制,读写分离,负载均衡、数据库分库分表。

一、SQL查询语句优化

1、使用索引

建立索引可以使查询速度得到提升,我们首先应该考虑在where及order by,group by涉及的列上建立索引。

2、借助explain(查询优化神器)选择更好的索引和优化查询语句

SQL 的 Explain 通过图形化或基于文本的方式详细说明了 SQL 语句的每个部分是如何执行以及何时执行的,以及执行效果。通过

对选择更好的索引列,或者对耗时久的SQL语句进行优化达到对查询速度的优化。

3、任何地方都不要使用SELECT * FROM语句。

4、不要在索引列做运算或者使用函数

5、查询尽可能使用limit来减少返回的行数

6、使用查询缓存,并将尽量多的内存分配给MYSQL做缓存

二、主从复制,读写分离,负载均衡

目前大多数的主流关系型数据库都提供了主从复制的功能,通过配置两台(或多台)数据库的主从关系,可以将一台数据库服务器的数据更新同步到另一台服务器上。网站可以利用数据库这一功能,实现数据库的读写分离,从而改善数据库的负载压力。一个系统的读操作远远多于写操作,因此写操作发向master,读操作发向slaves进行操作(简单的轮询算法来决定使用哪个slave)。

利用数据库的读写分离,Web服务器在写数据的时候,访问主数据库(master),主数据库通过主从复制将数据更新同步到从数据库(slave),这样当Web服务器读数据的时候,就可以通过从数据库获得数据。这一方案使得在大量读操作的Web应用可以轻松地读取数据,而主数据库也只会承受少量的写入操作,还可以实现数据热备份,可谓是一举两得。

三、数据库分表、分区、分库

1、分表

通过分表可以提高表的访问效率。有两种拆分方法:

垂直拆分

在主键和一些列放在一个表中,然后把主键和另外的列放在另一个表中。如果一个表中某些列常用,而另外一些不常用,则可以采用垂直拆分。

水平拆分

根据一列或者多列数据的值把数据行放到两个独立的表中。

2、分区

分区就是把一张表的数据分成多个区块,这些区块可以在一个磁盘上,也可以在不同的磁盘上,分区后,表面上还是一张表,但是数据散列在多个位置,这样一来,多块硬盘同时处理不同的请求,从而提高磁盘I/O读写性能。实现比较简单,包括水平分区和垂直分区。

3、分库

分库是根据业务不同把相关的表切分到不同的数据库中,比如web、bbs、blog等库。

分库解决的是数据库端 并发量的问题。分库和分表并不一定两个都要上,比如数据量很大,但是访问的用户很少,我们就可以只使用分表不使用分库。如果数据量只有1万,而访问用户有一千,那就只使用分库。

注意:分库分表最难解决的问题是统计,还有跨表的连接(比如这个表的订单在另外一张表),解决这个的方法就是使用中间件,比如大名鼎鼎的MyCat,用它来做路由,管理整个分库分表,乃至跨库跨表的连接(Java自学网【javazx.com】推荐)

评论0 赞同0
  •  加载中...
bingo

bingo

回答于2022-06-28 14:43

当数据量很大的时候,主要从以下几点入手。

索引:

任何时候创建索引都是第一选择,当数据量很大嗯时候,有没有索引的查询速度可以说是指数级别的差距,通过索引可以大幅度提升检索效率。

分表:

当数据量非常大的时候,索引可能已经不起作用了,这个时候我们就需要对数据分表存储,可以水平分表和垂直分表,通过分表,一个表的数据量变少了,就是复杂问题简单处理,细分处理。

分布式:

一个数据库的数据量过大的时候,我们可以考虑部署多个数据库,这样每个数据库的数据量相对来说减少了。

缓存:

对热数据进行缓存,28定律存在于整个宇宙中,经常检索的数据一定是少部分数据,我们缓存它们,可以大大提升数据库查询效率。

评论0 赞同0
  •  加载中...

相关问题

最新活动

您已邀请0人回答 查看邀请

我的邀请列表

  • 擅长该话题
  • 回答过该话题
  • 我关注的人
向帮助了您的网友说句感谢的话吧!
付费偷看金额在0.1-10元之间
<