初识MongoDB分片

Nino 发布于2019-06-26 17:31 / 2747人阅读

摘要：复制一份，命名为，修改文件内容如下注意改为我们第一步创建的目录，端口号改为这个随意，只要该端口没被占用即可，表示这是一个配置服务器，另外由于我们的配置服务器要做成备份集，所以要设置。

分片是指将数据拆分，拆分后存放在不同的机器上的过程，以此来降低单个服务器的压力，同时也解决单个服务器硬盘空间不足的问题，让我们可以用廉价的机器实现高性能的数据架构。有的小伙伴不理解分片和副本集的差异，一言以蔽之：副本集上每个备份节点存储的数据都是相同的，分片上存储的数据则是不同的。好了，本文我们就先来看看分片环境的搭建。

本文是MongoDB系列的第十八篇文章，了解前面的文章有助于更好的理解本文：

1.Linux上安装MongoDB
2.MongoDB基本操作
3.MongoDB数据类型
4.MongoDB文档更新操作
5.MongoDB文档查询操作(一)
6.MongoDB文档查询操作(二)
7.MongoDB文档查询操作(三)
8.MongoDB查看执行计划
9.初识MongoDB中的索引
10.MongoDB中各种类型的索引
11.MongoDB固定集合
12.MongoDB管道操作符(一)
13.MongoDB管道操作符(二)
14.MongoDB中MapReduce使用
15.MongoDB副本集搭建
16.MongoDB副本集配置
17.MongoDB副本集其他细节

环境准备

准备三台已经装好了MongoDB的服务器，地址分别是：

192.168.248.128
192.168.248.135
192.168.248.136

本文使用的MongoDB版本为3.4.9

规划

首先我们需要三台配置服务器，配置服务器相当于集群的大脑，配置服务器中保存着集群和分片的元数据，即每个分片都包含了哪些数据信息，这些数据都是保存在配置服务器中的，我这里将开启三个配置服务器实例，这三个配置服务器将运行在三个MongoDB服务器上，地址分别如下：

192.168.248.128:20000
192.168.248.135:20000
192.168.248.136:20000

接下来需要一个Mongos实例，Mongos对请求进行路由，Mongos扮演的角色有点类似于一个门面，我们以后访问的时候，直接访问Mongos即可，再由Mongos将请求路由到不同的分片上去，Mongos在启动时会去访问配置服务器，它将从配置服务器中获取数据的存储信息，Mongos我将启动在如下服务器上：　　

192.168.248.128:30000

最后需要三个分片实例，三个分片依然运行在三台服务器上，如下：

192.168.248.128:27017
192.168.248.135:27017
192.168.248.136:27017

搭建配置服务器

配置服务器中不需要太多的空间和资源，因为配置服务器上保存的只是数据的分布表，不保存具体的数据，具体的数据都保存在分片上，配置服务器中1KB的空间约为200MB的真实数据。注意，从MongoDB3.4开始，配置服务器要做成集群的方式。

由于配置服务器是独立的mongod进程，所以我们可以像启动普通的MongoDB服务一样启动配置服务器，只是这里的配置不同罢了。

我这里以192.168.248.128服务器为例来讲述配置服务器的配置启动，另外两台服务器如法炮制即可：

1.在mongodb解压目录下创建db20000文件夹，用来存储配置服务器中的数据。
2.复制一份mongodb.conf，命名为mongodb20000.conf，修改文件内容如下：

dbpath=/opt/mongodb/db20000
logpath=/opt/mongodb/logs/mongodb20000.log
port=20000
fork=true
configsvr=true
replSet=rs

注意dbpath改为我们第一步创建的目录，端口号改为20000（这个随意，只要该端口没被占用即可），configsvr表示这是一个配置服务器，另外由于我们的配置服务器要做成备份集，所以要设置replSet。

3.做好前两步之后，执行如下命令启动配置服务器：

mongod -f /opt/mongodb/bin/mongodb20000.conf

最后，在另外两台服务器上重复上面三个步骤。

三台服务器上都启动成功之后，参考我们之前的[MongoDB副本集搭建]()一文，将这三台配置服务器配成一个副本集，副本集的配置我这里就不再赘述。

搭建Mongos

Mongos实例我们可以启动在任意一台服务器上，我这里就启动在192.168.248.128上，Mongos的配置步骤如下：

1.复制一份mongodb.conf，命名为mongos.conf，修改内容：

logpath=/opt/mongodb/logs/mongos.log
port=30000
fork=true
configdb=rs/192.168.248.128:20000,192.168.248.135:20000,192.168.248.136:20000

因为mongos中不需要保存数据，所以不需要dbpath，端口号改为30000，configdb表示三个配置服务器的地址，注意最前面的rs表示配置服务器副本集的名称。

2.配置完成后，执行如下命令启动mongos:

mongos -f /opt/mongodb/bin/mongos.conf

搭建三个分片

三个分片实际上就是三个普通的MongoDB服务器，给大家看下我的配置文件：

dbpath=/opt/mongodb/db
logpath=/opt/mongodb/logs/mongodb.log
port=27017
fork=true
shardsvr=true

注意多了个shardsvr表示这是一个分片服务器。
然后在三台服务器上分别执行如下命令启动分片：

mongod -f /opt/mongodb/bin/mongodb.conf

添加分片

上面三个步骤完成之后，我们就进入到mongos的shell命令行了，如下：

mongo --port=30000

然后我们可以通过如下命令查看一下分片的当前状态：

sh.status()

执行结果如下(部分)：

--- Sharding Status ---
  sharding version: {
}
  shards:
  databases:

shards表示分片服务器，目前还没有，databases表示分片的库，目前也还没有，接下来我们通过如下命令添加分片服务器：

sh.addShard("192.168.248.128:27017")
sh.addShard("192.168.248.135:27017")
sh.addShard("192.168.248.136:27017")

添加三个分片服务器，然后再执行sh.status(),结果如下(部分)：

--- Sharding Status ---
  sharding version: {
}
  shards:
        {  "_id" : "shard0000",  "host" : "192.168.248.128:27017",  "state" : 1 }
        {  "_id" : "shard0001",  "host" : "192.168.248.135:27017",  "state" : 1 }
        {  "_id" : "shard0002",  "host" : "192.168.248.136:27017",  "state" : 1 }
  databases:
        {  "_id" : "test",  "primary" : "shard0000",  "partitioned" : false }

设置集合分片

接下来我们来设置集合的分片，首先执行如下命令表示给某个数据库分片：

sh.enableSharding("sang")

对集合分片时，需要选择一个片键，片键实际上就是集合中的一个键，MongoDB将根据这个片键来拆分数据，我们需要先对片键建立索引，如下：

db.c1.ensureIndex({x:1})

然后以x为片键，对c1集合进行分片，如下：

sh.shardCollection("sang.c1",{x:1})

做完这些之后，再执行sh.status()命令，查看目前状态，结果如下(部分)：

--- Sharding Status ---
  sharding version: {
}
  shards:
        {  "_id" : "shard0000",  "host" : "192.168.248.128:27017",  "state" : 1 }
        {  "_id" : "shard0001",  "host" : "192.168.248.135:27017",  "state" : 1 }
        {  "_id" : "shard0002",  "host" : "192.168.248.136:27017",  "state" : 1 }
  databases:
        {  "_id" : "test",  "primary" : "shard0000",  "partitioned" : false }
        {  "_id" : "sang",  "primary" : "shard0001",  "partitioned" : true }
                sang.c1
                        shard key: { "x" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                shard0001       1
                        { "x" : { "$minKey" : 1 } } -->> { "x" : { "$maxKey" : 1 } } on : shard0001 Timestamp(1, 0)

做完上面这些之后，我们再做两个操作：

1.设置自动分片：

sh.setBalancerState(true)

2.设置chunksize,chunksize这一项是用来指定chunk的大小的，为了方便测试分片效果，我们把chunksize指定为1MB，即当这个分片中插入的数据大于1M时开始进行数据分片

db.settings.save({_id:"chunksize",value:1})

OK，做好这些之后，大功告成。

测试

测试方式很简单，我们直接在mongos的命令行向sang的c1集合中插入50000条数据，然后再查看这些数据的分布，就知道分片有没有成功了：

for(var i=0;i<50000;i++){db.c1.insert({x:Math.random()*1000000,name:"hahah"+i})}

然后执行db.c1.stats(),结果如下：

{
"sharded" : true,
"capped" : false,
"ns" : "sang.c1",
"count" : 50000,
"size" : 2688890,
"storageSize" : 1781760,
"totalIndexSize" : 1978368,
"avgObjSize" : 53,
"nindexes" : 2,
"nchunks" : 5,
"shards" : {
        "shard0000" : {
                "ns" : "sang.c1",
                "size" : 926504,
                "count" : 17229,
                "avgObjSize" : 53,
                "storageSize" : 462848,
                "capped" : false,
                "nindexes" : 2,
                "totalIndexSize" : 516096,
                "indexSizes" : {
                        "_id_" : 184320,
                        "x_1" : 331776
                },
                "ok" : 1
        },
        "shard0001" : {
                "ns" : "sang.c1",
                "size" : 392593,
                "count" : 7299,
                "avgObjSize" : 53,
                "storageSize" : 667648,
                "capped" : false,
                "nindexes" : 2,
                "totalIndexSize" : 737280,
                "indexSizes" : {
                        "_id_" : 253952,
                        "x_1" : 483328
                },
                "ok" : 1
        },
        "shard0002" : {
                "ns" : "sang.c1",
                "size" : 1369793,
                "count" : 25472,
                "avgObjSize" : 53,
                "storageSize" : 651264,
                "capped" : false,
                "nindexes" : 2,
                "totalIndexSize" : 724992,
                "indexSizes" : {
                        "_id_" : 237568,
                        "x_1" : 487424
                },
                "ok" : 1
        }
}
}

OK，看到如上结果，说明我们的数据已经分布在三个分片服务器中了。

好了，MongoDB中分片环境的搭建我们就先说到这里，小伙伴们有问题欢迎留言讨论。

参考资料：

1.《MongoDB权威指南第2版》

更多资料请关注公众号：

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/19160.html

两年了，我写了这些干货！

摘要：开公众号差不多两年了，有不少原创教程，当原创越来越多时，大家搜索起来就很不方便，因此做了一个索引帮助大家快速找到需要的文章系列处理登录请求前后端分离一使用完美处理权限问题前后端分离二使用完美处理权限问题前后端分离三中密码加盐与中异常统一处理开公众号差不多两年了，有不少原创教程，当原创越来越多时，大家搜索起来就很不方便，因此做了一个索引帮助大家快速找到需要的文章！ Spring Boo...

huayeluoliuhen 2019-06-26 18:00 评论0 收藏0
MongoDB教程合集

摘要：磕磕绊绊，我们的系列教程终于落下帷幕，从月第一篇开始到现在，中间有一段时间开小差，不过还好没有烂尾。好了，这里我再把本系列的所有文章罗列出来，以供小伙伴们搜索查看。磕磕绊绊，我们的MongoDB系列教程终于落下帷幕，从11月21第一篇开始到现在，中间有一段时间开小差，不过还好没有烂尾。好了，这里我再把本系列的所有文章罗列出来，以供小伙伴们搜索查看。 1.Linux上安装Mongo...

FingerLiu 2019-06-26 17:31 评论0 收藏0
Java操作MongoDB

摘要：也可以修改查到的所有数据，如下罗贯中三国演义删可以删除查到的一条数据，如下罗贯中也可以删除查到的所有数据罗贯中里边还有其他的查询条件，都是见名知意，不赘述。之前我们介绍的MongoDB的操作都是在shell命令中写的，在项目开发时我们当然都是用程序去操作MongoDB的，本文我们来看看如何用Java代码操作MongoDB。本文是MongoDB系列的第十九篇文章，了解前面的文章有...

Jeffrrey 2019-06-26 17:31 评论0 收藏0