摘要：简述为何要分片减少单机请求数，降低单机负载，提高总负载减少单机的存储空间，提高总存空间。就是用来存储所有节点的配置信息每个的范围在各的分布情况该集群中所有和的配置信息。
简述 为何要分片
减少单机请求数，降低单机负载，提高总负载
减少单机的存储空间，提高总存空间。
常见的mongodb sharding 服务器架构
要构建一个 MongoDB Sharding Cluster，需要三种角色：
Shard Server
即存储实际数据的分片，每个Shard可以是一个mongod实例，也可以是一组mongod实例构成的Replication Set。为了实现每个Shard内部的auto-failover(自动故障切换)，MongoDB官方建议每个Shard为一组Replica Set。
Config Server
为了将一个特定的collection存储在多个shard中，需要为该collection指定一个shard key(片键)，例如{age: 1} ，shard key可以决定该条记录属于哪个chunk(分片是以chunk为单位,后续会介绍)。Config Servers就是用来存储：所有shard节点的配置信息、每个chunk的shard key范围、chunk在各shard的分布情况、该集群中所有DB和collection的sharding配置信息。
Route Process
这是一个前端路由，客户端由此接入，然后询问Config Servers需要到哪个Shard上查询或保存记录，再连接相应的Shard进行操作，最后将结果返回给客户端。客户端只需要将原本发给mongod的查询或更新请求原封不动地发给Routing Process，而不必关心所操作的记录存储在哪个Shard上。（所有操作在mongos上操作即可）
下面我们在同一台物理机器上构建一个简单的 Sharding Cluster：
Shard Server 1：27017 Shard Server 2：27018 Config Server ：27027 Route Process：40000步骤一: 启动Shard Server
mkdir -p ./data/shard/s0 ./data/shard/s1 #创建数据目录 mkdir -p ./data/shard/log # 创建日志目录 ./bin/mongod --port 27017 --dbpath /usr/local/mongodb/data/shard/s0 --fork --logpath /usr/local/mongodb/data/shard/log/s0.log # 启动Shard Server实例1 ./bin/mongod --port 27018 --dbpath /usr/local/mongodb/data/shard/s1 --fork --logpath /usr/local/mongodb/data/shard/log/s1.log # 启动Shard Server实例2步骤二: 启动Config Server
mkdir -p ./data/shard/config #创建数据目录 ./bin/mongod --port 27027 --dbpath /usr/local/mongodb/data/shard/config --fork --logpath /usr/local/mongodb/data/shard/log/config.log #启动Config Server实例
步骤三: 启动Route Process注意，这里我们完全可以像启动普通mongodb服务一样启动，不需要添加—shardsvr和configsvr参数。因为这两个参数的作用就是改变启动端口的，所以我们自行指定了端口就可以
./bin/mongos --port 4000 --configdb localhost:27027 --fork --logpath /usr/local/mongodb/data/shard/log/route.log --chunkSize=1 # 启动Route Server实例
mongos启动参数中，chunkSize这一项是用来指定chunk的大小的，单位是MB，默认大小为200MB，为了方便测试Sharding效果，我们把chunkSize指定为 1MB。意思是当这个分片中插入的数据大于1M时开始进行数据转移
步骤四: 配置Sharding# 我们使用MongoDB Shell登录到mongos，添加Shard节点
./bin/mongo admin --port 40000 #此操作需要连接admin库
> db.runCommand({ addshard:"localhost:27017" }) #添加 Shard Server 或者用 sh.addshard()命令来添加,下同;
{ "shardAdded" : "shard0000", "ok" : 1 }
> db.runCommand({ addshard:"localhost:27018" })
{ "shardAdded" : "shard0001", "ok" : 1 }
> db.runCommand({ enablesharding:"test" }) #设置分片存储的数据库
{ "ok" : 1 }
> db.runCommand({ shardcollection: "test.users", key: { id:1 }}) # 设置分片的集合名称。且必须指定Shard Key，系统会自动创建索引，然后根据这个shard Key来计算
{ "collectionsharded" : "test.users", "ok" : 1 }
> sh.status(); #查看片的状态
> printShardingStatus(db.getSisterDB("config"),1); # 查看片状态(完整版);
> db.stats(); # 查看所有的分片服务器状态
注意这里我们要注意片键的选择，选择片键时需要根据具体业务的数据形态来选择，切不可随意选择，实际中尤其不要轻易选择自增_id作为片键，除非你很清楚你这么做的目的，具体原因我不在此分析，根据经验推荐一种较合理的片键方式，“自增字段+查询字段”，没错，片键可以是多个字段的组合。
另外这里说明一点，分片的机制：mongodb不是从单篇文档的级别,绝对平均的散落在各个片上, 而是N篇文档,形成一个块"chunk",优先放在某个片上, 当这片上的chunk,比另一个片的chunk区别比较大时(>=3) ,会把本片上的chunk,移到另一个片上, 以chunk为单位,维护片之间的数据均衡。
也就是说，一开始插入数据时，数据是只插入到其中一块分片上的，插入完毕后，mongodb内部开始在各片之间进行数据的移动，这个过程可能不是立即的，mongodb足够智能会根据当前负载决定是立即进行移动还是稍后移动。
在插入数据后，立马执行db.users.stats();两次可以验证如上所说。
这种分片机制,节省了人工维护成本,但是由于其是优先往某个片上插入,等到chunk失衡时,再移动chunk,并且随着数据的增多,shard的实例之间,有chunk来回移动的现象,这将会为服务器带来很大的IO开销,解决这种开销的方法,就是手动预先分片;
手动预先分片以shop.user表为例
sh.shardCollection(‘shop.user’,{userid:1}); # user表用userid做shard key
for(var i=1;i<=40;i++) { sh.splitAt("shop.user",{userid:i*1000}) } # 预先在1K 2K...40K这样的界限切好chunk(虽然chunk是空的), 这些chunk将会均匀移动到各片上.
通过mongos添加user数据. 数据会添加到预先分配好的chunk上, chunk就不会来回移动了.
repliction set and shard一般mongoDB如果真的到了分片的级别后,那片服务器避无可免的要用到复制集,部署的基本思路同上,只需要注意两点:
sh.addShard( host ) server:port OR setname/server:port # 如果是复制集的片服务器,我们应该复制集的名称写在前面比如
sh.addShard("ras/192.168.42.168:27017"); # 27017也就是复制集中的primary
另外在启动本机的mongod服务的时候,最好把ip也给写进去,否则有可能会有不可预知的错误;
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/18805.html
摘要：搭建分片分区集群环境安装三台机器关闭防火墙主节点副节点仲裁仲裁主节点副节点副节点仲裁主节点端口分配下载并且安装所有版本二进制文件自行下载改名分别在每台机器建立六个目录，因为不存储数据，只需要建立日志文件目录即可。 搭建 MongoDB分片（sharding） / 分区 / 集群环境 1. 安装 MongoDB 三台机器 关闭防火墙 systemctl stop firewalld.se...
摘要：复制一份，命名为，修改文件内容如下注意改为我们第一步创建的目录，端口号改为这个随意，只要该端口没被占用即可，表示这是一个配置服务器，另外由于我们的配置服务器要做成备份集，所以要设置。 分片是指将数据拆分，拆分后存放在不同的机器上的过程，以此来降低单个服务器的压力，同时也解决单个服务器硬盘空间不足的问题，让我们可以用廉价的机器实现高性能的数据架构。有的小伙伴不理解分片和副本集的差异，一言...
摘要：此文已由作者温正湖授权网易云社区发布。分片集群通过就可以实现负载均衡，不需要单独部署负载均衡组件。是一个集群，通过协议保持数据的一致性副本数量可配置，默认保存三副本，并通过做负载均衡调度。 此文已由作者温正湖授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 最近阅读了TiDB源码的说明文档，跟MongoDB的分片集群做了下简单对比。 首先展示TiDB的整体架构 ...
摘要：优志愿张海鹏宋体背景宋体每年月下旬到月下旬期间是高考填志愿的高峰期，也是优志愿后端面临大流量高并发请求的业务高峰期。对于优志愿读多写少的场景及其业务高峰期，用户可以按需增删节点，更好地实现读取性能的扩展。 随着用户规模的增长，数据库的压力也在成倍增加。面对大流量、高并发，UCloud MongoDB 做到了高效，并展现出了更好的性能体验。 —— 优志愿 CTO 张海鹏 背景...
摘要：本篇记录高可用模式部署步骤，其他部署方式见上一篇。首先准备机器，我这里是在公司云平台创建了三台，分别是，，。分片的选择策略可以参考官方文档。 本篇记录MongoDB高可用模式部署步骤，其他部署方式见上一篇。 首先准备机器，我这里是在公司云平台创建了三台DB server，ip分别是10.199.144.84，10.199.144.89，10.199.144.90。 分别安装mong...
阅读 2291·2021-11-24 09:39
阅读 2533·2021-11-22 15:24
阅读 2975·2021-09-02 09:48
阅读 3008·2021-07-26 22:01
阅读 1432·2019-08-30 11:09
阅读 1672·2019-08-29 18:47
阅读 599·2019-08-29 15:40
阅读 2131·2019-08-29 15:22
