MongoDB的最为自豪的一个特色之一,分片。

  参考官方文档: https://docs.mongodb.com/manual/sharding/

  •    单机压力,高频查询CPU,IO
  •   单表压力,百万千万级

  放两张分片的描述图:

  

-------------------------------------------------------------------------------------------------------

mongoDB分片,从架构图上。
几个概念:
mongos: mongo shard表示mongo分片。需要一个或多个mongos服务,充当路由,将客户端过来的请求分发到各个分片。
config servers: mongoDB分片的配置服务器组,v3.4要求配置服务器也要是一个复制集。mongos启动时会加载配置服务器中的信息。比如mongos对某一个查询请求路由到哪一个分片上。
shard: 分片,数据真实存在的地方。每一个分片都是一个复制集。

mongod -v  查看mongod的服务端版本

mongo的shell版本可以连接后显示查看

搭建分片开始:

数据存储的目录放在 /home/work/mongodata/
日志存储的目录放在 /home/work/mongodata/logs

配置服务器的复制集(下面一个复制集三个mongod实例):

mkdir /home/work/mongodata/config1 -p
mkdir /home/work/mongodata/config2
mkdir /home/work/mongodata/config3
mkdir /home/work/mongodata/logs

# configsvr参数表示配置服务;replSet 是复制集的名称;logappend 追加日志

mongod --configsvr --replSet configset --dbpath /home/work/mongodata/config1 --port  --logpath /home/work/mongodata/logs/configsvr1.log --logappend --fork

mongod --configsvr --replSet configset --dbpath /home/work/mongodata/config2 --port  --logpath /home/work/mongodata/logs/configsvr2.log --logappend --fork

mongod --configsvr --replSet configset --dbpath /home/work/mongodata/config3 --port  --logpath /home/work/mongodata/logs/configsvr3.log --logappend --fork

# configsrv 配置复制集 配置服务器不需要仲裁节点
# 每个mongod实例以及各自的权重,priority最大的充当PRIMARY,其他是SECONDARY

$ mongo localhost:/admin

rs.initiate({ _id:"configset",members:[
{_id:,host:"hostname:20001",priority:},
{_id:,host:"hostname:20002",priority:},
{_id:,host:"hostname:20003",priority:}
]});

配置分片服务(两个分片,每个分片是一个复制集3个实例):

分片服务 shard1

mkdir /home/work/mongodata/shard1_1
mkdir /home/work/mongodata/shard1_2
mkdir /home/work/mongodata/shard1_3

启动分片服务 shardsvr参数是分片服务

mongod --shardsvr --replSet shard1 --port  --dbpath /home/work/mongodata/shard1_1 --logpath /home/work/mongodata/logs/shard1_1.log --logappend --fork

mongod --shardsvr --replSet shard1 --port  --dbpath /home/work/mongodata/shard1_2 --logpath /home/work/mongodata/logs/shard1_2.log --logappend --fork

mongod --shardsvr --replSet shard1 --port  --dbpath /home/work/mongodata/shard1_3 --logpath /home/work/mongodata/logs/shard1_3.log --logappend --fork

分片服务 shard2

mkdir /home/work/mongodata/shard2_1
mkdir /home/work/mongodata/shard2_2
mkdir /home/work/mongodata/shard2_3

启动分片服务

mongod --shardsvr --replSet shard2 --port  --dbpath /home/work/mongodata/shard2_1 --logpath /home/work/mongodata/logs/shard2_1.log --logappend --fork

mongod --shardsvr --replSet shard2 --port  --dbpath /home/work/mongodata/shard2_2 --logpath /home/work/mongodata/logs/shard2_2.log --logappend --fork

mongod --shardsvr --replSet shard2 --port  --dbpath /home/work/mongodata/shard2_3 --logpath /home/work/mongodata/logs/shard2_3.log --logappend --fork

配置复制集

# 需要进到admin数据库

$ mongo localhost:/admin

rs.slaveOk();

# 配置shard1分片
# mongodb建议每个分片复制集,要有个仲裁节点(当主服务down掉,仲裁选出新的主服务)

rs.initiate({ _id:"shard1",members:[
{_id:,host:"hostname:30001",priority:},
{_id:,host:"hostname:30002",priority:},
{_id:,host:"hostname:30003",arbiterOnly:true}
]});

#查看复制集的状态

rs.status()

# 配置shard2分片

$ mongo localhost:/admin

rs.initiate({ _id:"shard2",members:[
{_id:,host:"hostname:40001",priority:},
{_id:,host:"hostname:40002",priority:},
{_id:,host:"hostname:40003",arbiterOnly:true}
]});

# 启动mongos路由服务
# 注意mongos服务的命令不是mongod,参数中加载了配置服务器信息

mongos --configdb configset/hostname:,hostname:,hostname: --port  --logpath /home/work/mongodata/logs/mongos1.log --logappend --fork
# 进入mongos 添加分片
mongo localhost:/admin # 添加分片 hostname表示主机名
> db.runCommand({addshard :"shard1/hostname:30001,hostname:30002,hostname:30003"});
> db.runCommand({addshard :"shard2/hostname:40001,hostname:40002,hostname:40003"}); # 查看分片配置情况
> db.runCommand({listshards : }) # 选择要分片的数据库
> db.runCommand({enablesharding : "db_name"}) # 选择要分片的集合和分片的片键,这里使用了hashed后的_id 片键的选择值得讲一讲 很重要
> db.runCommand({shardcollection : "db_name.collection_name",key : {"_id": "hashed"}})
# 开始插入数据,注意是从mongos 进入所选分片的数据库

use  db_name;
for (var i = ; i <= ; i++){ db_name.collection_name.save({"id":i, "name":"user"+i}) } 查询分片情况:
db.collection_name.stats(); 或者
sh.status() # 这个命令可以查看下 mongo 实例的运行状态
mongostat --port

MongoDB的分片集群搭建的更多相关文章

  1. 【MongoDB】在windows平台下mongodb的分片集群(五)

    本篇接着上面的四篇继续讲述在window平台下mongodb的分片集群搭建. 在分片集群中也照样能够创建索引,创建索引的方式与在单独数据库中创建索引的方式一样.因此这不再多说.本篇主要聚焦在分片键的选 ...

  2. mongodb 3.4 集群搭建:分片+副本集

    mongodb是最常用的nodql数据库,在数据库排名中已经上升到了前六.这篇文章介绍如何搭建高可用的mongodb(分片+副本)集群. 在搭建集群之前,需要首先了解几个概念:路由,分片.副本集.配置 ...

  3. MongoDB高可用集群搭建(主从、分片、路由、安全验证)

    目录 一.环境准备 1.部署图 2.模块介绍 3.服务器准备 二.环境变量 1.准备三台集群 2.安装解压 3.配置环境变量 三.集群搭建 1.新建配置目录 2.修改配置文件 3.分发其他节点 4.批 ...

  4. MongoDB分片集群搭建及扩容

    ### 实验:分片集群搭建及扩容#### 实验目标及流程 * 目标:学习如何搭建一个两分片的分片集群 * 环境:3台Linux虚拟机器,4Core 8GB * 步骤: * 配置域名解析 * 准备分片目 ...

  5. mongodb 3.4 集群搭建升级版 五台集群

    最新版mongodb推荐使用yaml语法来做配置,另外一些旧的配置在最新版本中已经不在生效,所以我们在生产实际搭建mongodb集群的时候做了一些改进.如果大家不熟悉什么是分片.副本集.仲裁者的话请先 ...

  6. MongoDB之分片集群(Sharding)

    MongoDB之分片集群(Sharding) 一.基本概念 分片(sharding)是一个通过多台机器分配数据的方法.MongoDB使用分片支持大数据集和高吞吐量的操作.大数据集和高吞吐量的数据库系统 ...

  7. MongoDB高可用复制集分片集群搭建

    1     逻辑架构 1.1     逻辑架构图 1.2     组件说明 一.mongos(query routers):查询路由,负责client的连接,并把任务分给shards,然后收集结果.一 ...

  8. 【MongoDB】在windows平台下搭建mongodb的分片集群(二)

    在上一片博客中我们讲了Mongodb数据库中分片集群的主要原理. 在本篇博客中我们主要讲描写叙述分片集群的搭建过程.配置分片集群主要有两个步骤.第一启动全部须要的mongod和mongos进程. 第二 ...

  9. MongoDB 分片集群搭建

    一.概述 分片是一种在多台机器上分配数据的方法.MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作.有两种解决系统增长的方法:垂直扩展和水平扩展. 垂直扩展涉及增加单个服务器的容量,例如使用 ...

随机推荐

  1. 如何用ABP框架快速完成项目(13) - 用ABP遇到难题项目受阻时如何避免项目延迟

    只有一个人在开发ABP, 遇到难题时可以: 最根本的, 简化问题, 不要盖楼式结构 前端优先用VSCode看文档, 后端看官网文档. 看ABP源码/issues 到QQ群和微信群里寻求外援.   我建 ...

  2. Spring学习之旅(四)Spring工作原理再探

    上篇博文对Spring的工作原理做了个大概的介绍,想看的同学请出门左转.今天详细说几点. (一)Spring IoC容器及其实例化与使用 Spring IoC容器负责Bean的实例化.配置和组装工作有 ...

  3. Android dp、dip、dpi、px、sp简介及相关换算,及其应用实例

    屏幕分辨率:在x y轴上的像素点数.单位是px,1px=1个像素点.一般以    纵向像素×横向像素    表示,如1920*1080dpi--------------------------每英寸上 ...

  4. event.target和event.currentTarget区别

    首先本质区别是: event.target返回触发事件的元素 event.currentTarget返回绑定事件的元素

  5. elasticsearch及head插件安装与配置

    1. 环境软件版本说明 系统:ubuntu14.04.1 JDK:1.8 elasticsearch:5.5.2 node:9.11.1 elasticsearch:5.X 2. 环境软件下载说明 1 ...

  6. OPPO A57 刷机(官方安装包)+完美Root+ 破解主题+屏蔽Root顶部红色框+NV修复

    朋友说她的手机被被人刷后,有许多预装的软件问我能不能处理下,让我装个纯净版. 开机可以看到预装了许多软件,通常想要删除预装软件就必须Root,于是下载刷机精灵,360刷机大师,线刷包之类的软件Root ...

  7. 如何在HTTP客户端与服务器端之间保持状态(转)

    HTTP协议与状态保持 HTTP协议本身是无状态的,这与HTTP协议本来的目的是相符的,客户端只需要简单的向服务器请求下载某些文件,无论是客户端还是服务器都没有必要纪录彼此过去的行为,每一次请求之间都 ...

  8. JavaScript获取IE版本号与HTML设置ie文档模式

    JavaScript获取IE版本代码: var gIE = getIE(); alert(gIE.version) function getIE() { var rmsie = /(msie) ([\ ...

  9. Linux 小知识翻译 - 「RFC」

    这次聊聊「RFC」. 有很多人经常听说「RFC」的吧,上次介绍的NTP是由「RFC1305规定的」,HTTP是由「RFC2616规定的」. RFC是「Request For Comments」的简称, ...

  10. Pycharm用鼠标滚轮控制字体大小

    一.pycharm字体放大的设置 File —> setting —> Keymap —>在搜寻框中输入:increase —> Increase Font Size(双击) ...