创建虚拟机,如果是使用copy的方式安装系统,记得修改机器名,否则所有的机器名称都一样,会造成安装失败

同时关闭掉防火墙,将所有的机器的时间调成一致,master和slave的heartbeat间隔不能超过三秒,否则造成启动mongos失败,这个可以查看mongos日志

使用MongoDB 3.02或者后续版本的安装包在D:\mongodb下安装. 如果你是自己通过源代码编译获得的MongoDB的相关程序, 你需要建立D:\mongodb\bin,并把mongod.exe, mongo.exe, mongos.exe拷贝到它下面(PS:为了支持NG全文索引搜索,需要使用编译的v3.0.6版本二进制文件替换mongod.exe,mongo.exe,mongos.exe).

集群监控工具https://cloud.mongodb.com  试用期有30天(个人觉得这个监控工具还是比较好用的)

安装步骤看起来很多,其实很简单,就是步骤多了点,多点耐心就好

1.1.1        准备工作

我们将分别在上述三台机器上分别创建相应目录

将mongodb.zip解压到D:\mongodb下

创建D:\mongodb\cluster\shard1 目录,在其下创建data, log子目录;

创建完成后的目录清单:

D:\mongodb\cluster\shard1\data

D:\mongodb\cluster\shard1\log

D:\mongodb\bin

在192.168.33.92, 192.168.33.93 和192.168.33.94上, 在D:\mongodb\cluster\shard1下创建config.conf文本文件,在文件中放入以下内容,注意缩进只能用空格而不能用tab:

systemLog:

destination: file

path: d:\mongodb\cluster\shard1\log\shard1.log

logAppend: true

logRotate: rename

storage:

dbPath: d:\mongodb\cluster\shard1\data

journal:

enabled: true

directoryPerDB: true

engine: mmapv1

replication:

oplogSizeMB: 10000

replSetName: shard1

sharding:

   clusterRole: shardsvr

net:

port: 22001

到此,准备工作完成.

1.1.2        配置replica

在三台机器上通过command line分别启动三个成员实例.

在解压后的D:\mongodb文件夹按住shift然后右键 然后点open command window here 打开dos窗口

d:\mongodb\bin\mongod --config d:\mongodb\cluster\shard1\config.conf

1.1.3       初始化replica set并添加replica set成员, :

使用mongo shell(mongo.exe)或者其他工具登录到192.168.33.92:22001.

D:\Dev\software\mongo-master\bin>mongo 192.168.33.92:22001   //此命令必须在非arbiter 机器上执行

2015-04-29T11:37:58.375-

MongoDB shell version: 3.1.2-pre-

connecting to: 192.168.33.92:22001/test

> use admin

> cfg = { _id:"shard1", members:[

{_id:0,host:"192.168.33.92:22001",priority:1000},

{_id:1,host:"192.168.33.93:22001",priority:999},

{_id:2,host:"192.168.33.94:22001",priority : 800, arbiterOnly: true}

]

}

> rs.initiate(cfg);   //此命令必须在非arbiter 机器上执行

2        配置config server:

Config  Server是一个特殊的mongod实例, 也是一个数据库, 用来保存cluster的分片信息元数据.  Config Server与 cluster中其他的作为数据库服务器的mongod实例没有直接联系, 它里面存储的都是chunk存储和迁移的信息.

我们将分别在上述三台机器上分别创建相应目录

在192.168.33.92, 192.168.33.93, 192.168.33.94进行如下操作

创建D:\mongodb\cluster\configsvr\ 目录,在其下创建data, log子目录;

创建完成后的目录清单:

D:\mongodb\cluster\configsvr\data

D:\mongodb\cluster\configsvr\log

确认mongod.exe在D:\mongodb\bin目录下, 如果你是采用的安装包安装到D:\mongodb目录, mongod.exe应该已经在D:\mongodb\bin了

2.1        编辑配置文件:

在192.168.33.92, 192.168.33.93 , 192.168.33.94上, 在D:\mongodb\cluster\ configsvr下创建config.conf文本文件,在文件中放入以下内容,注意缩进只能用空格而不能用tab:

3.0版本:

systemLog:

destination: file

path: d:\mongodb\cluster\configsvr\log\configsvr.log

logAppend: true

logRotate: rename

storage:

dbPath: d:\mongodb\cluster\configsvr\data

journal:

enabled: true

directoryPerDB: true

engine: mmapv1

sharding:

clusterRole: configsvr

net:

port: 21110

2.2       启动三个config server

在三台机器上通过command line使用如下命令分别启动三个成员的mongo config server实例:

d:\mongodb\bin\mongod --config d:\mongodb\cluster\ configsvr\config.conf

2.3        配置mongos

Mongos实例是应用程序访问cluster的入口.  Mongos也可以配置多个来增加系统容错. 如果使用多个mongos, 所有mongos的config server配置项必须完全相同.

本文档中,我们将使用三个mongos实例, 分别置于192.168.33.92:21100, 192.168.33.93:21100 和192.168.33.94:21100

2.4       创建目录

我们将分别在上述三台机器上分别创建相应目录

在192.168.33.92, 192.168.33.93 , 192.168.33.94进行如下操作

创建D:\mongodb\cluster\mongos\ 目录,在其下创建 log子目录;

创建完成后的目录清单:

D:\mongodb\cluster\ mongos \log

确认mongos.exe在D:\mongodb\bin目录下,如果你是采用的安装包安装到D:\mongodb目录, mongos应该已经在D:\mongodb\bin了

2.5       编辑配置文件:

在192.168.33.92, 192.168.33.93 , 192.168.33.94 上, 在D:\mongodb\cluster\ mongos下创建config.conf文本文件,在文件中放入以下内容,注意缩进只能用空格而不能用tab:

对于版本3.0:

#YAML format

systemLog:

destination: file

path: D:\mongodb\cluster\mongos\log\mongos.log

logAppend: true

logRotate: rename

sharding:

configDB: 192.168.33.92:21110,192.168.33.93:21110,192.168.33.94:21110

net:

port: 21100

2.6       启动三个mongos

在三台机器上通过command line使用如下命令分别启动mongos实例.

在192.168.33.92, 192.168.33.93 , 192.168.33.94:

d:\mongodb\bin\mongos --config d:\mongodb\cluster\ mongos\config.conf

3         添加shard节点到cluster中

现在虽然各个应用 (3个shard1 replica set成员,  3 个config server, 3 个mongos) 都在运行,但是cluster还是空的,没有一个数据库server加进来. 也就是说, shard1和 还没有加进 cluster中.

如果使用mongo shell登录到任何一个mongos, 运行sh.status()命令,你会看到如下结果:

D:\Dev\software\mongo-master\bin>mongo 192.168.33.92:21100

2015-05-01T10:47:30.337-0400

MongoDB shell version: 3.1.2-pre-

connecting to: 192.168.33.92:21100/test

mongos> show dbs

admin   (empty)

config  (empty)

mongos> sh.status()

--- Sharding Status ---

sharding version: {

"_id" : 1,

"minCompatibleVersion" : 5,

"currentVersion" : 6,

"clusterId" : ObjectId("5542e946bfcdf8ecc8ae22da")

}

shards:

balancer:

Currently enabled:  yes

Currently running:  no

Failed balancer rounds in last 5 attempts:  0

Migration Results for the last 24 hours:

No recent migrations

databases:

{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }

mongos>

以上结果中shards为空,表示我们没有任何shard.下面我们把shard1添加到cluster中来.

添加shard1到cluster中

可以使用mongo shell登录任意一个mongos 完成shard添加操作. 这里我们登录192.168.33.92:21100.

sh.addShard( "shard1/192.168.33.92:22001" ).  Replica set中的任意一个成员都可以在这里作为种子.

Mongos会自动识别, 搜索并添加所有输入该replica set中的所有成员

至此, cluster 已经建立完成.

3.2        添加新的shard并加入到cluster中

到现在为止我们的cluster中实际上只有一个节点. 一个replica set对于cluster来说算一个节点.因为任意时刻, 只有replica set中的primary可以接受写操作. 所以为了发挥cluster

的作用,我们需要添加多个replica set,这样mongos就可以并行读写多个replica set了.

参照Replica set deployment文档建立你想要的新的replica set并把它按照本文档前面的步骤加入到cluster中来. 在本文档的测试中, 我们加入了shard2,和shard3两个replica set.

如果一个collection已经被分片(执行过shardCollection命令), 添加新的shard的操作会触发数据的迁移.

在3台机器的部署中,我们把shard1的primary放在192.168.33.92:22001, shard2的primary 放在192.168.33.93:22002, shard3的primary放在192.168.33.94:22003.这样三台机器可以并行写入.

如果mongodb中有以下错误log  :access control is not enabled and no --bind_ip has been specified.

就是机器的防火墙没有关闭。

mongodb sharding集群搭建的更多相关文章

  1. mongoDB3.4的sharding集群搭建及JavaAPI的简易使用

    第一部分 在搭建mongoDB之前,我们要考虑几个小问题: 1.我们搭建集群的目的是什么?是多备份提高容错和系统可用性还是横向拓展存储大规模数据还是两者兼有? 如果是为了多备份那么选择replicat ...

  2. mongodb分布式集群搭建手记

    一.架构简介 目标单机搭建mongodb分布式集群(副本集 + 分片集群),演示mongodb分布式集群的安装部署.简单操作. 说明在同一个vm启动由两个分片组成的分布式集群,每个分片都是一个PSS( ...

  3. Mongodb Sharding 集群配置

    mongodb的sharding集群由以下3个服务组成: Shards  Server: 每个shard由一个或多个mongod进程组成,用于存储数据 Config  Server: 用于存储集群的M ...

  4. MongoDB分布式集群搭建

    最近在做一个关于车险的项目,由于数据量较大,实验室的Boss决定采用HBase+ES/MongoDB这两种方案,并做性能对比,本人负责MongoDB方案.为了满足海量数据的存储要求,需要搭建一个分布式 ...

  5. mongodb windows 集群搭建

    准备三台机器,系统:windows 8 192.168.1.1 192.168.1.2 192.168.1.3 每台机器上安装mongodb 服务,步骤: 下载以下文件并依次执行安装 clearcom ...

  6. MongoDB分片集群搭建及扩容

    ### 实验:分片集群搭建及扩容#### 实验目标及流程 * 目标:学习如何搭建一个两分片的分片集群 * 环境:3台Linux虚拟机器,4Core 8GB * 步骤: * 配置域名解析 * 准备分片目 ...

  7. MongoDB ReplicaSet 集群搭建

    说明 本文创建的集群的名字为test,在同一台机器上创建了三个mongo实例,端口不同即可. 安装mongodb的教程,之前总结过,请参考:CentOS安装MongoDB笔记 创建实例 # 本机默认原 ...

  8. MongoDB 分片集群搭建

    一.概述 分片是一种在多台机器上分配数据的方法.MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作.有两种解决系统增长的方法:垂直扩展和水平扩展. 垂直扩展涉及增加单个服务器的容量,例如使用 ...

  9. MongoDB分布式集群搭建(分片加副本集)

    # 环境准备 服务器 # 环境搭建 文件配置和目录添加 新建目录的操作要在三台机器中进行,为配置服务器新建数据目录和日志目录 mkdir -p $MONGODB_HOME/config/data mk ...

随机推荐

  1. 《零起点,python大数据与量化交易》

    <零起点,python大数据与量化交易>,这应该是国内第一部,关于python量化交易的书籍. 有出版社约稿,写本量化交易与大数据的书籍,因为好几年没写书了,再加上近期"前海智库 ...

  2. echarts页面中多图自适应

    $(function (){ //ups部分 var myChart = echarts.init(document.getElementById('result')) var option = { ...

  3. OpenResty api 网关

    1,Orange网关 Orange是一个基于OpenResty的API网关.除Nginx的基本功能外,它还可用于API监控.访问控制(鉴权.WAF).流量筛选.访问限速.AB测试.动态分流等.它有以下 ...

  4. nmon监控Linux服务器系统资源

    本文转自:http://www.cnblogs.com/hyzhou/archive/2011/12/29/2305860.html 在实际的测试过程中,Loadrunner监控Linux系统资源不太 ...

  5. 居于mtk芯片安卓车机系统具体流程

    一:车机系统框架  MCU 功能  电源控制  Radio 控制(RDS)  按键检测(Panel/Remote/SW)  常见信号检查(倒车/大灯/刹车)  CAN 模块通讯  ARM- ...

  6. 怎么测试一个web登录页面

    在以前的面试和同事面试交流的过程中,有多次被问到:“给你一个登录页面,上面有2个textbox,一个提交按钮,你将怎么测试”?或问,请针对这个页面设计30个以上的test case. 此题的考察目的: ...

  7. Python笔记 #05# Package & pip3

    datacamp + 日常收集 How to install Package pip3 & What is difference between pip and pip3? Import  P ...

  8. c++第十八天

    p105~p108: 1.迭代器与数组的不同:迭代器的索引值必须是无符号类型,数组的索引无此要求. 2.使用数组的时候编译器一般会把它转化为指针. 3.auto ia2(数组名);的结果是:获得一个指 ...

  9. kali linux 安装过程

    kali linux 安装过程 获取镜像文件 首先需要去官网获取kali linux的镜像文件,本来获取了kali的最新版,由于有些方面还没有得到完善,与VM还没有完全兼容,所以换了视频上的1.0.8 ...

  10. 2018-2019-1 20189215《Linux内核原理与分析》第三周作业

    <庖丁解牛>第二章书本知识总结 函数调用框架 call指令有两个作用: (1) 将CS:EIP中下一条指令的地址A保存在栈顶: (2)设置CS:EIP指向被调用程序的第一行. ret指令在 ...