MongoDB之shard_副本集和分片部署

ExplorerMan 2024-10-31 02:11:42 原文

机器角色分配和拓扑环境如下:

-------------------配置副本集s1-------------------------------
1.创建目录
在s1h1上创建如下目录
[root@node3 db]# mkdir -p /db/s1/conf
[root@node3 db]# mkdir -p /db/s1/data
[root@node3 db]# mkdir -p /db/s1/log

在在s1h2上创建如下目录
[root@node4 db]# mkdir -p /db/s1/conf
[root@node4 db]# mkdir -p /db/s1/data
[root@node4 db]# mkdir -p /db/s1/log

2.创建配置文件
在s1h1和s1h2上创建s1.cnf,文件保存在conf目录下
port = 27017
fork = true
dbpath = /db/s1/data
logpath = /db/s1/log/logs
logappend = true
shardsvr = true
replSet = s1

3.安装mongodb
在在s1h1和s1h2上做同样的操作
[root@node3 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node3 soft]# mv mongodb-linux-x86_64-2.6.5 /db/s1/mongodb

4.启动各节点
在每个节点上做同样的操作
[root@node3 bin]# ./mongod -f /db/s1/conf/s1.cnf
[root@node4 bin]# ./mongod -f /db/s1/conf/s1.cnf

5.初始化副本集
登陆副本集中的其中一台机器,执行如下操,我这里登陆是的s1h1
[root@node3 bin]# ./mongo 192.168.56.103:27017
> use admin
>config={_id:"s1", members:[{_id:0,host:"192.168.56.103:27017"},{_id:1,host:"192.168.56.104:27017"}]}
>rs.initiate(config);

退出重新登陆可以看到该机器为主节点
[root@node3 bin]# ./mongo 192.168.56.103:27017
MongoDB shell version: 2.6.5
connecting to: 192.168.56.103:27017/test
s1:PRIMARY>

登陆另一台机器s1h2可以看到,该机器为该副本集的从节点
[root@node4 bin]# ./mongo 192.168.56.104:27017
MongoDB shell version: 2.6.5
connecting to: 192.168.56.104:27017/test
s1:SECONDARY>

到这里副本集s1配置完成

-------------------配置副本集s2-------------------------------
1.创建目录
在s2h1上创建如下目录
[root@node3 db]# mkdir -p /db/s2/conf
[root@node3 db]# mkdir -p /db/s2/data
[root@node3 db]# mkdir -p /db/s2/log

在在s2h2上创建如下目录
[root@node4 db]# mkdir -p /db/s2/conf
[root@node4 db]# mkdir -p /db/s2/data
[root@node4 db]# mkdir -p /db/s2/log

2.创建配置文件
在s2h1和s2h2上创建s2.cnf,文件保存在conf目录下
port = 27018
fork = true
dbpath = /db/s2/data
logpath = /db/s2/log/logs
logappend = true
shardsvr = true
replSet = s2

3.安装mongodb
在在s2h1和s2h2上做同样的操作
[root@node3 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node3 soft]# mv mongodb-linux-x86_64-2.6.5 /db/s2/mongodb

4.启动各节点
在每个节点上做同样的操作
[root@node3 bin]# ./mongod -f /db/s2/conf/s2.cnf
[root@node4 bin]# ./mongod -f /db/s2/conf/s2.cnf

5.初始化副本集
登陆副本集中的其中一台机器,执行如下操,我这里登陆是的s2h1

[root@node3 bin]# ./mongo 192.168.56.103:27018
> use admin
>config={_id:"s2", members:[{_id:0,host:"192.168.56.103:27018"},{_id:1,host:"192.168.56.104:27018"}]}
>rs.initiate(config);

登陆s2h1可以看到，该节点为主节点
[root@node3 bin]# ./mongo 192.168.56.103:27018
MongoDB shell version: 2.6.5
connecting to: 192.168.56.103:27018/test
s2:PRIMARY>

登陆s2h2可以看到，该节点为副节点
[root@node4 bin]# ./mongo 192.168.56.104:27018
MongoDB shell version: 2.6.5
connecting to: 192.168.56.104:27018/test
s2:SECONDARY>

到这里副本集s2配置完成

-------------------部署配置服务器01-------------------------------
1.创建目录
mkdir -p /db/config_server01/data
mkdir -p /db/config_server01/log
mkdir -p /db/config_server01/conf

2.安装mongodb
[root@node1 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node1 soft]# mv mongodb-linux-x86_64-2.6.5 /db/config_server01/mongodb

3.创建配置文件
配置参数文件为config_server.cnf,内容如下:
port = 27017
fork = true
dbpath = /db/config_server01/data
logpath = /db/config_server01/log/logs
logappend = true
configsvr = true
directoryperdb = true

4.启动
#./mongod -f /db/config_server01/conf/config_server.cnf

-------------------部署配置服务器02-------------------------------
1.创建目录
mkdir -p /db/config_server02/data
mkdir -p /db/config_server02/log
mkdir -p /db/config_server02/conf

2.安装mongodb
[root@node1 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node1 soft]# mv mongodb-linux-x86_64-2.6.5 /db/config_server02/mongodb

3.创建配置文件
配置参数文件为config_server.cnf,内容如下:
port = 27017
fork = true
dbpath = /db/config_server02/data
logpath = /db/config_server02/log/logs
logappend = true
configsvr = true
directoryperdb = true

4.启动
#./mongod -f /db/config_server02/conf/config_server.cnf

-------------------部署配置服务器03-------------------------------
1.创建目录
mkdir -p /db/config_server03/data
mkdir -p /db/config_server03/log
mkdir -p /db/config_server03/conf

2.安装mongodb
[root@node1 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node1 soft]# mv mongodb-linux-x86_64-2.6.5 /db/config_server03/mongodb

3.创建配置文件
配置参数文件为config_server.cnf,内容如下:
port = 27017
fork = true
dbpath = /db/config_server03/data
logpath = /db/config_server03/log/logs
logappend = true
configsvr = true
directoryperdb = true

4.启动
#./mongod -f /db/config_server03/conf/config_server.cnf

-------------------部署路由服务器01-------------------------------
1.创建目录
mkdir -p /db/route_server01/data
mkdir -p /db/route_server01/log
mkdir -p /db/route_server01/conf

2.安装mongodb
[root@node2 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node2 soft]# mv mongodb-linux-x86_64-2.6.5 /db/route_server01/mongodb

3.创建配置文件
配置参数文件为route_server.cnf,内容如下:
port = 27017
configdb=192.168.56.101:27017,192.168.56.101:27018,192.168.56.101:27019
logpath = /db/route_server01/log/logs
fork = true

4.启动
[root@node2 bin]# ./mongos -f /db/route_server01/conf/route_server.cnf

5.添加分片服务器
./mongo
mongos>use admin
mongos>db.runCommand({"addshard":"s1/192.168.56.103:27017,192.168.56.104:27017",allowLocal:true})
mongos>db.runCommand({"addshard":"s2/192.168.56.103:27018,192.168.56.104:27018",allowLocal:true})

6.查看分片情况
mongos> db.runCommand({listshards:1});db.runCommand({listshards:1});
{
        "shards" : [
                {
                        "_id" : "s1",
                        "host" : "s1/192.168.56.103:27017,192.168.56.104:27017"
                },
                {
                        "_id" : "s2",
                        "host" : "s2/192.168.56.103:27018,192.168.56.104:27018"
                }
        ],
        "ok" : 1
}

步骤5和步骤6只需要在第一台路由服务器上执行即可.

-------------------部署路由服务器02-------------------------------
1.创建目录
mkdir -p /db/route_server02/data
mkdir -p /db/route_server02/log
mkdir -p /db/route_server02/conf

2.安装mongodb
[root@node2 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node2 soft]# mv mongodb-linux-x86_64-2.6.5 /db/route_server02/mongodb

3.创建配置文件
配置参数文件为route_server.cnf,内容如下:
port = 27018
configdb=192.168.56.101:27017,192.168.56.101:27018,192.168.56.101:27019
logpath = /db/route_server02/log/logs
fork = true

4.启动
[root@node2 bin]# ./mongos -f /db/route_server02/conf/route_server.cnf

-------------------部署路由服务器03-------------------------------
1.创建目录
mkdir -p /db/route_server03/data
mkdir -p /db/route_server03/log
mkdir -p /db/route_server03/conf

2.安装mongodb
[root@node2 soft]# tar -xvf mongodb-linux-x86_64-2.6.5.tgz
[root@node2 soft]# mv mongodb-linux-x86_64-2.6.5 /db/route_server03/mongodb

3.创建配置文件
配置参数文件为route_server.cnf,内容如下:
port = 27019
configdb=192.168.56.101:27017,192.168.56.101:27018,192.168.56.101:27019
logpath = /db/route_server03/log/logs
fork = true

4.启动
[root@node2 bin]# ./mongos -f /db/route_server03/conf/route_server.cnf

----------测试--------------------------
1.在路由服务器上执行

数据库hxl启用分片功能
mongos>db.runCommand({"enablesharding":"hxl"});

2.为集合person设置片键,这里使用id做hash分片
mongos>use admin
mongos>db.runCommand({"shardcollection":"hxl.person","key":{"_id":"hashed"}})
{ "collectionsharded" : "hxl.person", "ok" : 1 }

3.写入数据
mongos>use hxl
mongos>for (var i=0;i<100000;i++){db.person.insert({"name":"hxl"+i,"age":i})}
mongos> db.person.count();

4.查看数据分布情况
mongos> db.person.stats()
{
        "sharded" : true,
        "systemFlags" : 1,
        "userFlags" : 1,
        "ns" : "hxl.person",
        "count" : 100000,
        "numExtents" : 12,
        "size" : 11200000,
        "storageSize" : 22364160,
        "totalIndexSize" : 7636384,
        "indexSizes" : {
                "_id_" : 3254048,
                "_id_hashed" : 4382336
        },
        "avgObjSize" : 112,
        "nindexes" : 2,
        "nchunks" : 4,
        "shards" : {
                "s1" : {
                        "ns" : "hxl.person",
                        "count" : 49981,
                        "size" : 5597872,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 2,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 1,
                        "userFlags" : 1,
                        "totalIndexSize" : 3826368,
                        "indexSizes" : {
                                "_id_" : 1627024,
                                "_id_hashed" : 2199344
                        },
                        "ok" : 1
                },
                "s2" : {
                        "ns" : "hxl.person",
                        "count" : 50019,
                        "size" : 5602128,
                        "avgObjSize" : 112,
                        "storageSize" : 11182080,
                        "numExtents" : 6,
                        "nindexes" : 2,
                        "lastExtentSize" : 8388608,
                        "paddingFactor" : 1,
                        "systemFlags" : 1,
                        "userFlags" : 1,
                        "totalIndexSize" : 3810016,
                        "indexSizes" : {
                                "_id_" : 1627024,
                                "_id_hashed" : 2182992
                        },
                        "ok" : 1
                }
        },
        "ok" : 1
}
mongos>

可以看到刚才写入的10万条记录已经进行了分片，其中s1分配了49981，s2分配了50019.

集群启动顺序:

1.启动副本集s1
192.168.56.103:27017
192.168.56.104:27017

[root@node3 bin]# ./mongod -f /db/s1/conf/s1.cnf
[root@node4 bin]# ./mongod -f /db/s1/conf/s1.cnf

2.启动副本集s2
192.168.56.103:27018
192.168.56.104:27018

[root@node3 bin]# ./mongod -f /db/s2/conf/s2.cnf
[root@node4 bin]# ./mongod -f /db/s2/conf/s2.cnf

3.启动配置服务器
192.168.56.101
启动
#./mongod -f /db/config_server/conf/config_server.cnf

4.启动路由服务器
192.168.56.102
启动
[root@node2 bin]# ./mongos -f /db/route_server/conf/route_server.cnf

问题

1.从副本集默认是不可读取的，需要设置进行可读取.

s1:SECONDARY> show tables
2016-03-21T16:21:57.258+0800 error: { "$err" : "not master and slaveOk=false", "code" : 13435 } at src/mongo/shell/query.js:131
s1:SECONDARY> db.getMongo().setSlaveOk();

2.遇到配置服务器不同步的情况下,需要将之前的配置服务器的config文件拷贝到其他配置服务器的相应路径
2016-03-29T16:36:09.927+0800 [mongosMain] ERROR: could not verify that config servers are in sync :: caused by :: config servers 192
.168.56.101:27017 and 192.168.56.101:27018 differ: { chunks: "458d90243d2642fcdadcbd6ea0dea87a", collections: "7afff57cb1d2cdca4eaed
f6c462c96cd", databases: "8659f3bdedc73744e099a248f94854c0", shards: "6be1adb78a41e5ab733bd10119b0ce1d", version: "bf167dc1df1dac1f

3.配置服务器必须是1个或是3个，或基数个，否则路由服务器无法启动.

MongoDB之shard_副本集和分片部署的更多相关文章

mongodb副本集和分片存储理论整理
目录理论概述一.各种集群简述二.原理主从复制 Mongodb副本集理论概述一.各种集群简述 mongodb有三种集群搭建方式: 分片:sharding.指为处理大量数据,将数据分开存储,不 ...
关于MongoDB副本集和分片集群有关用户和权限的说明分析
1.MongoDB副本集可以先创建超管用户,然后再关闭服务,创建密钥文件,修改配置文件,启动服务,使用超管用户登录验证,然后创建普通用户 2.MongoDB分片集群先关闭服务,创建密钥文件,修改配 ...
搭建高可用mongodb集群—— 副本集
转自:http://www.lanceyan.com/tech/mongodb/mongodb_repset1.html 在上一篇文章<搭建高可用MongoDB集群(一)——配置MongoDB& ...
Mongodb分布式集群副本集+分片
目录简介 1. 副本集 1.1 MongoDB选举的原理 1.2 复制过程 2. 分片技术 2.1 角色 2.2 分片的片键 2.3 片键分类环境介绍 1.获取软件包 2.创建路由.配置.分片等的 ...
mongodb集群搭建（分片+副本）开启安全认证
关于安全认证得总结: 这个讲述的步骤也是先创建超管用户,关闭服务,然后生成密钥文件,开启安全认证,启动服务相关概念先来看一张图: 从图中可以看到有四个组件:mongos.config server ...
Mongodb主从复制/ 副本集/分片集群介绍
前面的文章介绍了Mongodb的安装使用,在 MongoDB 中,有两种数据冗余方式,一种是 Master-Slave 模式(主从复制),一种是 Replica Sets 模式(副本集). Mong ...
Mongodb主从复制及副本集＋分片集群梳理
转载努力哥原文,原文连接https://www.cnblogs.com/nulige/p/7613721.html 介绍了Mongodb的安装使用,在 MongoDB 中,有两种数据冗余方式,一种是 ...
ClickHouse学习系列之四【副本&分片部署说明】
背景以前介绍过ClickHouse相关的系列文章,现在继续说明.本文开始说明ClickHouse的副本与分片,和其他数据库一样,ClickHouse也会出现单节点故障和单节点资源到达上限的情况.所以 ...
搭建mongodb集群（副本集+分片）
搭建mongodb集群(副本集+分片) 转载自:http://blog.csdn.net/bluejoe2000/article/details/41323051 完整的搭建mongodb集群(副本集 ...

随机推荐

字符串哈希hash
题目描述如题,给定N个字符串(第i个字符串长度为Mi,字符串内包含数字.大小写字母,大小写敏感),请求出N个字符串中共有多少个不同的字符串. 友情提醒:如果真的想好好练习哈希的话,请自觉,否则请右转 ...
bzoj2555(lct维护sam)
题意: (1):在当前字符串的后面插入一个字符串 (2):询问字符串s在当前字符串中出现了几次?(作为连续子串) 字符串长度<=6e5,询问总长度<=3e6 分析: 考虑建个sam,然后把 ...
Windows使用Telnet连接Linux服务器初探（待实践）
在Windows下可以适用Telnet连接Linux服务器,但是前提是在Linux下需要安装Tlenet-Server.还要开启防火的23端口.搞定之后就可以用telnet IP进行连接. 但是,我发 ...
使用datatables实现列宽设置、水平滚动条、显示某列部分内容
示例 1.//使用 columnDefs 给列设置宽度 $('#example').DataTable( { "columnDefs": [ //给第一列指定宽度为表格整个宽度的2 ...
Android 使用ListView的A-Z字母排序功能实现联系人模块
在上一篇文章其中,主要学习了ListView的A-Z字母排序功能以及依据输入框的输入值改变来过滤搜索结果,假设输入框里面的值为空.更新为原来的列表,否则为过滤数据列表,包含汉字转成拼音的功能.假设你还 ...
锤子Smartisan T1手机官方4.4.2系统内核版本号信息
从锤子smartisan T1手机官方系统EGL中获取内核版本号信息(由cofface提供): I/Adreno-EGL( 816): <qeglDrvAPI_eglInitialize:41 ...
css设置图片居中、居左、居右
CreateTime--2017年12月8日14:25:09 Author:Marydon css设置图片居中.居左.居右图片一般默认是居左显示的,如何更改它的水平位置呢? <div st ...
全国省市区三级联动js
function Dsy(){ this.Items = {}; } Dsy.prototype.add = function(id,iArray){ this.Items[id] = iArray; ...
Windows7和Ubuntu12.04无法选择系统
Windos7 旗舰版 Ubuntu12.04LTS 64位版本号硬件挂载两个硬盘 SSD+机械 Windows7和Ubuntu12.04都装在SSD上.眼下先装好了Windows7,打算装Ubun ...
JavaScript 的 MVP 框架 Riot.js
Riot.js 详细介绍 Riot.js是一个客户端模型-视图-呈现(MVP)框架并且它非常轻量级甚至小于1kb.尽管他的大小令人难以置信,所有它能构建的有如下:一个模板引擎,路由,甚至是库和一个严格 ...