1. 安装 MongoDB

三台机器

关闭防火墙

systemctl stop firewalld.service

192.168.252.121	192.168.252.122	192.168.252.123
mongos	mongos	mongos
config server	config server	config server
shard server1 主节点	shard server1 副节点	shard server1 仲裁
shard server2 仲裁	shard server2 主节点	shard server2 副节点
shard server3 副节点	shard server3 仲裁	shard server3 主节点

端口分配：

mongos：20000

config：21000

shard1：27001

shard2：27002

shard3：27003

下载并且安装

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-amazon-3.6.2.tgz

tar -xzvf mongodb-linux-x86_64-amazon-3.6.2.tgz  -C /usr/local/

所有版本二进制文件,自行下载

https://www.mongodb.org/dl/win32/x86_64-2008plus-ssl?_ga=2.87139544.1567998244.1517190032-1153843332.1517190032&_gac=1.204211492.1517212002.EAIaIQobChMI44v9_9b82AIV1AcqCh0lcABIEAAYASAAEgKI1_D_BwE

改名

cd /usr/local/

mv  mongodb-linux-x86_64-amazon-3.6.2 mongodb

分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf \

mkdir -p /usr/local/mongodb/mongos/log \

mkdir -p /usr/local/mongodb/config/data \

mkdir -p /usr/local/mongodb/config/log \

mkdir -p /usr/local/mongodb/shard1/data \

mkdir -p /usr/local/mongodb/shard1/log \

mkdir -p /usr/local/mongodb/shard2/data \

mkdir -p /usr/local/mongodb/shard2/log \

mkdir -p /usr/local/mongodb/shard3/data \

mkdir -p /usr/local/mongodb/shard3/log

配置环境变量

vi /etc/profile

# MongoDB 环境变量内容

export MONGODB_HOME=/usr/local/mongodb

export PATH=$MONGODB_HOME/bin:$PATH

使立即生效

source /etc/profile

2. config server配置服务器

mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。

(三台机器)添加配置文件

vi /usr/local/mongodb/conf/config.conf

## 配置文件内容

pidfilepath = /usr/local/mongodb/config/log/configsrv.pid

dbpath = /usr/local/mongodb/config/data

logpath = /usr/local/mongodb/config/log/congigsrv.log

logappend = true

bind_ip = 0.0.0.0

port = 21000

fork = true

#declare this is a config db of a cluster;

configsvr = true

#副本集名称

replSet = configs

#设置最大连接数

maxConns = 20000

启动三台服务器的config server

mongod -f /usr/local/mongodb/conf/config.conf

登录任意一台配置服务器，初始化配置副本集

连接 MongoDB

mongo --port 21000

config 变量

config = {

    _id : "configs",

    members : [

    {_id : 0, host : "192.168.252.121:21000" },

    {_id : 1, host : "192.168.252.122:21000" },

    {_id : 2, host : "192.168.252.123:21000" }

    ]

}

初始化副本集

rs.initiate(config)

其中，"_id" : "configs"应与配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 为三个节点的 ip 和 port

响应内容如下

> config = {

... _id : "configs",

... members : [

... {_id : 0, host : "192.168.252.121:21000" },

... {_id : 1, host : "192.168.252.122:21000" },

... {_id : 2, host : "192.168.252.123:21000" }

... ]

... }

{

    "_id" : "configs",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:21000"

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:21000"

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:21000"

        }

    ]

}

> rs.initiate(config);

{

    "ok" : 1,

    "operationTime" : Timestamp(1517369899, 1),

    "$gleStats" : {

        "lastOpTime" : Timestamp(1517369899, 1),

        "electionId" : ObjectId("000000000000000000000000")

    },

    "$clusterTime" : {

        "clusterTime" : Timestamp(1517369899, 1),

        "signature" : {

            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

            "keyId" : NumberLong(0)

        }

    }

}

configs:SECONDARY>

此时会发现终端上的输出已经有了变化。

//从单个一个

>

//变成了

configs:SECONDARY>

查询状态

configs:SECONDARY> rs.status()

3. 配置分片副本集

3.1 设置第一个分片副本集

(三台机器)设置第一个分片副本集

配置文件

vi /usr/local/mongodb/conf/shard1.conf

#配置文件内容

#——————————————–

pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid

dbpath = /usr/local/mongodb/shard1/data

logpath = /usr/local/mongodb/shard1/log/shard1.log

logappend = true

bind_ip = 0.0.0.0

port = 27001

fork = true

#副本集名称

replSet = shard1

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns = 20000

启动三台服务器的shard1 server

mongod -f /usr/local/mongodb/conf/shard1.conf

登陆任意一台服务器，初始化副本集(除了192.168.252.123)

连接 MongoDB

mongo --port 27001

使用admin数据库

use admin

定义副本集配置

config = {

    _id : "shard1",

     members : [

         {_id : 0, host : "192.168.252.121:27001" },

         {_id : 1, host : "192.168.252.122:27001" },

         {_id : 2, host : "192.168.252.123:27001" , arbiterOnly: true }

     ]

 }

初始化副本集配置

rs.initiate(config)

响应内容如下

> use admin

switched to db admin

> config = {

...     _id : "shard1",

...      members : [

...          {_id : 0, host : "192.168.252.121:27001" },

...          {_id : 1, host : "192.168.252.122:27001" },

...          {_id : 2, host : "192.168.252.123:27001" , arbiterOnly: true }

...      ]

...  }

{

    "_id" : "shard1",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:27001"

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:27001"

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:27001",

            "arbiterOnly" : true

        }

    ]

}

> rs.initiate(config)

{ "ok" : 1 }

此时会发现终端上的输出已经有了变化。

//从单个一个

>

//变成了

shard1:SECONDARY>

查询状态

shard1:SECONDARY> rs.status()

3.2 设置第二个分片副本集

设置第二个分片副本集

配置文件

vi /usr/local/mongodb/conf/shard2.conf

#配置文件内容

#——————————————–

pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid

dbpath = /usr/local/mongodb/shard2/data

logpath = /usr/local/mongodb/shard2/log/shard2.log

logappend = true

bind_ip = 0.0.0.0

port = 27002

fork = true

#副本集名称

replSet=shard2

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

启动三台服务器的shard2 server

mongod -f /usr/local/mongodb/conf/shard2.conf

连接 MongoDB

mongo --port 27002

使用admin数据库

use admin

定义副本集配置

config = {

    _id : "shard2",

     members : [

         {_id : 0, host : "192.168.252.121:27002"  , arbiterOnly: true },

         {_id : 1, host : "192.168.252.122:27002" },

         {_id : 2, host : "192.168.252.123:27002" }

     ]

 }

初始化副本集配置

rs.initiate(config)

响应内容如下

> use admin

switched to db admin

> config = {

...     _id : "shard2",

...      members : [

...          {_id : 0, host : "192.168.252.121:27002"  , arbiterOnly: true },

...          {_id : 1, host : "192.168.252.122:27002" },

...          {_id : 2, host : "192.168.252.123:27002" }

...      ]

...  }

{

    "_id" : "shard2",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:27002",

            "arbiterOnly" : true

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:27002"

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:27002"

        }

    ]

}

> rs.initiate(config)

{ "ok" : 1 }

shard2:SECONDARY> rs.status()

3.3 设置第三个分片副本集

vi /usr/local/mongodb/conf/shard3.conf

#配置文件内容

#——————————————–

pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid

dbpath = /usr/local/mongodb/shard3/data

logpath = /usr/local/mongodb/shard3/log/shard3.log

logappend = true

bind_ip = 0.0.0.0

port = 27003

fork = true

#副本集名称

replSet=shard3

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

启动三台服务器的shard3 server

mongod -f /usr/local/mongodb/conf/shard3.conf

登陆任意一台服务器，初始化副本集(除了192.168.252.121)

mongo --port 27003

使用admin数据库

use admin

定义副本集配置

config = {

    _id : "shard3",

     members : [

         {_id : 0, host : "192.168.252.121:27003" },

         {_id : 1, host : "192.168.252.122:27003" , arbiterOnly: true},

         {_id : 2, host : "192.168.252.123:27003" }

     ]

 }

初始化副本集配置

rs.initiate(config)

响应内容如下

> use admin

switched to db admin

> config = {

...     _id : "shard3",

...      members : [

...          {_id : 0, host : "192.168.252.121:27003" },

...          {_id : 1, host : "192.168.252.122:27003" , arbiterOnly: true},

...          {_id : 2, host : "192.168.252.123:27003" }

...      ]

...  }

{

    "_id" : "shard3",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:27003"

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:27003",

            "arbiterOnly" : true

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:27003"

        }

    ]

}

> rs.initiate(config)

{ "ok" : 1 }

shard3:SECONDARY> rs.status()

3.4 配置路由服务器 mongos

（三台机器）先启动配置服务器和分片服务器,后启动路由实例启动路由实例:

vi /usr/local/mongodb/conf/mongos.conf

#内容

pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid

logpath = /usr/local/mongodb/mongos/log/mongos.log

logappend = true

bind_ip = 0.0.0.0

port = 20000

fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字

configdb = configs/192.168.252.121:21000,192.168.252.122:21000,192.168.252.123:21000

#设置最大连接数

maxConns = 20000

启动三台服务器的mongos server

mongos -f /usr/local/mongodb/conf/mongos.conf

4. 串联路由服务器

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，阜阳市人民政府还需要在程序里设置分片配置，让分片生效。

登陆任意一台mongos

mongo --port 20000

使用admin数据库

use  admin

串联路由服务器与分配副本集

sh.addShard("shard1/192.168.252.121:27001,192.168.252.122:27001,192.168.252.123:27001");

sh.addShard("shard2/192.168.252.121:27002,192.168.252.122:27002,192.168.252.123:27002");

sh.addShard("shard3/192.168.252.121:27003,192.168.252.122:27003,192.168.252.123:27003");

查看集群状态

sh.status()

响应内容如下

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

      "_id" : 1,

      "minCompatibleVersion" : 5,

      "currentVersion" : 6,

      "clusterId" : ObjectId("5a713a37d56e076f3eb47acf")

  }

  shards:

        {  "_id" : "shard1",  "host" : "shard1/192.168.252.121:27001,192.168.252.122:27001",  "state" : 1 }

        {  "_id" : "shard2",  "host" : "shard2/192.168.252.122:27002,192.168.252.123:27002",  "state" : 1 }

        {  "_id" : "shard3",  "host" : "shard3/192.168.252.121:27003,192.168.252.123:27003",  "state" : 1 }

  active mongoses:

        "3.6.2" : 3

  autosplit:

        Currently enabled: yes

  balancer:

        Currently enabled:  yes

        Currently running:  no

        Failed balancer rounds in last 5 attempts:  0

        Migration Results for the last 24 hours:

                No recent migrations

  databases:

        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

mongos>

5. 启用集合分片生效

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

登陆任意一台mongos

mongo --port 20000

使用admin数据库

use  admin

指定testdb分片生效

db.runCommand( { enablesharding :"testdb"});

指定数据库里需要分片的集合和片键，哈希id 分片

db.runCommand( { shardcollection : "testdb.table1",key : {"id": "hashed"} } );

我们设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。霍山县人民政府要这样设置是因为不是所有mongodb 的数据库和表都需要分片！

测试分片配置结果

连接 MongoDB 路由服务

mongo  127.0.0.1:20000

切换到 testdb 数据库

use  testdb;

插入测试数据

for(i=1;i<=100000;i++){db.table1.insert({"id":i,"name":"penglei"})};

总条数

db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])

查看分片情况如下

shard1： "count": 33755
shard2： "count": 33143,
shard3： "count": 33102

结论数据基本均匀

db.table1.stats();

mongos> db.table1.stats();

{

    "sharded": true,

    "capped": false,

    "ns": "testdb.table1",

    "count": 100000,

    "size": 5200000,

    "storageSize": 1519616,

    "totalIndexSize": 3530752,

    "indexSizes": {

        "_id_": 892928,

        "id_hashed": 2637824

    },

    "avgObjSize": 52,

    "nindexes": 2,

    "nchunks": 6,

    "shards": {

        "shard1": {

            "ns": "testdb.table1",

            "size": 1755260,

            "count": 33755,

            "avgObjSize": 52,

            "storageSize": 532480,

            "capped": false,

            "wiredTiger": {

            ...省略很多

            }

        },

        "shard2": {

            "ns": "testdb.table1",

            "size": 1723436,

            "count": 33143,

            "avgObjSize": 52,

            "storageSize": 479232,

            "capped": false,

            "wiredTiger": {

            ...省略很多

            }

        },

        "shard3": {

            "ns": "testdb.table1",

            "size": 1721304,

            "count": 33102,

            "avgObjSize": 52,

            "storageSize": 507904,

            "capped": false,

            "wiredTiger": {

            ...省略很多

            }

        }

    },

    "ok": 1,

    "$clusterTime": {

        "clusterTime": Timestamp(1517488062, 350),

        "signature": {

            "hash": BinData(0, "AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

            "keyId": NumberLong(0)

        }

    },

    "operationTime": Timestamp(1517488062, 350)

}

mongos>

分组查看总数量是：100000

mongos> db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])

{ "_id" : "penglei", "totle" : 100000 }

mongos>

后期运维

参考

手把手教你 MongoDB 的安装与详细使用（一）

http://www.ymq.io/2018/01/26/MongoDB-1/

手把手教你 MongoDB 的安装与详细使用（二）

http://www.ymq.io/2018/01/29/MongoDB-2/

创建索引

db.table1.createIndex({"name":1})

db.table1.getIndexes()

启动

mongodb的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos.

mongod -f /usr/local/mongodb/conf/config.conf

mongod -f /usr/local/mongodb/conf/shard1.conf

mongod -f /usr/local/mongodb/conf/shard2.conf

mongod -f /usr/local/mongodb/conf/shard3.conf

mongod -f /usr/local/mongodb/conf/mongos.conf

启动报错

about to fork child process, waiting until server is ready for connections.

forked process: 1303

child process started successfully, parent exiting

[root@node1 ~]# mongod -f /usr/local/mongodb/conf/shard1.conf

about to fork child process, waiting until server is ready for connections.

forked process: 1384

删除 mongod.lock

cd /usr/local/mongodb/shard1/data

rm -rf mongod.lock

关闭

#debian、ubuntu系统下：

apt-get install psmisc

#centos或、rhel系统下：

yum install psmisc

关闭时，直接killall杀掉所有进程

killall mongod

killall mongos

搭建 MongoDB分片（sharding） / 分区 / 集群环境的更多相关文章

Mongodb 3.2.8: 集群环境搭建
简介 MongoDB是一种面向文档的数据库管理系统,由C++撰写而成,以此来解决应用程序开发社区中的大量现实问题.2007年10月,MongoDB由10gen团队所发展.2009年2月首度推出. ## ...
大数据架构：搭建CDH5.5.1分布式集群环境
yum install -y ntp gcc make lrzsz wget vim sysstat.x86_64 xinetd screen expect rsync bind-utils ioto ...
Redis集群环境搭建实践
0 Redis集群简介 Redis集群(Redis Cluster)是Redis提供的分布式数据库方案,通过分片(sharding)来进行数据共享,并提供复制和故障转移功能.相比于主从复制.哨兵模式, ...
带你自行搭建虚拟机和Redis集群环境，值得收藏！
前言: 我们看到分析 Redis 使用或原理的文章不少,但是完整搭建一套独立的 redis 集群环境的介绍,并不是很多或者说还不够详细. 那么,本文会手把手带着大家搭建一套 Redis 集群环境,Re ...
hadoop集群环境的搭建
hadoop集群环境的搭建今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Had ...
ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决
说起来甚是惭愧,博主在写这篇文章的时候,还没有系统性的学习一下ES,只知道可以拿来做全文检索,功能很牛逼,但是接到了任务不想做也不行, leader让我搭建一下分布式的ES集群环境,用来支持企业信用数 ...
Ningx集群环境搭建
Ningx集群环境搭建 Nginx是什么? Nginx ("engine x") 是⼀个⾼性能的 HTTP 和反向代理服务器,也是⼀个 IMAP/ POP3/SMTP 代理服务 ...
一：Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
rocketmq那些事儿之集群环境搭建
上一篇入门基础部分对rocketmq进行了一个基础知识的讲解说明,在正式使用前我们需要进行环境的搭建,今天就来说一说rockeketmq分布式集群环境的搭建前言之前已经介绍了rocketmq的入门 ...

随机推荐

cgi程序报 Premature end of script headers:
这段时间写了一个CGI,也是为了应付工作,挺简单的一个程序,总是在调用的时候报:Premature end of script headers: 很让人头疼! 在网上找了些资料,按资料 ---- ...
spfa判负权边
spfa判负环如果一个点在spfa中被入队了大于n次那么,我们就能肯定,有负环出现. 因为一个点入队时,他肯定被更新了一次. 所以........ 如果不存在负权环.这个点最多被更新节点数次我们 ...
javascript原生API总结
一.查找: getElementById() 方法返回带有指定 ID 的元素(唯一): getElementsByTagName() 返回包含带有指定标签名称的所有元素的节点列表(集合/节点数组). ...
设置禁止网络连接后，jdbc如何连接到数据库
设置禁止网络连接,可在my.ini文件中添加如下两行 skip-networking enable-named-pipe 可以通过 SHOW VARIABLES LIKE '%skip_ne%' 来查 ...
iOS提示框,为什么你应该使用 MBProgressHUD?
这是一篇带有一定笔者主观感情色彩的比较文章.文章着重对比github上最流行的两个iOS进度提示控件 MBProgressHUD 与 SVProgressHUD的各自优劣,来帮助初学者找到一个适合的i ...
截取前后缀FOR C
memcpy(new, old + prefix_len, sizeof(new)); memcpy(new, old, strlen(old) - suffix_len); :)
字符串替换For linux C
1.临时空间给了个1024,不需要可减少长度. 2.结果只用用strcpy了,没校验. bool Replace(char *str,const char *src, const char *des) ...
C语言实例解析精粹学习笔记——29
题目: 将字符行内单字之间的空格平均分配插入到单字之间,以实现字符行排版.也就是输入一个英文句子,单词之间的空格数目不同,将这些空格数平均分配到单词之间,重新输出. 代码如下(是原书中配套的代码,只是 ...
stdio中牛逼的写法
用空间换时间的典型 /* * NOTE! This ctype does not handle EOF like the standard C * library is required to. */ ...
C++基础 namespace register bool
1. namespace (1)命令空间 C中的命名空间在C中只有一个全局作用域 C语言中所有全局标识符共享同一个作用域标识符之间可能发生冲突 C++中提出了命名空间的概念命令空间将全局作用域分 ...

搭建 MongoDB分片（sharding） / 分区 / 集群环境

1. 安装 MongoDB

2. config server配置服务器

3. 配置分片副本集

3.1 设置第一个分片副本集

3.2 设置第二个分片副本集

3.3 设置第三个分片副本集

3.4 配置路由服务器 mongos

4. 串联路由服务器

5. 启用集合分片生效

后期运维

搭建 MongoDB分片（sharding） / 分区 / 集群环境的更多相关文章

随机推荐

热门专题