1. 安装 MongoDB

三台机器

关闭防火墙

systemctl stop firewalld.service

192.168.252.121	192.168.252.122	192.168.252.123
mongos	mongos	mongos
config server	config server	config server
shard server1 主节点	shard server1 副节点	shard server1 仲裁
shard server2 仲裁	shard server2 主节点	shard server2 副节点
shard server3 副节点	shard server3 仲裁	shard server3 主节点

端口分配：

mongos：20000

config：21000

shard1：27001

shard2：27002

shard3：27003

下载并且安装

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-amazon-3.6.2.tgz

tar -xzvf mongodb-linux-x86_64-amazon-3.6.2.tgz  -C /usr/local/

所有版本二进制文件,自行下载

https://www.mongodb.org/dl/win32/x86_64-2008plus-ssl?_ga=2.87139544.1567998244.1517190032-1153843332.1517190032&_gac=1.204211492.1517212002.EAIaIQobChMI44v9_9b82AIV1AcqCh0lcABIEAAYASAAEgKI1_D_BwE

改名

cd /usr/local/

mv  mongodb-linux-x86_64-amazon-3.6.2 mongodb

分别在每台机器建立conf、mongos、config、shard1、shard2、shard3六个目录，因为mongos不存储数据，只需要建立日志文件目录即可。

mkdir -p /usr/local/mongodb/conf \

mkdir -p /usr/local/mongodb/mongos/log \

mkdir -p /usr/local/mongodb/config/data \

mkdir -p /usr/local/mongodb/config/log \

mkdir -p /usr/local/mongodb/shard1/data \

mkdir -p /usr/local/mongodb/shard1/log \

mkdir -p /usr/local/mongodb/shard2/data \

mkdir -p /usr/local/mongodb/shard2/log \

mkdir -p /usr/local/mongodb/shard3/data \

mkdir -p /usr/local/mongodb/shard3/log

配置环境变量

vi /etc/profile

# MongoDB 环境变量内容

export MONGODB_HOME=/usr/local/mongodb

export PATH=$MONGODB_HOME/bin:$PATH

使立即生效

source /etc/profile

2. config server配置服务器

mongodb3.4以后要求配置服务器也创建副本集，不然集群搭建不成功。

(三台机器)添加配置文件

vi /usr/local/mongodb/conf/config.conf

## 配置文件内容

pidfilepath = /usr/local/mongodb/config/log/configsrv.pid

dbpath = /usr/local/mongodb/config/data

logpath = /usr/local/mongodb/config/log/congigsrv.log

logappend = true

bind_ip = 0.0.0.0

port = 21000

fork = true

#declare this is a config db of a cluster;

configsvr = true

#副本集名称

replSet = configs

#设置最大连接数

maxConns = 20000

启动三台服务器的config server

mongod -f /usr/local/mongodb/conf/config.conf

登录任意一台配置服务器，初始化配置副本集

连接 MongoDB

mongo --port 21000

config 变量

config = {

    _id : "configs",

    members : [

    {_id : 0, host : "192.168.252.121:21000" },

    {_id : 1, host : "192.168.252.122:21000" },

    {_id : 2, host : "192.168.252.123:21000" }

    ]

}

初始化副本集

rs.initiate(config)

其中，"_id" : "configs"应与配置文件中配置的 replicaction.replSetName 一致，"members" 中的 "host" 为三个节点的 ip 和 port

响应内容如下

> config = {

... _id : "configs",

... members : [

... {_id : 0, host : "192.168.252.121:21000" },

... {_id : 1, host : "192.168.252.122:21000" },

... {_id : 2, host : "192.168.252.123:21000" }

... ]

... }

{

    "_id" : "configs",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:21000"

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:21000"

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:21000"

        }

    ]

}

> rs.initiate(config);

{

    "ok" : 1,

    "operationTime" : Timestamp(1517369899, 1),

    "$gleStats" : {

        "lastOpTime" : Timestamp(1517369899, 1),

        "electionId" : ObjectId("000000000000000000000000")

    },

    "$clusterTime" : {

        "clusterTime" : Timestamp(1517369899, 1),

        "signature" : {

            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

            "keyId" : NumberLong(0)

        }

    }

}

configs:SECONDARY>

此时会发现终端上的输出已经有了变化。

//从单个一个

>

//变成了

configs:SECONDARY>

查询状态

configs:SECONDARY> rs.status()

3. 配置分片副本集

3.1 设置第一个分片副本集

(三台机器)设置第一个分片副本集

配置文件

vi /usr/local/mongodb/conf/shard1.conf

#配置文件内容

#——————————————–

pidfilepath = /usr/local/mongodb/shard1/log/shard1.pid

dbpath = /usr/local/mongodb/shard1/data

logpath = /usr/local/mongodb/shard1/log/shard1.log

logappend = true

bind_ip = 0.0.0.0

port = 27001

fork = true

#副本集名称

replSet = shard1

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns = 20000

启动三台服务器的shard1 server

mongod -f /usr/local/mongodb/conf/shard1.conf

登陆任意一台服务器，初始化副本集(除了192.168.252.123)

连接 MongoDB

mongo --port 27001

使用admin数据库

use admin

定义副本集配置

config = {

    _id : "shard1",

     members : [

         {_id : 0, host : "192.168.252.121:27001" },

         {_id : 1, host : "192.168.252.122:27001" },

         {_id : 2, host : "192.168.252.123:27001" , arbiterOnly: true }

     ]

 }

初始化副本集配置

rs.initiate(config)

响应内容如下

> use admin

switched to db admin

> config = {

...     _id : "shard1",

...      members : [

...          {_id : 0, host : "192.168.252.121:27001" },

...          {_id : 1, host : "192.168.252.122:27001" },

...          {_id : 2, host : "192.168.252.123:27001" , arbiterOnly: true }

...      ]

...  }

{

    "_id" : "shard1",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:27001"

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:27001"

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:27001",

            "arbiterOnly" : true

        }

    ]

}

> rs.initiate(config)

{ "ok" : 1 }

此时会发现终端上的输出已经有了变化。

//从单个一个

>

//变成了

shard1:SECONDARY>

查询状态

shard1:SECONDARY> rs.status()

3.2 设置第二个分片副本集

设置第二个分片副本集

配置文件

vi /usr/local/mongodb/conf/shard2.conf

#配置文件内容

#——————————————–

pidfilepath = /usr/local/mongodb/shard2/log/shard2.pid

dbpath = /usr/local/mongodb/shard2/data

logpath = /usr/local/mongodb/shard2/log/shard2.log

logappend = true

bind_ip = 0.0.0.0

port = 27002

fork = true

#副本集名称

replSet=shard2

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

启动三台服务器的shard2 server

mongod -f /usr/local/mongodb/conf/shard2.conf

连接 MongoDB

mongo --port 27002

使用admin数据库

use admin

定义副本集配置

config = {

    _id : "shard2",

     members : [

         {_id : 0, host : "192.168.252.121:27002"  , arbiterOnly: true },

         {_id : 1, host : "192.168.252.122:27002" },

         {_id : 2, host : "192.168.252.123:27002" }

     ]

 }

初始化副本集配置

rs.initiate(config)

响应内容如下

> use admin

switched to db admin

> config = {

...     _id : "shard2",

...      members : [

...          {_id : 0, host : "192.168.252.121:27002"  , arbiterOnly: true },

...          {_id : 1, host : "192.168.252.122:27002" },

...          {_id : 2, host : "192.168.252.123:27002" }

...      ]

...  }

{

    "_id" : "shard2",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:27002",

            "arbiterOnly" : true

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:27002"

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:27002"

        }

    ]

}

> rs.initiate(config)

{ "ok" : 1 }

shard2:SECONDARY> rs.status()

3.3 设置第三个分片副本集

vi /usr/local/mongodb/conf/shard3.conf

#配置文件内容

#——————————————–

pidfilepath = /usr/local/mongodb/shard3/log/shard3.pid

dbpath = /usr/local/mongodb/shard3/data

logpath = /usr/local/mongodb/shard3/log/shard3.log

logappend = true

bind_ip = 0.0.0.0

port = 27003

fork = true

#副本集名称

replSet=shard3

#declare this is a shard db of a cluster;

shardsvr = true

#设置最大连接数

maxConns=20000

启动三台服务器的shard3 server

mongod -f /usr/local/mongodb/conf/shard3.conf

登陆任意一台服务器，初始化副本集(除了192.168.252.121)

mongo --port 27003

使用admin数据库

use admin

定义副本集配置

config = {

    _id : "shard3",

     members : [

         {_id : 0, host : "192.168.252.121:27003" },

         {_id : 1, host : "192.168.252.122:27003" , arbiterOnly: true},

         {_id : 2, host : "192.168.252.123:27003" }

     ]

 }

初始化副本集配置

rs.initiate(config)

响应内容如下

> use admin

switched to db admin

> config = {

...     _id : "shard3",

...      members : [

...          {_id : 0, host : "192.168.252.121:27003" },

...          {_id : 1, host : "192.168.252.122:27003" , arbiterOnly: true},

...          {_id : 2, host : "192.168.252.123:27003" }

...      ]

...  }

{

    "_id" : "shard3",

    "members" : [

        {

            "_id" : 0,

            "host" : "192.168.252.121:27003"

        },

        {

            "_id" : 1,

            "host" : "192.168.252.122:27003",

            "arbiterOnly" : true

        },

        {

            "_id" : 2,

            "host" : "192.168.252.123:27003"

        }

    ]

}

> rs.initiate(config)

{ "ok" : 1 }

shard3:SECONDARY> rs.status()

3.4 配置路由服务器 mongos

（三台机器）先启动配置服务器和分片服务器,后启动路由实例启动路由实例:

vi /usr/local/mongodb/conf/mongos.conf

#内容

pidfilepath = /usr/local/mongodb/mongos/log/mongos.pid

logpath = /usr/local/mongodb/mongos/log/mongos.log

logappend = true

bind_ip = 0.0.0.0

port = 20000

fork = true

#监听的配置服务器,只能有1个或者3个 configs为配置服务器的副本集名字

configdb = configs/192.168.252.121:21000,192.168.252.122:21000,192.168.252.123:21000

#设置最大连接数

maxConns = 20000

启动三台服务器的mongos server

mongos -f /usr/local/mongodb/conf/mongos.conf

4. 串联路由服务器

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，阜阳市人民政府还需要在程序里设置分片配置，让分片生效。

登陆任意一台mongos

mongo --port 20000

使用admin数据库

use  admin

串联路由服务器与分配副本集

sh.addShard("shard1/192.168.252.121:27001,192.168.252.122:27001,192.168.252.123:27001");

sh.addShard("shard2/192.168.252.121:27002,192.168.252.122:27002,192.168.252.123:27002");

sh.addShard("shard3/192.168.252.121:27003,192.168.252.122:27003,192.168.252.123:27003");

查看集群状态

sh.status()

响应内容如下

mongos> sh.status()

--- Sharding Status ---

  sharding version: {

      "_id" : 1,

      "minCompatibleVersion" : 5,

      "currentVersion" : 6,

      "clusterId" : ObjectId("5a713a37d56e076f3eb47acf")

  }

  shards:

        {  "_id" : "shard1",  "host" : "shard1/192.168.252.121:27001,192.168.252.122:27001",  "state" : 1 }

        {  "_id" : "shard2",  "host" : "shard2/192.168.252.122:27002,192.168.252.123:27002",  "state" : 1 }

        {  "_id" : "shard3",  "host" : "shard3/192.168.252.121:27003,192.168.252.123:27003",  "state" : 1 }

  active mongoses:

        "3.6.2" : 3

  autosplit:

        Currently enabled: yes

  balancer:

        Currently enabled:  yes

        Currently running:  no

        Failed balancer rounds in last 5 attempts:  0

        Migration Results for the last 24 hours:

                No recent migrations

  databases:

        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

mongos>

5. 启用集合分片生效

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

登陆任意一台mongos

mongo --port 20000

使用admin数据库

use  admin

指定testdb分片生效

db.runCommand( { enablesharding :"testdb"});

指定数据库里需要分片的集合和片键，哈希id 分片

db.runCommand( { shardcollection : "testdb.table1",key : {"id": "hashed"} } );

我们设置testdb的 table1 表需要分片，根据 id 自动分片到 shard1 ，shard2，shard3 上面去。霍山县人民政府要这样设置是因为不是所有mongodb 的数据库和表都需要分片！

测试分片配置结果

连接 MongoDB 路由服务

mongo  127.0.0.1:20000

切换到 testdb 数据库

use  testdb;

插入测试数据

for(i=1;i<=100000;i++){db.table1.insert({"id":i,"name":"penglei"})};

总条数

db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])

查看分片情况如下

shard1： "count": 33755
shard2： "count": 33143,
shard3： "count": 33102

结论数据基本均匀

db.table1.stats();

mongos> db.table1.stats();

{

    "sharded": true,

    "capped": false,

    "ns": "testdb.table1",

    "count": 100000,

    "size": 5200000,

    "storageSize": 1519616,

    "totalIndexSize": 3530752,

    "indexSizes": {

        "_id_": 892928,

        "id_hashed": 2637824

    },

    "avgObjSize": 52,

    "nindexes": 2,

    "nchunks": 6,

    "shards": {

        "shard1": {

            "ns": "testdb.table1",

            "size": 1755260,

            "count": 33755,

            "avgObjSize": 52,

            "storageSize": 532480,

            "capped": false,

            "wiredTiger": {

            ...省略很多

            }

        },

        "shard2": {

            "ns": "testdb.table1",

            "size": 1723436,

            "count": 33143,

            "avgObjSize": 52,

            "storageSize": 479232,

            "capped": false,

            "wiredTiger": {

            ...省略很多

            }

        },

        "shard3": {

            "ns": "testdb.table1",

            "size": 1721304,

            "count": 33102,

            "avgObjSize": 52,

            "storageSize": 507904,

            "capped": false,

            "wiredTiger": {

            ...省略很多

            }

        }

    },

    "ok": 1,

    "$clusterTime": {

        "clusterTime": Timestamp(1517488062, 350),

        "signature": {

            "hash": BinData(0, "AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

            "keyId": NumberLong(0)

        }

    },

    "operationTime": Timestamp(1517488062, 350)

}

mongos>

分组查看总数量是：100000

mongos> db.table1.aggregate([{$group : {_id : "$name", totle : {$sum : 1}}}])

{ "_id" : "penglei", "totle" : 100000 }

mongos>

后期运维

参考

手把手教你 MongoDB 的安装与详细使用（一）

http://www.ymq.io/2018/01/26/MongoDB-1/

手把手教你 MongoDB 的安装与详细使用（二）

http://www.ymq.io/2018/01/29/MongoDB-2/

创建索引

db.table1.createIndex({"name":1})

db.table1.getIndexes()

启动

mongodb的启动顺序是，先启动配置服务器，在启动分片，最后启动mongos.

mongod -f /usr/local/mongodb/conf/config.conf

mongod -f /usr/local/mongodb/conf/shard1.conf

mongod -f /usr/local/mongodb/conf/shard2.conf

mongod -f /usr/local/mongodb/conf/shard3.conf

mongod -f /usr/local/mongodb/conf/mongos.conf

启动报错

about to fork child process, waiting until server is ready for connections.

forked process: 1303

child process started successfully, parent exiting

[root@node1 ~]# mongod -f /usr/local/mongodb/conf/shard1.conf

about to fork child process, waiting until server is ready for connections.

forked process: 1384

删除 mongod.lock

cd /usr/local/mongodb/shard1/data

rm -rf mongod.lock

关闭

#debian、ubuntu系统下：

apt-get install psmisc

#centos或、rhel系统下：

yum install psmisc

关闭时，直接killall杀掉所有进程

killall mongod

killall mongos

搭建 MongoDB分片（sharding） / 分区 / 集群环境的更多相关文章

Mongodb 3.2.8: 集群环境搭建
简介 MongoDB是一种面向文档的数据库管理系统,由C++撰写而成,以此来解决应用程序开发社区中的大量现实问题.2007年10月,MongoDB由10gen团队所发展.2009年2月首度推出. ## ...
大数据架构：搭建CDH5.5.1分布式集群环境
yum install -y ntp gcc make lrzsz wget vim sysstat.x86_64 xinetd screen expect rsync bind-utils ioto ...
Redis集群环境搭建实践
0 Redis集群简介 Redis集群(Redis Cluster)是Redis提供的分布式数据库方案,通过分片(sharding)来进行数据共享,并提供复制和故障转移功能.相比于主从复制.哨兵模式, ...
带你自行搭建虚拟机和Redis集群环境，值得收藏！
前言: 我们看到分析 Redis 使用或原理的文章不少,但是完整搭建一套独立的 redis 集群环境的介绍,并不是很多或者说还不够详细. 那么,本文会手把手带着大家搭建一套 Redis 集群环境,Re ...
hadoop集群环境的搭建
hadoop集群环境的搭建今天终于把hadoop集群环境给搭建起来了,能够运行单词统计的示例程序了. 集群信息如下: 主机名 Hadoop角色 Hadoop jps命令结果 Hadoop用户 Had ...
ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决
说起来甚是惭愧,博主在写这篇文章的时候,还没有系统性的学习一下ES,只知道可以拿来做全文检索,功能很牛逼,但是接到了任务不想做也不行, leader让我搭建一下分布式的ES集群环境,用来支持企业信用数 ...
Ningx集群环境搭建
Ningx集群环境搭建 Nginx是什么? Nginx ("engine x") 是⼀个⾼性能的 HTTP 和反向代理服务器,也是⼀个 IMAP/ POP3/SMTP 代理服务 ...
一：Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
rocketmq那些事儿之集群环境搭建
上一篇入门基础部分对rocketmq进行了一个基础知识的讲解说明,在正式使用前我们需要进行环境的搭建,今天就来说一说rockeketmq分布式集群环境的搭建前言之前已经介绍了rocketmq的入门 ...

随机推荐

使用正则表达式验证IP地址
实现效果: 知识运用: 实现代码: public bool validate(string str_IP) { string regex = @"(25[0-5]|2[0-4]\d|[0-1 ...
Laravel5 构造器高级查询条件写法
<?php #DB 高级查询 // select * from table where A and B or C $all_data = DB::table("shopnc_goods ...
theano提示:g++ not detected的解决办法
导入theano包后出现如下警告: WARNING (theano.configdefaults): g++ not detected ! Theano will be unable to execu ...
P1903 数颜色
题目带修莫队题. 在询问上多加一个变量,记录是在那次修改之后的. 然后暴力修改. 就没了. 不过有一些修改的小技巧 #include<cstdio> #include<algori ...
ibator自动代码生成
首先,强烈推荐一篇文章,介绍的特详细 http://www.iteye.com/topic/821983 1. 插件安装 http://blog.csdn.net/rchm8519/article/d ...
Centos防火墙添加IP白名单
Centos iptables防火墙添加IP白名单,指定IP可访问端口 vi /etc/sysconfig/iptables 以下为我虚拟机的防火墙为例(Centos 7) # sample conf ...
JDK 动态代理讨债实例
现弄一个讨债接口 package cn.itcast.g_dongtaidaili; public interface Taozhai { void taozhai(); } 再弄一个讨债实现类 pa ...
vim指令，快捷键汇总
Vim 命令.操作.快捷键全集命令历史以:和/开头的命令都有历史纪录,可以首先键入:或/然后按上下箭头来选择某个历史命令. 启动vim 在命令行窗口中输入以下命令即可 vim 直接启动vim vi ...
pip命令小结
pip的另一种调用方式 python -m pip通过指定python的名字来指定特定的pip pip freeze > 项目目录/requirements.txt导出pip中下载的包目录 pi ...
IntelliJ IDEA 方法注释教程
首先Ctrl +Alt +S ,打开Settings ,找到Live Template,然后点击右侧的绿色的“+”,选择Template Group 然后给新建的Group随便命个名选中自己刚才创建 ...

搭建 MongoDB分片（sharding） / 分区 / 集群环境

1. 安装 MongoDB

2. config server配置服务器

3. 配置分片副本集

3.1 设置第一个分片副本集

3.2 设置第二个分片副本集

3.3 设置第三个分片副本集

3.4 配置路由服务器 mongos

4. 串联路由服务器

5. 启用集合分片生效

后期运维

搭建 MongoDB分片（sharding） / 分区 / 集群环境的更多相关文章

随机推荐

热门专题