MongoDB-03-分片集群

分片集群(Sharding Cluster)

架构图

规划

10个实例：38017-38026

1 configserver:38018-38020

3台构成的复制集（1主两从，不支持arbiter）38018-38020（复制集名字configsvr）

2 shard节点：

sh1：38021-23    （1主两从，其中一个节点为arbiter，复制集名字sh1）

sh2：38024-26    （1主两从，其中一个节点为arbiter，复制集名字sh2）

3 mongos:

38017

Shard节点配置

1 目录创建：

mkdir -p /mongodb/38021/conf  /mongodb/38021/log  /mongodb/38021/data

mkdir -p /mongodb/38022/conf  /mongodb/38022/log  /mongodb/38022/data

mkdir -p /mongodb/38023/conf  /mongodb/38023/log  /mongodb/38023/data

mkdir -p /mongodb/38024/conf  /mongodb/38024/log  /mongodb/38024/data

mkdir -p /mongodb/38025/conf  /mongodb/38025/log  /mongodb/38025/data

mkdir -p /mongodb/38026/conf  /mongodb/38026/log  /mongodb/38026/data

2 修改配置文件：

第一组复制集搭建：21-23（1主 1从 1Arb）

cat >  /mongodb/38021/conf/mongodb.conf  <<EOF

systemLog:

  destination: file

  path: /mongodb/38021/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38021/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38021

replication:

  oplogSizeMB: 2048

  replSetName: sh1

sharding:

  clusterRole: shardsvr

processManagement:

  fork: true

EOF

\cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/

\cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/

sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i

sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i

第二组节点：24-26(1主1从1Arb)

cat > /mongodb/38024/conf/mongodb.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38024/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38024/data

  directoryPerDB: true

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38024

replication:

  oplogSizeMB: 2048

  replSetName: sh2

sharding:

  clusterRole: shardsvr

processManagement:

  fork: true

EOF

\cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/

\cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/

sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i

sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i

3 启动所有节点，并搭建复制集

mongod -f  /mongodb/38021/conf/mongodb.conf

mongod -f  /mongodb/38022/conf/mongodb.conf

mongod -f  /mongodb/38023/conf/mongodb.conf 

mongod -f  /mongodb/38024/conf/mongodb.conf

mongod -f  /mongodb/38025/conf/mongodb.conf

mongod -f  /mongodb/38026/conf/mongodb.conf  

ps -ef |grep mongod

mongo --port 38021

use  admin

config = {_id: 'sh1', members: [

                          {_id: 0, host: '10.0.0.51:38021'},

                          {_id: 1, host: '10.0.0.51:38022'},

                          {_id: 2, host: '10.0.0.51:38023',"arbiterOnly":true}]

           }

rs.initiate(config)

mongo --port 38024

use admin

config = {_id: 'sh2', members: [

                          {_id: 0, host: '10.0.0.51:38024'},

                          {_id: 1, host: '10.0.0.51:38025'},

                          {_id: 2, host: '10.0.0.51:38026',"arbiterOnly":true}]

           }

rs.initiate(config)

config节点配置

1 目录创建

mkdir -p /mongodb/38018/conf  /mongodb/38018/log  /mongodb/38018/data

mkdir -p /mongodb/38019/conf  /mongodb/38019/log  /mongodb/38019/data

mkdir -p /mongodb/38020/conf  /mongodb/38020/log  /mongodb/38020/data

2修改配置文件：

cat > /mongodb/38018/conf/mongodb.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38018/log/mongodb.conf

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/38018/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38018

replication:

  oplogSizeMB: 2048

  replSetName: configReplSet

sharding:

  clusterRole: configsvr

processManagement:

  fork: true

EOF

\cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/

\cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/

sed 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf -i

sed 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf -i

3启动节点，并配置复制集

mongod -f /mongodb/38018/conf/mongodb.conf

mongod -f /mongodb/38019/conf/mongodb.conf

mongod -f /mongodb/38020/conf/mongodb.conf 

mongo --port 38018

use  admin

 config = {_id: 'configReplSet', members: [

                          {_id: 0, host: '10.0.0.51:38018'},

                          {_id: 1, host: '10.0.0.51:38019'},

                          {_id: 2, host: '10.0.0.51:38020'}]

           }

rs.initiate(config)  

注：configserver 可以是一个节点，官方建议复制集。configserver不能有arbiter

新版本中，要求必须是复制集

注：mongodb 3.4之后，虽然要求config server为replica set，但是不支持arbiter

mongos节点配置

1创建目录：

mkdir -p /mongodb/38017/conf  /mongodb/38017/log 

2配置文件：

cat > /mongodb/38017/conf/mongos.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/38017/log/mongos.log

  logAppend: true

net:

  bindIp: 10.0.0.51,127.0.0.1

  port: 38017

sharding:

  configDB: configReplSet/10.0.0.51:38018,10.0.0.51:38019,10.0.0.51:38020

processManagement:

  fork: true

EOF

3启动mongos

mongos -f /mongodb/38017/conf/mongos.conf

分片集群添加节点

连接到其中一个mongos（10.0.0.51），做以下配置

1 连接到mongs的admin数据库

# su - mongod

$ mongo 10.0.0.51:38017/admin

2 添加分片

db.runCommand( { addshard : "sh1/10.0.0.51:38021,10.0.0.51:38022,10.0.0.51:38023",name:"shard1"} )

db.runCommand( { addshard : "sh2/10.0.0.51:38024,10.0.0.51:38025,10.0.0.51:38026",name:"shard2"} )

3 列出分片

mongos> db.runCommand( { listshards : 1 } )

4 整体状态查看

mongos> sh.status();

使用分片集群

1 RANGE分片配置及测试

1、激活数据库分片功能

mongo --port 38017 admin

admin>  db.runCommand( { enablesharding : "数据库名称" } )

eg：

admin> db.runCommand( { enablesharding : "test" } )

2、指定分片键对集合分片

### 创建索引

use test

> db.vast.ensureIndex( { id: 1 } )

### 开启分片

use admin

> db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )

3、集合分片验证

admin> use test

test> for(i=1;i<1000000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

test> db.vast.stats()

4、分片结果测试

shard1:

mongo --port 38021

db.vast.count();

shard2:

mongo --port 38024

db.vast.count();

2 Hash分片例子

对oldboy库下的vast大表进行hash

创建哈希索引

（1）对于oldboy开启分片功能

mongo --port 38017 admin

use admin

admin> db.runCommand( { enablesharding : "oldboy" } )

（2）对于oldboy库下的vast表建立hash索引

use oldboy

oldboy> db.vast.ensureIndex( { id: "hashed" } )

（3）开启分片

use admin

admin > sh.shardCollection( "oldboy.vast", { id: "hashed" } )

（4）录入10w行数据测试

use oldboy

for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }

（5）hash分片结果测试

mongo --port 38021

use oldboy

db.vast.count();

mongo --port 38024

use oldboy

db.vast.count();

分片集群的查询及管理

1 判断是否Shard集群

在mongos节点admin库下查看

mongos> db.runCommand({ isdbgrid : 1})

{

	"isdbgrid" : 1,

	"hostname" : "db01",

	"ok" : 1,

	"operationTime" : Timestamp(1577935398, 1),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935398, 1),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

2 列出所有分片信息

mongos> db.runCommand({ listshards : 1})

{

	"shards" : [

		{

			"_id" : "shard1",

			"host" : "sh1/10.0.0.51:38021,10.0.0.51:38022",

			"state" : 1

		},

		{

			"_id" : "shard2",

			"host" : "sh2/10.0.0.51:38024,10.0.0.51:38025",

			"state" : 1

		}

	],

	"ok" : 1,

	"operationTime" : Timestamp(1577935451, 2),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935451, 2),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

3 列出开启分片的数据库

mongos> use config

switched to db config

mongos> db.databases.find( { "partitioned": true } )

{ "_id" : "test", "primary" : "shard1", "partitioned" : true }

{ "_id" : "oldboy", "primary" : "shard2", "partitioned" : true }

或者：

mongos>  db.databases.find()  //列出所有数据库分片情况

{ "_id" : "test", "primary" : "shard1", "partitioned" : true }

{ "_id" : "oldboy", "primary" : "shard2", "partitioned" : true }

4 查看分片的片键

mongos> use config

switched to db config

mongos> db.collections.find().pretty()

{

	"_id" : "test.vast",

	"lastmodEpoch" : ObjectId("5e0d5a382a8d2bf1d78d945f"),

	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),

	"dropped" : false,

	"key" : {

		"id" : 1

	},

	"unique" : false,

	"uuid" : UUID("865e6cc9-2422-4d95-a367-c6c071b39527")

}

{

	"_id" : "config.system.sessions",

	"lastmodEpoch" : ObjectId("5e0d5a8f2a8d2bf1d78d96df"),

	"lastmod" : ISODate("1970-02-19T17:02:47.296Z"),

	"dropped" : false,

	"key" : {

		"_id" : 1

	},

	"unique" : false,

	"uuid" : UUID("8a4ad34b-089e-426c-b464-2b1b211d3d9d")

}

{

	"_id" : "oldboy.vast",

	"lastmodEpoch" : ObjectId("5e0d5fe32a8d2bf1d78dbb8b"),

	"lastmod" : ISODate("1970-02-19T17:02:47.297Z"),

	"dropped" : false,

	"key" : {

		"id" : "hashed"

	},

	"unique" : false,

	"uuid" : UUID("083570c8-ea78-4163-a6c3-7d33d35135dc")

}

5 查看分片的详细信息

mongos> sh.status()

6 删除分片节点（谨慎）

（1）确认blance是否在工作

mongos> sh.getBalancerState()

true

（2）删除shard2节点(谨慎)

mongos> db.runCommand( { removeShard: "shard2" } )

注意：删除操作一定会立即触发blancer。

balancer操作*****

1 介绍

mongos的一个重要功能，自动巡查所有shard节点上的chunk的情况，自动做chunk迁移

什么时候工作？

1、自动运行，会检测系统不繁忙的时候做迁移

2、在做节点删除的时候，立即开始迁移工作

3、balancer只能在预设定的时间窗口内运行

有需要时可以关闭和开启blancer（备份的时候）

mongos> sh.stopBalancer()

mongos> sh.startBalancer()

2 自定义 自动平衡进行的时间段

https://docs.mongodb.com/manual/tutorial/manage-sharded-cluster-balancer/#schedule-the-balancing-window

mongos> use config

mongos> sh.setBalancerState( true )

{

	"ok" : 1,

	"operationTime" : Timestamp(1577935877, 3),

	"$clusterTime" : {

		"clusterTime" : Timestamp(1577935877, 3),

		"signature" : {

			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

			"keyId" : NumberLong(0)

		}

	}

}

mongos> db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )

WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })

mongos> sh.getBalancerWindow()

{ "start" : "3:00", "stop" : "5:00" }

sh.status()

关于集合的balancer（了解下）

关闭某个集合的balance

sh.disableBalancing("students.grades")

打开某个集合的balancer

sh.enableBalancing("students.grades")

确定某个集合的balance是开启或者关闭

db.getSiblingDB("config").collections.findOne({_id : "students.grades"}).noBalance;

MongoDB-03-分片集群的更多相关文章

【MongoDB】在windows平台下mongodb的分片集群（五）
本篇接着上面的四篇继续讲述在window平台下mongodb的分片集群搭建. 在分片集群中也照样能够创建索引,创建索引的方式与在单独数据库中创建索引的方式一样.因此这不再多说.本篇主要聚焦在分片键的选 ...
MongoDB之分片集群（Sharding）
MongoDB之分片集群(Sharding) 一.基本概念分片(sharding)是一个通过多台机器分配数据的方法.MongoDB使用分片支持大数据集和高吞吐量的操作.大数据集和高吞吐量的数据库系统 ...
MongoDB 搭建分片集群
在MongoDB(版本 3.2.9)中,分片是指将collection分散存储到不同的Server中,每个Server只存储collection的一部分,服务分片的所有服务器组成分片集群.分片集群(S ...
MongoDB之分片集群与复制集
分片集群 1.1.概念分片集群是将数据存储在多台机器上的操作,主要由查询路由mongos.分片.配置服务器组成. ●查询路由根据配置服务器上的元数据将请求分发到相应的分片上,本身不存储集群的元数据, ...
【MongoDB】在windows平台下搭建mongodb的分片集群(二)
在上一片博客中我们讲了Mongodb数据库中分片集群的主要原理. 在本篇博客中我们主要讲描写叙述分片集群的搭建过程.配置分片集群主要有两个步骤.第一启动全部须要的mongod和mongos进程. 第二 ...
MongoDB笔记: 分片集群
MongoDB分片集群由三个模块组成 shard: 分片(或者分区)模块, 每个分片分别存储一部分数据, 从MongoDB 3.6开始, 分片必须是replica set(副本集) mongos: m ...
【MongoDB】在windows平台下mongodb的分片集群（六）
在本篇博客中我们主要讨论下博客的管理.因为已经在前面五篇中写了具体的实例,因此这里就不再举例说明. 一.监控分片集群是整个体系中比較复杂的一块,因此更应该须要监控. 主要命令: serverstat ...
MongoDB的分片集群搭建
MongoDB的最为自豪的一个特色之一,分片. 参考官方文档: https://docs.mongodb.com/manual/sharding/ 单机压力,高频查询CPU,IO 单表压力,百万千万 ...
Mongodb分片集群技术+用户验证
随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的.而mongodb主打的就是海量数据架构,“分片”就用这个来解决这个问题. 从图中可以看到有四个组件:mongos.config server. ...
MongoDB 分片集群技术
在了解分片集群之前,务必要先了解复制集技术! 1.1 MongoDB复制集简介一组Mongodb复制集,就是一组mongod进程,这些进程维护同一个数据集合.复制集提供了数据冗余和高等级的可靠性,这 ...

随机推荐

CRM企业管理系统一年多少钱？
CRM系统一年多少钱?这是很多企业管理者比较关心的问题.目前市面上的CRM系统分为本地部署型和云部署型.云部署型CRM费用相对较低,只需要按需购买账号,连接网络即可使用:本地部署型CRM费用较高,企业 ...
分布式唯一ID生成方案选型！详细解析雪花算法Snowflake
分布式唯一ID 使用RocketMQ时,需要使用到分布式唯一ID 消息可能会发生重复,所以要在消费端做幂等性,为了达到业务的幂等性,生产者必须要有一个唯一ID, 需要满足以下条件: 同一业务场景要全局 ...
记一次Struts中文乱码
起因最近公司一个智能家具的项目,需要开发后端,APP/WEB的所有请求通过HTPP发送到后台,后台通过socket连接到智能设备.公司只有一个Java技术栈的同事,而他负责设备方面,我只能赶鸭子上架 ...
阿里云ECS问题 Login Incorrect , all available gssapi merchanisms failed
1.阿里云ECS无法登录 Login Incorrect 阿里云ECS密码包含2个密码: 1.重置密码(实例密码也就是我们SSH远程连接的密码): 2.修改远程连接密码(在阿里云网页控制台上远程连接的 ...
java基础---数组的排序算法(3)
一.排序的基本概念排序:将一个数据元素集合或序列重新排列成按一个数据元素某个数据项值有序的序列稳定排序:排序前和排序后相同元素的位置关系与初始序列位置一致(针对重复元素来说,相对位置不变) 不稳定 ...
题解 guP2421 【[NOI2002]荒岛野人】
本题珂以转换成一个式子即求Ci + Pi × x ≡ Cj + Pj × x (mod M) 的最小答案是否大于寿命最小值以人数为最小值开始枚举山洞数,用扩展欧几里得计算最优答案是否大于寿命若不 ...
给potplayer配置iptv源，看所有你想看的电视
目录一.展示: 二.下载三.播放一.展示: 二.下载 Github 上的开源项目:iptv-org/iptv 传送门: https://github.com/iptv-org/iptv 该项目包 ...
python -- 程序的结构语句
一.顺序结构顺序结构是python脚本程序中基础的结构,它是按照程序语句出现的先后顺序进行依次执行二.选择结构选择结构是通过判断某些特定的条件是否满足来决定程序语句的执行顺序常见的有单分支选择 ...
SQL慢查询排查思路
前言平时在工作中每天都会做巡检,将前一天所有超过500ms的慢SQL排查出来查找原因,是否能进行优化.慢慢中,在形成了一套思路方法论. 我个人认为对于排查慢SQL还是有一定的帮助 (一).是否是S ...
Jmeter入门浏览器设置代理服务器和录制脚本
第一步: 可以设置浏览器代理,本文章推荐使用火狐浏览器在浏览器-首选项--网络设置里面设置代理服务器注意:端口号可以自行设置,但是不可以与本机其他代理产生冲突第二步: 打开jmeter工具,添加 ...

MongoDB-03-分片集群

分片集群(Sharding Cluster)

架构图

规划

Shard节点配置

config节点配置

mongos节点配置

分片集群添加节点

使用分片集群

分片集群的查询及管理

balancer操作*****

MongoDB-03-分片集群的更多相关文章

随机推荐

热门专题