一、环境准备



1.本例使用3台Linux主机,IP地址如下:

点击(此处)折叠或打开

  1. Server B
  2. Server C

2.根据需要,开启相应主机防火墙的相关端口。本次需要用到3台主机,所以开启这3台主机的以下端口:

点击(此处)折叠或打开

  1. -A INPUT -m state --state NEW -m tcp -p tcp --dport 27017 -j ACCEPT
  2. -A INPUT -m state --state NEW -m tcp -p tcp --dport 27018 -j ACCEPT
  3. -A INPUT -m state --state NEW -m tcp -p tcp --dport 27019 -j ACCEPT
  4. -A INPUT -m state --state NEW -m tcp -p tcp --dport 20000 -j ACCEPT

二、搭建分布式集群

运用MongoDB的复制集(Replica
Sets)+分片(Sharding)就能实现MongoDB分布式高可用的集群。

分片(sharding)能够增加更多的机器来应对不断增加的负载和数据,也不影响应用。

复制集(Replica Sets)能确保每个分片节点都具有自动备份、自动故障恢复能力。



1.集群的环境



架构图:





主机设计:







2.配置Replica Sets



创建数据目录:

点击(此处)折叠或打开

  1. ,config} #在serverA上
  2. mkdir ,config} #在serverB上
  3. mkdir ,config} #在serverC上

2.1配置shard1Replica Sets

#在serverA上启动shard1-1

点击(此处)折叠或打开

  1. .log --logappend --replSet shard1 --directoryperdb

#在serverB上启动shard1-2

点击(此处)折叠或打开

  1. .log --logappend --replSet shard1 --directoryperdb

#在serverC上启动shard1-3

点击(此处)折叠或打开

  1. .log --logappend --replSet shard1 --directoryperdb

用mongo连接其中一台主机的27018端口的mongod,初始化复制集shard1:

./mongo --port 27018

点击(此处)折叠或打开

  1. >config={_id:'shard1',members:[
  2. {_id,host:'192.168.1.231:27018',priority:2},
  3. {_id,host:'192.168.1.232:27018',priority:1},
  4. {_id,host:'192.168.1.233:27018',arbiterOnly:true}]
  5. }
  6. >rs.initiate(config)

2.2 配置shard2的Replica Sets

#在serverA上启动shard2-1

点击(此处)折叠或打开

  1. .log --logappend --replSet shard2 --directoryperdb

#在serverB上启动shard2-2

点击(此处)折叠或打开

  1. .log --logappend --replSet shard2 --directoryperdb

#在serverC上启动shard2-3

点击(此处)折叠或打开

  1. .log --logappend --replSet shard2 --directoryperdb

用mongo连接其中一台主机(建议在ServerB上)的27019端口的mongod,初始化复制集shard2:

./mongo --port 27019

点击(此处)折叠或打开

  1. >config={_id:'shard2',members:[
  2. {_id,host:'192.168.1.231:27019',arbiterOnly:true},
  3. {_id,host:'192.168.1.232:27019',priority:1},
  4. {_id,host:'192.168.1.233:27019',priority:2}]
  5. }
  6. >rs.initiate(config)

3.配置config
server



#在3台主机中分别启动配置服务

点击(此处)折叠或打开

  1. ./mongod --configsvr --port 20000 --dbpath /data/config/ --logpath /data/config/config.log –replSet configdb --logappend --fork

用mongo连接其中一台主机的20000端口的mongod,初始化复制集configdb:

./mongo –port 20000

点击(此处)折叠或打开

  1. >configdb1={_id:'configdb',members:[
  2. {_id,host:'192.168.1.231:20000',priority:3},
  3. {_id,host:'192.168.1.232:20000',priority:1},
  4. {_id,host:'192.168.1.233:20000',priority:2}]
  5. }
  6. >rs.initiate(configdb1)

4.配置router
server



#在3台主机中分别运行mongos服务

点击(此处)折叠或打开

  1. :20000 --port 27017 --logpath /data/mongos.log --logappend –fork

5.配置分片(shard
cluster




#连接到其中一台机器的端口27017的mongos进程,并切换到admin数据库添加分片shard1和shard2:

./mongo --port 27017

点击(此处)折叠或打开

  1. >use admin
  2. >db.runCommand({addshard:"shard1/192.168.1.231:27018,192.168.1.232:27018,192.168.1.233:27018"})
  3. >db.runCommand({addshard:"shard2/192.168.1.231:27019,192.168.1.232:27019,192.168.1.233:27019"})

#激活数据库(work)和集合(status)的分片功能:

点击(此处)折叠或打开

  1. > db.runCommand({enablesharding:"work"})
  2. >db.runCommand({shardcollection:"work.status",key:{_id:1}})

6.验证



#查看shard1的集合work.status和shard2的文档数几乎均分,且之和等于路由节点下查看的文档数:

./mongo --port 27018 work

点击(此处)折叠或打开

  1. >db.status.count()

./mongo --port 27019 work

点击(此处)折叠或打开

  1. >db.status.count()

./mongo work

点击(此处)折叠或打开

  1. >db.status.count()

#查看分片的状态:

点击(此处)折叠或打开

  1. > printShardingStatus()

三、常见问题



1.【问题描述】执行初始化副本集时报错:

点击(此处)折叠或打开

  1. > rs.initiate(config)
  2. {
  3. ,
  4. "errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: 192.168.1.232:27018 failed with No route to host, 192.168.1.233:27018 failed with No route to host",
  5. ,
  6. "codeName" : "NodeNotFound"
  7. }

【解决方法】

开启防火墙的相关端口

点击(此处)折叠或打开

  1. -j ACCEPT
  2. -A INPUT -m state --state NEW -m tcp -p tcp --dport 27018 -j ACCEPT
  3. -A INPUT -m state --state NEW -m tcp -p tcp --dport 27019 -j ACCEPT
  4. -A INPUT -m state --state NEW -m tcp -p tcp --dport 20000 -j ACCEPT

2.【问题描述】初始化副本集报错:

点击(此处)折叠或打开

  1. > rs.initiate(config)
  2. {
  3. ,
  4. "errmsg" : "This node, 192.168.1.231:27019, with _id 0 is not electable under the new configuration version 1 for replica set shard2",
  5. ,
  6. "codeName" : "InvalidReplicaSetConfig"
  7. }

【解决方法】

如果设置主机A为仲裁节点,那么不要在A主机上执行初始化操作,否则会报上述错误。   





3.【问题描述】启动路由器mongos报错:

点击(此处)折叠或打开

  1. :20000 --port 27017 --logpath /data/mongos.log --logappend --forkFailedToParse: mirrored config server connections are not supported; for config server replica sets be sure to use the replica set connection stringtry './mongos --help' for more information

【解决方法】

从Mongodb3.2之后,启动mongos时需使用副本集名称,否则会报上述错误。例如:

点击(此处)折叠或打开

  1. :20000 --port 27017 --logpath /data/mongos.log --logappend --fork

关于MongoDB分布式高可用集群实现的更多相关文章

  1. Hbase 完全分布式 高可用 集群搭建

    1.准备 Hadoop 版本:2.7.7 ZooKeeper 版本:3.4.14 Hbase 版本:2.0.5 四台主机: s0, s1, s2, s3 搭建目标如下: HMaster:s0,s1(备 ...

  2. ClickHouse 分布式高可用集群搭建(转载)

    一.ClickHouse安装方式: 源码编译安装 Docker安装 RPM包安装 为了方便使用,一般采用RPM包方式安装,其他两种方式这里不做说明. 二.下载安装包 官方没有提供rpm包,但是Alti ...

  3. Memcache 分布式高可用集群介绍

    分布式缓存需考虑如下三点: 1.缓存本身的水平线性扩展的问题. 2.缓存大病罚下的本身性能问题. 3.避免缓存的单点鼓掌问题. 分布式缓存存在的问题: 1.内存本身的管理问题.内存的分配,管理和回收机 ...

  4. MongoDB高可用集群配置的方案

    >>高可用集群的解决方案 高可用性即HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性. ...

  5. MongoDB高可用集群配置方案

    原文链接:https://www.jianshu.com/p/e7e70ca7c7e5 高可用性即HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非 ...

  6. Centos7.5基于MySQL5.7的 InnoDB Cluster 多节点高可用集群环境部署记录

    一.   MySQL InnoDB Cluster 介绍MySQL的高可用架构无论是社区还是官方,一直在技术上进行探索,这么多年提出了多种解决方案,比如MMM, MHA, NDB Cluster, G ...

  7. MongoDB 高可用集群副本集+分片搭建

    MongoDB 高可用集群搭建 一.架构概况 192.168.150.129192.168.150.130192.168.150.131 参考文档:https://www.cnblogs.com/va ...

  8. MongoDB高可用集群搭建(主从、分片、路由、安全验证)

    目录 一.环境准备 1.部署图 2.模块介绍 3.服务器准备 二.环境变量 1.准备三台集群 2.安装解压 3.配置环境变量 三.集群搭建 1.新建配置目录 2.修改配置文件 3.分发其他节点 4.批 ...

  9. MongoDB 高可用集群架构简介

    在大数据的时代,传统的关系型数据库要能更高的服务必须要解决高并发读写.海量数据高效存储.高可扩展性和高可用性这些难题.不过就是因为这些问题Nosql诞生了. 转载自严澜的博文——<如何搭建高效的 ...

随机推荐

  1. RTT

    Segger RTT的使用 一般arm系统中,如何通过电脑键盘和显示器同mcu进行交互最有效的有两种形式:arm7的semihost,cm时代的traceswo.现在jlink推出了颇具特色的rtt( ...

  2. 利用apache限制IP并发数和下载流量控制

    一,为什么要对IP并发数,下载流量进行控制 说正题之前,先给大家讲个故事,那是在2007年,我进了一家公司,当时我们正在给达芙妮做电子商务网,www.idaphne.com.从三月份开始做的吧,九月份 ...

  3. 实战:liunx定时清理日志脚本

    参考https://blog.csdn.net/qq_39291929/article/details/79054452 1.需求:我们在 /var/log下面有   EmcsYn.log   和   ...

  4. html 手机端click 事件延迟问题(fastclick.js使用方法)

    下载地址: fastclick.js 为什么存在延迟? 从点击屏幕上的元素到触发元素的 click 事件,移动浏览器会有大约 300 毫秒的等待时间.为什么这么设计呢? 因为它想看看你是不是要进行双击 ...

  5. 用redis实现简单的队列

    在工作中,时常会有用到队列的场景,比较常见的用rabbitMQ这些专业的组件,官网地址是:http://www.rabbitmq.com,重要的是官方有.net的客户端,但是如果对rabbitMQ不熟 ...

  6. TCP简单程序

    服务器段: package com.dcz.socket; import java.io.IOException; import java.io.OutputStream; import java.n ...

  7. poj3046

    dp,可以再优化. #include <iostream> #include <cstdio> #include <cstring> using namespace ...

  8. IOS之网络状态设和NSUserDefaults的synchronize

    #pragma mark - check net status int apiCheckNetStatus() { Reachability *reachNet = [Reachability rea ...

  9. SWTError: No more handles [gtk_init_check() failed] running platform tests (on Linux)

    http://www.lemmster.de/2013-12-19-swterror-no-more-handles-gtk_init_check-failed-running-platform-te ...

  10. 【2016新年版】年度精品 XP,32/64位Win7,32/64位Win8,32/64位Win10系统

    本系统是10月5日最新完整版本的Windows10 安装版镜像,win10正式版,更新了重要补丁,提升应用加载速度,微软和百度今天宣布达成合作,百度成为win10 Edge浏览器中国默认主页和搜索引擎 ...