MongoDB中使用分片集群结构分布:

三个主要组件:

  • Shard:

    用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个replica set承担,防止主机单点故障

  • Config Server:

    mongod实例,存储了整个 ClusterMetadata,其中包括 chunk信息。

  • Query Routers:

    前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。

Shard 分片服,实例存储实际数据:

一个片区应该分布在不同机器上,片区采用副本集模式

副本集(replica set): 分为三个节点,主服,备服,仲裁服。在实际部署时,为了避免单点故障,同一个副本集中的成员,应该部署在不同主机上。

启动命令:

mongod --replSet=rs-test1 --dbpath=/data/mongodb/mongodb-4.4.2/shard1/db27017/ --port=27017 --logpath=/data/mongodb/mongodb-4.4.2/shard1/db27017/mongo.log --bind_ip=0.0.0.0 --shardsvr --fork

mongod --replSet=rs-test1 --dbpath=/data/mongodb/mongodb-4.4.2/shard1/db27018/ --port=27018 --logpath=/data/mongodb/mongodb-4.4.2/shard1/db27018/mongo.log --bind_ip=0.0.0.0 --shardsvr --fork

mongod --replSet=rs-test1 --dbpath=/data/mongodb/mongodb-4.4.2/shard1/db27019/ --port=27019 --logpath=/data/mongodb/mongodb-4.4.2/shard1/db27019/mongo.log --bind_ip=0.0.0.0 --shardsvr --fork

  初始化:
  mongo 127.0.0.1:27019

cfg={_id:"rs-test1", members:[{_id:0, host:'127.0.0.1:27017', arbiterOnly:true},{_id:1, host:'127.0.0.1:27018', priority:2},{_id:2, host:'127.0.0.1:27019', priority:1}]};
  rs.initiate(cfg);

//查看副本集状态
  rs.status()

ConfigServer 配置服

存储集群所有节点、分片数据路由信息。默认需要配置3个Config Server节点。

这里也应该是副本集模式,测试使用一个实例

mongod --replSet=rs-test-conf --dbpath=/data/mongodb/mongodb-4.4.2/dbconfig/ --port=27020 --logpath=/data/mongodb/mongodb-4.4.2/dbconfig/mongo.log --bind_ip=0.0.0.0  --fork --configsvr

  初始化:
    mongo 127.0.0.1:27020
    cfg={_id:"rs-test-conf", members:[{_id:0, host:'127.0.0.1:27020', priority:2}]};
    rs.initiate(cfg);

Mongos 路由

提供对外应用访问,所有操作均通过mongos执行。一般有多个mongos节点。数据迁移和数据自动平衡。

部署多个mongos实例可支持高可用性和可扩展性。一个常见的模式是在每个应用程序服务器上部署一个 mongos实例。

在每个应用服务器上部署一个 mongos实例可以减少应用程序和mongos之间的网络延迟。

另外,也可以在专用主机上部署 mongos实例。大型部署适用,因为它使客户端应用程序服务器的数量与mongos节点的数量脱钩,可以更好地控制mongod实例服务的连接数。

mongos --port 27030 --configdb=rs-test-conf/127.0.0.1:27020 --logpath=/data/mongodb/mongodb-4.4.2/route.log --bind_ip=0.0.0.0  --fork

  添加分片:
  mongo 127.0.0.1:27030

use admin;
  sh.addShard("rs-test1/127.0.0.1:27017");
  sh.addShard("rs-test1/127.0.0.1:27018");
  sh.addShard("rs-test1/127.0.0.1:27019");

查看状态:
  sh.status()

MongoDB集群分片部署的更多相关文章

  1. mongodb集群+分片部署(二)

    机器:10.165.38.68    10.165.38.72 部署包:mongodb-linux-x86_64-rhel55-3.0.2.tgz(百度云盘下载地址:http://pan.baidu. ...

  2. 搭建高可用mongodb集群—— 分片

    从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大? 数据压力大到机器支撑不了的时候能否做到自动扩展? 在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持续增多,后续迟早会出 ...

  3. MongoDB集群——分片

    1. 分片的结构及原理分片集群结构分布: 分片集群主要由三种组件组成:mongos,config server,shard1) MONGOS数据库集群请求的入口,所有的请求都通过mongos进行协调, ...

  4. mongodb 集群分片

    分片 在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求 当MongoDB存储海量的数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量,这 ...

  5. MongoDB集群部署 - 带访问控制的分片副本集

    1. 前言 Ceilometer将meter.event等数据保存在MongoDB中,之前将MongoDB部署在控制节点上,使用三副本模式,时间长了发现meter数据爆炸式增长,区区2T的磁盘捉襟见肘 ...

  6. Mongodb副本集+分片集群环境部署记录

    前面详细介绍了mongodb的副本集和分片的原理,这里就不赘述了.下面记录Mongodb副本集+分片集群环境部署过程: MongoDB Sharding Cluster,需要三种角色: Shard S ...

  7. Mongodb副本集+分片集群环境部署

    前面详细介绍了mongodb的副本集和分片的原理,这里就不赘述了.下面记录Mongodb副本集+分片集群环境部署过程: MongoDB Sharding Cluster,需要三种角色: Shard S ...

  8. 搭建高可用mongodb集群(四)—— 分片(经典)

    转自:http://www.lanceyan.com/tech/arch/mongodb_shard1.html 按照上一节中<搭建高可用mongodb集群(三)-- 深入副本集>搭建后还 ...

  9. [转]搭建高可用mongodb集群(四)—— 分片

    按照上一节中<搭建高可用mongodb集群(三)—— 深入副本集>搭建后还有两个问题没有解决: 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大? 数据压力大到机器支撑不了的 ...

随机推荐

  1. 《Head First 设计模式》:剩下的模式

    正文 一.桥接模式 1.定义 桥接模式通过将实现和抽象分离开来,放在两个不同的类层次中,从而使得它们可以独立改变. 要点: 当一个类存在两个独立变化的维度,而且都需要进行扩展时,可以将其中一个维度抽象 ...

  2. 单片机串口通信电平不匹配的解决电路,5V 3.3V串口通讯

    很早的时候调试串口通讯遇到单片机和模块电压不匹配,信号无法传输,所以整理后来遇到的转换电路.1.最简单的用转换电平IC,可以去淘宝上搜索,有四路的有两路的,比如这个双向电平转换模块 2.根据接触的开发 ...

  3. Spring创建Bean的过程Debug

    目录 Spring流程Debug 1.1 Spring测试环境搭建 1.2 Debug容器创建过程 1.3 AbstractApplicationContext的refresh()包含的13个方法分析 ...

  4. 循序渐进VUE+Element 前端应用开发(25)--- 各种界面组件的使用(1)

    在我们使用Vue+Element开发前端的时候,往往涉及到很多界面组件的使用,其中很多直接采用Element官方的案例即可,有些则是在这个基础上封装更好利用.更少代码的组件:另外有些则是直接采用第三方 ...

  5. 深入理解golang:内存分配原理

    一.Linux系统内存 在说明golang内存分配之前,先了解下Linux系统内存相关的基础知识,有助于理解golang内存分配原理. 1.1 虚拟内存技术 在早期内存管理中,如果程序太大,超过了空闲 ...

  6. MIT黑科技:通过手机记录的咳嗽数据检测是否感染新冠病毒

    这次的新冠状病毒虽然没有2002年的SARS破坏力那么强悍,但其可怕之处是长时间的无症状潜伏,使得被感染者在不知情的情况下,将病毒散播出去.如果没有强有力的防疫手段,病毒的传播几乎难以控制.而防止病毒 ...

  7. 常见特征金字塔网络FPN及变体

    好久没有写文章了(对不起我在划水),最近在看北京的租房(真真贵呀). 预告一下,最近无事,根据个人多年的证券操作策略和自己的浅显的AI时间序列的算法知识,还有自己Javascript的现学现卖,在微信 ...

  8. 面经手册 · 第17篇《码农会锁,ReentrantLock之AQS原理分析和实践使用》

    作者:小傅哥 博客:https://bugstack.cn 沉淀.分享.成长,让自己和他人都能有所收获! 一.前言 如果你相信你做什么都能成,你会自信的多! 千万不要总自我否定,尤其是职场的打工人.如 ...

  9. 搭建面向NET Framework的CI/CD持续集成环境(一)Windows服务器安装Jenkins

    前言 网上大多数都是针对主流的Spring Cloud.NET Core的CI/CD方案.但是目前国内绝大部分的公司因为一些历史原因无法简单的把项目从NET Framework切换升级到NET Cor ...

  10. [读书笔记] Python语言及其应用

    记录下秋招期间看的一本Python工具书<Python语言与其应用>,查漏补缺,部分内容整理如下: 易混淆概念 1.1 删除 - del,remove()和pop() 1.2 复制 - 浅 ...