MongoDB集群分片部署
MongoDB中使用分片集群结构分布:
三个主要组件:
- Shard:
用于存储实际的数据块,实际生产环境中一个shard server角色可由几台机器组个一个replica set承担,防止主机单点故障
- Config Server:
mongod实例,存储了整个 ClusterMetadata,其中包括 chunk信息。
- Query Routers:
前端路由,客户端由此接入,且让整个集群看上去像单一数据库,前端应用可以透明使用。
Shard 分片服,实例存储实际数据:
一个片区应该分布在不同机器上,片区采用副本集模式
副本集(replica set): 分为三个节点,主服,备服,仲裁服。在实际部署时,为了避免单点故障,同一个副本集中的成员,应该部署在不同主机上。
启动命令:
mongod --replSet=rs-test1 --dbpath=/data/mongodb/mongodb-4.4.2/shard1/db27017/ --port=27017 --logpath=/data/mongodb/mongodb-4.4.2/shard1/db27017/mongo.log --bind_ip=0.0.0.0 --shardsvr --fork
mongod --replSet=rs-test1 --dbpath=/data/mongodb/mongodb-4.4.2/shard1/db27018/ --port=27018 --logpath=/data/mongodb/mongodb-4.4.2/shard1/db27018/mongo.log --bind_ip=0.0.0.0 --shardsvr --fork
mongod --replSet=rs-test1 --dbpath=/data/mongodb/mongodb-4.4.2/shard1/db27019/ --port=27019 --logpath=/data/mongodb/mongodb-4.4.2/shard1/db27019/mongo.log --bind_ip=0.0.0.0 --shardsvr --fork
初始化:
mongo 127.0.0.1:27019
cfg={_id:"rs-test1", members:[{_id:0, host:'127.0.0.1:27017', arbiterOnly:true},{_id:1, host:'127.0.0.1:27018', priority:2},{_id:2, host:'127.0.0.1:27019', priority:1}]};
rs.initiate(cfg);
//查看副本集状态
rs.status()
ConfigServer 配置服
存储集群所有节点、分片数据路由信息。默认需要配置3个Config Server节点。
这里也应该是副本集模式,测试使用一个实例
mongod --replSet=rs-test-conf --dbpath=/data/mongodb/mongodb-4.4.2/dbconfig/ --port=27020 --logpath=/data/mongodb/mongodb-4.4.2/dbconfig/mongo.log --bind_ip=0.0.0.0 --fork --configsvr
初始化:
mongo 127.0.0.1:27020
cfg={_id:"rs-test-conf", members:[{_id:0, host:'127.0.0.1:27020', priority:2}]};
rs.initiate(cfg);
Mongos 路由
提供对外应用访问,所有操作均通过mongos执行。一般有多个mongos节点。数据迁移和数据自动平衡。
部署多个mongos实例可支持高可用性和可扩展性。一个常见的模式是在每个应用程序服务器上部署一个 mongos实例。
在每个应用服务器上部署一个 mongos实例可以减少应用程序和mongos之间的网络延迟。
另外,也可以在专用主机上部署 mongos实例。大型部署适用,因为它使客户端应用程序服务器的数量与mongos节点的数量脱钩,可以更好地控制mongod实例服务的连接数。
mongos --port 27030 --configdb=rs-test-conf/127.0.0.1:27020 --logpath=/data/mongodb/mongodb-4.4.2/route.log --bind_ip=0.0.0.0 --fork
添加分片:
mongo 127.0.0.1:27030
use admin;
sh.addShard("rs-test1/127.0.0.1:27017");
sh.addShard("rs-test1/127.0.0.1:27018");
sh.addShard("rs-test1/127.0.0.1:27019");
查看状态:
sh.status()
MongoDB集群分片部署的更多相关文章
- mongodb集群+分片部署(二)
机器:10.165.38.68 10.165.38.72 部署包:mongodb-linux-x86_64-rhel55-3.0.2.tgz(百度云盘下载地址:http://pan.baidu. ...
- 搭建高可用mongodb集群—— 分片
从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大? 数据压力大到机器支撑不了的时候能否做到自动扩展? 在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持续增多,后续迟早会出 ...
- MongoDB集群——分片
1. 分片的结构及原理分片集群结构分布: 分片集群主要由三种组件组成:mongos,config server,shard1) MONGOS数据库集群请求的入口,所有的请求都通过mongos进行协调, ...
- mongodb 集群分片
分片 在Mongodb里面存在另一种集群,就是分片技术,可以满足MongoDB数据量大量增长的需求 当MongoDB存储海量的数据时,一台机器可能不足以存储数据,也可能不足以提供可接受的读写吞吐量,这 ...
- MongoDB集群部署 - 带访问控制的分片副本集
1. 前言 Ceilometer将meter.event等数据保存在MongoDB中,之前将MongoDB部署在控制节点上,使用三副本模式,时间长了发现meter数据爆炸式增长,区区2T的磁盘捉襟见肘 ...
- Mongodb副本集+分片集群环境部署记录
前面详细介绍了mongodb的副本集和分片的原理,这里就不赘述了.下面记录Mongodb副本集+分片集群环境部署过程: MongoDB Sharding Cluster,需要三种角色: Shard S ...
- Mongodb副本集+分片集群环境部署
前面详细介绍了mongodb的副本集和分片的原理,这里就不赘述了.下面记录Mongodb副本集+分片集群环境部署过程: MongoDB Sharding Cluster,需要三种角色: Shard S ...
- 搭建高可用mongodb集群(四)—— 分片(经典)
转自:http://www.lanceyan.com/tech/arch/mongodb_shard1.html 按照上一节中<搭建高可用mongodb集群(三)-- 深入副本集>搭建后还 ...
- [转]搭建高可用mongodb集群(四)—— 分片
按照上一节中<搭建高可用mongodb集群(三)—— 深入副本集>搭建后还有两个问题没有解决: 从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大? 数据压力大到机器支撑不了的 ...
随机推荐
- 【垃圾回收-CMS】Java内存回收实践经验 防止内存报警
jdk6和7服务器端(-server) 默认的新生代的垃圾回收器为:PS Scavenge,老年代默认的垃圾回收器为:PS MarkSweep 目前项目使用了jdk7,tomcat7,经常出现内存堆使 ...
- python获取响应某个字段值的三种方法
近期将要对两个接口进行测试,第一个接口的响应值是第二个接口的查询条件.为了一劳永逸,打算写个自动化测试框架.因为请求和响应都是xml格式的,遇到的问题就是怎么获取xml响应的某一个值.尝试了很多博客的 ...
- Docker学习笔记之--.Net Core项目容器连接mssql容器(环境:centos7)
前一节演示在docker中安装mssql,地址:Docker学习笔记之--安装mssql(Sql Server)并使用Navicat连接测试(环境:centos7) 本节演示 .Net Core项目容 ...
- 编写shell脚本的规范
目录 编写shell脚本的一些规范 解释器 添加脚本版本和注释功能 添加脚本调试 变量命名 全局变量和局部变量 命名规范 函数命名 脚本命名 函数 引用模块或文件 脚本日志 配置文件 其他 编写she ...
- FastCGI协议分析
不知道什么时候,就开始有了让HomeServer支持PHP的念头.于是分析起了FastCGI协议.FastCGI用于WebServer与WebApplication之间的通讯,例如Apache与PHP ...
- 跟我一起学.NetCore之EF Core 实战入门,一看就会
前言 还记得当初学习数据库操作时,用ADO.NET一步一步地进行数据操作及查询,对于查询到的数据还得对其进行解析,然后封装返回给应用层:遇到这种重复而繁琐的工作,总有一些大神或团队对其进行封装,从而出 ...
- 微信小程序开发之云开发
创建云开发小程序项目 开通云开发 开通后界面 选择开发环境 开启使用npm模块 安装wx-server-sdk npm install --save wx-server-sdk@latest 创建云函 ...
- Git Push大文件报错后如何撤回
昨晚在提交一个项目代码时,不小心把数据库备份文件也一起Commit了:到最后Push的时候报错了.最后弄了半天解决了,在此记录下. 如下图,文件有108M. 项目放在第三方托管平台上,根据提示查看了原 ...
- wpf 全局异常捕捉+简单日志记录
`namespace MyApp { /// /// App.xaml 的交互逻辑 /// public partial class App : Application { public App() ...
- MSSQL sql numeric转字符串显示不补0
由于工作中需要把numeric转字符串显示,但是有一个问题会自动补0. DECLARE @f NUMERIC(18,4)=1.1200, @str VARCHAR(50) SELECT CAST(@f ...