Mongodb--切片
1.在3台服务器上分别运行 2717 , 27018,27109,互为副本集,形成3套replSet
2.在3台服务器上各配置config.server,运行在27020端口上,和配置mongod的命令一样,只不过是加上了 --configsrv的参数
3.配置mongos
./bin/mongos --port 30000
--dbconfig 192.168.1.201:27020,192.168.1.202:27020,192.168.1.203.27020(开启奇数台configsrv服务器)
4.连接路由器
./bin/mongo --port 30000
5.添加replSet切片
>sh.addShard('192.168.1.201:27017');
>sh.addShard('192.168.1.202.27017');
>sh.addShard('192.168.1.203:27017');
6.添加待分片的库
>sh.enableSharding(databaseName);
7.添加待分片的表
>sh.shardCollection('dbName',{field:1});
//field是collection的一个字段,系统将会利用field的值来计算应该分到哪一个片上,这个field就叫做“片键”
8.chunk
//chunk就是小块的意思
//db.settings.find();
//可以查看chunk的默认大小
//修改chunk的大小
db.settings.save({_id:'chunksize'},{$set:{value:4}});
linux中查找含有mongo的进程
ps aux | grep mongo
问:为什么10w条数据才2个chunk?
说明chunk比较大,默认的chunk大小是64MB
问:既然优先往某个片上插入,当chunk失衡时,再移动chunk,自然随着数据的增多,shard的实例之间有chunk的来回移动的现象,这将带来什么问题?
答:服务器之间的IO性能问题。
问:能否定义一个规则,某N条数据形成1个块,预先分配给m个chunk,m个chunk预先分配在不同片上,以后的数据直接入各自预分配好的chunk,不再来回移动。
答:能,手动预先分片。
以shop.user表为例,说明一下手动分片的用法
for(var i = 0; i<=40;i++){
sh.splitAt('shop.user',{userid:i*1000}); //预先分割的chunk是空的
}
这个类似打点计数,每隔1000个记录就形成一个chunk,那么就会在goods的数据库中形成40个,1000条记录大小的块分别存放于两个切片当中。这些块都是预先分配好的,切片的位置也预先分配好了,所以以后就不用管数据了,会直接存到这里面来。
预先分片,提前很长时间预计好这些分片的大小,很长时间内都不再多增加分片了,随着数据的增加而增加分片这种情况不适合于手动分片
集群的时候会用到的命令
sh.addShard('relpSetName/IP:port');
复制集对外来看是逻辑上的整体,外面能访问primariy的IP和名称,还有replSet的名称。
Mongodb分片不是单篇文档级别的,而是绝对平均的散落在各个片上,N篇文章形成一个块chunk,优先放在某个片上,当这个片上的chunk比另一个片上的chunk大时,mongodb会以chunk为单位进行片的移动操作,以维护片之间的数据平衡。
页面的全选按钮和分页按钮还没有做,还有日期选择、输入验证、用户登录验证没有做,前4个比较好做,最后一个需要用到filter,也可以现在做
Mongodb--切片的更多相关文章
- 【MongoDB】在windows平台mongodb切片集群(三)
在过去的两年我们博客详细阐述了零碎工作集群和打造过程.在这篇博客中,我们主要分析测试结果一起支离破碎集群. 首先来看看碎片集群的每个状态.你可以看出来复制集A和B都是正常的: 一.开启分片集合 开启一 ...
- Mongodb - 切片搭建
0.概述 mongodb分片搭建,版本号4.0.2,以下除了创建opt文件夹以外,所有操作均在mongodb用户下面执行 准备三台机器:192.168.56.81192.168.56.82192.16 ...
- mongodb切片配置方法
---------------------------------切片架构图-------------------------------------------------------------- ...
- 基于Redis+MySQL+MongoDB存储架构应用
摘 要: Redis+MySQL+MongoDB技术架构实现了本项目中大数据存储和实时云计算的需求.使用MongoDB切片的水平动态添加,可在不中断平台业务系统的同时保障扩容后的查询速度和云计算效能 ...
- MongoDB 3.6.9 集群搭建 - 切片+副本集
1. 环境准备 在Mongo的官网下载Linux版本安装包,然后解压到对应的目录下:由于资源有限,我们采用Replica Sets + Sharding方式来配置高可用.结构图如下所示: 这里我说明下 ...
- python日志,支持彩色打印和文件大小切片写入和写入mongodb
1.项目中使用了自定义的ColorHandler和MongoHandler,使用了内置的RotatingFileHandler和三方库的ConcurrentRotatingFileHandler. 支 ...
- TODO:MongoDB的查询更新删除总结
TODO:MongoDB的查询更新删除总结 常用查询,条件操作符查询,< .<=.>.>=.!= 对应 MongoDB的查询操作符是$lt.$lte.$gt.$gte.$ne ...
- python操作mongodb数据库
一.MongoDB 数据库操作 连接数据库 import pymongo conn = pymongo.Connection() # 连接本机数据库 conn = pymongo.Connection ...
- Python 操作 MongoDB
原文 这篇文章主要介绍了使用Python脚本操作MongoDB的教程,MongoDB作为非关系型数据库得到了很大的宣传力度,而市面上的教程一般都是讲解JavaScript的脚本操作,本文则是基于Pyt ...
- mongodb python image 图像存储读取
最近做一些数据库调研的工作,目标是实现影像更快的入库.出库.查询,并实现并行访问等操作. 将结果总结成一个mongoImg类,也算是小结吧. ''' Created on 2013-8-6 class ...
随机推荐
- Android4.4 wpa_supplicant深入分析之wpa_supplicant初始化流程续
下面我们将接上一篇文章继续分析main中第二个关键函数wpa_supplicant_add_iface. wpa_supplicant_add_iface用于向wpa_supplicant添加接口设备 ...
- 蓝桥杯--2011--购物券(dfs)
公司发了某商店的购物券1000元,限定只能购买店中的m种商品.每种商品的价格分别为m1,m2,-,要求程序列出所有的正好能消费完该购物券的不同购物方法. 程序输入: 第一行是一个整数m,代表可购 ...
- var的变量提升的底层原理是什么?
原理:JS引擎的工作方式是①先解析代码,获取所有被声明的变量:②然后在运行.也就是专业来说是分为预处理和执行两个阶段. 变量提升的定义:所有变量的声明语句都会被提升到代码头部,这就是变量提升. 例如: ...
- SQLServer2008 关于CASE WHEN
CASE WHEN的两种格式 1.简单Case函数 CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' END 2.Case搜索函数 CASE ...
- 关于SSL证书配置、升级的一些问题总结
SSL会成为网站.APP.小程序(小程序已经强制使用https)等项目的标配.关于SSL证书安装使用的问题今天总结下,以备用. 环境配置:windows server 2008 R2和IIS7.0 1 ...
- Ubuntu中在终端进入root权限但是总提示密码错误的解决方案
先解除root锁定,为root用户重新设置密码 打开终端输入:sudo passwd(注意是passwd不是password) Password: <--- 输入你当前用户的密码 Enter n ...
- for 循环练习题(2)
一张纸的厚度是0.0001米,将纸对折,对折多少次厚度超过珠峰高度8848米 var x=0.0001; for(var a=1;true;a++){ x=x*2; if (x>8848) { ...
- ANN:DNN结构演进History—LSTM网络
为了保持文章系列的连贯性,参考这个文章: DNN结构演进History-LSTM_NN 对于LSTM的使用:谷歌语音转录背后的神经网络 摘要: LSTM使用一个控制门控制参数是否进行梯度计算,以此避免 ...
- Linux下Shell脚本输出带颜色文字
文本终端的颜色可以使用“ANSI非常规字符序列”来生成.举例: echo -e "\033[44;37;5m ME \033[0m COOL" 以上命令设置作用如下: 背景色为蓝色 ...
- C#抽奖算法
摘自网络 static void Main(string[] args) { //各物品的概率保存在数组里 ]{ 0.5f, 0.5f, , }; //单次测试 //Console.WriteLine ...