memcached redis : kv数据库(key/value) mongodb 文档数据库,存储的是文档(Bson->json对象二进制化后叫bson,js的二进制对象,引擎是用js实现的). 特点:内部执行引擎为JS解释器, 把文档存储成bson结构,在查询时,转换为JS对象,并可以通过熟悉的js语法来操作. mongo和传统型数据库(mqsql)相比,最大的不同: 传统型数据库: 结构化数据, 定好了表结构后,每一行的内容,必是符合表结构的,就是说--列的个数,类型都一样. mongo…

接上一个<MONGODB01 - Prematurely reached end of stream 错误定位及修复>处理完成之后,又报错了,场景也是一段时间不访问MongoDB,突然访问的时候报此异常 org.springframework.data.mongodb.UncategorizedMongoDbException: Exception sending message; nested exception is com.mongodb.MongoSocketWriteExceptio…

介绍 Scala是一种功能性面向对象语言.它融汇了很多前所未有的特性.而同一时候又执行于JVM之上.随着开发人员对Scala的兴趣日增,以及越来越多的工具支持,无疑Scala语言将成为你手上一件不可缺少的工具. MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库其中功能最丰富,最像关系数据库的.他支持的数据结构很松散,是类似json的bson格式.因此能够存储比較复杂的数据类型. Mongo最大的特点是他支持的查询语言很强大,其语法有点类似于面向对象的查询语言,差点儿能够…

MongoDB[第二篇]MongodDB主从 官方网站:http://www.mongodb.org/ MongoDB的一些参数 --logpath 日志文件路径 --master 指定为主机器 --slave 指定为从机器 --source 指定主机器的IP地址 --pologSize 命令行参数(与--master一同使用)配置用于存储给从节点可用的更新信息占用的磁盘空间(M为单位),如果不指定这个参数,默认大小为当前可用磁盘空间的5%(64位机器最小值为1G,32位机器为50M). --l…

关于用户的认证及权限 用户是跟着库创建的,在哪个库创建的什么权限的什么用户,只对此库有相应权限(除超级管理员以外). 官网文档:https://docs.mongodb.com/master/reference/security/#security-methods-in-the-mongo-shell 1)内建角色 Read:允许用户读取指定数据库 readWrite:允许用户读写指定数据库 dbAdmin:允许用户在指定数据库中执行管理函数,如索引创建.删除,查看统计或访问system.pro…

工作原理 1.副本集之间的复制是通过oplog日志现实的.备份节点通过查询这个集合就可以知道需要进行复制的操作 2.oplog是节点中local库中的一个固定的集合,在默认情况下oplog初始化大小为空闲磁盘的5%.oplog是capped collection,所以当oplog的空间被占满时,会覆盖最初写入的日志 3.通过改变oplog文档的大小直接改变local所占磁盘空间的大小.可以在配置文件中设置oplogSize参数来指定oplog文档的大小. 4.通过oplog中的操作记录,把数据复…

脚本功能: 1. 将指定的报告文件按照指定的字段.切库切表策略切分 2. 将切分后的文件并发导入到对应的Mongodb中 3. 生成日志文件和done标识文件 使用手册: -h    打印帮助信息,并退出"; -f     需要切分的数据文件"; -g    清理昨日或历史全部数据: 1 昨日数据  2 历史全部数据"; -k     拆分字段在文件中列数,从1开始"; -o    需要切分的数据文件格式 tsv或csv "; -d    切分的库数目&q…

Table of Contents Introduction Requirements Create Replica Set Add Secondary Members Add an Arbiter Introduction A replica set provides MongoDB with redundancy and increased data availability by replicating the database to multiple servers. The prima…

一 读写分离概述 1.1 读写分离描述 从应用程序角度来看,使用Replica Set 和使用单台mongo很像.默认的驱动程序会连接primary节点,并且将所有读写请求都路由到主节点.但也可以通过设置驱动程序的Read Preferences 配置其他选项,将读请求路由到其他节点. 通常官网中建议不使用向从节点取数据.原因如下: 所有的从节点拥有与主节点一样的写入负载,读的加入会增加其负载: 对于分片的集合,在平衡器的关系下,数据的返回结果可能会缺失或者重复某部分数据: 相对而言,官方建议使…

一 MongoDB 监控 1.1 监控概述 MongoDB自带了mongostat 和 mongotop 这两个命令来监控MongoDB的运行情况.这两个命令用于处理MongoDB数据库变慢等等问题非常有用,能详细的统计MongoDB当前的状态信息.除此之外,还可以用db.serverStatus().db.stats().开启profile功能通过查看日志进行监控分析. 1.2 模拟插入数据 [root@client ~]# mongo --host 172.24.8.71 -u admin…

一 前期准备 1.1 组件说明 MongoDB分片群集包含以下组件: shard:每个分片是分片数据的子集.从MongoDB 3.6开始,必须将分片部署为副本集. mongos:mongos充当查询路由器,提供客户端应用程序和分片集群之间的接口. config servers:配置服务器存储群集的元数据和配置设置.从MongoDB 3.4开始,必须将配置服务器部署为副本集(CSRS). 注意:mongos不需创建复制集,config不需指定主副节点及仲裁节点,但是要创建复制集. 1.2 组件规划…

一 MongoDB成员 1.1 常见特殊member Secondary存在一些特殊的成员类型: Priority 0 #不能升为主,可以用于多数据中心场景 Hidden #对客户端来说是不可见的,一般用作备份或统计报告用 Delayed #数据比副集晚,一般用作 rolling backup 或历史快照 二 添加备份节点 2.1 前期准备 本实验基于<006.MongoDB复制(副本集)>. [root@mongodb01 ~]# mongo --host 172.24.8.71 -u cl…

一 MongoDB 复制(副本集) 1.1 复制概述 MongoDB复制是将数据同步在多个服务器的过程. 复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性, 并可以保证数据的安全性. 复制还允许从硬件故障和服务中断中恢复数据. 1.2 复制意义 保障数据的安全性 数据高可用性 (24*7) 灾难恢复 无需停机维护(如备份,重建索引,压缩) 分布式读取数据 注意:副本集不是为了提高读性能存在的,在进行oplog的时候,读操作是被阻塞的: 提高读取性能应该使用分片和索引,它…

Zabbix调用脚本以实现对MongoDB的监控! 本脚本支持对服务存活状态.副本集.性能指标共计25个监控项! 使用mongostat和"echo rs.status()["members"][<成员ID>]|mongo"命令获取到副本集状态和性能指标,将执行的结果缓存到本地,每间隔10分钟将刷新一次缓存! 脚本内各项通过查询缓存以获取监控项的值,高效且占用资源低,监控项数据的获取不会给主机带来太多的资源消耗!一次监控项的查询仅约需8ms! 脚本内容…