白面系列 mongoDB

mongoDB和redis一样,都是noSQL技术之一. redis是Key-Value存储,mongoDB是文档存储. 文档存储一般用类似json的格式存储,存储的内容是文档型的.文档是一组键值(key-value)对(即 BSON). Mongo中的一些概念: shell连接mongo命令: mongodb://[username:password@]host1[:port1][,host2[:port2],...[,hostN[:portN]]][/[database][?options]…

漏洞验证系列--MongoDB未授权访问

本系列文章旨在对于有一定网络安全基础的人员,在日常工作中扫描出来的各种漏洞,如何进行验证,以区分该漏洞是否存在或是扫描器误报.请勿应用非法途径. 本漏洞是由于MongoDB未设置访问权限,用户可以直接连上该数据库 Linux下执行 mongo 目标ip:端口号 show dbs:#列出有哪些数据库,数据库占用了多大的存储空间. db:#当前连接的是哪个数据库版权声明:本文为CSDN博主「HNorth_Hill」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声…

mongodb系列~mongodb定时删除数据

一简介:本文介绍创建自动删除数据的TTL索引二目的定时删除数据三创建方法 db.collection.createIndex(keys, options) options: expireAfterSeconds 指定多少秒或者包含日期值的数组创建示例 db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 },{backgroup: true}) 四何时失…

mongodb系列~mongodb集群介绍与管理

mongodb 集群维护1 简介谈谈mongodb的集群架构2 常用的维护命令 1 查看状态 sh.status() 1 version 2 shards: 分片集群shard成员 3 balancer: 平衡器的相关状态:运行状态尝试次数平衡器 sh.setBalancerState(true) 开启 sh.stopBalancer() 关闭 sh.getBalancerStat…

mongodb系列~ mongodb慢语句(3)

简介: 关于mongodb慢日志是如何收集一 mongodb慢日志的开启 1 直接设置参数,不重启服务:db.setProfilingLevel(1) 2 添加启动参数,重启服务:添加profile=1 二 mongodb慢日志参数说明查看 profiing当前级别 :db.getProfilingLevel() 0 默认不开启记录 1 开启记录慢日志(默认>=100ms) 2 记录所有命令三如何调整慢日志记录参数 1 直接设置参数 db.setProfilingLevel( leve…

mongodb系列~mongodb数据迁移

一简介:今天来聊聊mongo的数据迁移二迁移 1 具体迁移命令 nohup mongodump --port --db dbname --collection tablename --query '{"sentTime": { $gt: "2018-07-13 00:00:00" } }' -o /home/data 2 具体导入命令 db导入 mongorestore --port 40000 --db dbname /home/data/…

mongodb系列~mongodb慢语句(2)

一简介:今天遇到一个慢日志的排查和解决过程二版本:3.0.6 三架构:分片集群四具体过程 1 程序响应很慢,具体日志寻找定点sql(mongodb慢日志记录在log日志里) awk '$NF~/ms$/{print $1,$NF}' shard2.log|sed 's/ms//g'|awk '$2 > 12000 {print $1,$2}' 这里我统计的是大于12S的, 2 通过分析定位具体sql为查询语句,条件是等值查询 3 获取collection的所有索引 db.chenfen…

mongodb系列~mongodb的副本集(1)

一简介: mongodb副本集二复制方式: 1 全量复制 2 增量复制三同步检测过程: 一正常情况下: 1 master执行语句,并将所有的修改数据库的操作以日志Oplog的方式记录在本地 2 second节点按照一定的频率主动异步的从主节点同步oplog日志并作用于自己本机的数据库上,从而保证副本节点和主节点的数据一致性 3 每个节点会向其他节点2s发送一个心跳检测,如果超过10s没有收到回复,则认为目标节点不可用二主节点挂掉后 …

mongodb系列~ mongodb慢语句(1)

1 简介:讲讲mongo的慢日志2 慢日志类型 query insert update delete 3 查看慢日志 1 db.system.profile.find() 慢日志总揽 2 db.system.profile.find().sort({$natural:-1}) 查看最新的慢日志 3 db.system.profile.find( { op: { $ne : 'command' } }).pretty() 返回所有除去command的操作类型 4 db.system.…

白面系列 docker

在讲docker之前,首先区分2个概念,容器和虚拟机. 容器: 虚拟机: 简单来说,容器虚拟化操作系统:虚拟机虚拟化硬件. 容器粒度更小更灵活:虚拟机包含资源更多更大. docker就是用来做容器化的. 接着需要搞清楚3个东西: Image(镜像) Container(容器) Repository(仓库) 镜像是为了创建容器的只读模板. 容器是镜像的一个可运行实例. 仓库是用来存储镜像的. 从面向对象来理解,仓库==工程,镜像==类,容器==实例. docker的架构是C/S. Docker d…

白面系列 redis

redis是Key-Value数据库,和Memcached类似.value可以是多种类型,如Strings, Lists, Hashes, Sets 及 Ordered Sets等. redis一个牛逼的地方在于,它的性能极高!读的速度是110000次/s,写的速度是81000次/s !高性能意味着支持高并发. redis数据是存在内存中的,不过会周期性的把数据存到磁盘中,并在此基础上实现主从同步.这样就支持了数据的持久化. 高性能+数据持久化,这就是要使用redis的原因.这种基于内存的数据库…

白面系列 nginx

Nginx == engine x. nginx就是一个服务器.主要提供web服务.负载均衡(反向代理).web缓存等服务. nginx ≈ apache,但nginx是轻量级的高性能高并发的服务器. 日常工作中听到关于nginx最多的就是"代理转发". 客户端+代理 -> 服务器,正向代理,代理的是客户端. 客户端 -> 代理+服务器,反向代理,代理的是服务器. 实际项目很可能是正向代理+反向代理:客户端+代理 -> 代理+服务器转发接口配置示例: locatio…

白面系列 kafka

kafka是一个分布式发布订阅消息系统,也可叫做MQ系统,MQ是Message Queue,消息队列. 通俗点,生产者往队列里写消息,消费者从队列里读.专业点,Producer通过TCP协议发送消息到Kafka集群,Kafka集群再将这些消息提供给Consumer. 消息是由key.value.时间戳构成,按topic分类.工作中经常听到的topic,就是这个topic,用来给消息分类. 整体流程如官网画的图所示. kafka有个Broker的概念,指的就是集群中的服务器,每一个服务器就是一个代…

MongoDB 学习笔记（一）：安装及简单shell操作

一.说明 1.该系列MongoDB学习笔记的学习环境采用的MongoDB版本为mongodb-win32-i386-2.4.6,操作系统为win7. 二.安装 1.新建两个目录,分别是D:\Installations\MongoDB-2.4.6\MongoDB和D:\Installations\MongoDB-2.4.6\MongoDBDATA(用于存放数据库数据文件). 2.将下载的MongoDB压缩包解压,并拷贝里面的文件至D:\Installations\MongoDB-2.4.6\Mon…

MongoDB 事务，复制和分片的关系

摘要:本文尝试对Mongo的复制和分布式事务的原理进行描述,在必要的地方,对实现的正确性进行论证,希望能为MongoDB内核爱好者提供一些参考. 1.前言 MongoDB基于wiredTiger提供的泛化SI的功能,重构了readHistory(readMajority)的能力基于wiredTiger提供的AllCommittedTimestamp API,重构了前缀一致的主从复制(Prefix-Consistent-Replication) 引入混合逻辑时钟(HLC),每个节点(Mongos…

[MongoDB知识体系] 一文全面总结MongoDB知识体系

MongoDB教程 - Mongo知识体系详解本系列将给大家构建MongoDB全局知识体系.@pdai MongoDB教程 - Mongo知识体系详解知识体系学习要点学习资料官网资料入门系列其它知识体系 MongoDB学习引入 MongoDB生态学习要点 1. MongoDB引入和生态介绍: 首先了解NoSQL基本的概念以及MongoDB基础概念,进而引入MongoDB的生态. Mongo入门 - MongoDB基础概念在学习MongoDB之前先简单了解相关概念. Mongo…

Lind.DDD.Repositories.Mongo层介绍

回到目录之前已经发生了大叔之前讲过被仓储化了的Mongodb,而在大叔开发了Lind.DDD之后,决定把这个东西再搬到本框架的仓储层来,这也是大势所趋的,毕竟mongodb是最像关系数据库的NoSql,它的使用场景是其它nosql所不能及的,这点是毋庸置疑的! 下面是大叔总结的Mongodb文章目录,选自<大叔Mongodb系列> MongoDB学习笔记~环境搭建 (2015-03-30 10:34) MongoDB学习笔记~MongoDBRepository仓储的实现 (2015-04-…

mongodb-java-driver基本用法

1.先下载mongodb-java-driver 目前最新版本是2.9.3 2.下面是基本的CRUD示例代码: package com.cnblogs.yjmyzz.cache.test; import com.google.gson.Gson; import com.mongodb.BasicDBObject; import com.mongodb.DB; import com.mongodb.DBCollection; import com.mongodb.DBCursor; import…

node相关的精典材料

node.js电子书了不起的Node.js 深入浅出Node.js node.js入门经典 node.js开发指南 node.js相关优秀博文官网 Infoq深入浅出Node.js系列(进阶必读) Node.js中文文档被误解的 Node.js Node.js C++ addon编写实战系列热门node.js模块排行榜,方便找出你想要的模块 nodejs多线程,真正的非阻塞浅析nodejs的buffer类利用libuv编写异步多线程的addon实例 Node.js中exports与m…

CRL快速开发框架系列教程十二(MongoDB支持)

本系列目录 CRL快速开发框架系列教程一(Code First数据表不需再关心) CRL快速开发框架系列教程二(基于Lambda表达式查询) CRL快速开发框架系列教程三(更新数据) CRL快速开发框架系列教程四(删除数据) CRL快速开发框架系列教程五(使用缓存) CRL快速开发框架系列教程六(分布式缓存解决方案) CRL快速开发框架系列教程七(使用事务) CRL快速开发框架系列教程八(使用CRL.Package) CRL快速开发框架系列教程九(导入/导出数据) CRL快速开发框架系列教程十(…

MongoDB系列（二）：C#应用

前言上一篇文章<MongoDB系列(一):简介及安装>已经介绍了MongoDB以及其在window环境下的安装,这篇文章主要讲讲如何用C#来与MongoDB进行通讯.再次强调一下,我使用的MongoDB版本是2.6,因为2.6是我最熟悉的版本,而且我使用的GUI工具Robomongo目前还不支持3.0版本. 添加官方驱动官方驱动可以从Nuget上获取,但是这里我们不使用最新的驱动,而是使用1.9.2这个版本,个人认为该版本对MongoDB2.6的支持最好,而且目前的下载量也是最多.驱动地址…

MongoDB学习笔记系列

回到占占推荐博客索引该来的总会来的,Ef,Redis,MVC甚至Sqlserver都有了自己的系列,MongoDB没有理由不去整理一下,这个系列都是平时在项目开发时总结出来的,希望可以为各位一些帮助和启发,文章中有对新技术的研究(Mongo驱动),对老技术的回顾(代码重构),还有对架构设计的阐述等(面向接口编程,对扩展开放,对修改关闭,所以出现了IMongoRepository接口). MongoDB学习笔记系列~目录 MongoDB学习笔记~环境搭建 (2015-03-30 10:34) M…

[你必须知道的NOSQL系列]专题一：MongoDB快速入门

一.前言现在越来越多的公司开始采用非关系数据库了,并且很多公司的面试都要求面试者有MongoDB的使用经验,至于非关系数据库与关系型数据库之间的区别大家可以自行百度.但是作为程序员的我们,既然大部分公司都需要有NOSQL的使用经验,自然我们就应该学习起来了.所以也就有了这个系列了.NOSQL包括很多,但是使用最大的还是属于MongoDB和Redis.所以在本系列中将详细介绍下这两种非关系数据库的环境搭建和一些常规使用.本专题就首先介绍下MongoDB开发环境的搭建和完成一些简单的增删改查操作.…

MongoDb系列

这个系列主要总结学习MongoDb过程中的一些经验. 简单介绍及环境搭建常用命令 C#驱动及应用管理工具MongoVUE使用…

mongodb基础系列——数据库查询数据返回前台JSP（一）

经过一段时间停顿,终于提笔来重新整理mongodb基础系列博客了. 同时也很抱歉,由于各种原因,没有及时整理出,今天做了一个demo,来演示,mongodb数据库查询的数据在JSP显示问题. 做了一个简单的测试,不过基本上能满足前台展示的问题,若有问题,可以及时联系我,及时沟通. 在上篇博客<<mongodb基础系列——java操作mongodb实现CURD>>中,当时查看数据如下,无论是查看所有还有查看具体. //查询所有 //其中类似access数据库中游标概念 DBCurso…

【MongoDB安装和基础学习系列】

转:http://www.cnblogs.com/lipan/archive/2011/03/08/1977691.html 系列目录 MongoDB学习笔记(一) MongoDB介绍及安装 MongoDB学习笔记(二) 通过samus驱动实现基本数据操作 MongoDB学习笔记(三) 在MVC模式下通过Jqgrid表格操作MongoDB数据 MongoDB学习笔记(四) 用MongoDB的文档结构描述数据关系 MongoDB学习笔记(五) MongoDB文件存取…

MongoDB系列之二（主动复制）

目前我正在进行MongoDB的双机热备方面相关的工作.根据我目前看到的MongoDB方面的材料,MongoDB的实际部署有三种方式,分别是“主动复制”,“副本集”以及“分片副本集”. 首先我们从最简单的开始,也就是先来做“主从备份”. 首先明确我只是测试,测试觉得不错会部署在我们的项目的服务器上面.介绍一下我的testbed,三个虚拟机,安装的都是ubuntu12.10的x86_64的服务器版操作系统.分别叫“MongoDBMaster”“MongoDBSlave1”“MongoDBSlave2…