浅析mongodb

当爬取数据时候，我们可能需要缓存大量的数据，但是又无须任何复杂的连接操作，因此我们将选用NoSQL数据库，这种数据库比传统的关系型数据库更易于操作，这里我想主要说一下目前非常流行的MongoDB作为缓存数据库。

什么是NoSQL？

NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。NoSQL，指的是非关系型的数据库。

在现代的计算系统上每天网络上都会产生庞大的数据量。

这些数据有很大一部分是由关系数据库管理系统（RDMBS）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational model of data for large shared data banks"，这使得数据建模和应用程序编程更加简单。

通过应用实践证明，关系模型是非常适合于客户服务器编程，远远超出预期的利益，今天它是结构化数据存储在网络和商务应用的主导技术，然而，对于大多数据集的情况，数据量太大使其难以存放在单一服务器上，此时就需要扩展到多台服务器上。不过，关系模型对于这种扩展的支持并不够好，因为在查询多个表时，数据可能在不同的服务器上，相反，NoSQL数据库通常是无模式的，从设计之初就考虑了跨服务器无缝分片的问题。在NoSQL中，有多种方式可以实现该目标，分别是列数据存储（如Hbase），键值对存储（如Redis），面向文档的数据库（如MongoDB）以及图形数据库（如Neo4j）.

NoSQL的优点和缺点

优点：

——高可扩展性

——分布式计算

——低成本

——架构的灵活性，半结构化数据

——没有复杂的关系

缺点：

——没有标准化

——有限的查询功能（到目前为止）

——最终一致是不直观的程序

NoSQL 数据库分类

类型	部分代表	特点
列存储	Hbase Cassandra Hypertable	顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。
文档存储	MongoDB CouchDB	文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。
key-value存储	Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis	可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）
图存储	Neo4J FlockDB	图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。
对象存储	db4o Versant	通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。
xml数据库	Berkeley DB XML BaseX	高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。

好了，说完了NoSQL，那么对非关系型数据库有了简单的理解，那下面具体的介绍一下MongoDB

什么是MongoDB？

MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。

在高负载的情况下，添加更多的节点，可以保证服务器性能。

MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。

MongoDB的主要特点是什么？

————MongoDB 是一个面向文档存储的数据库，操作起来比较简单和容易。

————你可以在MongoDB记录中设置任何属性的索引 来实现更快的排序。

————你可以通过本地或者网络创建数据镜像，这使得MongoDB有更强的扩展性。

————如果负载的增加，它可以分布在计算机网络中的其他节点上（这就是所谓的分片）。

————Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。

————MongoDb 使用update()命令可以实现替换完成的文档（数据）或者一些指定的数据字段 。

————Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。

————Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录，将key与value传给Reduce函数进行处理。

————Map函数和Reduce函数是使用Javascript编写的，并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。

————GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件。

————MongoDB允许在服务端执行脚本，可以用Javascript编写某个函数，直接在服务端执行，也可以把函数的定义存储在服务端，下次直接调用即可。

————MongoDB支持各种编程语言:RUBY，PYTHON，JAVA，C++，PHP，C#等多种语言。

————MongoDB安装简单。

MongoDB的下载

可以在mongodb官网下载该安装包，地址为：https://www.mongodb.com/download-center#community。

MongoDB的安装

第一步：点击安装：mongodb-win32-x86_64-2008plus-ssl-3.0.1-signed.msi

第二步：同意协议

第三步：自定义安装

第四步：继续下一步

第五步：完成

Mongodb的配置

首先，创建数据库文件的存放位置

比如d:/mongodb/data/db。启动mongodb服务之前需要必须创建数据库文件的存放文件夹，否则命令不会自动创建，而且不能启动成功。

打开cmd（windows键+r输入cmd）命令行，进入D:\mongodb\bin目录（如图先输入d:进入d盘然后输入cd d:\mongodb\bin），

输入如下的命令启动mongodb服务：

D:/mongodb/bin>mongod --dbpath D:\mongodb\data\db

然后输入

mongod.exe --dbpath=d:\db

最后启动服务

net start mongodb