MongoDB 索引相关知识
背景：
MongoDB和MySQL一样，都会产生慢查询，所以都需要对其进行优化：包括创建索引、重构查询等。现在就说明在MongoDB下的索引相关知识点，可以通过这篇文章MongoDB 查询优化分析了解MongoDB慢查询的一些特点。
执行计划分析：
因为MongoDB也是BTree索引，所以使用上和MySQL大致一样。通过explain查看一个query的执行计划，来判断如何加索引，explain在3.0版本的时候做了一些改进，现在针对这2个版本进行分析：
3.0之前：
zjy:PRIMARY> db.newtask.find({"b":"CYHS1301942"}).explain()
{
"cursor" : "BtreeCursor b_1_date_1", #游标类型：BasicCursor(全表扫描)、BtreeCursor(BTree索引扫描)、GeoSearchCursor(地理空间索引扫描)。
"isMultiKey" : false,
"n" : , #返回的结果数,count()。
"nscannedObjects" : , #扫描的对象
"nscanned" : , #扫描的索引数
"nscannedObjectsAllPlans" : , #代表所有尝试执行的计划所扫描的对象
"nscannedAllPlans" : , #代表所有尝试执行的计划所扫描的索引
"scanAndOrder" : false, #True：对文档进行排序，false：对索引进行排序
"indexOnly" : false, #对查询的结果进行排序不需要搜索其他文档，查询和返回字段使用同一索引
"nYields" : , #为了让写操作执行而让出读锁的次数
"nChunkSkips" : , #忽略文档数
"millis" : , #执行查询消耗的时间
"indexBounds" : { #索引扫描中使用的最大/小值。
"b" : [
[
"CYHS1301942",
"CYHS1301942"
]
],
"date" : [
[
{
"$minElement" :
},
{
"$maxElement" :
}
]
]
},
"server" : "db-mongo1:27017"
}
3.0之后：在explain()里有三个参数："queryPlanner", "executionStats", and "allPlansExecution"，默认是：queryPlanner。具体的含义见官方文档。
zjy:PRIMARY> db.newtask.find({"b":"CYHS1301942"}).explain()
{
"queryPlanner" : {
"plannerVersion" : ,
"namespace" : "cde.newtask", #集合
"indexFilterSet" : false,
"parsedQuery" : {
"b" : {
"$eq" : "CYHS1301942"
}
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN", #索引扫描，COLLSCAN表示全表扫描。
"keyPattern" : {
"b" : ,
"date" :
},
"indexName" : "b_1_date_1", #索引名
"isMultiKey" : false,
"direction" : "forward",
"indexBounds" : {
"b" : [
"[\"CYHS1301942\", \"CYHS1301942\"]"
],
"date" : [
"[MinKey, MaxKey]"
]
}
}
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "mongo1",
"port" : ,
"version" : "3.0.4",
"gitVersion" : "0481c958daeb2969800511e7475dc66986fa9ed5"
},
"ok" :
}
3.0要是查看更详细的执行计划请看其他2个参数：
zjy:PRIMARY> db.newtask.find({"b":"CYHS1301942"}).explain("allPlansExecution")
{
"queryPlanner" : {
"plannerVersion" : ,
"namespace" : "cde.newtask",
"indexFilterSet" : false,
"parsedQuery" : {
"b" : {
"$eq" : "CYHS1301942"
}
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"b" : ,
"date" :
},
"indexName" : "b_1_date_1",
"isMultiKey" : false,
"direction" : "forward",
"indexBounds" : {
"b" : [
"[\"CYHS1301942\", \"CYHS1301942\"]"
],
"date" : [
"[MinKey, MaxKey]"
]
}
}
},
"rejectedPlans" : [ ]
},
"executionStats" : {
"executionSuccess" : true,
"nReturned" : ,
"executionTimeMillis" : ,
"totalKeysExamined" : ,
"totalDocsExamined" : ,
"executionStages" : {
"stage" : "FETCH",
"nReturned" : ,
"executionTimeMillisEstimate" : ,
"works" : ,
"advanced" : ,
"needTime" : ,
"needFetch" : ,
"saveState" : ,
"restoreState" : ,
"isEOF" : ,
"invalidates" : ,
"docsExamined" : ,
"alreadyHasObj" : ,
"inputStage" : {
"stage" : "IXSCAN",
"nReturned" : ,
"executionTimeMillisEstimate" : ,
"works" : ,
"advanced" : ,
"needTime" : ,
"needFetch" : ,
"saveState" : ,
"restoreState" : ,
"isEOF" : ,
"invalidates" : ,
"keyPattern" : {
"b" : ,
"date" :
},
"indexName" : "b_1_date_1",
"isMultiKey" : false,
"direction" : "forward",
"indexBounds" : {
"b" : [
"[\"CYHS1301942\", \"CYHS1301942\"]"
],
"date" : [
"[MinKey, MaxKey]"
]
},
"keysExamined" : ,
"dupsTested" : ,
"dupsDropped" : ,
"seenInvalidated" : ,
"matchTested" :
}
},
"allPlansExecution" : [ ]
},
"serverInfo" : {
"host" : "mongo1",
"port" : ,
"version" : "3.0.4",
"gitVersion" : "0481c958daeb2969800511e7475dc66986fa9ed5"
},
"ok" :
}
zjy:PRIMARY> db.newtask.find({"b":"CYHS1301942"}).explain("executionStats")
{
"queryPlanner" : {
"plannerVersion" : ,
"namespace" : "cde.newtask",
"indexFilterSet" : false,
"parsedQuery" : {
"b" : {
"$eq" : "CYHS1301942"
}
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"b" : ,
"date" :
},
"indexName" : "b_1_date_1",
"isMultiKey" : false,
"direction" : "forward",
"indexBounds" : {
"b" : [
"[\"CYHS1301942\", \"CYHS1301942\"]"
],
"date" : [
"[MinKey, MaxKey]"
]
}
}
},
"rejectedPlans" : [ ]
},
"executionStats" : {
"executionSuccess" : true,
"nReturned" : ,
"executionTimeMillis" : ,
"totalKeysExamined" : ,
"totalDocsExamined" : ,
"executionStages" : {
"stage" : "FETCH",
"nReturned" : ,
"executionTimeMillisEstimate" : ,
"works" : ,
"advanced" : ,
"needTime" : ,
"needFetch" : ,
"saveState" : ,
"restoreState" : ,
"isEOF" : ,
"invalidates" : ,
"docsExamined" : ,
"alreadyHasObj" : ,
"inputStage" : {
"stage" : "IXSCAN",
"nReturned" : ,
"executionTimeMillisEstimate" : ,
"works" : ,
"advanced" : ,
"needTime" : ,
"needFetch" : ,
"saveState" : ,
"restoreState" : ,
"isEOF" : ,
"invalidates" : ,
"keyPattern" : {
"b" : ,
"date" :
},
"indexName" : "b_1_date_1",
"isMultiKey" : false,
"direction" : "forward",
"indexBounds" : {
"b" : [
"[\"CYHS1301942\", \"CYHS1301942\"]"
],
"date" : [
"[MinKey, MaxKey]"
]
},
"keysExamined" : ,
"dupsTested" : ,
"dupsDropped" : ,
"seenInvalidated" : ,
"matchTested" :
}
}
},
"serverInfo" : {
"host" : "mongo1",
"port" : ,
"version" : "3.0.4",
"gitVersion" : "0481c958daeb2969800511e7475dc66986fa9ed5"
},
"ok" :
}
上面介绍了如何查看执行计划，那么下面介绍下如何管理索引。
索引管理，具体请看[权威指南第5章]
1)查看/显示集合的索引：db.collectionName.getIndexes()或则db.system.indexes.find()
zjy:PRIMARY> db.data.getIndexes()
[
{
"v" : ,
"key" : {
"_id" :
},
"name" : "_id_", #索引名
"ns" : "survey.data" #集合名
},
{
"v" : ,
"unique" : true, #唯一索引
"key" : {
"sid" : ,
"user" :
},
"name" : "sid_1_user_1",
"ns" : "survey.data"
},
{
"v" : ,
"key" : {
"sid" : ,
"cdate" : -
},
"name" : "sid_1_cdate_-1",
"ns" : "survey.data"
},
{
"v" : ,
"key" : {
"sid" : ,
"created" : -
},
"name" : "sid_1_created_-1",
"ns" : "survey.data"
},
{
"v" : ,
"key" : {
"sid" : ,
"user" : ,
"modified" :
},
"name" : "sid_1_user_1_modified_1",
"ns" : "survey.data"
}
]
zjy:PRIMARY> db.system.indexes.find({"ns":"survey.data"})
{ "v" : , "key" : { "_id" : }, "name" : "_id_", "ns" : "survey.data" }
{ "v" : , "unique" : true, "key" : { "sid" : , "user" : }, "name" : "sid_1_user_1", "ns" : "survey.data" }
{ "v" : , "key" : { "sid" : , "cdate" : - }, "name" : "sid_1_cdate_-1", "ns" : "survey.data" }
{ "v" : , "key" : { "sid" : , "created" : - }, "name" : "sid_1_created_-1", "ns" : "survey.data" }
{ "v" : , "key" : { "sid" : , "user" : , "modified" : }, "name" : "sid_1_user_1_modified_1", "ns" : "survey.data" }
2）创建索引：db.collections.ensureIndex({...})
普通索引
zjy:PRIMARY> db.comments.ensureIndex({"name":}) #name字段上创建索引，升序。倒序为-。
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.comments.ensureIndex({"account.name":}) #内嵌文档上创建索引。
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.comments.ensureIndex({"age":},{"name":"idx_name"}) #指定索引名称
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.comments.ensureIndex({"name":,"age":},{"name":"idx_name_age","background":true}) #后台创建复合索引
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.comments.ensureIndex({"name":,"age":},{"name":"uk_name_age","background":true,"unique":true}) #后台创建唯一索引
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.comments.ensureIndex({"name":,"age":},{"unique":true,"dropDups":true,"name":"uk_name_age"}) #删除重复数据创建唯一索引，dropDups在3.0里废弃。
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
哈希索引：hashed
zjy:PRIMARY> db.abc.ensureIndex({"a":"hashed"})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.abc.getIndexes()
[
{
"v" : ,
"key" : {
"_id" :
},
"name" : "_id_",
"ns" : "test.abc"
},
{
"v" : ,
"key" : {
"a" : "hashed"
},
"name" : "a_hashed",
"ns" : "test.abc"
}
]
这里还有2个比较特殊的索引：稀疏索引（sparse）和TTL索引（expireAfterSeconds）
TTL索引是一种特定的数据块，请求赋予时间范围的方式，它指定一个时间点，超过该时间点数据变成无效。
zjy:PRIMARY> db.comments.find()
{ "_id" : ObjectId("55ae6b99313fd7b879b5296c"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:09.651Z") }
{ "_id" : ObjectId("55ae6b9a313fd7b879b5296d"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:10.739Z") }
{ "_id" : ObjectId("55ae6b9b313fd7b879b5296e"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:11.555Z") }
{ "_id" : ObjectId("55ae6b9c313fd7b879b5296f"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:12.267Z") }
{ "_id" : ObjectId("55ae6b9c313fd7b879b52970"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:12.899Z") }
zjy:PRIMARY> db.comments.ensureIndex({"ts":},{expireAfterSeconds:}) #创建TTL索引，过期时间60秒，即60秒时间生成的数据会被删除。
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
zjy:PRIMARY> db.comments.find()
{ "_id" : ObjectId("55ae6b99313fd7b879b5296c"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:09.651Z") }
{ "_id" : ObjectId("55ae6b9a313fd7b879b5296d"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:10.739Z") }
{ "_id" : ObjectId("55ae6b9b313fd7b879b5296e"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:11.555Z") }
{ "_id" : ObjectId("55ae6b9c313fd7b879b5296f"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:12.267Z") }
{ "_id" : ObjectId("55ae6b9c313fd7b879b52970"), "name" : "zhoujy", "age" : , "ts" : ISODate("2015-07-21T15:56:12.899Z") } zjy:PRIMARY> db.comments.getIndexes()
[
{
"v" : ,
"key" : {
"_id" :
},
"name" : "_id_",
"ns" : "test.comments"
},
{
"v" : ,
"key" : {
"ts" :
},
"name" : "ts_1",
"ns" : "test.comments",
"expireAfterSeconds" :
}
] zjy:PRIMARY> db.comments.find() #60秒之后查看，数据已经没有
最后有一类索引是text index 文本索引：更多的信息见 [MongoDB大数据处理权威指南第八章]和这里
测试数据：
db.comments.insert({"name":"abc","mem":"You can create a text index on the field or fields whose value is a string or an array of string elements","ts":new Date()})
db.comments.insert({"name":"def","mem":"When creating a text index on multiple fields, you can specify the individual fields or you can use wildcard specifier ($**)","ts":new Date()})
db.comments.insert({"name":"ghi","mem":"This text index catalogs all string data in the subject field and the content field, where the field value is either a string or an array of string elements.","ts":new Date()})
db.comments.insert({"name":"jkl","mem":"To allow for text search on all fields with string content, use the wildcard specifier ($**) to index all fields that contain string content.","ts":new Date()})
db.comments.insert({"name":"mno","mem":"The following example indexes any string value in the data of every field of every document in collection and names the index TextIndex:","ts":new Date()})
创建:
> db.comments.ensureIndex({"mem":"text"}) #创建text索引
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : ,
"numIndexesAfter" : ,
"ok" :
}
使用：$text 操作符
> db.comments.find({$text:{$search:"specifier"}}).pretty()
{
"_id" : ObjectId("55aee886a782f35b366926ef"),
"name" : "jkl",
"mem" : "To allow for text search on all fields with string content, use the wildcard specifier ($**) to index all fields that contain string content.",
"ts" : ISODate("2015-07-22T00:49:10.350Z")
}
{
"_id" : ObjectId("55aee886a782f35b366926ed"),
"name" : "def",
"mem" : "When creating a text index on multiple fields, you can specify the individual fields or you can use wildcard specifier ($**)",
"ts" : ISODate("2015-07-22T00:49:10.346Z")
}
> db.comments.runCommand("text",{search:"specifier"}) #3.0之前可以使用，之后无效。
{
"results" : [
{
"score" : 0.8653846153846153,
"obj" : {
"_id" : ObjectId("55aee886a782f35b366926ed"),
"name" : "def",
"mem" : "When creating a text index on multiple fields, you can specify the individual fields or you can use wildcard specifier ($**)",
"ts" : ISODate("2015-07-22T00:49:10.346Z")
}
},
{
"score" : 0.5357142857142857,
"obj" : {
"_id" : ObjectId("55aee886a782f35b366926ef"),
"name" : "jkl",
"mem" : "To allow for text search on all fields with string content, use the wildcard specifier ($**) to index all fields that contain string content.",
"ts" : ISODate("2015-07-22T00:49:10.350Z")
}
}
],
"stats" : {
"nscanned" : NumberLong(),
"nscannedObjects" : NumberLong(),
"n" : ,
"timeMicros" :
},
"ok" :
}
上面大致介绍了各类索引的介绍和使用，具体的信息和注意事项可以找官方文档里查看，特别是要注意text和ttl索引的使用。
3）删除索引：dropIndex
zjy:PRIMARY> db.abc.getIndexes() #查看索引
[
{
"v" : ,
"key" : {
"_id" :
},
"name" : "_id_",
"ns" : "test.abc"
},
{
"v" : ,
"key" : { #索引字段
"a" : "hashed"
},
"name" : "a_hashed", #索引名
"ns" : "test.abc"
},
{
"v" : ,
"key" : {
"b" :
},
"name" : "b_1",
"ns" : "test.abc"
},
{
"v" : ,
"key" : {
"c" :
},
"name" : "idx_c",
"ns" : "test.abc"
}
]
zjy:PRIMARY> db.abc.dropIndex({"a" : "hashed"}) #删除索引，指定"key"
{ "nIndexesWas" : , "ok" : }
zjy:PRIMARY> db.abc.dropIndex({"b" : }) #删除索引，指定"key"
{ "nIndexesWas" : , "ok" : }
zjy:PRIMARY> db.abc.dropIndex("idx_c") #删除索引，指定"name"
{ "nIndexesWas" : , "ok" : }
zjy:PRIMARY> db.abc.getIndexes()
[
{
"v" : ,
"key" : {
"_id" :
},
"name" : "_id_",
"ns" : "test.abc"
}
] zjy:PRIMARY> db.abc.dropIndex("*") #删除索引，删除集合的全部索引
{
"nIndexesWas" : ,
"msg" : "non-_id indexes dropped for collection",
"ok" :
}
4）重建索引：索引出现损坏需要重建。reindex
zjy:PRIMARY> db.abc.reIndex() #执行
{
"nIndexesWas" : ,
"nIndexes" : ,
"indexes" : [
{
"key" : {
"_id" :
},
"name" : "_id_",
"ns" : "test.abc"
}
],
"ok" :
}
5）强制使用指定索引。hint
db.abc.find({"c":,"b":}).hint("b_1") #hint里面是"索引字段"或则"索引名"
总结：
索引可以加快检索、排序等操作的效率，但是对于增删改的操作却有一定的开销，所以不要一味的加索引，在必要的字段上加合适的索引才是需要的。更多的信息请参考官方文档。
MongoDB 索引相关知识的更多相关文章
- mongoDB索引相关
参考链接:MongoDB索引管理-索引的创建.查看.删除 索引 db.集合名.ensureIndex({"key":1}) 使用了ensureIndex在name上建立了索引.”1 ...
- MongoDB索引相关文章-摘自网络
索引类型 虽然MongoDB的索引在存储结构上都是一样的,但是根据不同的应用层需求,还是分成了唯一索引(unique).稀疏索引(sparse).多值索引(multikey)等几种类型. 唯一索引 唯 ...
- mysql 索引相关知识
由where 1 =1 引发的思考 最近工作上被说了 说代码中不能用 where 1=1,当时觉得是应该可以用的,但是找不到什么理据, 而且mysql 语句优化这方面确实很薄弱 感觉自己mysql ...
- 【Python五篇慢慢弹（5）】类的继承案例解析，python相关知识延伸
类的继承案例解析,python相关知识延伸 作者:白宁超 2016年10月10日22:36:57 摘要:继<快速上手学python>一文之后,笔者又将python官方文档认真学习下.官方给 ...
- MongoDB的基础知识
本人只是软件开发的一个菜鸟,在学习MongoDB,总结了一点自己学习的知识,监督自己学习. 如果文章中有不足的地方,还请大神指点迷津,纠正改错,谢谢. 一．MongoDB简介 MongoDB是一个基于 ...
- 电路相关知识--读<<继电器是如何成为CPU的>>
电路相关知识–读<<继电器是如何成为CPU的>> */--> *///--> *///--> 电路相关知识–读<<继电器是如何成为CPU的> ...
- HTML入门基础教程相关知识
HTML入门基础教程 html是什么,什么是html通俗解答: html是hypertext markup language的缩写,即超文本标记语言.html是用于创建可从一个平台移植到另一平台的超文 ...
- MongoDB(索引及C#如何操作MongoDB)(转载)
MongoDB(索引及C如何操作MongoDB) 索引总概况 db.test.ensureIndex({"username":1})//创建索引 db.test.ensureInd ...
- Python 数据分析（二 本实验将学习利用 Python 数据聚合与分组运算，时间序列，金融与经济数据应用等相关知识
Python 数据分析(二) 本实验将学习利用 Python 数据聚合与分组运算,时间序列,金融与经济数据应用等相关知识 第1节 groupby 技术 第2节 数据聚合 第3节 分组级运算和转换 第4 ...
随机推荐
- struts2上传文件添加进度条
给文件上传添加进度条,整了两天终于成功了. 想要添加一个上传的进度条,通过分析,应该是需要不断的去访问服务器,询问上传文件的大小.通过已上传文件的大小, 和上传文件的总长度来评估上传的进度. 实现监听 ...
- html中 table的结构 彻底搞清 caption th thead等
正因为有太多 随意 称呼的 教法, 所以 感到很困惑, 如, 很多人把th叫标题. 那人家 caption怎么想, th只是一个跟td一样的角色, 只是对他进行加粗 加黑了而已, 用于某些单元格的内容 ...
- Java字节流：BufferedInputStream BufferedOutputStream
-----------------------------------------------------------------------------------BufferedInputStre ...
- AngularJs基础总结(1.4版本)
注明:现在用的是最新的1系列1.4版本. 一.细节方面入手: 1,ng-app根节点,一般别写在html上面,最多也就写在body就行了,因为我们难免会忘记这个写在哪里,然后复制一些案例代码却总报错. ...
- php缓存技术总结
缓存是指临时文件交换区,电脑把最常用的文件从存储器里提出来临时放在缓存里,就像把工具和材料搬上工作台一样,这样会比用时现去仓库取更方便.因为缓存往往使用的是RAM(断电即掉的非永久储存), ...
- SQL 分组后获取其中一个字段最大值的整条记录
--有id,name,createDate的一张表testTable--根据name分组,获取每组中createDate最大的那条记录(整条)查询出来------------------------- ...
- Jquery实现滚动显示欢迎字幕效果
Jquery控制滚动显示欢迎字幕: 参考代码: <!DOCTYPE html> <html> <head> <title>Colin Marquee W ...
- JS补充
JavaScript JavaScript 使用那些老旧的实例可能会在 <script> 标签中使用 type="text/javascript".现在已经不必这样做了 ...
- mac 下 xampp 多域名 多站点 多虚拟主机 配置
前言:最近用mac工作了,需要搭建个调试前段程序的站点,选了xampp,需求是能同时运行多个站点,多个域名,目录自定义,网上找了好多资料,都感觉有些不符合心意,且复制文确实很多,甚至有些没实践过的在乱 ...
- 如何修改windows远程端口
Windows系统默认远程桌面端口是3389,修改方法: 远程登陆服务器,运行中使用"regedit"命令打开注册表编辑器,依次展开"HKEY_LOCAL_MACHINE ...