python操作MONGODB数据库，提取部分数据再存储

目标：从一个数据库中提取几个集合中的部分数据，组合起来一共一万条。几个集合，不足一千条数据的集合就全部提取，够一千条的就用一万减去不足一千的，再除以大于一千的集合个数，得到的值即为所需提取文档的个数。从每个集合中提取的数据存放到新的对应集合中，新集合名称为原先集合加"_col"。

用到相关技术点：

操作MONGODB：

先通过IP和端口号连接到MONGODB所在的机器，得到一个MONGODB客户端对象，然后认证某个数据库的账号密码连接到该数据库，得到一个该数据库的对象。一个数据库下有很多集合（相当于SQL中的表），集合里数据存储格式是BSON（同JSON）格式，集合中有很多条文档（相当于SQL中的记录）。可以通过数据库对象得到一个集合的对象，通过集合的对象来进行数据库增删改查的操作。

MONGODB操作的函数：

创建数据库：mydb = myclient["runoobdb"]

查看该客户端的所有数据库：dblist = myclient.list_database_names()

判断数据库是否存在：if "runoobdb" in dblist: print("数据库已存在！")

创建集合：mycol = mydb["sites"]

查看该数据库的所有集合：collist = mydb. list_collection_names()

判断集合是否存在：if "sites" in collist:  print("集合已存在！")

插入一个文档：

　　mydict = { "name": "RUNOOB", "alexa": "10000", "url": "https://www.runoob.com" }

　　x = mycol.insert_one(mydict)

　　print(x)

　　输出结果：<pymongo.results.InsertOneResult object at 0x10a34b288>

　　insert_one() 方法返回 InsertOneResult 对象，该对象包含 inserted_id 属性，它是插入文档的 id 值。print(x.inserted_id)。如果我们在插入文档时没有指定 _id，MongoDB 会为每个文档添加一个唯一的 id。

插入多个文档：

　　mylist = [ { "name": "Taobao", "alexa": "100", "url": "https://www.taobao.com" }, { "name": "QQ", "alexa": "101", "url": "https://www.qq.com" }, { "name": "Facebook", "alexa": "10", "url": "https://www.facebook.com" }, { "name": "知乎", "alexa": "103", "url": "https://www.zhihu.com" }, { "name": "Github", "alexa": "109", "url": "https://www.github.com" } ]

　　x = mycol.insert_many(mylist)

　　# 输出插入的所有文档对应的 _id 值

　　print(x.inserted_ids)

插入查询结果文档集：

　　x.insert_many(mycol.find())

查询一条数据：

　　x = mycol.find_one() print(x)

查询集合中所有数据：

　　for x in mycol.find():

　　　　print(x)

查询指定字段：

　　for x in mycol.find({},{ "_id": 0, "name": 1, "alexa": 1 }):　　##0表示该字段不出现，1表示该字段出现。除了_id字段，其他字段数字要一致，即要么都为0要么都为1。

　　　　print(x)

条件查询：

　　等值查询：

　　　　myquery = { "name": "RUNOOB" }

　　　　mydoc = mycol.find(myquery)

　　　　for x in mydoc:

　　　　　　print(x)

　　非等值查询：　　　

　　　　# (>) 大于 - $gt
　　　　# (<) 小于 - $lt
　　　　# (>=) 大于等于 - $gte
　　　　# (<= ) 小于等于 - $lte
　　　　#例：查询集合中age大于25的所有记录
　　　　for i in my_col.find({"age":{"$gt":25}}):
　　　　　　print(i)

正则表达式查询：

　　## 读取 name 字段中第一个字母为 "R" 的数据

　　yquery = { "name": { "$regex": "^R" } }

　　mydoc = mycol.find(myquery)

　　for x in mydoc:

　　　　print(x)

查询指定条数记录：

　　## 返回 3 条文档记录

　　myresult = mycol.find().limit(3)

　　# 输出结果

　　for x in myresult:

　　　　print(x)

查询结果集中第n条记录，及第n条记录某个字段的值：

　　## 查询按照alexa字段倒排后，第三条记录的alexa字段的值

　　condition = col.find().sort("alexa",-1)[3]["alexa"]

　　print(condition)

查询一个集合中总文档个数：

　　num_document = mycol.count_documents({})
　　print(num_document)

按照字段类型条件查找：

　　#找出name的类型是String的
　　for i in my_set.find({'name':{'$type':2}}):
　　　　print(i)

　　‘’‘类型对照列表'''

　　Double 1

　　String 2
　　Object 3
　　Array 4
　　Binary data 5
　　Undefined 6 已废弃
　　Object id 7
　　Boolean 8
　　Date 9
　　Null 10
　　Regular Expression 11
　　JavaScript 13
　　Symbol 14
　　JavaScript (with scope) 15
　　32-bit integer 16
　　Timestamp 17
　　64-bit integer 18
　　Min key 255 Query with -1.
　　Max key 127

limit和skip：

　　#limit()方法用来读取指定数量的数据
　　#skip()方法用来跳过指定数量的数据
　　#下面表示跳过两条数据后读取6条
　　for i in my_set.find().skip(2).limit(6):
　　　　print(i)

IN：

　　#找出age是20、30、35的数据
　　for i in my_set.find({"age":{"$in":(20,30,35)}}):
　　　　print(i)

OR：

　　#找出age是20或35的记录
　　for i in my_set.find({"$or":[{"age":20},{"age":35}]}):
　　　　print(i)

多级路径元素查找：

　　## 先插入一条数据　

　　dic = {"name":"zhangsan",
　　　　"age":18,
　　　　"contact" : {
　　　　　　"email" : "1234567@qq.com",
　　　　　　"iphone" : "11223344"}
　　　　}
　　my_set.insert(dic)

　　#多级目录用. 连接

　　for i in my_set.find({"contact.iphone":"11223344"}):
　　　　print(i)
　　#输出：{'name': 'zhangsan', '_id': ObjectId('58c4f99c4fc9d42e0022c3b6'), 'age': 18, 'contact': {'email': '1234567@qq.com', 'iphone': '11223344'}}

排序：

　　## sort() 方法第一个参数为要排序的字段，第二个字段指定排序规则，1 为升序，-1 为降序，默认为升序。

　　## 对字段 alexa 按降序排序

　　mydoc = mycol.find().sort("alexa",-1)

　　for x in mydoc:

　　　　print(x)

删除一个文档：

　　## delete_one() 方法来删除一个文档，该方法第一个参数为查询对象，指定要删除哪些数据。

　　## 删除 name 字段值为 "Taobao" 的文档

　　myquery = { "name": "Taobao" }

　　mycol.delete_one(myquery)

　　# 删除后输出

　　for x in mycol.find():

　　　　print(x)

删除多个文档：

　　myquery = { "name": {"$regex": "^F"} }

　　x = mycol.delete_many(myquery)

　　print(x.deleted_count, "个文档已删除")

删除集合中所有文档：

　　　## delete_many() 方法如果传入的是一个空的查询对象，则会删除集合中的所有文档

　　x = mycol.delete_many({})

　　print(x.deleted_count, "个文档已删除")

删除集合：

　　mycol = mydb["sites"]

　　mycol.drop()　　## 如果删除成功 drop() 返回 true，如果删除失败(集合不存在)则返回 false

修改一条记录：

　　## update_one() 方法修改文档中的记录。该方法第一个参数为查询的条件，第二个参数为要修改的字段。如果查找到的匹配数据多余一条，则只会修改第一条。

　　myquery = { "alexa": "10000" }

　　newvalues = { "$set": { "alexa": "12345" } }

　　mycol.update_one(myquery, newvalues)

　　# 输出修改后的 "sites" 集合

　　for x in mycol.find():

　　　　print(x)

修改多条记录：

　　## 将查找所有以 F 开头的 name 字段，并将匹配到所有记录的 alexa 字段修改为 123

　　myquery = { "name": { "$regex": "^F" } }

　　newvalues = { "$set": { "alexa": "123" } }
　　x = mycol.update_many(myquery, newvalues)
　　print(x.modified_count, "文档已修改")

config.py

## 数据库URL
MONGO_URL = 'mongodb://123.456.789.123:27017/'
## 数据库名称
MONGO_DB = 'hellodb'

mongodb_extract.py

#导入存储MONGODB数据库的配置信息
from config import *
import pymongo

## 定义一个mongodb客户端
client = pymongo.MongoClient(MONGO_URL)
## 连接数据库,账号密码认证
db = client[MONGO_DB]
db.authenticate("username", "password")

'''问题：此函数得到的平均数，可能有的集合文档数目达不到。或者说可以按照每个集合比例数目提取数据'''

def average_num():
    '''返回一个不大于1000个文档的集合，所需提取文档的个数列表。使得所要提取的几个集合所有提取文档个数为10000。'''
    ## 所有不大于1000的集合中的文档个数之和
    count = 0
    ## 不大于1000的集合个数
    i = 0
    ## 大于1000的集合所需提取文档的个数的列表
    extract_num = []
    for collection in db.list_collection_names():
        if "_col" not in collection:
            col = db[collection]
            num_document = col.count_documents({})
            print(num_document)
            if num_document <= 1000:
                count += num_document
            else:
                i += 1
    ## （10000-所有<1000的集合的文档之和）/大于1000的集合个数，取整数
    average = int((10000 - count) / i)
    ## （10000-所有<1000的集合的文档之和）% 大于1000的集合个数，求余
    remainder = (10000 - count) % i
    for j in range(i-1):
        extract_num.append(average)
    extract_num.append(average + remainder)
    return extract_num

def extract_data():
    '''取出所有数据'''
    extract_num_list = average_num()
    for collection in db.list_collection_names():
        ## 几个集合的名称，每个类一个集合
        col = db[collection]
        ## 每个集合的文档个数
        num_document = col.count_documents({})
        if num_document <= 1000:
            ## 如果一个集合中文档数量不超过1000，全部提取存储
            db[collection + "_col"].insert_many(col.find({},{"infoId":0,"update_author":0,"Customs":0,"Customs_branch":0}))
        else:
            ## 如果集合文档大于1000，则提取根据日期排序最新的指定个数文档
            ## 指定数量文档为止的约束日期
            condition = col.find().sort("report_time",-1)[extract_num_list.pop()]["report_time"]
            ## 将大于约束日期的数据提取并存储
            db[collection + "_col"].insert_many(col.find({"report_time":{"$gte":condition}},{"infoId":0,"update_author":0,"Customs":0,"Customs_branch":0}))

def main():
    extract_data()

if __name__ == '__main__':
    main()

write_data.py
'''将提取后的数据集合分别写到对应的.json文件中'''

#导入存储MONGODB数据库的配置信息
from config import *
import pymongo
import json

## 定义一个mongodb客户端
client = pymongo.MongoClient(MONGO_URL)
## 连接数据库,账号密码认证
db = client[MONGO_DB]
db.authenticate("username", "password")

for collection in db.list_collection_names():
    if "_col" in collection:
        col = db[collection]
        with open(collection[:-4] + '.json', 'a', encoding='utf-8') as f:　　## a表示文件可追加，编码utf-8防止中文乱码
            for data in col.find():
　　　　　　　　　　#f.write(str(data) + '\n') ## str()写可以写入文件，但是写到文件中的每条数据不是json格式，而是字符串格式，json.dumps()写入的是json格式文件，也只有json格式文件才可用MONGODB客户端导入数据库。

                f.write(json.dumps(data,ensure_ascii=False) + '\n')　　## json.dumps()得到的数据默认是ascii编码，这里ensure_ascii=False不让它编码为ascii格式。

        f.close()

参考：http://www.runoob.com/python3/python-mongodb.html
　　  https://www.cnblogs.com/melonjiang/p/6536876.html