1.准备工作: 1.1安装requests: cmd >> pip install requests 1.2 安装lxml: cmd >>  pip install lxml 1.3安装wheel: cmd >>  pip install wheel 1.4 安装xlwt: cmd >> pip install xlwt 1.5 安装pymongo: cmd >> pip install pymongo 完整代码 import requests…

断网了2天  今天补上     聚合操作: 对文档的信息进行整理统计的操作 返回:统计后的文档集合 db.collection.aggregate() 功能:聚合函数,完成聚合操作 参数:聚合条件,配合聚合操作符使用 返回:聚合后的结果   常用聚合操作符: 1.$group  分组聚合   要配合具体的统计操作符获取结果   $sum  求和 db.class1.aggregate({$group:{_id:'$gender',num:{$sum:1}}})      分组   按照gende…

什么是关系型数据库?           是建立在关系数据库模型基础上的数据库,借助于集合代数等概念和方法来处理数据库中的数据,             同时也是一个被组织成一组拥有正式描述性的表格(二维表),该形式的表格作用的实                            质是装载着数据项的特殊收集体,这些表格中的数据能以许多不同的方式被存             取或重新召集而不需要重新组织数据库表格(即表与表之间的联系).   nosql和关系型数据库比较?    优点:   …

1 概述 1.1 文件管理阶段 优点:可以长期保存 能存储大量数据 缺点:没有结构化的组织 查找不方便 数据容易冗余 1.2 数据库管理阶段 有文件存储的优点,同时解决了文件存储的问题 缺点 : 操作难度较高 数据 --> 数据库 --> 数据库管理系统 --> 数据库系统 2 数据库分类 2.1 关系型数据库 采用关系磨性来组织数据结构的数据库 常见数据库形式有:Oracle DB2  SQLServer  Mysql  sqlite 优点: (1)容易理解,使用方便,sql语句本身比…

Python 要连接 MongoDB 需要 MongoDB 驱动,这里我们使用 PyMongo 驱动来连接. pip 安装: pip3 install pymongo 引入库: import pymongo 连接至MongoDB: myclient = pymongo.MongoClient("mongodb://localhost:27017/") 创建一个数据库: mydb = myclient["mydb"] 注意: 在 MongoDB 中,数据库只有在内容插…

#!/usr/bin/env python import os,sys list = [] for i in range(3,50): l = os.popen("/bin/echo 'show collections'| /usr/local/mongodb/mongodb/bin/mongo 127.0.0.1:27103/数据库名|sed -n '%sp'" %i) #获取数据库的集合列表 l = l.read() if l != "": list.appen…

抓取大众点评首页左侧信息,如图: 我们要实现把中文名字都存到mongodb,而每个链接存入redis数据库. 因为将数据存到mongodb时每一个信息都会有一个对应的id,那样就方便我们存入redis可以不出错. # -*- coding: utf-8 -*- import re from urllib.request import urlopen from urllib.request import Request from bs4 import BeautifulSoup from lxml…

参考link: https://blog.csdn.net/qq_35958094/article/details/78462800(插入相关) https://www.cnblogs.com/hyace/p/4173831.html(效率相关) 最近自己参考上面的link写了一个批量插入数据库的小脚本,记录一下,附上代码: #!/usr/bin/python# -*- coding:utf-8 -*- import pymysql class InsertData(): def __init_…

最近又一点时间,开始使用mongodb存储json模型文件,然后可以实现模型文件的在线编辑和管理.今天上午实现了json文件入库的代码,如下: var fs=require("fs"); var MongoClient = require('mongodb').MongoClient; var dbName="tbobjects"; var url = "mongodb://localhost:27017/"+dbName; MongoClien…

修改操作符的使用   $set 修改一个域的值,增加一个域   阿哲年龄修改为33 db.class1.update({name:'阿哲'},{$set:{age:33}})   如果sex域不存在则会添加这个域 db.class1.update({name:'阿蓉'},{$set:{sex:'w'}})   $unset 删除一个域   删除sex域 db.class1.update({name:'小陈'},{$unset:{sex:''}})   * 每个操作符可以同时操作多项 db.cla…