一。mongodb

  mongodb是一个面向文档的数据库,而不是关系型数据库。不采用关系型是为了获得更好的扩展性。

  它与mysql的区别在于它没有表连接,但是可以通过其他办法实现。

  安装数据库。

  上官网下载社区版,并且使用robt。

  有错误参考博客https://www.cnblogs.com/TM0831/p/10606624.html  

  该数据库自带id,如果没有输入id就自动生成。

  数据库相关操作:

#1、增
use config #如果数据库不存在,则创建数据库,否则切换到指定数据库。 #2、查
show dbs #查看所有
可以看到,我们刚创建的数据库config并不在数据库的列表中, 要显示它,我们需要向config数据库插入一些数据。
db.table1.insert({'a':1}) #3、删
use config #先切换到要删的库下
db.dropDatabase() #删除当前库

  集合操作。

  集合就是一个文档插入的时候,集合就被创建。相当于数据库中的表:

#1、增
当第一个文档插入时,集合就会被创建
> use database1
switched to db database1
> db.table1.insert({'a':1})
WriteResult({ "nInserted" : 1 })
> db.table2.insert({'b':2})
WriteResult({ "nInserted" : 1 }) #2、查
> show tables
table1
table2 #3、删
> db.table1.drop()
true
> show tables
table

  3.文档操作。

  文档相当于字段。阻断可以多插入,也可以单插入:

#1、没有指定_id则默认ObjectId,_id不能重复,且在插入后不可变

#2、插入单条
user0={
"name":"egon",
"age":10,
'hobbies':['music','read','dancing'],
'addr':{
'country':'China',
'city':'BJ'
}
} db.test.insert(user0)
db.test.find() #3、插入多条
user1={
"_id":1,
"name":"alex",
"age":10,
'hobbies':['music','read','dancing'],
'addr':{
'country':'China',
'city':'weifang'
}
} user2={
"_id":2,
"name":"wupeiqi",
"age":20,
'hobbies':['music','read','run'],
'addr':{
'country':'China',
'city':'hebei'
}
} user3={
"_id":3,
"name":"yuanhao",
"age":30,
'hobbies':['music','drink'],
'addr':{
'country':'China',
'city':'heibei'
}
} user4={
"_id":4,
"name":"jingliyang",
"age":40,
'hobbies':['music','read','dancing','tea'],
'addr':{
'country':'China',
'city':'BJ'
}
} user5={
"_id":5,
"name":"jinxin",
"age":50,
'hobbies':['music','read',],
'addr':{
'country':'China',
'city':'henan'
}
}
db.user.insertMany([user1,user2,user3,user4,user5]) 单条插入与多条插入

  数据库的查操作:

  普通查询只需要使用find,加上一些关键符号即可:

# SQL:=,!=,>,<,>=,<=
# MongoDB:{key:value}代表什么等于什么,"$ne","$gt","$lt","gte","lte",其中"$ne"能用于所有数据类型 #1、select * from db1.user where name = "alex";
db.user.find({'name':'alex'}) #2、select * from db1.user where name != "alex";
db.user.find({'name':{"$ne":'alex'}}) #3、select * from db1.user where id > 2;
db.user.find({'_id':{'$gt':2}}) #4、select * from db1.user where id < 3;
db.user.find({'_id':{'$lt':3}}) #5、select * from db1.user where id >= 2;
db.user.find({"_id":{"$gte":2,}}) #6、select * from db1.user where id <= 2;
db.user.find({"_id":{"$lte":2}})

  2.逻辑运算。

  当一些数据中需要联合字段查询的时候,就需要使用$or,$not,$mod等。

  mod代表模第一个数,等于第二个数的数据。

# SQL:and,or,not
# MongoDB:字典中逗号分隔的多个条件是and关系,"$or"的条件放到[]内,"$not" #1、select * from db1.user where id >= 2 and id < 4;
db.user.find({'_id':{"$gte":2,"$lt":4}}) #2、select * from db1.user where id >= 2 and age < 40;
db.user.find({"_id":{"$gte":2},"age":{"$lt":40}}) #3、select * from db1.user where id >= 5 or name = "alex";
db.user.find({
"$or":[
{'_id':{"$gte":5}},
{"name":"alex"}
]
}) #4、select * from db1.user where id % 2=1;
db.user.find({'_id':{"$mod":[2,1]}}) #5、上题,取反
db.user.find({'_id':{"$not":{"$mod":[2,1]}}})

  3.成员运算。

  成员运算就是某些字段中的数据包括这个集合都遍历出来。

# SQL:in,not in
# MongoDB:"$in","$nin" #1、select * from db1.user where age in (20,30,31);
db.user.find({"age":{"$in":[20,30,31]}}) #2、select * from db1.user where name not in ('alex','yuanhao');
db.user.find({"name":{"$nin":['alex','yuanhao']}})

  4.正则匹配

  使用正则匹配字段:

# SQL: regexp 正则
# MongoDB: /正则表达/i #1、select * from db1.user where name regexp '^j.*?(g|n)$';
db.user.find({'name':/^j.*?(g|n)$/i})

  5.取出指定字段:

#1、select name,age from db1.user where id=3;
db.user.find({'_id':3},{'_id':0,'name':1,'age':1})

  6.查询数组

  当有些字段是数组或者字段时,使用下面方法:

#1、查看有dancing爱好的人
db.user.find({'hobbies':'dancing'}) #2、查看既有dancing爱好又有tea爱好的人
db.user.find({
'hobbies':{
"$all":['dancing','tea']
}
}) #3、查看第4个爱好为tea的人
db.user.find({"hobbies.3":'tea'}) #4、查看所有人最后两个爱好
db.user.find({},{'hobbies':{"$slice":-2},"age":0,"_id":0,"name":0,"addr":0}) #5、查看所有人的第2个到第3个爱好
db.user.find({},{'hobbies':{"$slice":[1,2]},"age":0,"_id":0,"name":0,"addr":0}) > db.blog.find().pretty()
{
"_id" : 1,
"name" : "alex意外死亡的真相",
"comments" : [
{
"name" : "egon",
"content" : "alex是谁???",
"thumb" : 200
},
{
"name" : "wxx",
"content" : "我去,真的假的",
"thumb" : 300
},
{
"name" : "yxx",
"content" : "吃喝嫖赌抽,欠下两个亿",
"thumb" : 40
},
{
"name" : "egon",
"content" : "xxx",
"thumb" : 0
}
]
}
db.blog.find({},{'comments':{"$slice":-2}}).pretty() #查询最后两个
db.blog.find({},{'comments':{"$slice":[1,2]}}).pretty() #查询1到2

  7.排序

# 排序:--1代表升序,-1代表降序
db.user.find().sort({"name":1,})
db.user.find().sort({"age":-1,'_id':1})

  8.分页:

# 分页:--limit代表取多少个document,skip代表跳过前多少个document。
db.user.find().sort({'age':1}).limit(1).skip(2)

  9.获取数量(计数)

# 获取数量
db.user.count({'age':{"$gt":30}}) --或者
db.user.find({'age':{"$gt":30}}).count()

  10.使用null作为值查询

#1、{'key':null} 匹配key的值为null或者没有这个key
db.t2.insert({'a':10,'b':111})
db.t2.insert({'a':20})
db.t2.insert({'b':null}) > db.t2.find({"b":null})
{ "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 }
{ "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null } #2、查找所有
db.user.find() #等同于db.user.find({})
db.user.find().pretty() #3、查找一个,与find用法一致,只是只取匹配成功的第一个
db.user.findOne({"_id":{"$gt":3}})

  修改。

  修改分为覆盖式和不覆盖式的。

update() 方法用于更新已存在的文档。语法格式如下:
db.collection.update(
<query>,
<update>,
{
upsert: <boolean>,
multi: <boolean>,
writeConcern: <document>
}
)
参数说明:对比update db1.t1 set name='EGON',sex='Male' where name='egon' and age=18; query : 相当于where条件。
update : update的对象和一些更新的操作符(如$,$inc...等,相当于set后面的
upsert : 可选,默认为false,代表如果不存在update的记录不更新也不插入,设置为true代表插入。
multi : 可选,默认为false,代表只更新找到的第一条记录,设为true,代表更新找到的全部记录。
writeConcern :可选,抛出异常的级别。 更新操作是不可分割的:若两个更新同时发送,先到达服务器的先执行,然后执行另外一个,不会破坏文档。
#注意:除非是删除,否则_id是始终不会变的
#1、覆盖式:
db.user.update({'age':20},{"name":"Wxx","hobbies_count":3})
是用{"_id":2,"name":"Wxx","hobbies_count":3}覆盖原来的记录 #2、一种最简单的更新就是用一个新的文档完全替换匹配的文档。这适用于大规模式迁移的情况。例如
var obj=db.user.findOne({"_id":2}) obj.username=obj.name+'SB'
obj.hobbies_count++
delete obj.age db.user.update({"_id":2},obj)

覆盖式

  设置set的值可以非覆盖地修改数据:

#设置:$set

通常文档只会有一部分需要更新。可以使用原子性的更新修改器,指定对文档中的某些字段进行更新。
更新修改器是种特殊的键,用来指定复杂的更新操作,比如修改、增加后者删除 #1、update db1.user set name="WXX" where id = 2
db.user.update({'_id':2},{"$set":{"name":"WXX",}}) #2、没有匹配成功则新增一条{"upsert":true}
db.user.update({'_id':6},{"$set":{"name":"egon","age":18}},{"upsert":true}) #3、默认只改匹配成功的第一条,{"multi":改多条}
db.user.update({'_id':{"$gt":4}},{"$set":{"age":28}})
db.user.update({'_id':{"$gt":4}},{"$set":{"age":38}},{"multi":true}) #4、修改内嵌文档,把名字为alex的人所在的地址国家改成Japan
db.user.update({'name':"alex"},{"$set":{"addr.country":"Japan"}}) #5、把名字为alex的人的地2个爱好改成piao
db.user.update({'name':"alex"},{"$set":{"hobbies.1":"piao"}}) #6、删除alex的爱好,$unset
db.user.update({'name':"alex"},{"$unset":{"hobbies":""}})

  使用inc可以讲数据增加和减少值:

#增加和减少:$inc

#1、所有人年龄增加一岁
db.user.update({},
{
"$inc":{"age":1}
},
{
"multi":true
}
)
#2、所有人年龄减少5岁
db.user.update({},
{
"$inc":{"age":-5}
},
{
"multi":true
}
)

  在字段中 的数组中也可以添加或删除一些数据:

#添加删除数组内元素

往数组内添加元素:$push
#1、为名字为yuanhao的人添加一个爱好read
db.user.update({"name":"yuanhao"},{"$push":{"hobbies":"read"}}) #2、为名字为yuanhao的人一次添加多个爱好tea,dancing
db.user.update({"name":"yuanhao"},{"$push":{
"hobbies":{"$each":["tea","dancing"]}
}}) 按照位置且只能从开头或结尾删除元素:$pop
#3、{"$pop":{"key":1}} 从数组末尾删除一个元素 db.user.update({"name":"yuanhao"},{"$pop":{
"hobbies":1}
}) #4、{"$pop":{"key":-1}} 从头部删除
db.user.update({"name":"yuanhao"},{"$pop":{
"hobbies":-1}
}) #5、按照条件删除元素,:"$pull" 把符合条件的统统删掉,而$pop只能从两端删
db.user.update({'addr.country':"China"},{"$pull":{
"hobbies":"read"}
},
{
"multi":true
}
)

  使用addToset可以避免重复添加:

db.urls.insert({"_id":1,"urls":[]})

db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}}) db.urls.update({"_id":1},{
"$addToSet":{
"urls":{
"$each":[
'http://www.baidu.com',
'http://www.baidu.com',
'http://www.xxxx.com'
]
}
}
}
)

  添加一个数组的最后几个数据slice

#1、了解:限制大小"$slice",只留最后n个

db.user.update({"_id":5},{
"$push":{"hobbies":{
"$each":["read",'music','dancing'],
"$slice":-2
}
}
}) #2、了解:排序The $sort element value must be either 1 or -1"
db.user.update({"_id":5},{
"$push":{"hobbies":{
"$each":["read",'music','dancing'],
"$slice":-1,
"$sort":-1
}
}
}) #注意:不能只将"$slice"或者"$sort"与"$push"配合使用,且必须使用"$eah"

  删除操作:

#1、删除多个中的第一个
db.user.deleteOne({ 'age': 8 }) #2、删除国家为China的全部
db.user.deleteMany( {'addr.country': 'China'} ) #3、删除全部
db.user.deleteMany({})

  聚合函数的使用

 准备数据
 筛选:$match
 投射:$project
 分组:$group
 排序:sort、限制:sort、限制:limit、跳过:$skip
 随机选取n个:$sample

  pymongo的使用 

  首先需要下载:

pip install pymongo

  使用方法和mysql差不多

#用python操作mongodb
from pymongo import MongoClient #1、链接
# client=MongoClient('mongodb://root:123@localhost:27017/')
client = MongoClient('localhost', 27017) #2、use 数据库
# db=client['db2'] #等同于:client.db1
db=client.test #3、查看库下所有的集合
# print(db.collection_names(include_system_collections=False))#4、创建集合
table_user=db['table1'] #等同于:db.user
# table1=db.table1
# #5、插入文档
# import datetime
# user0={
# "_id":1,
# "name":"egon",
# "birth":datetime.datetime.now(),
# "age":10,
# 'hobbies':['music','read','dancing'],
# 'addr':{
# 'country':'China',
# 'city':'BJ'
# }
# }
#
# user1={
# "_id":2,
# "name":"alex",
# "birth":datetime.datetime.now(),
# "age":10,
# 'hobbies':['music','read','dancing'],
# 'addr':{
# 'country':'China',
# 'city':'weifang'
# }
# }
# res=table_user.insert_many([user0,user1])
# res=table_user.insert_many
# print(res)
# print(table_user.count()) #6、查找 # from pprint import pprint#格式化细
# pprint(table_user.find_one())
# for item in table_user.find():
# pprint(item) print(table_user.find_one({"_id":{"$gte":1},"name":'egon'}))
table_user.find() #7、更新
table_user.update({'_id':1},{'name':'EGON'}) #8、传入新的文档替换旧的文档
table_user.save(
{
"_id":2,
"name":'egon_xxx'
}
)

二。scrapy框架

  运行流程。

  1.spiders获取request对象进行爬取,爬取到的信息转交个引擎engine。

  2.引擎拿到数据发送个中转站scheduier进行判断数据。

  3.讲数据发送个对应的模块,request请求发送给下载,item发送存储。

  4.下载到资源的数据经过引擎返回到spiders进行展示。

  5.将下载的数据通过item保存。

  项目架构分析:

-scrapy
-安装
-pip3 install scrapy
-先装Twisted
-装pywin32
-新建项目
-scrapy startproject 项目名字
-新建爬虫
-scrapy genspider 爬虫名 爬取的域名
-项目目录介绍
-spiders
-所有的爬虫程序
-items.py
-类似于django的model类
-middlewares.py
-中间件
-pipelines.py
-持久化相关
-settings.py
-配置文件
-scrapy.cfg
-部署相关
-运行爬虫
-scrapy crawl cnblogs --nolog -爬取数据 //*[@id="post_list"]/div[1]

  这个项目的入口就是:

    def start_requests(self):
cls = self.__class__
if method_is_overridden(cls, Spider, 'make_requests_from_url'):
warnings.warn(
"Spider.make_requests_from_url method is deprecated; it "
"won't be called in future Scrapy releases. Please "
"override Spider.start_requests method instead (see %s.%s)." % (
cls.__module__, cls.__name__
),
)
for url in self.start_urls:
yield self.make_requests_from_url(url)
else:
for url in self.start_urls:
yield Request(url, dont_filter=True)

  不断循环的从函数parse中获取request请求,并返回个各个模块。

示例:

# -*- coding: utf-8 -*-
import scrapy
from scrapy import Request class CnblogsSpider(scrapy.Spider):
name = 'cnblogs'
allowed_domains = ['cnblogs.com']
start_urls = ['http://cnblogs.com/'] def parse_detail(self,response):
print(len(response.text)) def parse(self,response):
print(response.text)
div_list = response.css('.post_item')
for i in div_list:
url = i.css('.post_item_body a::attr(href)').extract_first()
print(url)
yield Request(url,callback=self.parse_detail)
next_url = response.css('.pager a:last-child::attr(href)').extract_first()
print('https://www.cnblogs.com' + next_url)
yield Request('https://www.cnblogs.com' + next_url)

  

 准备数据
 筛选:$match
 投射:$project
 分组:$group
 排序:sort、限制:sort、限制:limit、跳过:$skip
 随机选取n个:$sample

day96_11_28 mongoDB与scrapy框架的更多相关文章

  1. scrapy框架的另一种分页处理以及mongodb的持久化储存以及from_crawler类方法的使用

    一.scrapy框架处理 1.分页处理 以爬取亚马逊为例 爬虫文件.py # -*- coding: utf-8 -*- import scrapy from Amazon.items import ...

  2. Python爬虫进阶(Scrapy框架爬虫)

    准备工作:           配置环境问题什么的我昨天已经写了,那么今天直接安装三个库                        首先第一步:                           ...

  3. Python使用Scrapy框架爬取数据存入CSV文件(Python爬虫实战4)

    1. Scrapy框架 Scrapy是python下实现爬虫功能的框架,能够将数据解析.数据处理.数据存储合为一体功能的爬虫框架. 2. Scrapy安装 1. 安装依赖包 yum install g ...

  4. 爬虫基础(五)-----scrapy框架简介

    ---------------------------------------------------摆脱穷人思维 <五> :拓展自己的视野,适当做一些眼前''无用''的事情,防止进入只关 ...

  5. Scrapy框架-----爬虫

    说明:文章是本人读了崔庆才的Python3---网络爬虫开发实战,做的简单整理,希望能帮助正在学习的小伙伴~~ 1. 准备工作: 安装Scrapy框架.MongoDB和PyMongo库,如果没有安装, ...

  6. Scrapy 框架 安装 五大核心组件 settings 配置 管道存储

    scrapy 框架的使用 博客: https://www.cnblogs.com/bobo-zhang/p/10561617.html 安装: pip install wheel 下载 Twisted ...

  7. scrapy框架使用教程

    scrapy框架真的是很强大.非常值得学习一下.本身py就追求简洁,所以本身代码量很少却能写出很强大的功能.对比java来说.不过py的语法有些操蛋,比如没有智能提示.动态语言的通病.我也刚学习不到1 ...

  8. Python项目--Scrapy框架(二)

    本文主要是利用scrapy框架爬取果壳问答中热门问答, 精彩问答的相关信息 环境 win8, python3.7, pycharm 正文 1. 创建scrapy项目文件 在cmd命令行中任意目录下执行 ...

  9. Python项目--Scrapy框架(一)

    环境 win8, python3.7, pycharm 正文 1.Scrapy框架的安装 在cmd命令行窗口执行: pip install Scrapy 即可完成Scrapy框架的安装 2. 创建Sc ...

随机推荐

  1. 介绍一款自己实现的rabbit轻量级组件和使用方法

    DotNetCore.RabbitMQ.Extensions介绍 这是一个 基于.NETStandard 2.0的Rabbit轻量级框架,可以让开发人员无需关注底层变动,专注编写业务代码,从而达到便捷 ...

  2. Day 06 流程控制和爬虫基础2

    目录 if 判断 单分支结构 双分支结构 多分支结构 for循环 for循环的基本用法 for循环嵌套 break continue 爬虫基础2 爬取豆瓣TOP250 爬取豆瓣数据接口(异步数据) 爬 ...

  3. 【Vuejs】335-(超全) Vue 项目性能优化实践指南

    点击上方"前端自习课"关注,学习起来~ 前言 Vue 框架通过数据双向绑定和虚拟 DOM 技术,帮我们处理了前端开发中最脏最累的 DOM 操作部分, 我们不再需要去考虑如何操作 D ...

  4. 【Seleniuem】selenium.common.exceptions.InvalidSelectorException

    selenium.common.exceptions.InvalidSelectorException: Message: invalid selector: An invalid or illega ...

  5. JS内置对象-Array之indexOf和lastIndexOf

    indexOf() var num = [1, 7, 2, 3, 4, 7, 9] var pos = num.indexOf(7) var pos1 = num.indexOf(7, 2) cons ...

  6. CCF-CSP题解 201709-3 JSON查询

    要求写一个小程序完成JSON查询的功能. 查询dfs就好了. 存储JSON对象用图(树)就好,把\(<key[],type,val[]>\)作为节点,然后又是字符串处理了. 其实就是个简化 ...

  7. mysql统计天、周、月、季度、半年、年

    之前在网上搜索按时间统计,发现不是很全 ,接着别人的思路进行延伸下, mysql统计天.周.月.季度.半年.年 前期工作创建辅助表 CREATE TABLE num (i INT); ),(),(), ...

  8. keras实现mnist手写数字数据集的训练

    网络:两层卷积,两层全连接,一层softmax 代码: import numpy as np from keras.utils import to_categorical from keras imp ...

  9. 创建基于ASP.NET core 3.1 的RazorPagesMovie项目(二)-应用模型类配合基架生成工具生成Razor页面

    本节中,将学习添加用于管理跨平台的SQLLite数据库中的电影的类Movie.从ASP.NET core 模板创建的应用使用SQLLite数据库. 应用模型类(Movie)配合Entity Frame ...

  10. .Net中WebService的Demo示例

    一.创建一个Web服务 1.新建一个项目WebserverDemo 2.在项目处添加新建项,添加一个web服务 3.编辑TestServer.asmx文件 3.1 TestServer.asmx默认的 ...