python爬虫#数据存储#JSON/CSV/MYSQL/MongoDB/

Json数据处理

JSON支持数据格式：

对象（字典）。使用花括号。
数组（列表）。使用方括号。
整形、浮点型、布尔类型还有null类型。
字符串类型（字符串必须要用双引号，不能用单引号）。
多个数据之间使用逗号分开。
注意：json本质上就是一个字符串。

字典和列表转JSON：

import json

books = [
{
'title': '钢铁是怎样练成的',
'price': 9.8
},
{
'title': '红楼梦',
'price': 9.9
}
]

json_str = json.dumps(books,ensure_ascii=False)
print(json_str)

因为json在dump的时候，只能存放ascii的字符，因此会将中文进行转义，这时候我们可以使用ensure_ascii=False关闭这个特性。

在Python中。只有基本数据类型才能转换成JSON格式的字符串。也即：int、float、str、list、dict、tuple。

将json数据直接dump到文件中：

json模块中除了dumps函数，还有一个dump函数，这个函数可以传入一个文件指针，直接将字符串dump到文件中。

books = [
{
'title': '钢铁是怎样练成的',
'price': 9.8
},
{
'title': '红楼梦',
'price': 9.9
}
]
with open('a.json','w') as fp:
json.dump(books,fp)

将一个json字符串load成Python对象：

json_str = '[{"title": "钢铁是怎样练成的", "price": 9.8}, {"title": "红楼梦", "price": 9.9}]'
books = json.loads(json_str,encoding='utf-8')
print(type(books))
print(books)

直接从文件中读取json：

import json
with open('a.json','r',encoding='utf-8') as fp:
json_str = json.load(fp)
print(json_str)

csv文件处理

读取csv文件：

import csv

with open('stock.csv','r') as fp:
reader = csv.reader(fp)
titles = next(reader)
for x in reader:
print(x)

这样操作，以后获取数据的时候，就要通过下表来获取数据。如果想要在获取数据的时候通过标题来获取。那么可以使用DictReader

import csv

with open('stock.csv','r') as fp:
reader = csv.DictReader(fp)
for x in reader:
print(x['turnoverVol'])

写入数据到csv文件：

写入数据到csv文件，需要创建一个writer对象，主要用到两个方法。一个是writerow，这个是写入一行。一个是writerows，这个是写入多行

import csv

headers = ['name','age','classroom']
values = [
('zhiliao',18,'111'),
('wena',20,'222'),
('bbc',21,'111')
]
with open('test.csv','w',newline='') as fp:
writer = csv.writer(fp)
writer.writerow(headers)
writer.writerows(values)

也可以使用字典的方式把数据写入进去。这时候就需要使用DictWriter

import csv

headers = ['name','age','classroom']
values = [
{"name":'wenn',"age":20,"classroom":'222'},
{"name":'abc',"age":30,"classroom":'333'}
]
with open('test.csv','w',newline='') as fp:
writer = csv.DictWriter(fp,headers)
writer = csv.writeheader()
writer.writerow({'name':'zhiliao',"age":18,"classroom":'111'})
writer.writerows(values)

MySQL处理数据

安装驱动程序：

Python要想操作MySQL。必须要有一个中间件，或者叫做驱动程序。驱动程序有很多。比如有mysqldb、mysqlclient、pymysql等。在这里，我们选择用pymysql。安装方式也是非常简单，通过命令pip install pymysql即可安装。

数据库连接：

数据库连接之前。首先先确认以下工作完成，这里我们以一个pymysql_test数据库.以下将介绍连接mysql的示例代码：

import pymysql

db = pymysql.connect(
host="127.0.0.1",
user='root',
password='root',
database='pymysql_test',
port=3306
)
cursor = db.cursor()
cursor.execute("select 1")
data = cursor.fetchone()
print(data)
db.close()

插入数据：

import pymysql

db = pymysql.connect(
host="127.0.0.1",
user='root',
password='root',
database='pymysql_test',
port=3306
)
cursor = db.cursor()
sql = """
insert into user(
id,username,gender,age,password
)
values(null,'abc',1,18,'111111');
"""
cursor.execute(sql)
db.commit()
db.close()

如果在数据还不能保证的情况下，可以使用以下方式来插入数据：

sql = """
insert into user(
id,username,gender,age,password
)
values(null,%s,%s,%s,%s);
"""

cursor.execute(sql,('spider',1,20,'222222'))

查找数据：

使用pymysql查询数据。可以使用fetch*方法。

fetchone()：这个方法每次之获取一条数据。
fetchall()：这个方法接收全部的返回结果。
fetchmany(size)：可以获取指定条数的数据。

cursor = db.cursor()

sql = """
select * from user
"""

cursor.execute(sql)
while True:
result = cursor.fetchone()
if not result:
break
print(result)
db.close()

或者是直接使用fetchall，一次性可以把所有满足条件的数据都取出来：

cursor = db.cursor()

sql = """
select * from user
"""

cursor.execute(sql)
results = cursor.fetchall()
for result in results:
print(result)
db.close()

或者是使用fetchmany，指定获取多少条数据：

cursor = db.cursor()

sql = """
select * from user
"""

cursor.execute(sql)
results = cursor.fetchmany(1)
for result in results:
print(result)
db.close()

删除数据：

cursor = db.cursor()

sql = """
delete from user where id=1
"""

cursor.execute(sql)
db.commit()
db.close()

更新数据：

conn = pymysql.connect(host='localhost',user='root',password='root',database='pymysql_demo',port=3306)
cursor = conn.cursor()

sql = """
update user set username='aaa' where id=1
"""
cursor.execute(sql)
conn.commit()

conn.close()

MongoDB

将MongoDB制作成windows服务：

启动mongodb后，如果想让mongodb一直运行，那么这个终端便不能关闭，而且每次运行的时候还需要指定data的路径。因此我们可以将mongodb制作成一个服务，以后就通过一行命令就可以运行了。以下将讲解如何制作服务：

创建配置文件：在mongodb安装的路径下创建配置文件mongod.cfg（路径和名字不是必须和我这的一样），然后在配置文件中添加以下代码：

logpath=D:\ProgramApp\mongodb\data\log\mongod.log
dbpath=D:\ProgramApp\mongodb\data\db
logpath是日志的路径。dbpath是mongodb数据库的存储路径。

安装mongodb服务：

使用以下命令即可将mongodb安装成一个服务：

mongod --config "cfg配置文件所在路径" --install

比如：
mongod --config "D:\ProgramApp\mongodb\mongod.cfg" --install
启动mongodb：net start mongodb。

关闭mongodb： net stop mongodb。

移除mongodb："D:\ProgramApp\mongodb\bin\mongod.exe" --remove。

MongoDB概念介绍：

SQL术语/概念    MongoDB术语/概念 解释/说明
database    database    数据库
table   collection  数据库表/集合
row document    数据记录行/文档
column field    数据字段/域
index   index   索引
joins   joins   表连接,MongoDB不支持
primary key/primary key 主键,MongoDB自动将_id字段设置为主键

MongoDB三元素：

三元素：数据库、集合、文档。

文档（document）：就是关系型数据库中的一行。文档是一个对象，由键值对构成，是json的扩展形式：
{'name':'abc','gender':'1'}
集合（collection）：就是关系型数据库中的表。可以存储多个文档，结构可以不固定。如可以存储如下文档在一个集合中：
{"name":"abc","gender":"1"}
{"name":"xxx","age":18}
{"title":'yyy','price':20.9}

MongoDB基本操作命令：

db：查看当前的数据库。

show dbs：查看所有的数据库。

use 数据库名：切换数据库。如果数据库不存在，则创建一个。（创建完成后需要插入数据库才算创建成功）

db.dropDatabase()：删除当前指向的数据库。

db.集合名.insert(value)：添加数据到指定的集合中。

db.集合名.find()：从指定的集合中查找数据。 更多命令请见：http://www.runoob.com/mongodb/mongodb-tutorial.html

Python操作MongoDB：

安装pymongo：

要用python操作mongodb，必须下载一个驱动程序，这个驱动程序就是pymongo：

pip install pymongo

连接MongoDB：

import pymongo
# 获取连接的对象
client = pymongo.MongoClient('127.0.0.1',port=27017)
# 获取数据库
db = client.zhihu
# 获取集合（表）
collection = db.qa
# 插入一条数据到集合中
collection.insert_one({
"username":"abc",
"password":'hello'
})

数据类型：

类型  说明
Object ID   文档ID
String  字符串，最常用，必须是有效的UTF-8
Boolean 存储一个布尔值，true或false
Integer 整数可以是32位或64位，这取决于服务器
Double  存储浮点值
Arrays  数组或列表，多个值存储到一个键
Object  用于嵌入式的文档，即一个值为一个文档
Null    存储Null值
Timestamp   时间戳，表示从1970-1-1到现在的总秒数
Date    存储当前日期或时间的UNIX时间格式

操作MongoDB：

操作MongoDB的主要方法如下：

insert_one：加入一条文档数据到集合中。示例代码如下：
collection.insert_one({
"username":"abc",
"password":'hello'
})
insert_many：加入多条文档数据到集合中。
collection.insert_many([
{
"username":'abc',
'password':'111111'
},
{
"username":'bbb',
'password':'222222'
},
])

find_one：查找一条文档对象。

result = collection.find_one()
print(result)
# 或者是指定条件
result = collection.find_one({"username":"abc"})
print(result)
update_one：更新一条文档对象。
collection.update_one({"username":"abc"},{"$set":{"username":"aaa"}})
update_many：更新多条文档对象。
collection.update_many({"username":"abc"},{"$set":{"username":"aaa"}})
delete_one：删除一条文档对象。
collection.delete_one({"username":"abc"})
delete_many：删除多条文档对象。
collection.delete_one({"username":"abc"})