数据库学习笔记 (三) python操作数据库

python 操作MYSQL数据库主要有两种方式： 　　

　　使用原生模块：pymysql
　　ORM框架：SQLAchemy

一、pymysql

1.1下载安装模块

第一种：cmd下：执行命令下载安装：pip3 install pymysql
第二种：IDE下pycharm python环境路径下添加模块

1.2使用操作

#导入模块
import pymysql

#建立连接通道，建立连接填入（连接数据库的IP地址，端口号，用户名，密码，要操作的数据库，字符编码）
conn = pymysql.connect(
	host="",
	port="",
	user='',
	password='',
	database=""
	charset="",
	)  

# 创建游标，操作设置为字典类型，返回结果为字典格式！不写默认是元组格式！
cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)

#操作数据库的sql语句
sql=""

# 向数据库发送数据，在方法内部进行拼接！！！

#向数据库发送操作单条操作指令
# 格式化输入的值可以单个按顺序传入 或是写成列表 （注意 顺序和位置）
r = cursor.execute(sql,v1,v2……)

r = cursor.execute(sql,args)
#r 代表接收返回受影响的行数（数字）及执行这一条sql语句，数据库中有多少行受到了影响。
#sql 指上边写的sql语句
#args 指要给sql语句中传的参数
sql 语句可以不传值 及为空 []
sql 语句可以传一个值 及 [v1,]
sql 语句可以传多值 及 [v1,v2,v3……]

#向数据库发送操作多条数据指令 args=[(v1,s1),(v2,s2),(v3,s3)]
r = cursor.executemany(sql,[('egon','sb'),('laoyao','BS')])

#数据库有四种操作：增删改查！
# 执行查操作的时候就得接收从数据库返回的数据！
#执行增删改操作的时候，就需要像数据库提交数据！

#查操作：（接收的数据格式由创建的游标样式决定！）
#接收数据有三种方式：

res = cursor.fetchone()  #接收返回的第一行数据

ret = cursor.fetchmany(n) #接收返回的n行数据

req = cursor.fetchall() #接收返回的说有数据

#注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：

cursor.scroll(1,mode='relative')  # 相对当前位置移动
cursor.scroll(2,mode='absolute') # 相对绝对位置移动

#增删改操作：
#写完发送操作语句之后，就需要把更改的数据提交，不然数据库无法完成新建或是修改操作

conn.commit() #提交

#注：此处有个获取新建数据自增ID的操作(只能拿到最后那一行的id数)
#执行增加语句，并提交之后，可以获取到
new_id=cursor.lastrowid
print(new_id)

#操作完成之后，就需要关闭连接
cursor.close() #关闭游标
conn.close()   #关闭连接

操作总结：
　　1、重中之重，一定要注意sql注入的问题！！！

#格式化写入sql语句，就会造成sql注入的情况！！！

import pymysql

user = input("username:")
pwd = input("password:")

conn = pymysql.connect(host="localhost",user='root',password='',database="db666")
cursor = conn.cursor()
sql = "select * from userinfo where username='%s' and password='%s'" %(user,pwd,)
# select * from userinfo where username='uu' or 1=1 -- ' and password='%s'
cursor.execute(sql)
result = cursor.fetchone()
cursor.close()
conn.close()

if result:
    print('登录成功')
else:
    print('登录失败')

sql注入问题示例

import pymysql

user = input("username:")
pwd = input("password:")

conn = pymysql.connect(host="localhost",user='root',password='',database="db666")
cursor = conn.cursor()
sql = "select * from userinfo where username=%s and password=%s"
# sql = "select * from userinfo where username=%(u)s and password=%(p)s"

#传入数据类型举例
cursor.execute(sql,user,pwd)  #直接传值
# cursor.execute(sql,[user,pwd]) #列表形式
# cursor.execute(sql,{'u':user,'p':pwd}) #字典格式
result = cursor.fetchone()
cursor.close()
conn.close()
if result:
    print('登录成功')
else:
    print('登录失败')

传入数据类型举例

import pymysql

# 增加，删，该
# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")
# cursor = conn.cursor()
# sql = "insert into userinfo(username,password) values('root','')"
# 受影响的行数
# r = cursor.execute(sql)
# #  ******
# conn.commit()
# cursor.close()
# conn.close()

# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")
# cursor = conn.cursor()
# # sql = "insert into userinfo(username,password) values(%s,%s)"
# # cursor.execute(sql,(user,pwd,))

#插入多条信息
# sql = "insert into userinfo(username,password) values(%s,%s)"
# # 受影响的行数
# r = cursor.executemany(sql,[('egon','sa'),('laoyao','BS')])
# #  ******
# conn.commit()
# cursor.close()
# conn.close()

# 查
# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")
# cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
# sql = "select * from userinfo"
# cursor.execute(sql)

# cursor.scroll(1,mode='relative')  # 相对当前位置移动
# cursor.scroll(2,mode='absolute') # 相对绝对位置移动
# result = cursor.fetchone()
# print(result)
# result = cursor.fetchone()
# print(result)
# result = cursor.fetchone()
# print(result)
# result = cursor.fetchall()
# print(result)
# result = cursor.fetchmany(4)
# print(result)
# cursor.close()
# conn.close()

# 新插入数据的自增ID: cursor.lastrowid
# import pymysql
#
# conn = pymysql.connect(host="localhost",user='root',password='',database="db666")
# cursor = conn.cursor()
# sql = "insert into userinfo(username,password) values('asdfasdf','')"
# cursor.execute(sql)
# conn.commit()
# print(cursor.lastrowid)
# cursor.close()
# conn.close()

增删改查操作

 二、SQLAchemy 

2.1下载安装模块

pip3 install SQLAlchemy

IDE下pycharm python环境路径下添加模块

2.2原理

SQLAlchemy是python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简言之便是：将对象转换成SQL，然后使用数据API执行SQL并获取执行结果。

　　利用模块，按照对应规则，自动生成sql语句！
　　　　作用：提供简单的规则，自动转换成sql语句，最终还是执行sql语句，获取结果！

ORM操作流程：
　　创建一个类，类对应数据库的表，类能实例一个对象，这个对象对应表里的数据行
关系对象映射关系：

代码     数据库

类  --->   表
对象 ---> 行

DB first :手动创建数据库和表，通过ORM框架 根据数据库，通过类生成一个一个表

code first :手动创建类和数据库，通过ORM框架 利用类创建表

SQLAlchemy本身无法操作数据库，其必须以来pymsql等第三方插件，Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作。

远程连接数据库引擎类型：
	MySQL-Python
		mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>

	pymysql
		mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]

	MySQL-Connector
		mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>

	cx_Oracle
		oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]

	更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html

　　SQLAchemy 只负责把类转换成sql语句，连接数据库还是需要插件配合着数据库模块连接的。
　　　　连接的数据库不同，转换成的sql语句也不同。
　　　　提前必须有连接不同数据库的模块或是软件，SQLAchemy再去配置

　　规则：导入模块，生成一个基类，然后再用创建类的方法去创建表，sql语句中的语法，全部转换成了方法

　　　　虽然没有使用__init__方法，但是在执行定义的时候，会copy到__init__中
　　　　找到当前所有继承base的类，然后创建对应的表

　　注意：利用SQLAchemy 创建表之前，需要先手动创建一个数据库！

2.3操作

导入模块：
	from sqlalchemy.ext.declarative import declarative_base
	from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index,CHAR,VARCHAR
	from sqlalchemy.orm import sessionmaker, relationship
	from sqlalchemy import create_engine

创建基类：
	Base = declarative_base()

通过pymysql与mysql数据库建立远程连接 和设置最大连接数：
	engine = create_engine("mysql+pymysql://root:@127.0.0.1:3306/day63?charset=utf8", max_overflow=5)

创建单表：
	class 类名(Base):
		__tablename__="表名" #创建表名
		列名=Column(数据类型,是否为空，主键，自增，索引，唯一索引)
		__table_args__(
			UniqueConstraint("列名1","列名2","联合唯一索引名"),
			index("索引名","列名1","列名2"),
		) #创建联合唯一索引
	数据类型：Integer 整型；String 字符串类型(CHAR,VARCHAR也可以)；
	是否为空：nullable=True,

	是否为主键：primary_key=True,
	是否自增：autoincrement=True

	索引：index=True
	唯一索引：unique=True
	例：
	class Users(Base):
		__tablename__ = 'users'
		id = Column(Integer, primary_key=True, autoincrement=True)
		name = Column(VARCHAR(32), nullable=True, index=True)
		email = Column(VARCHAR(16), unique=True)
		__table_args__ = (
			UniqueConstraint('id', 'name', name='uix_id_name'),
			Index('ix_n_ex','name', 'email',),
		 )

创建有外键关系的多表：
	1、先创建一个继承Base基类 存放数据的普通表
	2、创建一个继承Base基类 与其有外键关系的表
	3、语法：外键名("表名.列名")ForeignKey("usertype.id") 

	例：
		class UserType(Base):
    __tablename__ = "usertype"
    id = Column(Integer,primary_key=True,autoincrement=True)
    title = Column(String(32),nullable=True,index=True)

	class Users(Base):
		__tablename__ = "users"
		id = Column(Integer,primary_key=True,autoincrement=True)
		name = Column(String(32),nullable=True,index=True)
		email = Column(String(16),unique=True)
		u_type_id = Column(Integer,ForeignKey("usertype.id"))
		#外键名 = Column(数据类型,ForeignKey("表名.列名"))

生成表或是删除表(可以把操作写成一个函数！)：
	#找到当前所有继承base的类，然后创建所有的表
	def create_table():
		Base.metadata.create_all(engine)
	#找到当前所有继承base的类，然后删除所有的表
	def del_table():
		Base.metadata.drop_all(engine)

操作表：
	万年不变的 数据行 的增删改查

	#首先，先建立链接通道
		Session = sessionmaker(bind=engine)
		session = Session()

	#其次，操作表   注意：操作内填如的内容，一定并必须是表达式！

		#增
			对哪张表更改，就用其对应的类进行实例化，生成的对象就代表着数据行

			#增加单个  session.add()
				obj = UserType(title = "黑金用户")
				session.add(obj)

			#增加多个  session.add_all()
				objs =[
					UserType(title = "会员用户"),
					UserType(title = "超级用户"),
					UserType(title = "铂金用户"),
					UserType(title = "黑金用户"),
				]
				session.add_all(objs)

		#查  session.query(类名).all()  #直接获取整个类(表)下所有的对象(数据行)

			#直接操作，获取的是像数据库发送执行的sql语句
			res = session.query(UserType)  #SQL语句
			print(res)

			#获取所有对应类（表）的对象（数据行） 列表类型
			res_list = session.query(UserType).all()
 			print(res_list)

			#查询操作，获取表中某列的值！是对接收到的整个列表进行循环遍历查找

			#查询整个表内的信息 ------->等效于数据库中：  select xxx from usertype
			res_list = session.query(UserType).all()
			for sss in res_list:
				print(sss.id,sss.title)

		#注意点：.filter()方法是过滤的意思，相当于sql语句中的where

			#条件查找表内信息 -------->等效于数据库中： select xxx usertype where 条件
			res_list = session.query(UserType).filter(UserType.id >2)
			for sss in res_list:
				print(sss.id,sss.title)

	#注意点：执行删除和更改操作时，都是先把数据行找到(查操作)，再进行删或改操作！

		#删  找到对应的数据行，删除即可  .delete()

			#先找后删，等效于------> delete from usertype where usertype.id > 4
			session.query(UserType).filter(UserType.id > 4).delete()

		#改 先查后改  注意传值的格式！
			#这里有个参数 synchronize_session 没别的招，看源码解释！！！
			#对表进行批量更改！
			session.query(UserType).filter(UserType.id>0).update({"title":"黑金"})
			#动态获取原表的数据（char类型），对表进行批量更改
			session.query(UserType).filter(UserType.id>0).update({UserType.title:UserType.title+"SX"},synchronize_session=False)
			#动态获取原表的数据（int类型），对表进行批量更改
			session.query(UserType).filter(UserType.id>0).update({"title":UserType.id+1},synchronize_session="evaluate") 

		#查找其他操作：
			# 分组，排序，连表，通配符，子查询，limit，union,where,原生SQL、

			#　条件

				#过滤，又叫条件判断
				ret = session.query(Users).filter_by(name='alex').all()
				#两个表达式同时存在，逗号分开，不写关系默认是 and
				ret = session.query(Users).filter(Users.id > 1, Users.name == 'eric').all()
				#between and
				ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all()
				#in判断 语法：in_
				ret = session.query(Users).filter(Users.id.in_([1,3,4])).all()
				# not in 判断 语法：表达式最前加 ~
				ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all()
				#子查询
				ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all()
				#逻辑判断：  and_ or_ 操作
				from sqlalchemy import and_, or_
				ret = session.query(Users).filter(and_(Users.id > 3, Users.name == 'eric')).all()
				ret = session.query(Users).filter(or_(Users.id < 2, Users.name == 'eric')).all()
				ret = session.query(Users).filter(
				or_(
					Users.id < 2,
					and_(Users.name == 'eric', Users.id > 3),
					Users.extra != ""
				)).all()

			# 通配符 .like()的方法调用
				ret = session.query(Users).filter(Users.name.like('e%')).all()
				ret = session.query(Users).filter(~Users.name.like('e%')).all()

			# 限制
				ret = session.query(Users)[1:2]

			#分页 .limit(n) 取n个数据
				res_list = session.query(UserType).limit(2).all()
				for sss in res_list:
					print(sss.id,sss.title)

			# 排序  查表.order_by(列名.desc()/列名.asc())  [.desc() 由大到小；.asc() 由小到大]
				ret = session.query(Users).order_by(Users.name.desc()).all()
				ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all()

			# 分组 聚合函数func.方法(列名)  和 .group_by(列名) 方法
				from sqlalchemy.sql import func
				ret = session.query(Users).group_by(Users.extra).all()
				ret = session.query(
					func.max(Users.id),
					func.sum(Users.id),
					func.min(Users.id)).group_by(Users.name).all()

				ret = session.query(
					func.max(Users.id),
					func.sum(Users.id),
					func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all()

			# 连表

				ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all() #直连
				ret = session.query(Person).join(Favor).all()
				ret = session.query(Person).join(Favor, isouter=True).all()

			#子查询 三种样式

				#查询的信息作为另一张表的条件
				# 1.select * from b where id in (select id from tb2)

				#最为一张新表进行二次筛选
				# 2. select * from (select * from tb) as B

					#查询语句.subquery()  查询结果作为一个子查询（新表）好在进行下一步的查询。不加.subquery()的话会报错，不再往下查询
					# q1 = session.query(UserType).filter(UserType.id > 0).subquery()
					# result = session.query(q1).all()
					# print(result)

				#作为一个列内的数据，在另一张表中显示 ****** .as_scalar()方法
				# 3. select id ,(select * from users where users.user_type_id=usertype.id) from usertype;

					# session.query(UserType,Users)

					# result = session.query(UserType.id,session.query(Users).as_scalar())
					# print(result) #查看对应的sql语句

					# result = session.query(UserType.id,session.query(Users).filter(Users.user_type_id==UserType.id).as_scalar())
					# print(result) #查看对应的sql语句

			# 组合（上下连表） .union()  和 .union_all()  注意是：先把信息找到再操作！
				q1 = session.query(Users.name).filter(Users.id > 2)
				q2 = session.query(Favor.caption).filter(Favor.nid < 2)
				ret = q1.union(q2).all()

				q1 = session.query(Users.name).filter(Users.id > 2)
				q2 = session.query(Favor.caption).filter(Favor.nid < 2)
				ret = q1.union_all(q2).all()

		- 便利的功能 relationship() 与生成表结构无关，仅用于查询方便  释放了连表操作的繁琐查找，直接通过方法定位！
			使用规范：哪个类中有外键列，就在外键列下添加。
			语法：自定义名=relationship("外键有联系的类名",backref="任意命名")

			# 问题1. 获取用户信息以及与其关联的用户类型名称(FK,Relationship=>正向操作)

				#初始方法：连表操作
				user_list = session.query(Users,UserType).join(UserType,isouter=True)
				print(user_list)
				for row in user_list:
				    print(row[0].id,row[0].name,row[0].email,row[0].user_type_id,row[1].title)

				user_list = session.query(Users.name,UserType.title).join(UserType,isouter=True).all()
				for row in user_list:
				    print(row[0],row[1],row.name,row.title)

				#(FK,Relationship=>正向操作) 先查用户信息表，通过命名的 自定义名 正向获取用户类型
				user_list = session.query(Users)
				for row in user_list:
					print(row.name,row.id,row.user_type.title)

			# 问题2. 获取用户类型  (FK,Relationship=>反向操作)

				#连表操作：
				type_list = session.query(UserType)
				for row in type_list:
				    print(row.id,row.title,session.query(Users).filter(Users.user_type_id == row.id).all())

				#反向操作：先查类型表，再通过backref 自定义的变量 反向查找用户信息
				type_list = session.query(UserType)
				for row in type_list:
				    print(row.id,row.title,row.xxoo)

			PS:正向操作与反向操作，是相对于外键来相对判断的！
				例如：A表与B表，A表中建立了与B表联系的外键，A表通过外键获取B表中的信息，叫正向操作；反之，叫反向操作！

	最后，操作及语法写完后，都需要提交给数据库去执行，不再使用也需要断开连接！
		session.commit()  #提交
		session.close()	  #关闭连接

#!/usr/bin/env python
# _*_ coding:utf-8 _*_

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine

Base = declarative_base()
engine = create_engine("mysql+pymysql://root:@127.0.0.1:3306/day63?charset=utf8",max_overflow=5)

class UserType(Base):
    __tablename__ = "usertype"
    id = Column(Integer,primary_key=True,autoincrement=True)
    title = Column(String(32),nullable=True,index=True)

class Users(Base):
    __tablename__ = "users"
    id = Column(Integer,primary_key=True,autoincrement=True)
    name = Column(String(32),nullable=True,index=True)
    email = Column(String(16),unique=True)
    u_type_id = Column(Integer,ForeignKey("usertype.id"))

    u_type = relationship("UserType",backref="sss")

def create_table():
    Base.metadata.create_all(engine)

def del_table():
    Base.metadata.drop_all(engine)

#类 --> 表
#对象 --> 行

#建立链接通道
Session = sessionmaker(bind=engine)
session = Session()

#操作内填入的内容，必须是表达式

########## 增加 ###################

#增加单个
# obj = UserType(title = "黑金用户")
# session.add(obj)

#增加多个
# objs =[
#     UserType(title = "会员用户"),
#     UserType(title = "超级用户"),
#     UserType(title = "铂金用户"),
#     UserType(title = "黑金用户"),
# ]
# session.add_all(objs)

############ 查询 ################
# res = session.query(UserType)  #SQL语句
# print(res)

# res_list = session.query(UserType).all()  #获取所有对应类（表）的对象（数据行） 列表类型
# print(res_list)

#select xxx from usertype
# res_list = session.query(UserType).limit(2).all()
# for sss in res_list:
#     print(sss.id,sss.title)
#
# #select xxx usertype where ***
# res_list = session.query(UserType).filter(UserType.id >2)
# for sss in res_list:
#     print(sss.id,sss.title)

############### 删除 ###################

# delete from usertype where usertype.id > 4
# session.query(UserType).filter(UserType.id > 4).delete()

################ 更改 ########################

#这里有个参数 synchronize_session 没别的招，看源码解释！！！
# session.query(UserType).filter(UserType.id>0).update({"title":"黑金"}) #对表进行批量更改
# session.query(UserType).filter(UserType.id>0).update({UserType.title:UserType.title+"SX"},synchronize_session=False) #动态获取原先的数据，对表进行批量更改
# session.query(UserType).filter(UserType.id>0).update({"title":UserType.id+1},synchronize_session="evaluate") #对表进行批量更改

############# 查询其他操作 #################
# 分组，排序，连表，通配符，limit,union,where,原生SQL#

#条件 and or
# ret = session.query(Users).filter(Users.id > 1, Users.name == "sesc").all()
# for row in ret:
#     print(row.email)

# #正向操作
# res = session.query(Users)
# for row in res:
#     print(row.id,row.name,row.u_type.title)
#
# #反向操作
# res = session.query(UserType)
# for row in res:
#     for a in row.sss:
#         print(row.id,row.title,a.name)

session.commit()
session.close()

部分代码举例！从上边粘贴测试即可！