Python DBUtils 连接池对象 (PooledDB)
数据处理框架用到 mysql, 需要在多进程中的多线程中使用 mysql 的连接
使用到的模块: DBUtils
实现:
使用 DBUtils 中的 PooledDB 类来实现.
自己写一个类, 继承 PooledDB 类, 这样就能使用到 PooledDB 中的其它常用的方法.
使用单例模式, 确保整个应用服务中只有一个连接池对象.
使用: 可以定义全局变量初始化连接池对象, 在别的地方获取mysql连接使用.
连接池 demo:
# coding: utf-8
import pymysql
import functools
from seemmo.common.time_func import now_time, today
from conf.config import DB_HOST, DB_PORT, DB_USER, DB_NAME, DB_CHARSET
from pymysql.cursors import DictCursor
from DBUtils.PooledDB import PooledDB
# 获取加密的mysql密码
from seemmo.common.utils import get_pwd
DB_PASSWD = get_pwd("mysql_pwd")
class MysqlPool(PooledDB):
__instance = None
__pool = None
def __new__(cls, *args, **kwargs):
if not cls.__instance:
# cls.__instance = object.__new__(cls)
cls.__instance = super().__new__(cls)
return cls.__instance
def __init__(self):
"""创建链接池"""
PooledDB.__init__(self, pymysql, maxconnections=50, mincached=0, maxcached=0, maxshared=0, blocking=True, host=DB_HOST, port=DB_PORT,user=DB_USER, password=DB_PASSWD, database=DB_NAME, charset=DB_CHARSET, cursorclass=DictCursor)
def conn(self):
_conn = self.connection()
return _conn
使用 (装饰器) :
# 创建连接池对象
mysql_pool = MysqlPool()
# mysql 闭包环境
def db_wrap(method):
@functools.wraps(method)
def _wrapper(*args, **kwargs):
conn = mysql_pool.conn()
cursor = conn.cursor()
try:
conn.begin()
retval = method(cursor, *args, **kwargs)
conn.commit()
except Exception as e:
conn.rollback()
raise e
finally:
cursor.close()
conn.close()
return retval
return _wrapper
@db_wrap
def create_table(cursor, sql):
ret = cursor.execute(sql)
return ret
@db_wrap
def query_by_index(cursor, table_name, start_index, next_index):
"""
根据 index 范围查询违法记录
:param cursor: 数据库操作游标
:param table_name: 需要操作的表名称
:param start_index: 开始 index
:param next_index: 截止 index
:return: 查询结果
"""
sql = """select * from {} where id > {} and id <= {}""".format(table_name, start_index, next_index)
cursor.execute(sql)
res = cursor.fetchall()
return res
PooledDB的参数:
mincached,最少的空闲连接数,如果空闲连接数小于这个数,pool会创建一个新的连接
maxcached,最大的空闲连接数,如果空闲连接数大于这个数,pool会关闭空闲连接
maxconnections,最大的连接数,
blocking,当连接数达到最大的连接数时,在请求连接的时候,如果这个值是True,请求连接的程序会一直等待,直到当前连接数小于最大连接数,如果这个值是False,会报错,
maxshared 当连接数达到这个数,新请求的连接会分享已经分配出去的连接
在uwsgi中,每个http请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个http请求中需要的sql连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数都不需要太大。
连接池对性能的提升表现在:1.在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度2.关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接
DBUtils下载地址:https://pypi.python.org/pypi/DBUtils/
ending ~
Python DBUtils 连接池对象 (PooledDB)的更多相关文章
- python - DBUtils 连接池减少oracle数据库的连接数
问题: 接到需求,告知项目的oracle连接次数过多,对系统造成太过大的负担,要求减少oracle数据库的连接次数 分析: 仔细分析代码以后,发现产生问题的原因,在于之前要求提升oracle监控的监控 ...
- DBUtils连接池,websocket
1.mysql数据库连接池 概念:数据库连接池(Connection pooling)是程序启动时建立足够的数据库连接,并将这些连接组成一个连接池,由程序动态地对池中的连接进行申请,使用,释放. 这样 ...
- javaEE ->DBUtils&连接池
第1章 DBUtils 如果只使用JDBC进行开发,我们会发现冗余代码过多,为了简化JDBC开发,本案例我们讲采用apache commons组件一个成员:DBUtils. DBUtils就是J ...
- 在spring中如何生成一个bean (一个对象,比如jedis的连接池对象)【我】
在spring中,要想生成一个单例对象(比如jedis的连接池对象) 方法1: 在 spring中用 bean 标签生成(反正就是让spring生成并管理单例的对象) 方法2: 把要生成的单例对象类, ...
- python DBUtils 线程池 连接 Postgresql(多线程公用线程池,DB-API : psycopg2)
一.DBUtils DBUtils 是一套允许线程化 Python 程序可以安全和有效的访问数据库的模块,DBUtils提供两种外部接口: PersistentDB :提供线程专用的数据库连接,并自动 ...
- python通过连接池连接redis,操作redis队列
在每次使用redis都进行连接的话会拉低redis的效率,都知道redis是基于内存的数据库,效率贼高,所以每次进行连接比真正使用消耗的资源和时间还多.所以为了节省资源,减少多次连接损耗,连接池的作用 ...
- python mysql连接池
话不多说,直接撸代码 # coding=utf-8 from DBUtils.PooledDB import PooledDB import pymysql as mysql import trace ...
- 配置jdpc连接池对象
- JDBC获取超出最大连接的连接池对象
随机推荐
- 【Beta】Scrum meeting 8 & 助教参会记录
目录 写在前面 进度情况 任务进度表 Beta-1阶段燃尽图 遇到的困难 助教参会会议情况 会议具体内容 Q:最近压力大吗?临近期末,注意好时间安排 Q:最近进度如何,以后的计划如何 Q:这段时间遇到 ...
- Python导入 from lxml import etree 导入不了
问题在学爬虫,Python 版本是2.7,安装的lxml包是4.3的,在 from lxml import etree 时发现一直报错,网上查询,原来是Python版本和lxml包版本不一致导致的. ...
- vue-router踩坑日记Unknown custom element router-view
今天笔者在研究vue-router的时候踩到了一个小坑,这个坑是这样的 笔者的具体代码如下:router.js import Home from '@/components/Home.vue'; im ...
- MySQL数据库索引的底层原理(二叉树、平衡二叉树、B-Tree、B+Tree)
1.MySQL数据库索引的底层原理 https://mp.weixin.qq.com/s/zA9KvCkkte2mTWTcDv7hUg
- xmind 8 update8(pro)最新版专业版破解教程(附破解补丁以及注册机,全网独家可用)
title: "xmind 8 update8(pro)最新版专业版破解教程(附破解补丁以及注册机,全网独家可用)" categories: soft tags: soft aut ...
- Win7下msys64安装mingw工具链
1. 安装msys64 安装到指定目录, 例如C:\msys64 2. 命令行更新 运行msys2.exe打开命令行窗口, 执行命令 pacman -Syuu 3. 修改安装源 进入msys64/et ...
- scrapy入门案例
一. 新建项目(scrapy startproject) 在开始爬取之前,必须创建一个新的Scrapy项目.进入自定义的项目目录中,运行下列命令: scrapy startproject scrapy ...
- windows cmd ftp 自动下载
1.编写ftp的bat脚本: set year=%,% set day=%,%%,%%,% mkdir d:\ftp\%,% mkdir d:\ftp\%,%\%,%%,%%,% del d:\ftp ...
- golang教材
https://golangbot.com/buffered-channels-worker-pools/ https://golang.org/doc/ https://medium.com/go- ...
- 品优购商城项目(六)CAS客户端与SpringSecurity集成
cas单点登录旨在解决传统登录模式session在分布式项目中共享登录信息的问题. 本文cas服务器使用 4.0版本,仅供学习参考.把 cas.war 直接部署在tomcat即可,这里有个固定的用户名 ...