django 数据库连接模块解析及简单长连接改造

django 数据库连接模块解析及简单长连接改造
工作中纯服务端的项目用到了线程池和django的ORM部分。django 的数据库连接在每一个线程中开启一份，并在查询完毕后自动关闭连接。

线程池处理任务时，正常使用的连接中不会被关闭，但由于数据库端有最长连接时间的限制（默认为8小时），在超时后会发生InterfaceError: (0, '')(连接关闭后使用连接/游标)或Error(2006, 'MySQL server has gone away')（mysql 服务器主动关闭连接）这类错误，所以一般会在每个任务线程中调用django.db.connection.close()进行关闭操作。

但对于频繁进行数据库连接并操作数据库的业务，反复创建连接并不是好的选择，这种场景下可以考虑将连接改造为长连接。

1. django 代码的阅读笔记
django.db.__init__.py
#对象：
connections = ConnectionHandler()
connection = DefaultConnectionProxy()
# 函数
# 重置查询记录缓存
def reset_queries(**kwargs):
pass
# 关闭不可用或超时(如果有设置 CONN_MAX_AGE)连接
def close_old_connections(**kwargs):
pass
# 信号
# 在请求开始或完成时自动调用相应处理函数
signals.request_started.connect(reset_queries)
signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
重点是connections和connection两个实例
connections 是 ConnectionHandler类
connections.all()会给出一个列表，里面的元素为DatabaseWrapper类
ConnectionHandler内置对象及连接管理：

def __init__()：
self._connections = local()

# 连接包装类里的连接是根据配置情况使用相应的连接
def __getitem__(self, alias):
'''略'''
db = self.databases[alias]
backend = load_backend(db['ENGINE'])
conn = backend.DatabaseWrapper(db, alias)
setattr(self._connections, alias, conn)

# 返回所管理的数据库连接
# 管理方式：分数据库，线程管理连接
def all(self):
return [self[alias] for alias in self]

# 关闭所有数据库连接
def close_all(self):
for alias in self:
try:
connection = getattr(self._connections, alias)
except AttributeError:
continue
connection.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
threading.local 是一个全局变量，local的属性是非线程共享的，也就是在每一个线程中都会有单独一个数据库连接实例创建，因为代理及包装的原因，该连接实例为对应backend里的连接（比如，pymysql.connections.Connection）。
在线程池的情况下，close_old_connections方法是不能将线程中的数据库连接关闭的。

connection是DefaultConnectionProxy类的实例，实际是DatabaseWrapper的实例
（使用了pymysql库：import pymysql; pymysql.install_as_MySQLdb）
DefaultConnectionProxy–>DatabaseWrapper–>pymysql.connections.Connection(根据connections的处理调用相应的数据库连接包)
connection有几个关键方法和属性

connection.connection = '被包装的pymysql.connections.Connection实例`
connection.close_at = None if max_age is None else time.time() + max_age # 设置的连接关闭时间

connection.connect()# 获取连接
connection.cursor() # 获取游标
connection.close()# 关闭连接
1
2
3
4
5
6
2. 将数据库连接改造为长连接
max_age（CONN_MAX_AGE） 是可以在settings里面配置的。
由于多个服务共用一套配置， 所以考虑直接在程序里修改
全局变量
max_age = 7 * 3600
在线程内开始时做下判断：

if not db.connection.connection or db.connection.close_at < time.time():
db.connection.close()
db.connection.connect()
db.connection.close_at = time.time() + max_age
print "A new conn creates !"
else:
print "Still old conn!"
1
2
3
4
5
6
7
这样每个线程池中的线程会循环执行任务并只使用同一个连接，并可以控制在自己需要的连接时长后更换连接。
针对线程池的情况，close_old_connections基本没啥用处, 可以跳过该处理
django.db.close_old_connections = lambda **kwargs : None
---------------------
作者：xwl100
来源：CSDN
原文：https://blog.csdn.net/u010477231/article/details/77576357
版权声明：本文为博主原创文章，转载请附上博文链接！