flask上下文管理之threading.local
Flask之上下文管理
知识储备之问题情境:
request中的参数:
- 单进程单线程
- 单进程多线程-->reqeust 会因为多个请求,数据发生错乱.--->可以基于threading.local对象
- 单进程单线程(多协程)threading.local对象做不到(因为一个线程下多个协程同享一个线程的资源)
解决办法:
自定义类似threading.local对象(支持协程)---保证多协程下数据的安全
先来看一下下面这段代码(支持多线程):
# -*- coding: utf-8 -*-
"""
1288::{}
"""
from _thread import get_ident
import threading
class Local(object):
def __init__(self):
self.storage = {}
self.get_ident = get_ident
# 设置值
def set(self, k, v):
# 获取线程的唯一标识
ident = self.get_ident()
# 通过唯一标识去字典里面取值
origin = self.storage.get(ident)
if not origin:
origin = {k: v}
else:
origin[k] = v
# 将k,v 保存到 storage中 形式如下
# {
# 1023:{k,v}, # self.storage[ident] = origin 所添加的值
# 1045:{k1,v1} # 原先storage中有的值
# }
self.storage[ident] = origin
# 获取值
def get(self, k):
ident = self.get_ident()
origin = self.storage.get(ident)
if not origin:
return None
return origin.get(k, None)
# 获取一个线程对象
local_obj = Local()
# 获取每一个线程的唯一标识
def task(num):
local_obj.set('name',num)
import time
time.sleep(1)
print(local_obj.get('name'),threading.current_thread().name)
for i in range(20):
th = threading.Thread(target=task, args=(i,), name='线程%s' % i)
th.start()
"""
0 线程0
1 线程1
2 线程2
5 线程5
6 线程6
3 线程3
4 线程4
10 线程10
9 线程9
11 线程11
7 线程7
13 线程13
14 线程14
17 线程17
18 线程18
15 线程15
19 线程19
8 线程8
12 线程12
16 线程16
"""
再进一步,支持协程
# 首先需要安装依赖
pip3 intall gevent
# gevent 依赖安装 greenlet 可以获取协程的唯一标识
# -*- coding: utf-8 -*-
"""
1288::{
}
"""
try:
# 优先用协程的
# 如果是单线程多协程,导入获取协程唯一标识的
from greenlet import getcurrent as get_ident # 协程
except ImportError:
try:
# 如果是多线程导入获取线程唯一标识的
from thread import get_ident
except ImportError:
# 如果是多线程导入获取线程唯一标识的
from _thread import get_ident # 线程
class Local(object):
def __init__(self):
self.storage = {}
self.get_ident = get_ident
# 设置值
def set(self, k, v):
# 获取线程的唯一标识
ident = self.get_ident()
# 通过唯一标识去字典里面取值
origin = self.storage.get(ident)
if not origin:
origin = {k: v}
else:
origin[k] = v
# 将k,v 保存到 storage中 形式如下
# {
# 1023:{k,v}, # self.storage[ident] = origin 所添加的值
# 1045:{k1,v1} # 原先storage中有的值
# }
self.storage[ident] = origin
# 获取值
def get(self, k):
ident = self.get_ident()
origin = self.storage.get(ident)
if not origin:
return None
return origin.get(k, None)
# 获取一个线程对象
local_obj = Local()
# 获取每一个线程的唯一标识
def task(num):
local_obj.set('name', num)
import time
time.sleep(1)
print(local_obj.get('name'), threading.current_thread().name)
for i in range(20):
th = threading.Thread(target=task, args=(i,), name='线/协程%s' % i)
th.start()
flask中实现的方式
flask中运用了面向对象的一些方法重试简化了实现方式
先补充了解面向对象的姿势:
class Foo():
# 在执行 对象.属性 = 值的时候执行,这里可以写赋值操作
def __setattr__(self,key,value):
print(key,value)
# 在执行 对象.属性的时候,执行, 这里可以写获取对象的属性
def __getattr__(self, item):
print(item)
foo = Foo()
foo.x = 123
foo.x
但是还是有点问题 上面写法: 如果在 初始化操作的时候,会出现递归问题
class Foo():
def __init__(self):
self.storage ={}
def __setattr__(self,key,value):
self.storage = {'k':'v'}
print(key,value)
def __getattr__(self, item):
print(item)
foo = Foo()
foo.x = 123
foo.x
"""
上述办法 会在 __setattr__ 这里产生递归
self.storage = {'k':'v'}
[Previous line repeated 327 more times]
RecursionError: maximum recursion depth exceeded
"""
解决办法
class Foo(object):
def __init__(self):
object.__setattr__(self, "storage", {})
# self.storage = {}
def __setattr__(self, key, value):
storage = self.storage
storage['1024'] = {key: value}
print(storage)
def __getattr__(self, item):
print(item)
"""
{'1024': {'x': 123}}
x
"""
上述问题 接近源码的做法实现一个支持协程线程的自定义类似threading.local 对象
# -*- coding: utf-8 -*-
"""
模仿
flask中运用了一些面向对象的方法: __getattr__,__setattr__
"""
import threading
try:
# 优先用协程的
# 如果是单线程多协程,导入获取协程唯一标识的
from greenlet import getcurrent as get_ident # 协程
except ImportError:
try:
# 如果是多线程导入获取线程唯一标识的
from thread import get_ident
except ImportError:
# 如果是多线程导入获取线程唯一标识的
from _thread import get_ident # 线程
class Local(object):
def __init__(self):
object.__setattr__(self, "__storage__", {})
object.__setattr__(self, "__ident_func__", get_ident)
def __getattr__(self, name):
try:
return self.__storage__[self.__ident_func__()][name]
except KeyError:
raise AttributeError(name)
def __setattr__(self, name, value):
ident = self.__ident_func__()
storage = self.__storage__
try:
storage[ident][name] = value
except KeyError:
storage[ident] = {name: value}
# 获取一个线程对象
local_obj = Local()
# 获取每一个线程的唯一标识
def task(num):
local_obj.name = num
import time
time.sleep(1)
print(local_obj.name, threading.current_thread().name)
for i in range(20):
th = threading.Thread(target=task, args=(i,), name='线程%s' % i)
th.start()
"""
0 线程0
3 线程3
4 线程4
1 线程1
2 线程2
8 线程8
7 线程7
5 线程5
6 线程6
10 线程10
9 线程9
11 线程11
12 线程12
15 线程15
14 线程14
13 线程13
19 线程19
16 线程16
18 线程18
17 线程17
"""
flask 源码实现方式
try:
from greenlet import getcurrent as get_ident
except ImportError:
try:
from thread import get_ident
except ImportError:
from _thread import get_ident
class Local(object):
def __init__(self):
"""当类 实例化产生函数的时候初始化的时候被调用"""
object.__setattr__(self, "__storage__", {})
object.__setattr__(self, "__ident_func__", get_ident)
def __call__(self, proxy):
"""
当类实例化的对象 被 调用的时候执行该函数
"""
"""Create a proxy for a name."""
return LocalProxy(self, proxy)
def __release_local__(self):
self.__storage__.pop(self.__ident_func__(), None)
def __getattr__(self, name):
"""定义当用户试图获取一个不存在的属性时的行为"""
try:
return self.__storage__[self.__ident_func__()][name]
except KeyError:
raise AttributeError(name)
def __setattr__(self, name, value):
"""定义当一个属性被设置时的行为"""
ident = self.__ident_func__()
storage = self.__storage__
try:
storage[ident][name] = value
except KeyError:
storage[ident] = {name: value}
def __delattr__(self, name):
"""定义当一个属性被删除时的行为"""
try:
del self.__storage__[self.__ident_func__()][name]
except KeyError:
raise AttributeError(name)
PS: flask 中保存请求相关 session相关的对象的在并发的时候的不同(保证数据的安全),都是基于这个 threading.local 实现的
flask上下文管理之threading.local的更多相关文章
- flask上下文管理相关 - threading.local 以及原理剖析
threading.local 面向对象相关: setattr/getattr class Foo(object): pass obj = Foo() obj.x1 = 123 # object.__ ...
- Flask 上下文管理
为什么用threading.local? 我们都知道线程是由进程创建出来的,CPU实际执行的也是线程,那么线程其实是没有自己独有的内存空间的,所有的线程共享进程的资源和空间,共享就会有冲突,对于多线程 ...
- Flask上下文管理机制
前引 在了解flask上下文管理机制之前,先来一波必知必会的知识点. 面向对象双下方法 首先,先来聊一聊面向对象中的一些特殊的双下划线方法,比如__call__.__getattr__系列.__get ...
- Flask上下文管理、session原理和全局g对象
一.一些python的知识 1.偏函数 def add(x, y, z): print(x + y + z) # 原本的写法:x,y,z可以传任意数字 add(1,2,3) # 如果我要实现一个功能, ...
- Flask上下文管理
一.一些python的知识 1.偏函数 def add(x, y, z): print(x + y + z) # 原本的写法:x,y,z可以传任意数字 add(1,2,3) # 如果我要实现一个功能, ...
- Flask上下文管理及源码刨析
基本流程概述 - 与django相比是两种不同的实现方式. - django/tornado是通过传参数形式实现 - 而flask是通过上下文管理, 两种都可以实现,只不实现的方式不一样罢了. - 上 ...
- flask 上下文管理 &源码剖析
基本流程概述 - 与django相比是两种不同的实现方式. - django/tornado是通过传参数形式实现 - 而flask是通过上下文管理, 两种都可以实现,只不实现的方式不一样罢了. - 上 ...
- Flask 上下文管理-- (session,request,current_app的传递)--类似本地线程实现,以及多app应用
Flask session,request,current_app的传递 请求上下文的作用 -- 封装请求相关得数据(request,session) 请求上下文 request session re ...
- Flask上下文管理机制流程(源码剖析)
Flask请求上下文管理 1 偏函数 partial 使用该方式可以生成一个新函数 from functools import partial def mod( n, m ): return n % ...
随机推荐
- nginx常规扩展功能
功能 语法 配置位置 配置举例 结果验证 备注 文件读取 sendfile on|off ===>(提高读取静态文件效率.直接通过系统内核将文件放入socket,不必再打开一遍) http.se ...
- drf框架知识总结
- 一,java框架学习
一,java框架学习 Hibernate概述Hibernate是一个开放源代码的ORM(对象关系映射)框架,对jdbc进行了轻量级的封装,是的java开发人员可以使用面向对象编程思想操作数据库,简化操 ...
- vim考场配置
syntax on set number set mouse=a set autoread set showmatch set autoindent set smartindent set tabst ...
- LG3119 「USACO2015JAN」Grass Cownoisseur
问题描述 LG3119 题解 显然,如果有个环,一定是全部走完的. 所以缩点,缩出一个 \(\mathrm{DAG}\) . 只能走一次反向,于是在正图和反图上各跑一次,枚举边,取 \(\mathrm ...
- 【2019.8.8 慈溪模拟赛 T2】query(query)(分治+分类讨论)
分治 首先,我们考虑分治处理此问题. 每次处理区间\([l,r]\)时,我们先处理完\([l,mid]\)和\([mid+1,r]\)两个区间的答案,然后我们再考虑计算左区间与右区间之间的答案. 处理 ...
- A1063 Set Similarity (25 分)
一.技术总结 这个题目是属于set容器的内容,使用可以减少很多代码量 开始试过在同一个for循环中定义两个auto,结果编译通不过,有时候构思很重要,就比如这一题,开始我是一个一个去加,而代码中是,先 ...
- 小白专场-树的同构-python语言实现
目录 一.题意理解 二.求解思路 更新.更全的<数据结构与算法>的更新网站,更有python.go.人工智能教学等着你:<https://www.cnblogs.com/nickch ...
- QPushButton 一组中凸显选中的一个,且只能选中一个。
QButtonGroup * buttonGroup = new QButtonGroup(this); buttonGroup->setExclusive(true); ui->push ...
- 深度解密Go语言之context
目录 什么是 context 为什么有 context context 底层实现原理 整体概览 接口 Context canceler 结构体 emptyCtx cancelCtx timerCtx ...