python 使用multiprocessing需要注意的问题
我们在编写程序的时候经常喜欢这样写代码
import MySQLdb
import time
from multiprocessing import Process
conn = MySQLdb.connect(‘localhost‘, ‘vearne‘, ‘xx‘, ‘test‘)
def f(name):
for i in xrange(10):
cursor = conn.cursor()
sql = "insert into car(name) values(%s)"
param = [(name)]
print param
#time.sleep(1)
n = cursor.execute(sql,param)
cursor.close()
conn.commit()
if __name__ == ‘__main__‘:
for i in xrange(10):
p = Process(target=f, args=(‘bob‘,))
p.start()
上面的程序有问题吗?
以上的程序在单进程的情况下,应该是没有问题,但是在多进程的情况下,它是有错误的。
首先看看下面的源码
class Process(object):
‘‘‘
Process objects represent activity that is run in a separate process
The class is analagous to `threading.Thread`
‘‘‘
_Popen = None
def __init__(self, group=None, target=None, name=None, args=(), kwargs={}):
assert group is None, ‘group argument must be None for now‘
count = _current_process._counter.next()
self._identity = _current_process._identity + (count,)
self._authkey = _current_process._authkey
self._daemonic = _current_process._daemonic
self._tempdir = _current_process._tempdir
self._parent_pid = os.getpid()
self._popen = None
self._target = target
self._args = tuple(args)
self._kwargs = dict(kwargs)
self._name = name or type(self).__name__ + ‘-‘ + ‘:‘.join(str(i) for i in self._identity)
def run(self):
‘‘‘
Method to be run in sub-process; can be overridden in sub-class
‘‘‘
if self._target:
self._target(*self._args, **self._kwargs)
def start(self):
‘‘‘
Start child process
‘‘‘
assert self._popen is None, ‘cannot start a process twice‘
assert self._parent_pid == os.getpid(), ‘can only start a process object created by current process‘
assert not _current_process._daemonic, ‘daemonic processes are not allowed to have children‘
_cleanup()
if self._Popen is not None:
Popen = self._Popen
else:
from .forking import Popen
self._popen = Popen(self) # -- 创建 Popen 对象 --
_current_process._children.add(self)
# 省略部分代码 ... ...
def _bootstrap(self): # -- _bootstrap 函数 --
from . import util
global _current_process
try:
self._children = set()
self._counter = itertools.count(1)
try:
sys.stdin.close()
sys.stdin = open(os.devnull)
except (OSError, ValueError):
pass
_current_process = self
util._finalizer_registry.clear()
util._run_after_forkers()
util.info(‘child process calling self.run()‘)try:self.run()# -- 调用run函数 --
exitcode =0finally:
util._exit_function()exceptSystemExit, e:ifnot e.args:
exitcode =1elif isinstance(e.args[0],int):
exitcode = e.args[0]else:
sys.stderr.write(str(e.args[0])+‘\n‘)
sys.stderr.flush()
exitcode =0if isinstance(e.args[0], str)else1except:
exitcode =1import traceback
sys.stderr.write(‘Process%s:\n‘%self.name)
sys.stderr.flush()
traceback.print_exc()
util.info(‘process exiting with exitcode %d‘% exitcode)return exitcode
from .forking import Popen 定义
class Popen(object):
def __init__(self, process_obj):
sys.stdout.flush()
sys.stderr.flush()
self.returncode = None
self.pid = os.fork() # -- fork子进程 --
# fork 函数调用一次,会在返回两次,一次在父进程中返回,返回的pid 值大于0
# 一次在子进程中返回,返回的pid值 等于 0
if self.pid == 0: # pid值 等于 0 说明 以下代码都是在子进程中执行的
if ‘random‘ in sys.modules:
import random
random.seed()
code = process_obj._bootstrap() # -- 调用_bootstrap函数 --
sys.stdout.flush()
sys.stderr.flush()
os._exit(code)
从代码中我们可以看出,python 的multiprocessing 使用fork创建子进程,并在子进程中执行run函数
man fork
可以得到如下信息
Fork() causes creation of a new process. The new process (child process) is an exact copy of the calling process (parent process) except for the following:
o The child process has a unique process ID.
o The child process has a different parent process ID (i.e., the process ID of the parent process).
o The child process has its own copy of the parent‘s descriptors. These descriptors reference the same underlying objects, so that, for instance, file pointers in file objects are shared between the child and the parent, so that an lseek(2) on a descriptor in the child process can affect a subsequent read or write by the parent. This descriptor copying is also used by the shell to establish standard input and output for newly created processes as well as to set up pipes.
o The child processes resource utilizations are set to 0; see setrlimit(2).
fork 函数创建的子进程是父进程的完全拷贝,他们拥有相同的文件描述符。这样如果在父进程中创建了连接,就会出现父进程和多个子进程公用一个连接,会出现无法预料的错误。
(每个连接都有独立的读缓冲区和写缓冲区,多个进程的对读缓冲区和写缓冲区的操作会导致数据混乱)
所以我们应该在子进程中创建连接,这样就能够避免问题的发生。
import MySQLdb
import time
from multiprocessing import Process
class SLWorker(Process):
def __init__(self):
super(SLWorker, self).__init__()
self.conn = None
def run(self):
# *** 注意这里 *** 连接延迟加载, 也就是说连接在子进程中被创建
if self.conn == None:
self.conn = MySQLdb.connect(‘localhost‘, ‘vearne‘, ‘xxx‘, ‘test‘)
for i in xrange(10):
cursor = self.conn.cursor()
sql = "insert into car(name) values(%s)"
name = "bob"
param = [(name)]
print param
#time.sleep(30)
n = cursor.execute(sql,param)
cursor.close()
self.conn.commit()
def __del__(self):
if self.conn != None:
self.conn.close()
if __name__ == ‘__main__‘:
ll = []
for i in xrange(10):
p = SLWorker()
p.start()
ll.append(p)
for p in ll:
p.join()
答案归结为只需要将在子进程中创建连接
,或者连接延迟创建
就能够解决这个问题
其实现在有很多连接池都是延迟创建连接,没有仔细看,有研究的分享下。
PS: celery 和rq 也都会有这样的问题,请大家引起足够重视
版权声明:本文为博主原创文章,未经博主允许不得转载。
python 使用multiprocessing需要注意的问题
原文地址:http://blog.csdn.net/woshiaotian/article/details/46892689
python 使用multiprocessing需要注意的问题的更多相关文章
- python中multiprocessing.pool函数介绍_正在拉磨_新浪博客
python中multiprocessing.pool函数介绍_正在拉磨_新浪博客 python中multiprocessing.pool函数介绍 (2010-06-10 03:46:5 ...
- python的multiprocessing模块进程创建、资源回收-Process,Pool
python的multiprocessing有两种创建进程的方式,每种创建方式和进程资源的回收都不太相同,下面分别针对Process,Pool及系统自带的fork三种进程分析. 1.方式一:fork( ...
- python之multiprocessing创建进程
python的multiprocessing模块是用来创建多进程的,下面对multiprocessing总结一下使用记录. multiprocessing创建多进程在windows和linux系统下的 ...
- python多进程-----multiprocessing包
multiprocessing并非是python的一个模块,而是python中多进程管理的一个包,在学习的时候可以与threading这个模块作类比,正如我们在上一篇转载的文章中所提,python的多 ...
- python多进程(multiprocessing)
最近有个小课题,需要用到双进程,翻了些资料,还算圆满完成任务.记录一下~ 1.简单地双进程启动 同时的调用print1()和print2()两个打印函数,代码如下: #/usr/bin/python ...
- Python使用multiprocessing实现一个最简单的分布式作业调度系统
Python使用multiprocessing实现一个最简单的分布式作业调度系统介绍Python的multiprocessing模块不但支持多进程,其中managers子模块还支持把多进程分布到多台机 ...
- python多进程multiprocessing Pool相关问题
python多进程想必大部分人都用到过,可以充分利用多核CPU让代码效率更高效. 我们看看multiprocessing.pool.Pool.map的官方用法 map(func, iterable[, ...
- Shared variable in python's multiprocessing
Shared variable in python's multiprocessing https://www.programcreek.com/python/example/58176/multip ...
- python下multiprocessing和gevent的组合使用
python下multiprocessing和gevent的组合使用 对于有些人来说Gevent和multiprocessing组合在一起使用算是个又高大上又奇葩的工作模式. Python的多线程受制 ...
随机推荐
- Django 中的时间处理
操作系统为OS X 10.9.2,Django为1.6.5. 1.时区 在setting.py文件中设置了时区 TIME_ZONE = 'Asia/Shanghai' # 设置时区为UTC+8 USE ...
- Java中jshell脚本
1.当所编写的代码量少时,倘若要按照步骤会显得繁琐,可直接用JDk当中的jshell,进入cmd,输入jshell,即进入jshell脚本交互模式.省去繁琐的定义类,main方法,可直接输出Syste ...
- Spring基于Setter函数的依赖注入(DI)
以下内容引用自http://wiki.jikexueyuan.com/project/spring/dependency-injection/spring-setter-based-dependenc ...
- 【spring boot】注解@ApiParam @PathVariable @RequestParam三者区别
1.@ApiParam,就是用于swagger提供开发者文档,文档中生成的注释内容. @ApiOperation( value = "编辑公告", notes = "编辑 ...
- 【Todo】Java类型转换总结
参考 http://www.cnblogs.com/lwbqqyumidi/p/3700164.html 这篇文章也可以对照着看:http://www.360doc.com/content/10/09 ...
- GoogLeNet系列解读
GoogLeNet Incepetion V1 这是GoogLeNet的最早版本,出现在2014年的<Going deeper with convolutions>.之所以名为“GoogL ...
- Proximal Gradient Descent for L1 Regularization(近端梯度下降求解L1正则化问题)
假设我们要求解以下的最小化问题: $min_xf(x)$ 如果$f(x)$可导,那么一个简单的方法是使用Gradient Descent (GD)方法,也即使用以下的式子进行迭代求解: $x_{k+1 ...
- 为什么说JAVA中要慎重使用继承 C# 语言历史版本特性(C# 1.0到C# 8.0汇总) SQL Server事务 事务日志 SQL Server 锁详解 软件架构之 23种设计模式 Oracle与Sqlserver:Order by NULL值介绍 asp.net MVC漏油配置总结
为什么说JAVA中要慎重使用继承 这篇文章的主题并非鼓励不使用继承,而是仅从使用继承带来的问题出发,讨论继承机制不太好的地方,从而在使用时慎重选择,避开可能遇到的坑. JAVA中使用到继承就会有两 ...
- 子结点childNodes
<!DOCTYPE HTML> <html> <head> <meta http-equiv="Content-Type" content ...
- openstack 中国联盟公开课參会总结
主流趋势 1. openstack defcore 互操作性认证.打通不同的openstack 厂商之间的连接 2. 首批OpenStack管理员认证(COA)将于2016年进行 3. 混合云应用广泛 ...