Python拷贝及多进程与类的问题
最近写python写的尤其不顺利,更多的debug,逐渐的深入,产出却比较少。应该是个瓶颈期,坚持坚持,厚着脸皮也要坚持下去。
0x00 拷贝问题
程序中涉及到多进程和协程,大致的模型是开了2+个进程,每个进程里再开协程(提高多核CPU利用率)。又因为Python的multiprocessing和gevent是对头,某些东西不兼容(比如gevent和multiprocessing.Manager不能同时出现),所以虽然每个进程中做的操作(弱口令扫描)类似,结果存储以及进度方面都是在各个进程里完成的。于是就有了这样的代码:
def process_run():
pool = Pool(3) for count in range(4):
pool.apply_async(gevent_run, args(,)) pool.close()
pool.join() def gevent_run():
num_count = 0
pool = Pool(150) for count in range(500):
pool.add(gevent.spawn(verify_and_count, num_count)) pool.join() def verify_and_count(count):
if poc.verify():
count += 1 if count % 100 == 0:
print"Progress: %d/%d" % (count, all_count)
可以看到我在gevent_run函数里声明了一个num_count变量用于计数(当前扫描进度),也就是为每个进程都申请了一个这样的变量。但是在实际运行的时候,发现并没有输出进度信息,排查后发现count始终为0。
之前在一篇文章里看过Python的拷贝问题,在List和dict的时候,直接传参或者赋值是不会改变对应的变量在内存中的位置的,比如:
>>> a = [1,2,4]
>>> id(a)
42176920
>>> b = a
>>> id(b)
42176920
但是理解有些错误,以为所有的赋值都不会改变。实际上,如果=的右侧是一个新的变量的话,也会创建全新的内存空间,无论是int还是list:
>>> a = [1,2,4]
>>> id(a)
42176920
>>> b = a
>>> id(b)
42176920
>>> a = a + [2,3]
>>> a
[1, 2, 4, 2, 3]
>>> id(a)
42214744
最后解决这个问题,还是用到了list局部赋值,不会改变list本身位置的特点:
>>> a = [0]
>>> id(a)
42214744
>>> id(a[0])
14514580
>>> a[0] += 1
>>> id(a)
42214744
>>> id(a[0])
14514568
0x10 多进程和类对象的问题
class test():
def bb(self, a):
print a def run(self):
pool = Pool(processes=2) for count in range(4):
pool.apply_async(self.bb, args=(count,)) pool.close()
pool.join()
程序看起来没什么问题,但是在实际执行的时候,并没有调用bb函数。但如果是调用非成员函数,就没什么问题。后来同事给出了解决方法:
class test():
def bb(self, a):
print a def run(self):
pool = Pool(processes=2) for count in range(4):
pool.apply_async(self.bb()) pool.close()
pool.join()
看起来是解决了问题,但实际上并没有用到multiprocessing,直接变成了循环函数。后来查了一下资料,得出的结论:
Python2.7 多进程multiprocessing使用的pipe传递方法,实现用的是C pickle_dumpsm,这种方式不支持 instance method 传递。
所以,最一开始的传递方式无效,实际是因传递失败:子进程不会进行检查即不会报错,母进程作为僵尸等待,而子进程无效停止造成母进程结束退出。
http://stackoverflow.com/questions/14169550/how-to-use-multiprocessing-with-class-instances-in-python
http://stackoverflow.com/questions/27318290/why-can-i-pass-an-instance-method-to-multiprocessing-process-but-not-a-multipro
最后的解决方法,是把多进程和协程的调度函数放在了类外,这也应该是多进程和类掺和到一块儿的时候,正确的解决办法了吧。
0x20 VMware虚拟机 网络失效 解决方案
今天NAT的网络上不去了,纠结了两个小时,试了很多方案,最后也不知道是哪个起作用了。干脆总结个方法:
1) 我的电脑 - 右键 - 管理 - windows服务 : 开启所有vmware相关的服务,已经开启的重新启动。另外还要开启windows installer。
2) 虚拟机 - 网络首选项 - 恢复默认设置
3) 对应的虚拟机 - 删除原有网卡 - 添加新网卡
4) 删除/etc/network/interfaces里的内容,重新启动网卡
Python拷贝及多进程与类的问题的更多相关文章
- Python中使用多进程来实现并行处理的方法小结
进程和线程是计算机软件领域里很重要的概念,进程和线程有区别,也有着密切的联系,先来辨析一下这两个概念: 1.定义 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和 ...
- python 多线程和多进程
多线程与多进程 知识预览 一 进程与线程的概念 二 threading模块 三 multiprocessing模块 四 协程 五 IO模型 回到顶部 一 进程与线程的概念 1.1 进程 考虑一个场景: ...
- python高级之多进程
python高级之多进程 本节内容 多进程概念 Process类 进程间通讯 进程同步 进程池 1.多进程概念 multiprocessing is a package that supports s ...
- 第八篇:python高级之多进程
python高级之多进程 python高级之多进程 本节内容 多进程概念 Process类 进程间通讯 进程同步 进程池 1.多进程概念 multiprocessing is a package ...
- 搞定python多线程和多进程
1 概念梳理: 1.1 线程 1.1.1 什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发 ...
- python服务端多进程压测工具
本文描述一个python实现的多进程压测工具,这个压测工具的特点如下: 多进程 在大多数情况下,压测一般适用于IO密集型场景(如访问接口并等待返回),在这种场景下多线程多进程的区分并不明显(详情请参见 ...
- python 面向对象进阶之元类metaclass
一:知识储备 exec exec:三个参数 参数一:字符串形式的命令 参数二:全局作用域(字典形式),如果不指定,默认为globals() 参数三:局部作用域(字典形式),如果不指定,默认为local ...
- python多线程和多进程
1 概念梳理: 1.1 线程 1.1.1 什么是线程 线程是操作系统能够进行运算调度的最小单位.它被包含在进程之中,是进程中的实际运作单位.一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发 ...
- python多线程与多进程--存活主机ping扫描以及爬取股票价格
python多线程与多进程 多线程: 案例:扫描给定网络中存活的主机(通过ping来测试,有响应则说明主机存活) 普通版本: #扫描给定网络中存活的主机(通过ping来测试,有响应则说明主机存活)im ...
随机推荐
- C# 截图类
注意修改命名空间using System.Drawing; using System.Windows.Forms; namespace WindowsFormsApplication1 { ...
- MongoDB - Introduction to MongoDB, Documents
MongoDB stores data records as BSON documents. BSON is a binary representation of JSON documents, th ...
- Git CMD - diff: Show changes between commits, commit and working tree, etc
命令格式 git diff [options] [<commit>] [--] [<path>…] git diff [options] --cached [<comm ...
- 参数请求post, get , delete中的基本使用(1)
/// <summary> /// get 数据的时候可以采用此函数大部分功能 /// </summary> /// <param name="args&quo ...
- Android之点击切换图片
package com.example.SlidePictures; import java.util.Timer; import java.util.TimerTask; import com.ex ...
- (二)Qt界面设计之菜单栏
1.添加菜单项 直接输入菜单项名称,然后回车即可. 2.为菜单项设置图标 在动作编辑器上,右键选择编辑,然后添加图标 如果想在图标栏添加该菜单的快捷图标,直接将该动作项拖放只图标栏即可. 3.事件响应 ...
- asp.net C#数据导出Excel实例介绍
excel导出在C#代码中应用己经很广泛了,我这里就做些总结,供自己和读者学习用. Excel知识点. 一.添加引用和命名空间 添加Microsoft.Office.Interop.Excel引用,它 ...
- stl中的map数据类型
1.1 STL map 1.1.1 背景 关联容器使用键(key)来存储访问读取元素,而顺序容器则通过元素在容器中的位置存储和访问元素. 常见的顺序容器有:vector.list.deque.stac ...
- 如何在UINavigationBar上添加UISearchBar以及UISearchDisplayController的使用 --OC --iOS
那我们开始吧,下面是Sely写的一个Demo,分享给大家. 新建一个项目, UISearchDisplayController 的 displaysSearchBarInNavigationBar太死 ...
- 对JavaScript莫名的愤怒
很多时候,我都察觉JavaScript有一中描述性语言的特性,为了实现他的功能,在浏览器中完美的发挥作用,他就像是一个巨型的工厂工程模式,外挂了很多API和功能集,他们试图用完美的方案去解释所有必须的 ...