# -*- coding: UTF-8 -*- """ 多线程的生产者,消费者 使用队列Queue """ import Queue import threading import time import random queue = Queue.Queue(3) # 创建3个大小的队列 class Producer(threading.Thread): """ 生产者,往队列中写数据 ""&qu…
# -*- coding: UTF-8 -*- """ 多线程同时读队列 使用 join(), task_done() 逻辑: 3个子线程并发 从有6个数据的队列中取数据,并且打印出来. 主线程等待队列空了才结束 总结: 1.主线程 调用 q.join()等待队列为空时,应该不是根据 q.qsize()判断的 也就是在Queue设计上,q.qsize()操作的内部队列大小变量 和 task_done()操作的内部队列大小变量 不是同一个 使用: 1.正常创建队列,往队列中读写…
# -*- coding: UTF-8 -*- """ 学习队列 Queue 总结: 1. 队列可以设置大小,也可以无限大小 2. 空了,满了,读写时可以阻塞,也可以报错 3. 队列中可以存储不同的数据类型对象 4. 队列的实现大量用到 线程模块 threading ,说明适用多线程之间的数据共享操作 不确定是否适合多进程之间的数据共享操作 5. 队列的实现用到锁操作,acquire,release,wait,notify 不需要在个人代码中使用 使用: 1. 创建队列对象…
Python之路,进程.线程.协程篇 本节内容 进程.与线程区别 cpu运行原理 python GIL全局解释器锁 线程 语法 join 线程锁之Lock\Rlock\信号量 将线程变为守护进程 Event事件 queue队列 生产者消费者模型 Queue队列 开发一个线程池 进程 语法 进程间通讯 进程池 参考链接http://www.cnblogs.com/alex3714/articles/5230609.html 生产者消费者模型 实例演示 #生产者消费者模型 import thread…
代码: # -*- coding: utf-8 -*- """ 学习线程同步,使用条件变量 逻辑: 生产消费者模型 一个有3个大小的产品库,一个生产者负责生产,一个消费者负责消费 每次生产或消费一个产品,产品库满了,生产者必须等待,产品库空了,消费者必须等待 生产者的速度是消费者的速度2倍,先启动消费者,一段时间后启动生产者 总结: 1. 条件变量底层用到R锁,对于已经获得锁的线程可以执行多次 acquire(),锁多次 2. 不确定是否和java的这一套 ,原理一样 使用:…
1 usePool.py #coding: utf-8 """ 学习进程池使用 multiprocessing.Pool 总结: 1. Pool 池用于处理 多进程,并不是多线程 2. 池有大小的概念 3. 并不是所有的子进程添加完了,才开始启动子进程. 当第一个进程添加到池中的时候,马上就启动了 使用: 1. 创建进程池对象 pool = multiprocessing.Pool(processes = 3) 2. 往池中添加进程 主要:pool.apply_async(f…
pickle模块:将所有的Python对象转换成二进制文件存放 应用场景:编程时最好将大对象(列表.字典.集合等)用pickle写成永久数据包供程序调用,而不是直接写入程序 写入过程:将list转换为二进制写入my_pickle文件中 import pickle list=[1,2,3] pickle_file = open('my_pickle.pkl','wb') pickle.dump(list,pickle_file) pickle_file.close() 读出过程:将二进制文件my_…
# -*- coding: utf-8 -*- """ 多进程 锁使用 逻辑: 10个进程各种睡眠2秒,然后打印. 不加锁同时打印出来,总共2秒,加锁一个接一个打印,总共20秒 总结: 1.Lock 只要1把锁,RLock 有多把锁,但是不清楚什么场景只适合用RLock 使用: 1. 创建所 lock = Lock() or lock = RLock() 2. 把锁当做参数传入给子进程 3. 在子进程执行代码中对代码块,加锁 lock.acquire(); 其他代码 lock…
# -*- coding: utf-8 -*- """ 学习 多线程同步 使用锁 threading.Lock() 逻辑: 2 个线程,操作同一个整型变量,一个加法,另外一个减法 总结: 1. 锁不是加在共享数据上,不像数据库锁加在数据上 ,好像是锁定修改数据的程序代码,任何时候,锁定的代码 最多被一个线程执行 2. 某段操作共享数据的代码加锁了,如果共享数据在代码其他地方有修改逻辑,没加锁 数据逻辑性无法保证 3. 锁获得,释放之间的代码可以不操作共享数据 ,仅仅实现线程之…
Mysql操作: grant select,insert,update,delete on *.* to root@"%" Identified by "123456";  #授权远程访问 create database s12day9 charset utf8; #创建支持中文的数据库 创建表: create table students ( id int not null auto_increment primary key, name char(32) not…
Python第十四天 序列化  pickle模块  cPickle模块  JSON模块  API的两种格式 目录 Pycharm使用技巧(转载) Python第一天  安装  shell  文件 Python第二天  变量  运算符与表达式  input()与raw_input()区别  字符编码  python转义符  字符串格式化 Python第三天 序列  5种数据类型  数值  字符串  列表  元组  字典 Python第四天   流程控制   if else条件判断   for循环…
初学 Python(十四)--生成器 初学 Python,主要整理一些学习到的知识点,这次是生成器. # -*- coding:utf-8 -*- ''''' 生成式的作用: 减少内存占有,不用一次性 创建list中所有的元素,而 是在需要的时候创建 ''' #创建generator有2种方式 #第一种将列表表达式中的[]改为()即可 g = (x*x for x in range(10)) print g for n in g: print n #第二种,关键字yield def fab(ma…
Python第二十四天 binascii模块 binascii用来进行进制和字符串之间的转换 import binascii s = 'abcde' h = binascii.b2a_hex(s) # 字符串转16进制 '6162636465' h = binascii.hexlify(s) # 作用同上 s = binascii.a2b_hex(h) # 16进制转字符串 'abcde' s = binascii.unhexlify(h) # 作用同上 hex(512)           …
孤荷凌寒自学python第二十四天python类中隐藏的私有方法探秘 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 今天发现了python的类中隐藏着一些特殊的私有方法. 这些私有方法不管我们定义类时是否在类的内部代码块中定义过它们,这些私有方法都是存在的.比如已经知道的 __init__ 方法就是其中一个. 一.__str__ 此方法将输出在本身的相关信息文本. 测试: class ghlh(object): name='孤荷凌寒' qq='578652607' newghlh=gh…
孤荷凌寒自学python第十四天python代码的书写规范与条件语句及判断条件式 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 在我学习过的所有语言中,对VB系的语言比较喜欢,而对C系和J系语言比较不喜欢. 可能有朋友说,C系和J系功能好得多. 那是事实! 而我之所以对C系和J系语言的不喜欢, 其实只是一个小小的原因 那是因为它们在代码的书写规范上要写那个令人打键盘时非常捉急的 {} 而且频繁使用~~~~~~~ 写出来的代码倒是没有关系,看上去非常整洁,能够清晰明了地看出代块的起止.…
Python进阶(十四)----空间角度研究类,类与类之间的关系 一丶从空间角度研究类 对象操作对象属性 class A(): address = '沙河' def __init__(self, name): self.name = name def func(self): # 给对象封装一个属性 if self.name == 'ls': self.age = 100 obj = A('ls') #实例化一个对象 # 类的外部给对象封装属性 obj.sex = '男' print(obj.__…
Java阻塞队列(BlockingQueue)实现 生产者/消费者 示例 本文由 TonySpark 翻译自 Javarevisited.转载请参见文章末尾的要求. Java.util.concurrent.BlockingQueue 是一个队列实现类,支持这样的操作:当从队列中获取或者移除元素时,如果队列为空,需要等待,直到队列不为空:同时如果向队列中添加元素时,此时如果队列无可用空间,也需要等待. BlockingQueue 类不接收Null值,如果你试图向队列中存入Null值将抛出Null…
1  队列读写 # -*- coding: utf-8 -*- """ 多进程 共享 队列 multiprocessing.Process 逻辑: 一个进程往队列写数据,一个进程从读写读数据 写进程完了后,主进程强行结束读进程 使用: 1. 创建队列 q = multiprocessing.Queue() ,默认无限大小,可以指定大小 2. 把队列 q 当参数传给 子进程 执行代码, 猜测应该不能通过全局变量的方式访问 3. 在子进程中读写队列数据 q.put(<dat…
进击のpython ***** 并发编程--Queue 进程其实就提过这个Queue的问题,我们为什么在进程使用Queue? 是因为当时我们想要对共享数据进行修改,同时也希望它能够自动的给我加个锁 基于上面的需求Queue就应运而生,扛起了这杆大旗 那反观线程这里,数据是共享的,那为什么还要使用Queue呢? 其实线程用Queue也是看上了他能够自己加锁的这个能力,防止自己加锁,出现死锁 单拿出来不是为了划水,而是因为Queue还有一些其他的方法没有介绍到 所以准备重新的再仔细地最后介绍一遍 队…
知识点一:守护进程 守护进程:p1.daemon=True 守护进程其实就是一个“子进程“,守护=>伴随 守护进程会伴随主进程的代码运行完毕后而死掉 进程:当父进程需要将一个任务并发出去执行,需要将该任务放到以个子进程里 守护:当该子进程内的代码在父进程代码运行完毕后就没有存在的意义了,就应该 将该子进程设置为守护进程,会在父进程代码结束后死掉 from multiprocessing import Process import time def foo(): print(123) time.s…
一,互斥锁,同步锁 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 竞争带来的结果就是错乱,如何控制,就是加锁处理 part1:多个进程共享同一打印终端 #并发运行,效率高,但竞争同一打印终端,带来了打印错乱 from multiprocessing import Process import os,time def work(): print('%s is running' %os.getpid()) time.sleep(2) print('…
一,互斥锁,同步锁 进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的, 竞争带来的结果就是错乱,如何控制,就是加锁处理 part1:多个进程共享同一打印终端 #并发运行,效率高,但竞争同一打印终端,带来了打印错乱 from multiprocessing import Process import os,time def work(): print('%s is running' %os.getpid()) time.sleep(2) print('…
python通过queue模块来提供线程间的通信机制,从而可以让线程分项数据. 个人感觉queue就是管程的概念 一个生产者消费者问题 from random import randint from threading import Thread from queue import Queue from time import sleep def writeq(queue): print('starting put queue...') queue.put('hahaha', 1) #1表示在有…
import time from multiprocessing import Process,Queue,JoinableQueue #生产者 def producer(q): for i in range(10): time.sleep(0.2) s = '大包子%s号'%i print(s+'新鲜出炉,拿去用') q.put(s) q.join() #就等着task_done()信号的数量,和我put进去的数量相同时,才继续执行 print('所有的任务都被处理了,继续潜行吧骚年们') d…
参考博客 https://www.cnblogs.com/xiao987334176/p/9025072.html#autoid-1-1-0 进程同步(multiprocess.Lock.Semaphore.Event) 锁 —— multiprocess.Lock 通过刚刚的学习,我们千方百计实现了程序的异步,让多个任务可以同时在几个进程中并发处理,他们之间的运行没有顺序,一旦开启也不受我们控制.尽管并发编程让我们能更加充分的利用IO资源,但是也给我们带来了新的问题. 当多个进程使用同一份数据…
这一章节我们来讨论一下堵塞队列.我们以下将通过生产者消费者模式来介绍堵塞队列. 1.什么是堵塞队列?(摘自于并发编程网对http://tutorials.jenkov.com/java-concurrency/blocking-queues.html的翻译) 当队列是空的时.从队列中获取元素的操作将会被堵塞,或者当队列是满时.往队列里加入元素的操作会被堵塞. 试图从空的堵塞队列中获取元素的线程将会被堵塞,直到其它的线程往空的队列插入新的元素.相同.试图往已满的堵塞队列中加入新元素的线程相同也会被…
一.守护进程 import random import time from multiprocessing import Process def task(): print('name: egon') time.sleep(random.randint(0,3)) print('sex:male') time.sleep(random.randint(0, 3)) print('age:19') if __name__ == '__main__': p=Process(target=task)…
多线程当中的阻塞队列 主要实现类有 ArrayBlockingQueue是一个基于数组结构的有界阻塞队列,此队列按FIFO原则对元素进行排序 LinkedBlockingQueue是一个基于链表结构的阻塞队列,此队列按FIFO排序元素,吞吐量通常要高于ArrayBlockingQueue SynchronousQueue是一个不存储元素的阻塞队列,单个插入操作必须等到另一个线程调用移除操作,否则插 入操作一直处于阻塞状态 1. 阻塞队列概念 阻塞队列通俗来说,是一个队列,而一个阻塞队列再数据结构…
直接上代码: 前提是你已经 熟悉了原子类,volatile,和阻塞队列 public class JucPCdemo03 { /** * 阻塞队列的应用: 这里实现的生产者消费者,生产一个消费一个 * 且,不使用 synchronized 和 lock锁 */ private volatile boolean flag = true; private static AtomicInteger atomicInteger = new AtomicInteger(0); private Blocki…
# -*- coding: UTF-8 -*- """ 多线程同时读队列 总结: 1. 会阻塞 if self._jobq.qsize() > 0 进入逻辑,此时被其他线程把数据取完了, 在data = self._jobq.get() 阻塞 2. 需要学习锁使用 逻辑: * 主线程提前往队列写好所有数据 * 子线程读取队列数据,没有就退出线程 """ import Queue import threading import time im…