Python多线程笔记(三)，queue模块

尽管在Python中可以使用各种锁和同步原语的组合编写非常传统的多线程程序，但有一种首推的编程方式要优于其他所有编程方式
即将多线程程序组织为多个独立人物的集合，这些任务之间通过消息队列进行通信

queue模块(在python2中叫Queue)实现了各种多生产者-多消费者队列，可用于在执行的多个线程之间安全地交换信息。

queue模块定义了三种不同的队列类

Queue([maxsize])
创造一个FIFO(first-in-first-out,先进先出)队列。maxsize是队列中可以放入的项的最大数量，如果省略maxsize
参数或将它置为0，队列大小将为无穷大。

LifoQueue([maxsize])
创建一个LIFO(last-in-first-out,后进先出)队列(也叫栈)

PriorityQueue([maxsize])
创建一个优先级队列，其中项按照优先级从低到高依次排列。使用这种队列时，项应该是(priority, data)形式的元组，
其中priority是一个数字。

队列类的实例q具有一下方法

q.qsize()
返回队列的正确大小。因为其他线程可能正在更新队列，此方法返回的数字不完全可靠

q.empty()
如果队列为空，返回True，否则返回False

q.full()
如果队列已满，返回True，否则返回False

q.put(item[,block [,timeout]])
将item放入队列。如果可选参数block为True(默认值)，调用者将被阻塞直到队列中出现可用的空闲位置为止。
否则(block为False)，队列满时将引发Full异常。timeout提供可选的超时值，单位为秒。如果出现超时，将引发
Full异常

q.put_nowait(item)
等价于q.put(item, False)方法

q.get(block [,timeout])
从队列中删除一项，然后返回这个项。如果可选参数block为True(默认值)，调用者将阻塞，直到队列中出现可用的
空闲闲置。否则(block为False),队列为空将引发Empty异常。timeout提供可选的超时值，单位为秒。如果出现超时
将引发Empty异常。

q.get_nowait()
等价于get(0)方法

q.task_done()
队列中数据的消费数据用来指示对于项的处理已经结束。如果使用此方法，那么队列中删除的每一项都应该调用一次。

q.join()
阻塞直到队列中的所有项均被删除和处理为止。一旦为队列中的每一项都调用了一次q.task_done()方法，此方法将会直接返回。

 import threading
 from queue import Queue

 class WorkerThread(threading.Thread):
     def __init__(self, *args, **kwargs):
         threading.Thread.__init__(self, *args, **kwargs)
         self.input_queue = Queue()

     def send(self, item):
         self.input_queue.put(item)

     def close(self):
         self.input_queue.put(None)
         self.input_queue.join()

     def run(self):
         while True:
             item = self.input_queue.get()
             if item is None:
                 break
             # 处理项(使用有用的工作代替)
             print(item)
             self.input_queue.task_done()
         # 完成，指示收到和返回了哨兵
         self.input_queue.task_done()
         return

 # 使用示例
 w = WorkerThread()
 w.start()
 w.send('hello')  # 将项发给工作线程
 w.send('world')
 w.close()

 import queue
 import threading
 import time

 exitFlag = 0

 class MyThread (threading.Thread):
     def __init__(self, threadID, name, q):
         threading.Thread.__init__(self)
         self.threadID = threadID
         self.name = name
         self.q = q

     def run(self):
         print("开启线程：" + self.name)
         process_data(self.name, self.q)
         print("退出线程：" + self.name)

 def process_data(threadName, q):
     while not exitFlag:
         queueLock.acquire()
         if not workQueue.empty():
             data = q.get()
             queueLock.release()
             print("%s processing %s" % (threadName, data))
         else:
             queueLock.release()
         time.sleep(1)

 threadList = ["Thread-1", "Thread-2", "Thread-3"]
 nameList = ["One", "Two", "Three", "Four", "Five"]
 queueLock = threading.Lock()
 workQueue = queue.Queue(10)
 threads = []
 threadID = 1

 # 创建新线程
 for tName in threadList:
     thread = MyThread(threadID, tName, workQueue)
     thread.start()
     threads.append(thread)
     threadID += 1

 # 填充队列
 queueLock.acquire()
 for word in nameList:
     workQueue.put(word)
 queueLock.release()

 # 等待队列清空
 while not workQueue.empty():
     pass

 # 通知线程是时候退出
 exitFlag = 1

 # 等待所有线程完成
 for t in threads:
     t.join()
 print("退出主线程")

 # http://www.runoob.com/python3/python3-multithreading.html