python 线程之 数据同步 Queue

Queue:将数据从一个线程发往另外一个线程比较通用的方式是使用queue模块的Queue类

1, 首先创建一个Queue模块的对象，创建Queue对象可以传递maxsize也可以不传递

2. 使用对象的put和get函数用来添加和移除元素。

 import _thread
 import queue
 import time

 consumercount = 2
 producercount = 4
 nummessages = 4

 safeprint = _thread.allocate_lock()
 dataQueue = queue.Queue()

 def producer(idnum):
     for msgnum in range(nummessages):
         time.sleep(idnum)
         dataQueue.put('producer id = {0},count={1}'.format(idnum, msgnum))

 def consumer(idnum):
     while True:
         time.sleep(0.1)
         try:
             data = dataQueue.get(block=False)
         except queue.Empty:
             pass
         else:
             with safeprint:
                 print('consumer id = {0}, got => {1}'.format(idnum, data))

 if __name__ == "__main__":
     for i in range(producercount):
         _thread.start_new_thread(producer, (i,))
     for i in range(consumercount):
         _thread.start_new_thread(consumer, (i,))
     time.sleep(10)
     print('main process existing')

在调用get的方法时，如果设置block为True，那么队列为空的时候调用get方法，会使调用线程阻塞。

当使用队列，如何对生产者和消费者的关闭过程进行同步。一般情况下使用一个特殊的终止值，当将这个值放入队列时消费者线程退出

 import queue
 import time
 import threading

 _sentinel = object()
 dataQueue = queue.Queue()

 def producer(out_q):
     n = 0
     while n < 10:
         n += 1
         dataQueue.put('input {0}'.format(n))

     dataQueue.put(_sentinel)

 def consumer(in_q):
     while True:
         data = in_q.get(block=False)
         if data is _sentinel:
             in_q.put(_sentinel)
             break
         print(data)
         time.sleep(1)

 threading.Thread(target=producer, args=(dataQueue,)).start()
 threading.Thread(target=consumer, args=(dataQueue,)).start()

在这个实例中，当消费者接收到这个特殊的终止值后，会立刻将其重新放回到队列中，这么做使得在同一队列上监听其他消费者线程也能接收到终止值。因此可以一个一个地将他们都关闭掉。

Queue为线程安全的类型，所以在添加和移除的过程中会自动获取所需的锁。