参数介绍:
Queue的说明:
云顶娱乐平台:Python queue队列。3.从队列中取数据,使用get()方法
4.判断队列中是否还有数据,使用qsize()方法
提高处理效率:FIFO = 现进先出,LIFO = 后入先出。
在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。在多线程开发当中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待消费者处理完,才能继续生产数据。同样的道理,如果消费者的处理能力大于生产者,那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。
队列:
import threading,time
import queue
# 最多存入10个
q = queue.Queue(maxsize=10)
def producer(name):
count = 1
while True:
# 生产一块骨头
q.put("骨头 %s" % count )
print("生产了骨头",count)
count +=1
time.sleep(0.3)
def consumer(name):
while True:
print("%s 取到[%s] 并且吃了它" %(name, q.get()))
time.sleep(1)
# 告知这个任务执行完了
q.task_done()
# 生成线程
p = threading.Thread(target=producer,args=("德国骨科",))
c = threading.Thread(target=consumer,args=("陈狗二",))
d = threading.Thread(target=consumer,args=("吕特黑",))
# 执行线程
p.start()
c.start()
d.start()
1.对于Queue,在多线程通信之间扮演重要的角色
为什么要使用生产者和消费者模式?
生产者消费者模型:
队列可以并发的派多个线程,对排列的线程处理,并切每个需要处理线程只需要将请求的数据放入队列容器的内存中,线程不需要等待,当排列完毕处理完数据后,线程在准时来取数据即可。请求数据的线程只与这个队列容器存在关系,处理数据的线程down掉不会影响到请求数据的线程,队列会派给其他线程处理这分数据,它实现了解耦,提高效率。队列内会有一个有顺序的容器,列表与这个容器是有区别的,列表中数据虽然是排列的,但数据被取走后还会保留,而队列中这个容器的数据被取后将不会保留。当必须在多个线程之间安全地交换信息时,队列在线程编程中特别有用。
Python的Queue模块中提供了同步的、线程安全的队列类,包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列PriorityQueue。这些队列都实现了锁原语(可以理解为原子操作,即要么不做,要么就做完),能够在多线程中直接使用。可以使用队列来实现线程间的同步。在python提供的Queue模块中,Queue对象消息队列是已经内置好的安全的队列,也就是说,Queue队列在底层已经封装了互斥锁等功能,线程间的通信不会混乱,而不需要我们手动加锁。
# 先入先出 maxsize 可设置大小,设置block=False抛异常
class queue.Queue(maxsize=0)
# 后进先出
class queue.LifoQueue(maxsize=0)
# 存储数据时可设置优先级的队列
# 优先级设置数越小等级越高
class queue.PriorityQueue(maxsize=0)
# 放入数据
Queue.put(item, block=True, timeout=None)
# 取出数据 #没有数据将会等待
Queue.get(block=True, timeout=None)
# 如果1秒后没取到数据就退出
Queue.get(timeout = 1)
# 取数据,如果没数据抛queue.Empty异常
Queue.get_nowait()
# 查看队列大小
Queue.qsize()
# 返回True,如果空
Queue.empty() #return True if empty
# 设置队列大小
Queue.full()
# 后续调用告诉队列,任务的处理是完整的。
Queue.task_done()
在上述代码中,我们在主线程中生成了一个Queue对象queue消息队列,并初始化在queue中放置了500个产品,接着创建了两个生产者线程和五个消费者线程,并将他们启动,这些线程在开始争夺CPU的使用权时是平等的,几乎同时的,结果是不可预估的,在生产者和消费者线程中,我们都加入了一个判断,用来保证队列中的产品不能过多,也不能让为空,需要维持在一定的水平,才能保证生产和消费的的操作能够有序不间断不会阻塞的进行,秉着队列先进先出的原则,我们知道消费者首先消费的一定是初始化的500个产品,当把这500个产品消费完毕之后才会消费生产者创造的产品,生产和消费的顺序无法确定,取决于操作系统的调度算法,但我们可以肯定的是,不会发生生产者和消费者同时对queue队列进行操作从而造成数据混乱的情况,这是Queue对象的一大特色,在这样的情况下线程可以有序地对消息队列进行操作,保证了线程安全。
2.添加数据到队列中,使用put()方法
作用:
解耦:使程序直接实现松耦合,修改一个函数,不会有串联关系。
生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯,而通过阻塞队列来进行通讯,所以生产者生产完数据之后不用等待消费者处理,直接扔给阻塞队列,消费者不找生产者要数据,而是直接从阻塞队列里取,阻塞队列就相当于一个缓冲区,平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。纵观大多数设计模式,都会找一个第三者出来进行解耦。
云顶娱乐平台,下面模拟一下生产者和消费者模式:
什么是生产者消费者模式?