asyncio同步原语与线程(threading)模块同步原语基本类似,但有两点重要区别:

  • asyncio同步原语非线程安全,因此不应被用作系统线程同步(可以使用threading代替);
  • asyncio同步原语不允许使用timeout参数;可以使用asyncio.wait_for()方法执行有超时设置的操作。

asyncio有以下5个基本的同步原语:

  • Lock
  • Event
  • Condition
  • Semaphore
  • BoundedSemaphore

Lock

  • class asyncio.Lock(*,loop=None)

    • 为asyncio任务提供一个互斥锁。非线程安全。
    • asyncio锁可以用来保证对共享资源的独占访问。
    • asyncio锁的首选用法是同async with语句一起使用:
      lock = asyncio.Lock()
      # ... later
      async with lock:
      # 访问共享资源

      此代码段和以下代码是等价的:

      lock = asyncio.Lock()
      
      # ... later
      await lock.acquire()
      try:
      # 访问共享资源
      finally:
      lock.release()
    • coroutine acquire()
      • 获取asyncio同步锁。
      • 该方法等待的状态变为unlocked,之后设置其为locked,并返回True
    • release()
      • 释放asyncio同步锁。
      • 如果的状态是locked,则将其重置为unlocked并返回。
      • 如果的状态是unlocked,会引发RuntimeError异常。
    • locked()
      • 如果的状态是locked,则返回True

Event

  • class asyncio.Event(*,loop=None)

    • 事件对象,非线程安全。
    • 用于向asyncio任务通知某些事件已发生。
    • 事件对象用于管理内部标志。此标志可以通过set()方法设置为True,或通过clear()方法复位为Falsewait()方法在该标志设置为True前一直保持阻塞。初始状态下,该标志为False
    • 例如:
      async def waiter(event):
      print('waiting for it ...')
      await event.wait()
      print('... got it!') async def main():
      # Create an Event object.
      event = asyncio.Event() # Spawn a Task to wait until 'event' is set.
      waiter_task = asyncio.create_task(waiter(event)) # Sleep for 1 second and set the event.
      await asyncio.sleep(1)
      event.set() # Wait until the waiter task is finished.
      await waiter_task asyncio.run(main())
    • coroutine wait()
      • 等待事件内部标志被设置为True
      • 如果事件的内部内部标志已设置,则立即返回True。否则,一直阻塞,直到另外的任务调用set()
    • set()
      • 设置事件内部标志True
      • 所有等待事件的任务将会立即被触发。
    • clear()
      • 清除事件内部标志(即设置为False)。
      • 等待事件的任务将会阻塞,直到set()方法被再次调用。
    • is_set()
      • 如果事件内部标志被设置为True,则返回True

Condition

  • class asyncio.Condition(lock=None,*,loop=None)

    • 条件对象,非线程安全。
    • 异步条件原语用于在某些事件发生后,获得共享资源的独占访问权限。
    • 本质上,条件对象结合了事件和锁的功能。可以让多个Condition对象共享一个Lock,这允许在对共享资源的特定状态感兴趣的不同任务之间协调对共享资源的独占访问。
    • 可选参数lock必须为Lock对象或None。如果为None,会自动创建一个Lock对象。
    • 使用条件对象的首选方法是async with方式:
      cond = asyncio.Condition()
      
      # ... later
      async with cond:
      await cond.wait()

      等价于:

      cond = asyncio.Condition()
      
      # ... later
      await lock.acquire()
      try:
      await cond.wait()
      finally:
      lock.release()
    • coroutine acquire()
      • 获取底层锁。
      • 该方法一直等待,直到底层锁处于未锁定状态,然后设置其为锁定状态,并且返回True
    • notify(n=1)
      • 唤醒至多n个等待条件的任务。如果没有正在等待的任务,则该方法无操作。
      • 在调用该方法之前,必须先调用acquire()获取锁,并在调用该方法之后释放锁。如果在锁为锁定的情况下调用此方法,会引发RuntimeError异常。
    • locked()
      • 如果底层锁已获取,则返回True
    • notify_all()
      • 唤醒所有正在等待该条件的任务。
      • 该方法与notify()类似,区别只在它会唤醒所有正在等待的任务。
      • 在调用该方法前,必须首先获取底层锁,并在执行完该方法后释放锁。如果在底层锁未锁定的情况下执行该方法,会引发RuntimeError异常。
    • release()
      • 释放底层锁。
      • 在未锁定的锁上调用时,会引发RuntimeError异常。
    • coroutine wait()
      • 等待通知。
      • 如果调用此方法的任务没有获取到锁,则引发RuntimeError异常。
      • 此方法释放底层锁,然后保持阻塞,直至被notify()notify_all()唤醒。被唤醒之后,条件对象重新申请锁,该方法返回True
    • coroutine wait_for(predicate)
      • 等待predicate变为True
      • predicate必须可调用,它的执行结果会被解释为布尔值,并作为最终结果返回。

Semaphore

  • class asyncio.Semaphore(value=1,*,loop=None)

    • 信号量(Semaphore)对象。非线程安全。
    • 信号量用于管理一个内部计数器,此计数器逢acquire()递减,逢release()递增。计数器的值不能小于0,如果acquire()被调用时计数器为0,则阻塞,直到某一任务调用release()
    • value为可选参数,用于设定内部计数器的初始值。如果给定的值小于0,则引发ValueError异常。
    • 使用信号量的最佳方法是async with声明:
      sem = asyncio.Semaphore(10)
      
      # ... later
      async with sem:
      # work with shared resource

      等价于:

      sem = asyncio.Semaphore(10)
      
      # ... later
      await sem.acquire()
      try:
      # work with shared resource
      finally:
      sem.release()
  • coroutine acquire()
    • 申请一个信号量
    • 如果内部计数器的值大于0,则减1并立即返回True。如果内部计数器的值为0,则等待release()被调用,然后返回True
  • locked()
    • 如果信号量不能被立即申请,则返回True
  • release()
    • 释放信号量,内部计数器加1。
    • BoundedSemaphore不同,Semaphore允许release()的调用次数大于acquire()的调用次数。

BoundedSemaphore

  • class asyncio.BoundedSemaphore(value=1,*,loop=None)

    • 有界信号量,非线程安全。
    • 有界信号量是一种特殊的信号量——如果release()后内部计数器的值大于初始值,则引发ValueError异常。

从python3.7开始:通过await lockyield from lock或通过声明with await lockwith(yield from lock)获取锁的用法被废弃。可使用async with lock代替。

asyncio异步IO--同步原语的更多相关文章

  1. 【Python学习之九】asyncio—异步IO

    asyncio 这是python3.4引入的标准库,直接内置对异步IO的支持.asyncio的编程模型就是一个消息循环.从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程 ...

  2. asyncio异步IO——Streams详解

    前言 本文翻译自python3.7官方文档--asyncio-stream,译者马鸣谦,邮箱 1612557569@qq.com.转载请注明出处. 数据流(Streams) 数据流(Streams)是 ...

  3. 5种IO模型、阻塞IO和非阻塞IO、同步IO和异步IO

    POSIX 同步IO.异步IO.阻塞IO.非阻塞IO,这几个词常见于各种各样的与网络相关的文章之中,往往不同上下文中它们的意思是不一样的,以致于我在很长一段时间对此感到困惑,所以想写一篇文章整理一下. ...

  4. 爬虫之多线程 多进程 自定义异步IO框架

    什么是进程? 进程是程序运行的实例,是系统进行资源分配和调度的一个独立单位,它包括独立的地址空间,资源以及1个或多个线程. 什么是线程? 线程可以看成是轻量级的进程,是CPU调度和分派的基本单位. 进 ...

  5. 2020.11.2 异步IO 协程

    异步IO 同步IO在一个线程中,CPU执行代码的速度极快,然而,一旦遇到IO操作,如读写文件.发送网络数据时,就需要等待IO操作完成,才能继续进行下一步操作. 在IO操作的过程中,当前线程被挂起,而其 ...

  6. 【译】深入理解python3.4中Asyncio库与Node.js的异步IO机制

    转载自http://xidui.github.io/2015/10/29/%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3python3-4-Asyncio%E5%BA%93% ...

  7. Python并发编程之初识异步IO框架:asyncio 上篇(九)

    大家好,并发编程 进入第九篇. 通过前两节的铺垫(关于协程的使用),今天我们终于可以来介绍我们整个系列的重点 -- asyncio. asyncio是Python 3.4版本引入的标准库,直接内置了对 ...

  8. (转)Python黑魔法 --- 异步IO( asyncio) 协程

    转自:http://www.jianshu.com/p/b5e347b3a17c?from=timeline Python黑魔法 --- 异步IO( asyncio) 协程 作者 人世间 关注 201 ...

  9. python中同步、多线程、异步IO、多线程对IO密集型的影响

    目录 1.常见并发类型 2.同步版本 3.多线程 4.异步IO 5.多进程 6.总结 1.常见并发类型 I/ O密集型: 蓝色框表示程序执行工作的时间,红色框表示等待I/O操作完成的时间.此图没有按比 ...

随机推荐

  1. 我们身边那些优秀的.NET开发者-

    我们身边那些优秀的.NET开发者----邹琼俊 初识大佬 非常有幸通过博客园认识了邹琼俊邹老师,他也是<ASP.NET企业级开发实战>这本书的作者,这本书的销量达到了将近九千本,在这个实体 ...

  2. Qt创建堆叠窗口

    1.QT创建堆叠窗口使用类,但是使用它时主窗口不能是MainWindow,否则会出现布局错误,本例中使用基类为QDialog QStackedWidget 2.可以配合列表框QListWidget和Q ...

  3. python高级-动态特性(20)

    一.动态语⾔的定义 动态语言是在运行时确定数据类型的语言.变量使用之前不需要类型声明,通常变量的类型是被赋值的那个值的类型.现在比较热门的动态语言有:Python.PHP.JavaScript.Obj ...

  4. 使用ML.NET实现白葡萄酒品质预测

    导读:ML.NET系列文章 本文将基于ML.NET v0.2预览版,介绍机器学习中的分类和回归两个重要概念,并实现白葡萄酒品质预测. 本系列前面的文章也提到了一些,经典的机器学习最主要的特点就是模拟, ...

  5. Lucene 07 - 对Lucene的索引库进行增删改查

    目录 1 添加索引 2 删除索引 2.1 根据Term删除索引 2.2 删除全部索引(慎用) 3 更新索引 数据保存在关系型数据库中, 需要实现增.删.改.查操作; 索引保存在索引库中, 也需要实现增 ...

  6. dotnet core高吞吐Http api服务组件FastHttpApi

    简介 是dotNet core下基于Beetlex实现的一个高度精简化和高吞吐的HTTP API服务开源组件,它并没有完全实现HTTP SERVER的所有功能,而是只实现了在APP和WEB中提供数据服 ...

  7. 前端笔记之HTML5&CSS3(上)新特性&音频视频&本地存储&自定义属性

    一.HTML5简介 HTML 5 的第一份正式草案已于2008年1月22日公布.HTML5 仍处于完善之中.然而,大部分现代浏览器已经具备了某些 HTML5 支持. 2014年10月29日,万维网联盟 ...

  8. [解决方案] Ubuntu 16.04 下 Qt 5.6 无法输入中文的问题

    0. 环境 系统:ubuntu 16.04 LTS 机子:dell xps13 1. 步骤 1.1 编译 fcitx-qt5 源码 编译fcitx-qt需要cmake,安装cmake命令,如果已经安装 ...

  9. javascript入门篇(二)

    对   象 对象:一组元素的集合 声明方式:字面量方式 var O = { } 构造函数方式:var obj  =  new object(); 为对象添加新属性,如:o.name = 'jerry' ...

  10. 如何使用kafka增加topic的备份数量,让业务更上一层楼

    本文由云+社区发表 一.困难点 建立topic的时候,可以通过指定参数 --replication-factor 设置备份数量.但是,一旦完成建立topic,则无法通过kafka-topic.sh 或 ...