1.with

with语句是在Python2.6中出现的新语句。在Python2.6以前要正确的处理涉及到异常的资源管理时，需要使用try/finally代码结构。如要实现文件在操作出现异常时也能正确关闭，则需要像如下实现：

f = open("test.txt")

try:

    for line in f.readlines():

        print(line)

finally:

    f.close()

不管文件操作有没有出现异常，try/finally中的finnally语句都会执行，从而保证文件的正确关闭。

with语句的基本语法结构如下:

with expression [as variable]:

　　　 with-block

用with语句代替上面的try/finally的例子

with open("text.txt") as f:

    for line in f.readlines()

　　　　print(line)

with语句的expression是上下文管理器，这个我们下文会说。with语句中的[as variable]是可选的，如果指定了as variable说明符，则variable是上下文管理器expression调用__enter__()函数返回的对象。所以，f并不一定就是expression，而是expression.__enter__()的返回值，至于expression.__enter__()返回什么就由这个函数来决定了。with-block是执行语句，with-block执行完毕时，with语句会自动进行资源清理，对应上面例子就是with语句会自动关闭文件。

expression是一个上下文管理器，其实现了__enter__和__exit__两个函数。当我们调用一个with语句时，执行过程如下：

1.首先生成一个上下文管理器expression，在上面例子中with语句首先以“test.txt”作为参数生成一个上下文管理器open("test.txt")。

2.然后执行expression.__enter__()。如果指定了[as variable]说明符，将__enter__()的返回值赋给variable。上例中open("test.txt").__enter__()返回的是一个文件对象给f。

3.执行with-block语句块。上例中执行读取文件。

4.执行expression.__exit__(),在__exit__()函数中可以进行资源清理工作。上面例子中就是执行文件的关闭操作。

with语句不仅可以管理文件，还可以管理锁、连接等等，如下面的例子：

#管理锁

import  threading

lock = threading.lock()

with lock:

    #执行一些操作

    pass

2.上下文管理器

with语句可以如此简单但强大，主要依赖于上下文管理器。那么什么是上下文管理器?上下文管理器就是实现了上下文协议的类，而上下文协议就是一个类要实现__enter__()和__exit__()两个方法。一个类只要实现了__enter__()和__exit__()，我们就称之为上下文管理器下面我们具体说下这两个方法。

　　__enter__()：主要执行一些环境准备工作，同时返回一资源对象。如果上下文管理器open("test.txt")的__enter__()函数返回一个文件对象。

　　__exit__()：完整形式为__exit__(type, value, traceback),这三个参数和调用sys.exec_info()函数返回值是一样的，分别为异常类型、异常信息和堆栈。如果执行体语句没有引发异常，则这三个参数均被设为None。否则，它们将包含上下文的异常信息。__exit_()方法返回True或False,分别指示被引发的异常有没有被处理，如果返回False，引发的异常将会被传递出上下文。如果__exit__()函数内部引发了异常，则会覆盖掉执行体的中引发的异常。处理异常时，不需要重新抛出异常，只需要返回False，with语句会检测__exit__()返回False来处理异常。

如果我们要自定义一个上下文管理器，只需要定义一个类并且是实现__enter__()和__exit__()即可。下面通过一个简单的例子是演示如果新建自定义的上下文管理器，我们以数据库的连接为例。在使用数据库时，有时要涉及到事务操作。数据库的事务操作当调用commit()执行sql命令时，如果在这个过程中执行失败，则需要执行rollback()回滚数据库,通常实现方式可能如下：

def test_write():

    con = MySQLdb.connection()

    cursor = con.cursor()

    sql = """      #具体的sql语句

    """

    try:

        cursor.execute(sql)

        cursor.execute(sql)

        cursor.execute(sql)

        con.commit()      #提交事务

    except Exception as ex:

        con.rollback()    #事务执行失败，回滚数据库

通过with语句来实现数据库执行失败的回滚操作，则我们需要自定义一个数据库连接的上下文管理器，假设为DBConnection，则我们将上面例子用with语句来实现的话，应该是这样子的，如下：

def test_write():

    sql = """      #具体的sql语句

    """

    con = DBConnection()

    with con as cursor:

        cursor.execute(sql)

        cursor.execute(sql)

        cursor.execute(sql)

要实现上面with语句的功能，则我们的DBConnection数据库上下文管理器则需要提供一下功能：__enter__()要返回一个连接的cursor; 当没有异常发生是，__exit__()函数commit所有的数据库操作。如果有异常发生则_exit__()会回滚数据库，调用rollback()。所以我们可以实现DBConnection如下：

1 def DBConnection(object):

 2     def __init__(self):

 3         pass

 4

 5     def cursor(self):

 6         #返回一个游标并且启动一个事务

 7         pass

 8

 9     def commit(self):

10         #提交当前事务

11         pass

12

13     def rollback(self):

14         #回滚当前事务

15         pass

16

17     def __enter__(self):

18         #返回一个cursor

19         cursor = self.cursor()

20         return cursor

21

22     def __exit__(self, type, value, tb):

23         if tb is None:

24             #没有异常则提交事务

25             self.commit()

26         else:

27             #有异常则回滚数据库

28             self.rollback()

3.contextlib模块

contextmanage对象

如果我们要实现一个自定义的上下文管理器,需要定义一个实现了__enter__和__exit__两个方法的类, 这显示不是很方便。Python的contextlib模块给我们提供了更方便的方式来实现一个自定义的上下文管理器。contextlib模块包含一个装饰器contextmanager和一些辅助函数，装饰器contextmanager只需要写一个生成器函数就可以代替自定义的上下文管理器，典型用法如下：

需要使用yield先定义一个生成器函数.

@contextmanager

        def some_generator(<arguments>):

            <setup>

            try:

                yield <value>

            finally:

                <cleanup>

然后便可以用with语句调用contextmanage生成的上下文管理器了，with语句用法如下：

with some_generator(<arguments>) as <variable>:

            <body>

生成器函数some_generator就和我们普通的函数一样，它的原理如下：

  1. some_generator函数在在yield之前的代码等同于上下文管理器中的__enter__函数。
  2. yield的返回值等同于__enter__函数的返回值，即如果with语句声明了as <variable>，则yield的值会赋给variable
  3. 然后执行<cleanup>代码块，等同于上下文管理器的__exit__函数。此时发生的任何异常都会再次通过yield函数返回。

下面举几个简单的例子：

列子1:锁资源自动获取和释放的列子

 1 @contextmanager

 2 def locked(lock):

 3     lock.acquire()

 4     try:

 5         yield

 6     finally:

 7         lock.release()

 8

 9 with locked(myLock):

10     #代码执行到这里时，myLock已经自动上锁

11     pass

12     #执行完后会，会自动释放锁

with的上下文管理的更多相关文章

  1. python2.7高级编程 笔记一（Python中的with语句与上下文管理器学习总结）

    0.关于上下文管理器上下文管理器是可以在with语句中使用,拥有__enter__和__exit__方法的对象. with manager as var: do_something(var) 相当于以 ...

  2. 上下文管理、线程池、redis订阅和发布

    一:上下文管理: 对于一些对象在使用之后,需要关闭操作的.比如说:socket.mysql数据库连接.文件句柄等. 都可以用上下文来管理. 语法结构: Typical usage: @contextm ...

  3. 翻译《Writing Idiomatic Python》（五）：类、上下文管理器、生成器

    原书参考:http://www.jeffknupp.com/blog/2012/10/04/writing-idiomatic-python/ 上一篇:翻译<Writing Idiomatic ...

  4. python学习笔记4（对象／引用；多范式; 上下文管理器）

    ### Python的强大很大一部分原因在于,它提供有很多已经写好的,可以现成用的对象 21. 动态类型:对象/引用 对象和引用: 对象是储存在内存中的实体,对象名只是指向这一对象的引用(refere ...

  5. Python深入02 上下文管理器

    作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢! 上下文管理器(context manager)是Python2.5开始支持的一种语 ...

  6. python 上下文管理器

    作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢! 上下文管理器(context manager)是Python2.5开始支持的一种语 ...

  7. 【Python学习笔记】with语句与上下文管理器

    with语句 上下文管理器 contextlib模块 参考引用 with语句 with语句时在Python2.6中出现的新语句.在Python2.6以前,要正确的处理涉及到异常的资源管理时,需要使用t ...

  8. python with语句上下文管理的两种实现方法

    在编程中会经常碰到这种情况:有一个特殊的语句块,在执行这个语句块之前需要先执行一些准备动作:当语句块执行完成后,需要继续执行一些收尾动作.例如,文件读写后需要关闭,数据库读写完毕需要关闭连接,资源的加 ...

  9. python上下文管理器及with语句

    with语句支持在一个叫上下文管理器的对象的控制下执行一系列语句,语法大概如下: with context as var: statements 其中的context必须是个上下文管理器,它实现了两个 ...

  10. 流畅python学习笔记：第十五章：上下文管理器

    在开始本章之前,我们首先来谈谈try-excep..final模块.在Python中,进行异常保护的最多就是用try..except..final.首先来看下下面的代码.进行一个简单的除法运算.为了防 ...

随机推荐

  1. 我的web前端整理和学习

    知识点收藏:(边看.边记录.边写) 开直播学习:虎牙 待办事理>> 练习自我表达(把文章做成视频).技术学习总结(博客与公众号).跳出舒适圈. 前端知识体系:https://www.cnb ...

  2. mysql和oracle分页查询

    MYSQL分页查询 方式1: select * from table order by id limit m, n; 该语句的意思为,查询m+n条记录,去掉前m条,返回后n条记录.无疑该查询能够实现分 ...

  3. WebSocket 的理解

    WebSocket是HTML5开始提供的一种浏览器与服务器间进行全双工通讯的网络技术.依靠这种技术可以实现客户端和服务器端的长连接,双向实时通信. 它的最大特点就是,服务器可以主动向客户端推送信息,客 ...

  4. 自制操作系统Antz(10)——实现shell(上)

    我已经规范了系统代码风格,类似于按照linux分包,把各部分功能区分开了 Antz系统更新地址 Linux内核源码分析地址 Github项目地址 在之前的任务中,我们已经通过直接操作显卡驱动完成了简单 ...

  5. javascript 之 第七章第三节（this关键字）

    该章节将从以下几个方面来谈论ths的使用环境. 1/this和构造器 2/this和对象 3/this和函数 4/全局环境的this 5/this和DOM/事件 7/me/self/that/_thi ...

  6. VMware15 安装centos7标准板

    VM主页——>创建虚拟机——>典型——>下一步: 选择安装安装操作系统,进入选择客户机操作系统界面 选择Linux  版本centos7 64位: 下一步——>填写虚拟机名称, ...

  7. 2019金融科技风往哪儿吹？蚂蚁金服联合20余家金融机构预测新年热点：5G、区块链上榜

    2019年,金融科技的风向标在哪里?哪些板块成新宠,哪些科技成潮流? 1月4日,蚂蚁金服ATEC城市峰会在上海举行.大会上,蚂蚁金服与20余家金融机构一起预测了2019年金融科技的发展. “未来金融会 ...

  8. 如何只安装Postgresql client（以9.4 为例）

    Install the repository RPM: yum install https://download.postgresql.org/pub/repos/yum/9.4/redhat/rhe ...

  9. k个一组翻转链表(java实现)

    题目: 给出一个链表,每 k 个节点一组进行翻转,并返回翻转后的链表. k 是一个正整数,它的值小于或等于链表的长度.如果节点总数不是 k 的整数倍,那么将最后剩余节点保持原有顺序. 示例 : 给定这 ...

  10. SQL 函数 coalesce()、row_number()的用法

    coalesce()函数 ①用途: 将空值替换成其他值 返回第一个非空值 ②表达式: COALESCE是一个函数, (expression_1, expression_2, ...,expressio ...