With语句以及@contextmanager的语法解析

with 语句以及@contextmanager的语法解析

 

with语句可以通过很简单的方式来替try/finally语句。 with语句中EXPR部分必须是一个包含__enter__()和__exit__()方法的对象，也就是Context Manager。使用with语句的目的：

• 提供可靠的资源自动释放，在with代码执行前请求资源，代码运行结束后资源会释放。
• 简化代码，代码可读性以及逻辑的简明都会提高很多。
• 创造临时的上下文环境，例如做一个临时的网络请求并获取返回值作为上下文环境。
• 通过contextmanager和generator创造线程操作异步所。

下述例子描述with...as语句的实现原理：

In [15]:

 

 

 

 

 

#EXPR open('var/log/test.log)

EXPR = open('/var/log/test.log')

with EXPR as VAR:

    #BLOCK START

    data = VAR.read(50)

    print data

    #BLOCK END

 

 

 

test1
test2
test3
test4
test5

 

实现原理:

1. 在with语句中, EXPR必须是一个包含__enter__()和__exit__()方法的对象(Context Manager)。
2. 调用EXPR的__enter__()方法申请资源并将结果赋值给VAR变量。
3. 通过try/except确保代码块BLOCK正确调用，否则调用EXPR的__exit__()方法退出并释放资源。
4. 在代码块BLOCK正确执行后，最终执行EXPR的__exit__()方法释放资源。

In [16]:

 

 

 

 

 

import sys

EXPR = open('/var/log/test.log')

EXIT = type(EXPR).__exit__ #not calling it yet

VAR = type(EXPR).__enter__(EXPR)

EXC = True

try:

    try:

        #BLOCK START

        data = VAR.read(50)

        print data

        #BLOCK END

    except:

        EXC = False

        if not EXIT(EXPR, *sys.exc_info()):

            raise

finally:

    if EXC:

        EXIT(EXPR, None, None, None)

 

 

 

test1
test2
test3
test4
test5

 

EXPR可以使用with语句的前提，必须是一个包含__enter__()和__exit()__方法的对象(Context Manager)，最直接的方式是声明一个对象，在__enter__()方法里面申请资源，在__exit__()方法里面释放资源；EXPR返回此对象。

更通用和更高效的将普通的函数转变为包含__enter__()和__exit__()方法的对象的方法是：通过一个特定的decorator(@contextmanager)扩展该函数并将函数声明为非循环的单一返回值的generator。

 

generator可以将函数变成类似于iterator，每次调用好像通过iterator的next逐步读取，而不是一次返回。

• 比实现一个iterator简单，iterator需要实现__init__,__iter__,__next__函数。
• 比将结果一次返回（全部读取到内存中）要节省内存，通过next可以逐步获取需要的值。

 

@contextmanagerdecorator的实现原理：

1. 声明contextmanager的decorator函数。参数是generator，返回值是一个接受和generator函数同样参数并且将generaor函数和参数传递到Context Manager构造函数并返回Context Manager对象的函数。绕死了！！！

   decorator函数，是接受函数作为参数，并且返回一个函数的的函数。当对函数func进行此修饰时相当于对func进行一次转变： func = decorator(func)，在这里generator被修饰后变成了help(*args, **kwargs)函数

2. 在__enter__()方法中使用generator的next()方法获取第一个返回值。如果gen并不是generator函数，抛出一个runtime异常。

3. 在__exit__()方法中，如果存在异常将异常跑出，否则继续调用generator的next()方法。因此generator是一个具有唯一值非loop的generator因此会抛出stopiteration异常（正常预期值），否则抛出一个runtime异常。

In [24]:

 

 

 

 

 

 class GeneratorContextManager(object):

​

    def __init__(self, gen):

        self.gen = gen

​

    def __enter__(self):

        try:

            return self.gen.next()

        except StopIteration:

            raise RuntimeError("generator didn't yield")

​

    def __exit__(self, type, value, traceback):

        if type is None:

            try:

                self.gen.next()

            except StopIteration:

                return

            else:

                raise RuntimeError("generator didn't stop")

        else:

            try:

                self.gen.throw(type, value, traceback)

                raise RuntimeError("generator didn't stop after throw()")

            except StopIteration:

                return True

            except:

                # only re-raise if it's *not* the exception that was

                # passed to throw(), because __exit__() must not raise

                # an exception unless __exit__() itself failed.  But

                # throw() has to raise the exception to signal

                # propagation, so this fixes the impedance mismatch 

                # between the throw() protocol and the __exit__()

                # protocol.

                #

                if sys.exc_info()[1] is not value:

                    raise

​

def contextmanager(func):

    def helper(*args, **kwds):

        return GeneratorContextManager(func(*args, **kwds))

    return helper

 

 

 

上述并没有涉及到资源的申请和释放，因此在generator函数里面，第一个loop即__enter__()函数调用时，进行资源的申请，第二个loop也就是__exit__()函数调用时抛出异常进入finally模块释放资源。下面是应用示例：

In [25]:

 

 

 

 

 

@contextmanager

def opening(filename):

    f = open(filename) # IOError is untouched by GeneratorContext

    try:

        yield f

    finally:

        f.close() # Ditto for errors here (however unlikely)

 

 

 

如上所述，就是with语句以及contextmanager decorator修饰器的语法解析。标准库里有些对象已经是context manager了，例如：

    - file
    - thread.LockType
    - threading.Lock
    - threading.RLock
    - threading.Condition
    - threading.Semaphore
    - threading.BoundedSemaphore

另外我们也可以通过contextlib.contextmanager来修饰我们的generator函数，作为context manager使用在with语句中。