with上下文管理 python魔法方法

with语法在Python里很常见, 主要的利好是使用代码更简洁. 常见的使用场景有:
1. 资源对象的获取与释放. 使用with可以简化try...finally ...
2. 在不修改函数代码的前提下设置函数的默认参数

例如, 读写一个文件. 在读写前, 要打开它；在读写结束后要关闭它；读写过程中出现异常也得关闭它.

如果不使用with, 就得这么写:

try:
    f = open('xxx', 'w')
    # write
    ...
finally:
    f.close()

如果使用with, 则简短不少:

with open('xxx', 'r') as f:
    # write
    ...

一个具体的示例可以看出with语法的特点:

# encoding=utf-8
path = '/tmp/temp.txt'
with open(path, 'w') as f:
    f.writelines(['hello'])

print '在with之外, 变量f仍然存在且可被访问:', f
print '但是, 文件流已经被关闭了: ', f.closed

输出:

在with之外, 变量f仍然存在且可被访问: <closed file '/tmp/temp.txt', mode 'w' at 0x7ff7f4076660>
但是, 文件流已经被关闭了:  True

with语法在tensorflow/slim里被大量使用, 主要用于管理命名和设置默认参数:

with slim.arg_scope(
    [slim.conv2d],
    activation_fn=tf.nn.relu,
    weights_initializer= weights_initializer,
    biases_initializer = biases_initializer):

    with slim.arg_scope(
        [slim.conv2d, slim.max_pool2d],
                padding='SAME',
                data_format = self.data_format):
        ...

上下文管理对象
为了for... in ..., Iterator出现了. 为了with...[as ...], 上下文管理对象(Context Manager, CM)出现了.

with产生了类似于作用域的效果, 例如, 用with ... as 打开的文件流, 只能在with 代码块内部进行I/O操作；使用slim.arg_scope为目标函数设置了默认参数, 但这个设置只在with 代码块内部生效. 出了with 代码块, 该怎样还是怎样. 这是怎样实现的呢? 答案在上下文管理器(CM)身上.

CM是一种协议, 它的协议方法为__enter__与__exit__, 前者在进入with代码块时执行, 后者在退出时执行.

实现一个简单的上下文管理器
接下来我们通过实现一个简单的CM来理解with的工作原理, 它会将print输出反转:

# encoding=utf-8
# !/usr/local/bin/Python3
class reverse_print():
    def __enter__(self):
        # 这个方法在进入with block时执行.
        print('enter with block.')
        import sys
        self.origin_write = sys.stdout.write
        sys.stdout.write = self.new_print# Python2里这个对象不可修改, Python3可以
        return 'HELLO, I AM WITH'# 被 as 接收
    def new_print(self, s):
        self.origin_write(s[::-1])

    def __exit__(self, exception_type, exception_code, traceback):
        # 跳出with block时执行.
        # 处理异常(这儿就忽略吧), 恢复进入with时的修改
        import sys
        sys.stdout.write = self.origin_write
        print('exit with block')

print('before with:', 'hello')
with reverse_print() as cmo:
    print('hello')
    print(cmo)
print('after with:','hello')
print(cmo)

用Python3执行, 输出为:

before with: hello
enter with block.
olleh
HTIW MA I ,OLLEH
exit with block
after with: hello
HELLO, I AM WITH

这段代码展示了CMO的两个关键点:

1. __enter__在进入with时执行. 它的返回值会被as接收.
2. __exit__ 在退出with时执行, 需要将在__enter__对context作出的修改恢复成原样.

Python 魔法方法详解

 

 

据说，Python 的对象天生拥有一些神奇的方法，它们总被双下划线所包围，他们是面向对象的 Python 的一切。

他们是可以给你的类增加魔力的特殊方法，如果你的对象实现（重载）了这些方法中的某一个，那么这个方法就会在特殊的情况下被 Python 所调用，你可以定义自己想要的行为，而这一切都是自动发生的。

Python 的魔术方法非常强大，然而随之而来的则是责任。了解正确的方法去使用非常重要！

魔法方法	含义
	基本的魔法方法
__new__(cls[, ...])	1. __new__ 是在一个对象实例化的时候所调用的第一个方法 2. 它的第一个参数是这个类，其他的参数是用来直接传递给 __init__ 方法 3. __new__ 决定是否要使用该 __init__ 方法，因为 __new__ 可以调用其他类的构造方法或者直接返回别的实例对象来作为本类的实例，如果 __new__ 没有返回实例对象，则 __init__ 不会被调用 4. __new__ 主要是用于继承一个不可变的类型比如一个 tuple 或者 string
__init__(self[, ...])	构造器，当一个实例被创建的时候调用的初始化方法
__del__(self)	析构器，当一个实例被销毁的时候调用的方法
__call__(self[, args...])	允许一个类的实例像函数一样被调用：x(a, b) 调用 x.__call__(a, b)
__len__(self)	定义当被 len() 调用时的行为
__repr__(self)	定义当被 repr() 调用时的行为
__str__(self)	定义当被 str() 调用时的行为
__bytes__(self)	定义当被 bytes() 调用时的行为
__hash__(self)	定义当被 hash() 调用时的行为
__bool__(self)	定义当被 bool() 调用时的行为，应该返回 True 或 False
__format__(self, format_spec)	定义当被 format() 调用时的行为
	有关属性
__getattr__(self, name)	定义当用户试图获取一个不存在的属性时的行为
__getattribute__(self, name)	定义当该类的属性被访问时的行为
__setattr__(self, name, value)	定义当一个属性被设置时的行为
__delattr__(self, name)	定义当一个属性被删除时的行为
__dir__(self)	定义当 dir() 被调用时的行为
__get__(self, instance, owner)	定义当描述符的值被取得时的行为
__set__(self, instance, value)	定义当描述符的值被改变时的行为
__delete__(self, instance)	定义当描述符的值被删除时的行为
	比较操作符
__lt__(self, other)	定义小于号的行为：x < y 调用 x.__lt__(y)
__le__(self, other)	定义小于等于号的行为：x <= y 调用 x.__le__(y)
__eq__(self, other)	定义等于号的行为：x == y 调用 x.__eq__(y)
__ne__(self, other)	定义不等号的行为：x != y 调用 x.__ne__(y)
__gt__(self, other)	定义大于号的行为：x > y 调用 x.__gt__(y)
__ge__(self, other)	定义大于等于号的行为：x >= y 调用 x.__ge__(y)
	算数运算符
__add__(self, other)	定义加法的行为：+
__sub__(self, other)	定义减法的行为：-
__mul__(self, other)	定义乘法的行为：*
__truediv__(self, other)	定义真除法的行为：/
__floordiv__(self, other)	定义整数除法的行为：//
__mod__(self, other)	定义取模算法的行为：%
__divmod__(self, other)	定义当被 divmod() 调用时的行为
__pow__(self, other[, modulo])	定义当被 power() 调用或 ** 运算时的行为
__lshift__(self, other)	定义按位左移位的行为：<<
__rshift__(self, other)	定义按位右移位的行为：>>
__and__(self, other)	定义按位与操作的行为：&
__xor__(self, other)	定义按位异或操作的行为：^
__or__(self, other)	定义按位或操作的行为：|
	反运算
__radd__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rsub__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rmul__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rtruediv__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rfloordiv__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rmod__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rdivmod__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rpow__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rlshift__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rrshift__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__rxor__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
__ror__(self, other)	（与上方相同，当左操作数不支持相应的操作时被调用）
	增量赋值运算
__iadd__(self, other)	定义赋值加法的行为：+=
__isub__(self, other)	定义赋值减法的行为：-=
__imul__(self, other)	定义赋值乘法的行为：*=
__itruediv__(self, other)	定义赋值真除法的行为：/=
__ifloordiv__(self, other)	定义赋值整数除法的行为：//=
__imod__(self, other)	定义赋值取模算法的行为：%=
__ipow__(self, other[, modulo])	定义赋值幂运算的行为：**=
__ilshift__(self, other)	定义赋值按位左移位的行为：<<=
__irshift__(self, other)	定义赋值按位右移位的行为：>>=
__iand__(self, other)	定义赋值按位与操作的行为：&=
__ixor__(self, other)	定义赋值按位异或操作的行为：^=
__ior__(self, other)	定义赋值按位或操作的行为：|=
	一元操作符
__neg__(self)	定义正号的行为：+x
__pos__(self)	定义负号的行为：-x
__abs__(self)	定义当被 abs() 调用时的行为
__invert__(self)	定义按位求反的行为：~x
	类型转换
__complex__(self)	定义当被 complex() 调用时的行为（需要返回恰当的值）
__int__(self)	定义当被 int() 调用时的行为（需要返回恰当的值）
__float__(self)	定义当被 float() 调用时的行为（需要返回恰当的值）
__round__(self[, n])	定义当被 round() 调用时的行为（需要返回恰当的值）
__index__(self)	1. 当对象是被应用在切片表达式中时，实现整形强制转换 2. 如果你定义了一个可能在切片时用到的定制的数值型,你应该定义 __index__ 3. 如果 __index__ 被定义，则 __int__ 也需要被定义，且返回相同的值
	上下文管理（with 语句）
__enter__(self)	1. 定义当使用 with 语句时的初始化行为 2. __enter__ 的返回值被 with 语句的目标或者 as 后的名字绑定
__exit__(self, exc_type, exc_value, traceback)	1. 定义当一个代码块被执行或者终止后上下文管理器应该做什么 2. 一般被用来处理异常，清除工作或者做一些代码块执行完毕之后的日常工作
	容器类型
__len__(self)	定义当被 len() 调用时的行为（返回容器中元素的个数）
__getitem__(self, key)	定义获取容器中指定元素的行为，相当于 self[key]
__setitem__(self, key, value)	定义设置容器中指定元素的行为，相当于 self[key] = value
__delitem__(self, key)	定义删除容器中指定元素的行为，相当于 del self[key]
__iter__(self)	定义当迭代容器中的元素的行为
__reversed__(self)	定义当被 reversed() 调用时的行为
__contains__(self, item)	定义当使用成员测试运算符（in 或 not in）时的行为