文件和I/O

一、读写文本数据

　　（1）使用open()函数配合rt模式读取文本文件的内容；（ t 为默认的文本模式）

　　（2）执行写入操作，使用wt模式，如果待操作文件已存在，会清除并覆盖其原先的内容；

　　（3）对已存在文件的结尾处追加内容，使用at模式；

　　（4）只在该文件不存在时，写入操作用x模式

　　（5）查询系统默认文本编码方式：sys.getdefaultencoding()

　　（6）不用with语句管理上下文，要记得手动关闭文件。

　　（7）换行符识别：UNIX：\n     WINDOWS：\r\n     MAC：\r。如果newline=None，则启用通用换行符模式。读取时将换行符转换成单独的\n字符，输出时换行符\n会被转换为当前系统默认的换行符。如果不想要这种翻译行为，设置newline=‘’ 即可。

　　（8）参数 errors是一个可选字符串，指定如何处理编码和解码错误 - 这不能在二进制模式下使用。‘ignore’，‘replace’等

二、输出重定向到文件中

with open('./hello.txt','wt',encoding='utf8') as f:
    print('Hello World!',file=f)

三、以不同分隔符或行结尾符完成打印

　　使用end参数是在输出中进制打印出换行符的方式。

　　>>> print('ACME', 50, 99, sep=',')

　　'ACME',50,99

　　>>> print('ACME', 50, 99, sep=',', end='!!\n')

　　'ACME',50,99!!

　　>>> print(*row, sep=',')

　　

四、读写二进制数据

　　使用open()函数的rb或者wb模式就可以实现对二进制数据的读或写。

　　当在做索引和迭代操作时，字节串会返回代表该字节的整数值而不是字符串。

　　（1）关于二进制I/O，像数组和C结构体这样的对象可以直接用来进行写操作，而不用先转换为byte对象。

　　适用于任何实现了缓冲区接口的对象。

import array
nums = array.array('i',[1,2,3,4,5,6])
with open('./data.bin','wb') as f:
    f.write(nums)

　　（2）直接将二进制数据读入到他们底层的内存中，只要使用文件对象的readinto()方法即可。

nums = array.array('i',[0,0,0,0,0,0,0,0,0,0])
with open('./data.bin','rb',) as f:
    f.readinto(nums)
#　array('i', [1, 2, 3, 4, 5, 6, 0, 0, 0, 0])

　　readinto()是为已存在的缓冲区填充内容，而不是分配新的对象然后再将他们返回。

def read_into_buffer(filename):
    buf = bytearray(os.path.getsize(filename))
    with open(filename, 'rb') as f:
        f.readinto(buf)

六、在字符串上执行I/O操作

　　需要模拟出一个普通文件时，使用StringIO和BytesIO类是最为适用的。

>>> import io
>>> s = io.StringIO()
>>> s.write('Hello World!!!\r\n')
>>> print('This is a test',file=s)
>>> s.getvalue()
Hello World!!!
This is a test

>>> s = io.StringIO('Hexxxx HHHH')
>>> s.read(4)
Hexx

>>> s = io.BytesIO()
>>> s.write(b'Hello World')
>>> s.getvalue()
b'Hello World'

七、读写压缩的数据文件

　　gzip和bz2模块用于处理压缩文件。默认的模式是二进制。压缩级别compressleve关键字指定，默认级别9，最高压缩等级。

import gzip,bz2
with gzip.open('./somefile.gz','rt') as f:
    text = f.read()

with bz2.open('./somefile.bz2','rt') as f:
    text = f.read()

with gzip.open('./somefile.gz','wt') as f:
    f.write(text )

with bz2.open('./somefile.bz2','wt') as f:
    f.write(text )

　　支持以二进制模式打开的文件进行叠加操作。

import gzip
f = open('somefile.gz', 'rt')
with gz.open(f, 'rt') as g:
    text = g.read()

八、按固定大小进行迭代

　　对固定大小的记录或数据块进行迭代

from functools import partial
RECORD_SIZE = 32
with open('somefile.txt', 'rt') as f:
    records = iter(partial(f.read, RECORD_SIZE), b'')
    for r in records:
        ...

九、对二进制文件做内存映射

　　（1）先准备一个二进制文件

size = 100000
with open('data', 'wb') as f:
    f.seek(size-1)
    f.write(b'\x00')

　　（2）映射函数

import os
import mmap

def memory_map(filename, access=mmap.ACCESS_WRITE):
    size = os.path.getsize(filename)
    fd = os.open(filename, os.O_RDWR)
    return mmap.mmap(fd, size, access=access)

　　（3）读写操作

>>> m = memory_map('data')
>>> len(m)
100000
>>> m[0:10]
b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'
>>> m[0]
0
>>> m[0:11] = b'Heool World!'
>>> m.close()

　　（4）mmap()返回的mmap对象也可以当做上下文管理器使用。

with memory_map('data') as m:
    print(len(m))
    print(m[0:10])

　　（5）只读访问：mmap.ACCESS_READ；只在本地修改数据，不改写回原始文件：mmap.ACCESS_COPY

　　（6）对某个文件进行内存映射并不会导致将整个文件读到内存中。也就是说，文件并不会拷贝到某种内存缓冲区或数组上。

十一、处理路径名

　　找出基文件名、目录名、绝对路径等相关的信息。

　　（1）获取最后部分路径：

　　>>> os.path.basename(path)　　#  path = /User/firefly/Data => 'Data'

　　（2）获取目录名字：

　　>>> os.path.dirname(path)

　　（3）组合路径：

　　>>> os.path.join('tmp', 'data')

　　（4）在Unix和Windows上，将参数中原始的~或~user部分用user主目录替换。

　　>>> os.path.expanduser(path)　　# path = '~/Data/firefly/Data/data.csv' => '/Users/beazley/...'

　　（5）分割文件扩展名：

　　>>> os.path.splitext(path)　　# ('~/Data/data', '.csv')

 十二、检测文件是否存在

　　检测某个文件或者目录是否存在。

　　>>> os.path.exists('/etc/passwd')

　　isfile()、isdir()、islink()、realpath()、

　　检测文件大小或修改日期：

　　getsize()、getmtime()、

十三、获取目录内容列表

　　使用os.listdir()函数来获取目录中的文件列表。

import os

names = [ name for name in os.listdir('somedir') if os.path.isfile(os.path.join('somedir',name))]

names = [ name for name in os.listdir('somedir') if os.path.isdir(os.path.join('somedir',name))]

names = [ name for name in os.listdir('somedir') if name.endswith('.py')]

import glob
pyfiles = glob.glob('somedir/*.py')

from fnmatch import fnmatch
pyfiles = [name for name in os.listdir('somedir') if fnmatch(name, '*.py')] 

　　

十四、绕过文件名编码

　　>>> os.listdir(b'.')　　byte形式返回文件名

　　>>> with open(b'jalapen\xcc\x83o.txt') as f 

 十六、为已经打开的文件添加或修改编码方式

　　（1）为已经打开的二进制对象添加编码解码

import urllib.request
import io

u = urllib.request.urlopen('http://www.baidu.com')
f = io.TextIOWrapper(u, encoding='utf8')
text = f.read()

　　（2）修改sys.stdout编码

>>> import sys,io
>>> sys.stdout.encoding
'UTF-8'
>>> sys.stdout = io.TextIOWrapper(sys.stdout.detach(), encoding='latin-1')
>>> sys.stdout.encoding
'latin-1'

十七、将字节数据写入文本文件

　　（1）将原始字节写入到以文本模式打开 的文件中，只需将字节数据写入到文件底层的buffer中即可。

　　>>> sys.stdout.buffer.write(b'Hello\n')

十九、创建临时文件和目录

　　（1）创建临时文件

from tempfile import TemporaryFile
with TemporaryFile('w+t') as f:
    f.write('Hello World\n')
    f.write('Testing\n')

    f.seek(0)
    data = f.read()

　　（2）保存创建的临时文件

from tempfile import NamedTemporaryFile
with NamedTemporaryFile('w+t',delete=False) as f:
    print('filename is:', f.name)

　　（3）创建临时目录

from tempfile import TemporaryDirectory
with TemporaryDirectory() as dirname:
    print('dirname is:', dirname)

 二十一、序列化Python对象

　　（1）对象 =》文件

　　>>> pickle.dump(object, f)

　　（2）文件 =》 对象

　　>>> obj = pickle.load(data)

　　（3）对象 =》字符串

　　>>> s = pickle.dumps(object)

　　（4）字符串 =》 对象

 　　>>> obj = pickle.loads(s)

　　某些特定类型的对象是无法进行pickle操作的。一般来说都涉及某种外部系统状态，如打开的文件、打开的网络连接、线程、进程、栈帧等

　　但是可以通过提供__getstate__()和__setstate__()方法来规避这些限制。

import time
import threading

class Countdown:

    def __init__(self,n):
        self.n = n
        self.thr = threading.Thread(target=self.run)
        self.thr.daemon = True
        self.thr.start()

    def run(self):
        while self.n >0:
            print('T-minus', self.n)
            self.n -= 1
            time.sleep(5)

    def __getstate__(self):
        return self.n

    def __setstate(self,n):
        self.__init__(n)

　　试验：

>>> import countdown
>>> c = countdown.Countdown(30)
>>> T-minus 30
...
...
...

>>> f = open('cstate.p', 'wb')
>>> import pickle
>>> pickle.dump(c, f)
>>> f.close()

　　退出Python，重新加载文件

>>> f = open('cstate.p', 'rb')
>>> pickle.load(f)
<countdown.Countdown object at 0x10069e2d0>
T-minus 19
T-minus 18
...