IO编程、操作文件或目录、序列化、JSON

IO中指Input/Output，即输入和输出；涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口

1、由于CPU和内存的速度远远高于外设的速度，所以，在IO编程中，存在速度严重不匹配问题。eg：把100M的数据写入磁盘，CPU输出100M的数据只需要0.01秒，可是磁盘接收100M数据可能需要10秒，怎么办呢，有两种办法：

　　①、CPU等着，也就是程序暂停执行后续代码，等100M数据在10s后写入磁盘，再接着往下执行，这种模式称为同步IO

　　②、CPU不等待，只是告诉磁盘，"慢慢写，不着急，我接着干别的事了"，于是，后续代码可以立刻接着执行，这种模式称为异步IO

　　很明显，异步IO来编写程序性能会远远高于同步IO，但是异步IO的缺点是编程模型复杂

2、读写文件前，我们必须先了解一下，在磁盘上读写文件的功能都由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象(文件描述符)，然后，通过操作系统提供的接口从这个文件对象中读取数据(读文件)，或者吧数据写入这个文件对象(写文件)

　　①、读文件

　　读文件的模式打开一个文件对象，使用Python内置的open()函数，传入文件名和标识符：

　　>>>f=open('User/test.txt','r')   r:表示读，这样就成功打开一个文件，如果文件不存在，open()函数会抛出一个IOError的错误，并给出错误码和详细信息

　　>>>f.read()  可以一次读取全部文件内容，python把内容读到内存，用一个str表示；read(size)方法，每次最多读取size个字节内容，10G内容这种保险(内存不足);readline()每次读一行，配置文件

　　>>>f.close()　文件使用完毕后，因为文件对象会占用操作系统的资源，并操作系统同一时间能打开的文件数量也是有限的

　由于读写文件有可能产生IOError错误，一旦出错，后面f.close()就不会调用：

　　　　try：

　　　　　　f=open('/path/to/file','r')

　　　　　　print f.read()

　　　　finally:

　　　　　　if f:

　　　　　　　　f.close()

　　　　每次都try...finally..来实现，太繁琐，所以python引入with语句来自动帮我们调用close()方法：这种方法更佳简洁，并不必调用f.close()方法

　　　　　　with open('/path/to/file','r') sa f:

　　　　　　　　　　print f.read()

　　②、写文件

　　　　　写文件和读文件一样的，唯一区别是调用open()函数时，传入标识符‘w’或'wb'，表示写文本文件和写二进制文件

　　　　　　>>>f=open('/User/to/test','w')

　　　　　　>>>f.write('Hlleo ,world')

　　　　　　>>>f.close()

　　　　　使用with语句写：

　　　　　　with open('/User/to/test','w') as f

　　　　　　　　　  f.write('Hlleo ,world')

----------------------------------------------------------------------------------------------------------------------------------------

操作文件和目录

1、 如果要操作文件、目录，可以在命令行下面输入操作系统提供的各种命令来完成；比如，dir、cp等命令

　　如果要在Python程序中执行这些目录和文件的操作怎么办？？其实操作系统提供的命令只是简单地调用了操作系统提供的接口函数，Python内置的os模块也可以直接调用操作系统提供的接口函数

　　>>>import os

　　>>>os.name

　　>>>'posix'　　如果是posix，说明系统是Linux、Unix或Mac OS X；如果是nt，就是Windows系统

2、、环境变量：要获取某个环境变量的值，可以调用os.getenv()函数

　　>>>import os

　　>>>os.getenv('path')

3、Python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法

　　A、得到当前工作目录，即当前python脚本工作的目录路径：os.getcwd() ;  os.path.abspath('.')　查看当前目录的绝对目录

　　B、返回指定目录下的所有文件和目录名:os.remove(‘C:\\Users\\zxq\\Desktop\\total’)　　需要写入\\

　　C、函数用来删除一个文件：os.remove('C:\\Users\\zxq\\Desktop\\total\\test.txt')

　　D、检验给出的路径是否是一个文件：os.path.isfile('C:\\Users\\zxq\\Desktop\\total\\测试.txt')　　返回true、False

　　E、检验给出的路径是否是一个目录：os.path.isdiir()

　　F、检验给出的路径是否是真地存在：os.path.exists()

　　G、获取路径名：os.path.dirname()

　　H、运行shell命令：os.system()

　　I、重命名：os.rename(old,new)

　　J、创建单个目录：os.mkdir('test')

　　K、修改文件权限与时间戳：os.chmod(file)

　　L、获取文件大小：os.path.getsize(filename)

4、文件操作方法大全：

　　A、os.mknod('test')

　　B、fp=open('test',w)　　直接打开一个文件，如果文件不存在则创建文件

　　O、fp.read([siaze])　　size为读取长度，以byte为单位

　　P、fp.write(str)　　把str写到文件中

　　Q、fp.close()　　关闭文件

　　os.chdir('C:\Users\zxq\Desktop')　　切换到指定目录

　　os.getcwd()　　查看当前所在目录

python os.path模块：

os.path.abspath(path) #返回绝对路径

os.path.basename(path) #返回文件名

os.path.commonprefix(list) #返回list(多个路径)中，所有path共有的最长的路径。

os.path.dirname(path) #返回文件路径

os.path.exists(path)  #路径存在则返回True,路径损坏返回False

os.path.lexists  #路径存在则返回True,路径损坏也返回True

os.path.expanduser(path)  #把path中包含的"~"和"~user"转换成用户目录

os.path.expandvars(path)  #根据环境变量的值替换path中包含的”$name”和”${name}”

os.path.getatime(path)  #返回最后一次进入此path的时间。

os.path.getmtime(path)  #返回在此path下最后一次修改的时间。

os.path.getctime(path)  #返回path的大小

os.path.getsize(path)  #返回文件大小，如果文件不存在就返回错误

os.path.isabs(path)  #判断是否为绝对路径

os.path.isfile(path)  #判断路径是否为文件

os.path.isdir(path)  #判断路径是否为目录

os.path.islink(path)  #判断路径是否为链接

os.path.ismount(path)  #判断路径是否为挂载点（）

os.path.join(path1[, path2[, ...]])  #把目录和文件名合成一个路径

os.path.normcase(path)  #转换path的大小写和斜杠

os.path.normpath(path)  #规范path字符串形式

os.path.realpath(path)  #返回path的真实路径

os.path.relpath(path[, start])  #从start开始计算相对路径

os.path.samefile(path1, path2)  #判断目录或文件是否相同

os.path.sameopenfile(fp1, fp2)  #判断fp1和fp2是否指向同一文件

os.path.samestat(stat1, stat2)  #判断stat tuple stat1和stat2是否指向同一个文件

os.path.split(path)  #把路径分割成dirname和basename，返回一个元组

os.path.splitdrive(path)   #一般用在windows下，返回驱动器名和路径组成的元组

os.path.splitext(path)  #分割路径，返回路径名和文件扩展名的元组

os.path.splitunc(path)  #把路径分割为加载点与文件

os.path.walk(path, visit, arg)  #遍历path，进入每个目录都调用visit函数，visit函数必须有

3个参数(arg, dirname, names)，dirname表示当前目录的目录名，names代表当前目录下的所有

文件名，args则为walk的第三个参数

os.path.supports_unicode_filenames  #设置是否支持unicode路径名

 

---------------------------------------------------------------------------------------------------------------------------------

1、序列化 pickling：把变量从内存中变成可存储或传输的过程中称为序列化。序列化之后，就可以把序列化后的内容写入磁盘或者通过网络传输到别的机器上。

　 反序列化 unpickling：把变量内容从序列化的对象重新读到内存中

Python提供两个模块来实现序列化：cPickle和pickle。都是一样的区别在于cPickle是用C语言写的，速度快；Pickle是纯python写的，速度慢；用时先尝试导入cpickle，若失败再导入pickle

try:

　　import cPickle as pickle

exception:

　　import pickle

eg1 :把一个对象序列化并写入文件

import cPickle as pickle　　导入模块
f = open('C:\\Users\\zxq\\Desktop\\a.txt','wb')　　直接打开一个文件，如果文件不存在则创建文件
d = dict(name = 'zhu',age = 23,score = 88)　　在程序运行过程中，所有变量都是在内存中
pickle.dump(d,f)　　直接把对象序列化后写入一个文件；a.txt文件是一些乱七八糟内容，是python保存的对象内部信息
f.close()　　关闭文件

eg2：反序列化刚才保存的对象：

f = open('C:\\Users\\zxq\\Desktop\\a.txt','rb')
d = pickle.load(f)　　反序列化出对象
f.close()
print d　　输出：{'age': 23, 'score': 88, 'name': 'zhu'}

2、JSON：python语言特定的序列化模块是pickle，但如果把序列化搞得更通用、更符合web标准，就可以使用json模块

　　如果我们要在不同的编程语言之间传递对象，就必须把对象序列化为标准格式，比如XML，当更好的方法是序列化为JSON，因为json表示出来就是一个字符串，可以被所有语言读取，也可以方便地存储到磁盘或者通过网络传输。json不仅是标准格式，并且比XML更快，而且可以直接在web页面中读取，非常方便。

JSON表示的对象就是标准的JavaScript语言的对象，JSON和Python内置的数据类型对应如下：

json类型　　　　Python类型

{}　　　　　　　dict

[]　　　　　　　 list

'string'　　　　  str

123.56　　　　  int\float

true\false　　　True\False

null　　　　　　 None

python内置的json模块提供了非常完善的python对象到json格式的转换。如何把python对象变成一个json：

import json

d = dict(name = 'zhu',age = 23,score = 88)

json.dumps(d)输出：{'age': 23, 'score': 88, 'name': 'zhu'}

JSON反序列化为python对象：

>>> json_str = '{"age": 20, "score": 88, "name": "Bob"}'
>>> json.loads(json_str)
{u'age': 20, u'score': 88, u'name': u'Bob'}