11 Python 文件操作

文件操作基本流程

　　　计算机系统分为：计算机硬件，操作系统，应用程序三部分。

　　　　　我们用python或其他语言编写的应用程序若想要把数据永久保存下来，必须要保存于硬盘中，这就涉及到应用程序要操作硬件，众所周知，应用程序是无法直接操作硬件的，这就用到了操作系统。操作系统把复杂的硬件操作封装成简单的接口给用户/应用程序使用，其中文件就是操作系统提供给应用程序来操作硬盘虚拟概念，用户或应用程序通过操作文件，可以将自己的数据永久保存下来。

有了文件的概念，我们无需再去考虑操作硬盘的细节，只需要关注操作文件的流程：

　　1. 打开文件，得到文件句柄并赋值给一个变量
　　2. 通过句柄对文件进行操作
　　3. 关闭文件

 #1. 打开文件，得到文件句柄并赋值给一个变量
 f=open('a.txt','r',encoding='utf-8') #默认打开模式就为r

 #2. 通过句柄对文件进行操作
 data=f.read()

 #3. 关闭文件
 f.close()

coding

　　1、由应用程序向操作系统发起系统调用open(...)
　　2、操作系统打开该文件，并返回一个文件句柄给应用程序
　　3、应用程序将文件句柄赋值给变量f

　　关闭文件的 注意事项

 打开一个文件包含两部分资源：操作系统级打开的文件+应用程序的变量。在操作完毕一个文件时，必须把与该文件的这两部分资源一个不落地回收，回收方法为：
 1、f.close() #回收操作系统级打开的文件
 2、del f #回收应用程序级的变量

 其中del f一定要发生在f.close()之后，否则就会导致操作系统打开的文件还没有关闭，白白占用资源，
 而python自动的垃圾回收机制决定了我们无需考虑del f，这就要求我们，在操作完毕文件后，一定要记住f.close()

 虽然我这么说，但是很多同学还是会很不要脸地忘记f.close(),对于这些不长脑子的同学，我们推荐傻瓜式操作方式：使用with关键字来帮我们管理上下文
 with open('a.txt','w') as f:
     pass

 with open('a.txt','r') as read_f,open('b.txt','w') as write_f:
     data=read_f.read()
     write_f.write(data)

文件编码

　　f=open(...)是由操作系统打开文件，那么如果我们没有为open指定编码，那么打开文件的默认编码很明显是操作系统说了算了，操作系统会用自己的默认编码去打开文件，在windows下是gbk，在linux下是utf-8。

 #这就用到了上节课讲的字符编码的知识：若要保证不乱码，文件以什么方式存的，就要以什么方式打开。
 f=open('a.txt','r',encoding='utf-8')

文件的打开模式

文件句柄 = open('文件路径', '模式') 

模式可以是以下方式以及他们之间的组合：

Character	Meaning
‘r'	open for reading (default)
‘w'	open for writing, truncating the file first
‘a'	open for writing, appending to the end of the file if it exists
‘b'	binary mode
‘t'	text mode (default)
‘+'	open a disk file for updating (reading and writing)
‘U'	universal newline mode (for backwards compatibility; should not be used in new code)

　　1. 打开文件的模式有(默认为文本模式)：
　　　　r ，只读模式【默认模式，文件必须存在，不存在则抛出异常】
　　　　w，只写模式【不可读；不存在则创建；存在则清空内容】
　　　　a， 之追加写模式【不可读；不存在则创建；存在则只追加内容】

　　2. 对于非文本文件，我们只能使用b模式，"b"表示以字节的方式操作（而所有文件也都是以字节的形式存储的，使用这种模式无需考虑文本文件的字符编码、图片文件的jgp格式、视频文件的avi格式）
　　　　rb
　　　　wb
　　　　ab
　　　　注：以b方式打开时，读取到的内容是字节类型，写入时也需要提供字节类型，不能指定编码

　　3."+" 表示可以同时读写某个文件
　　　　r+， 读写【可读，可写】
　　　　w+，写读【可读，可写】
　　　　a+， 写读【可读，可写】
　　　　x， 只写模式【不可读；不存在则创建，存在则报错】
　　　　x+ ，写读【可读，可写】
　　　　xb
　　　　由于历史的原因，换行符在不同的系统中有不同模式，比如在 unix中是一个\n，而在windows中是‘\r\n’，用U模式打开文件，就是支持所有的换行模式，也就说‘\r’ '\n' '\r\n'都可表示换行 t是windows平台特有的所谓text mode(文本模式）,区别在于会自动识别windows平台的换行符。
　　　　Files opened in binary mode (appending 'b' to the mode argument) return contents as bytes objects without any decoding. 
　　　　b是以二进制的形式来读文件，但是显示出来的却不是0101，而是以字节的形式显示出来。 一个字节是8位二进制，所以计算机是自动帮你进行了转换。 请不要误会b模式是按照字节读。

　

文件内的光标移动

　　一: read(3)：

　　　　1. 文件打开方式为文本模式时，代表读取3个字符

　　　　2. 文件打开方式为b模式时，代表读取3个字节

　　二: 其余的文件内光标移动都是以字节为单位如seek，tell，truncate

　　　　注意：

　　　　1. seek有三种移动方式0，1，2，其中1和2必须在b模式下进行，但无论哪种模式，都是以bytes为单位移动的

　　　　2. truncate是截断文件，所以文件的打开方式必须可写，但是不能用w或w+等方式打开，因为那样直接清空文件了，所以truncate要在r+或a或a+等模式下测试效果

with上下文管理

　　打开一个文件包含两部分资源：操作系统级打开的文件+应用程序的变量。在操作完毕一个文件时，必须把与该文件的这两部分资源一个不落地回收，回收方法为：
　　　　1、f.close() 回收操作系统级打开的文件
　　　　2、del f 回收应用程序级的变量

 with open('a.txt','w') as f:
     pass

 with open('a.txt','r') as read_f,open('b.txt','w') as write_f:
     data=read_f.read()
     write_f.write(data)

文件的修改

　　文件的数据是存放于硬盘上的，因而只存在覆盖、不存在修改这么一说，我们平时看到的修改文件，都是模拟出来的效果，具体的说有两种实现方式：

　　　　方式一：将硬盘存放的该文件的内容全部加载到内存，在内存中是可以修改的，修改完毕后，再由内存覆盖到硬盘（word，vim，nodpad++等编辑器）

 import os

 with open('a.txt') as read_f,open('.a.txt.swap','w') as write_f:
     data=read_f.read() #全部读入内存,如果文件很大,会很卡
     data=data.replace('alex','SB') #在内存中完成修改

     write_f.write(data) #一次性写入新文件

 os.remove('a.txt')
 os.rename('.a.txt.swap','a.txt')

　　　　方式二：将硬盘存放的该文件的内容一行一行地读入内存，修改完毕就写入新文件，最后用新文件覆盖源文件

 import os

 with open('a.txt') as read_f,open('.a.txt.swap','w') as write_f:
     for line in read_f:
         line=line.replace('alex','SB')
         write_f.write(line)

 os.remove('a.txt')
 os.rename('.a.txt.swap','a.txt') 

python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。

　　得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()

　　返回指定目录下的所有文件和目录名:os.listdir()

　　函数用来删除一个文件:os.remove()

　　删除多个目录：os.removedirs（r“c：\python”）

　　检验给出的路径是否是一个文件：os.path.isfile()

　　检验给出的路径是否是一个目录：os.path.isdir()

　　判断是否是绝对路径：os.path.isabs()

　　检验给出的路径是否真地存:os.path.exists()

　　返回一个路径的目录名和文件名:os.path.split()     eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果：('/home/swaroop/byte/code', 'poem.txt')

　　分离扩展名：os.path.splitext()

　　获取路径名：os.path.dirname()

　　获取文件名：os.path.basename()

　　运行shell命令: os.system()

　　读取和设置环境变量:os.getenv() 与os.putenv()

　　给出当前平台使用的行终止符:os.linesep    Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'

　　指示你正在使用的平台：os.name       对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'

　　重命名：os.rename（old， new）

　　创建多级目录：os.makedirs（r“c：\python\test”）

　　创建单个目录：os.mkdir（“test”）

　　获取文件属性：os.stat（file）

　　修改文件权限与时间戳：os.chmod（file）

　　终止当前进程：os.exit（）

　　获取文件大小：os.path.getsize（filename）

文件操作：
　　os.mknod("test.txt")        创建空文件
　　fp = open("test.txt",w)     直接打开一个文件，如果文件不存在则创建文件

关于open 模式：

　　w     以写方式打开，
　　a     以追加模式打开 (从 EOF 开始, 必要时创建新文件)
　　r+     以读写模式打开
　　w+     以读写模式打开 (参见 w )
　　a+     以读写模式打开 (参见 a )
　　rb     以二进制读模式打开
　　wb     以二进制写模式打开 (参见 w )
　　ab     以二进制追加模式打开 (参见 a )
　　rb+    以二进制读写模式打开 (参见 r+ )
　　wb+    以二进制读写模式打开 (参见 w+ )
　　ab+    以二进制读写模式打开 (参见 a+ )

　　fp.read([size])                     #size为读取的长度，以byte为单位

　　fp.readline([size])                 #读一行，如果定义了size，有可能返回的只是一行的一部分

　　fp.readlines([size])                #把文件每一行作为一个list的一个成员，并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分。

　　fp.write(str)                      #把str写到文件中，write()并不会在str后加上一个换行符

　　fp.writelines(seq)            #把seq的内容全部写到文件中(多行一次性写入)。这个函数也只是忠实地写入，不会在每行后面加上任何东西。

　　fp.close()                        #关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好还是养成自己关闭的习惯。  如果一个文件在关闭后还对其进行操作会产生ValueError

　　fp.flush()                                      #把缓冲区的内容写入硬盘

　　fp.fileno()                                      #返回一个长整型的”文件标签“

　　fp.isatty()                                      #文件是否是一个终端设备文件（unix系统中的）

　　fp.tell()                                         #返回文件操作标记的当前位置，以文件的开头为原点

　　fp.next()                                       #返回下一行，并将文件操作标记位移到下一行。把一个file用于for … in file这样的语句时，就是调用next()函数来实现遍历的。

　　fp.seek(offset[,whence])             
#将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的，一般为正数。但如果提供了whence参数就不一定了，whence可以为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意，如果文件以a或a+的模式打开，每次进行写操作时，文件操作标记会自动返回到文件末尾。

　　fp.truncate([size])                       #把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大，依据系统的不同可能是不改变文件，也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。

目录操作：
　　os.mkdir("file")                   创建目录
　　复制文件：
　　　　shutil.copyfile("oldfile","newfile")       oldfile和newfile都只能是文件
　　　　shutil.copy("oldfile","newfile")            oldfile只能是文件夹，newfile可以是文件，也可以是目标目录
　　复制文件夹：
　　　　shutil.copytree("olddir","newdir")        olddir和newdir都只能是目录，且newdir必须不存在
　　重命名文件（目录）
　　　　os.rename("oldname","newname")       文件或目录都是使用这条命令
　　移动文件（目录）
　　　　shutil.move("oldpos","newpos")   
　　删除文件
　　　　os.remove("file")
　　删除目录
　　　　os.rmdir("dir")只能删除空目录
　　　　shutil.rmtree("dir")    空目录、有内容的目录都可以删
　　转换目录
　　　　os.chdir("path")   换路径

　　 1 将文件夹下所有图片名称加上'_fc'　　

 # -*- coding:utf-8 -*-
 import re
 import os
 import time
 #str.split(string)分割字符串
 #'连接符'.join(list) 将列表组成字符串
 def change_name(path):
     global i
     if not os.path.isdir(path) and not os.path.isfile(path):
         return False
     if os.path.isfile(path):
         file_path = os.path.split(path) #分割出目录与文件
         lists = file_path[1].split('.') #分割出文件与文件扩展名
         file_ext = lists[-1] #取出后缀名(列表切片操作)
         img_ext = ['bmp','jpeg','gif','psd','png','jpg']
         if file_ext in img_ext:
             os.rename(path,file_path[0]+'/'+lists[0]+'_fc.'+file_ext)
             i+=1 #注意这里的i是一个陷阱
         #或者
         #img_ext = 'bmp|jpeg|gif|psd|png|jpg'
         #if file_ext in img_ext:
         #    print('ok---'+file_ext)
     elif os.path.isdir(path):
         for x in os.listdir(path):
             change_name(os.path.join(path,x)) #os.path.join()在路径处理上很有用

 img_dir = 'D:\\xx\\xx\\images'
 img_dir = img_dir.replace('\\','/')
 start = time.time()
 i = 0
 change_name(img_dir)
 c = time.time() - start
 print('程序运行耗时:%0.2f'%(c))
 print('总共处理了 %s 张图片'%(i))

 输出结果：

 程序运行耗时:0.11
 总共处理了 109 张图片