python同步IO编程——基本概念和文件的读写
IO——Input/Output,即输入输出。对于计算机来说,程序运行时候数据是在内存中的,涉及到数据交换的地方,通常是磁盘、网络等。比如通过浏览器访问一个网站,浏览器首先把请求数据发送给网站服务器,这个动作叫外发数据,即Output,随后网站服务器把数据网页发送给浏览器,这个动作是从外面接收数据,即Input。从磁盘读取文件到内存,叫Input,反过来,吧数据写到磁盘的文件里,叫Output操作。
IO编程中,一般都是用Stream(流)的概念来描述数据的动作,Input Stream 表示数据流进内存,Output Stream表示数据从内存中流出去。
一般来说,CPU和内存的运行速度远远高于外设的速度,外设的速度往往是制约系统性能的瓶颈。比如,要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒。这时有同步和异步IO的区分:
同步IO:CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行
异步IO:是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行
同步和异步的主要区别就是是否等待IO执行的结果。异步IO的性能往往明显高于同步IO,这里我们先介绍同步IO编程。
现代操作系统都不会允许普通的程序直接操作磁盘,读写操作都是由操作系统封装了具体的实现细节并提供接口的方式实现的——读写文件就是请求操作系统打开一个文件对象(通常我们称为文件描述符),然后操作系统提供接口从这个文件对象中读取数据,或者把数据写入到这个文件中,
读文件
python内置了open()函数用于读取文件,需要传入文件名和标识符:
f = open('err.py','r')
其中标识符'r'表示读的动作。如果文件不存在会抛出一个IOError的错误:
>>> f = open('/err.py','r')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
FileNotFoundError: [Errno 2] No such file or directory: '/err.py'
成功读取文件后,可以使用read()方法一次性读取文件中所有的内容,以str的类型表示:
>>> f.read()
"def foo(s):\n return 10 / int(s)\ndef bar(s):\n return foo(s) * 2\ndef main():\n ……
最后一步,非常重要——调用close()函数关闭文件:
>>> f.close()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.
通常,我们在读写文件的时候可能产生IOError错误,为了确保一定要执行close动作,我们可以使用try……finally来实现:
>>> try:
... f = open('err.py','r')
... print(f.read())
... finally:
... if f :
... f.close()
...
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('') main()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.
如果我们多次打开文件,这个过程有点啰嗦。python提供了with语句,将会自动调用close()方法:
>>> with open('err.py','r') as f:
... print(f.read())
...
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('') main()
>>> f.read()
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ValueError: I/O operation on closed file.
另外,如果文件过大,一次性打开内存会吃不消的,而且有时候也不是一定要读取所有的内容。这时可以使用read(size)方法,每次最多读取size个字节的内容。另外readline()允许我们每次读取一行内容;readlines()允许我们一次性读取所有内容并分行返回,返回结果是个list。
>>> f = open('err.py','r')
>>> f.readline()
'def foo(s):\n'
>>> f.readline()
' return 10 / int(s)\n'
>>> f.readline()
'def bar(s):\n'
>>> f.readlines()
[' return foo(s) * 2\n', 'def main():\n', " bar('0')\n", '\n', 'main()']
>>> f.readlines()
[]
我们由此发现,每一次readline()或者readlines()方法都是在上次读取结果之后继续执行的,可以想象成有一个虚拟的光标存在。
要读取二进制文件,比如图片、视频等等,用'rb'
模式打开文件即可:
>>> f = open('C:/Users/WC/Pictures/图片/头像.jpg','rb')
>>> f.read()
b'\xff\xd8\xff\xe0\x00\x10J……
另外,open()函数还可以通过传入encoding参数,表示用指定编码打开文件;
如果有些文件中夹杂了一些非法编码的字符,open()函数还可以接受一个errors参数,表示遇到编码错误后如何处理,其中ignore表示直接忽略错误:
f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
写文件
当open()函数传入的标识符为'w'或者‘wb’时,表示写文本文件或者二进制文件:
>>> f = open('/Users/wc/test.txt', 'w',encoding='gbk'
)
>>> f.write('Hello, world!')
>>> f.close()
上面的语句会把‘Hello, world!’直接覆盖原始的文件;如果想把要写入的内容追加在原始文件后面,可以添加参数'a',表示append的意思。
切记:写入文件后,一定不要忘了close()文件,否则不能保证数据全部都写入磁盘!!!
file-like Object
像open()
函数返回的这种有个read()
方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等。file-like Object不要求从特定类继承,只要写个read()
方法就行
python同步IO编程——基本概念和文件的读写的更多相关文章
- python同步IO编程——StringIO、BytesIO和stream position
主要介绍python两个内存读写IO:StringIO和BytesIO,使得读写文件具有一致的接口 StringIO 内存中读写str.需要导入StringIO >>> from i ...
- python异步IO编程(一)
python异步IO编程(一) 基础概念 协程:python generator与coroutine 异步IO (async IO):一种由多种语言实现的与语言无关的范例(或模型). asyncio ...
- python异步IO编程(二)
python异步IO编程(二) 目录 开门见山 Async IO设计模式 事件循环 asyncio 中的其他顶层函数 开门见山 下面我们用两个简单的例子来让你对异步IO有所了解 import asyn ...
- Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化
IO编程 IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.从 ...
- 【Python】IO编程
文件读写 StringIO和BytesIO 操作文件和目录 序列化 学习廖老师的py官网的笔记 1.stream的概念.数据交换通常需要建立两根“水管”. 2.同步IO和异步IO.异步性能高,但是编程 ...
- python 同步IO
IO在计算机中指Input/Output 由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.IO编程中,Stream(流)是一个很重要的概念,可以把流想象成一 ...
- Python笔记-IO编程
IO在计算机中是指input和output(数据输入与输出),涉及到数据交换(磁盘.网络)的地方就需要IO接口. 输入流input stream是指数据从外面(磁盘.网络服务器)流入内存:输出流out ...
- Python之IO编程
前言:由于程序和运行数据是在内存中驻留的,由CPU这个超快的计算核心来执行.当涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.由于CPU和内存的速度远远高于外设的速度,那么在IO编程中就存在 ...
- Python 同步IO/异步IO了解
说明: 对于一次IO访问(以read举例),数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间.所以说,当一个read操作发生时,它会经历两个阶段: 1. ...
随机推荐
- docker快速部署DNS,实现快速上线
概念Docker 是一个开源的应用容器引擎,Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.这里我将使用do ...
- MySQL8.0 新特性 Hash Join
概述&背景 MySQL一直被人诟病没有实现HashJoin,最新发布的8.0.18已经带上了这个功能,令人欣喜.有时候在想,MySQL为什么一直不支持HashJoin呢?我想可能是因为MySQ ...
- Redis系列(二):Redis高可用集群
一.集群模式 Redis集群是一个由多个主从节点组成的高可用集群,它具有复制.高可用和分片等特性 二.集群部署 1.环境 3台主机分别是: 192.168.160.146 192.168.160.15 ...
- drf目录
drf目录 1 web接口与restful规范 2 django中的restful规范 3 CBV请求分析 4 请求模块分析 5 响应模块分析 6 异常模块 7 解析模块 8 序列化类 9 视图组件 ...
- AVLTree的Python实现
AVLTree 自己最近在学习数据结构,花了几天理解了下AVLTree的实现,简单一句话概括就是先理解什么是旋转,然后弄明白平衡因子在各种旋转后是如何变化的.最后整理了下学习的过程,并尽量用图片解释, ...
- Windows的定时任务(Schedule Task)设置
一.设置 1 点击“开始” 2 点击“控制面板” 3 双击“任务计划” 4 双击“添加任务计划” 5 到了“任务计划向导”界面,点击“下一步” 6 点击“浏览”选择需要定时运行的程序(exe文件,ba ...
- spring cloud 之 -- eureka vs consul,该选择谁?
0--前言 spring cloud的服务注册中心,该选择谁?在选择前,我们首先需要来了解下分布式的CAP定理: 所谓CAP,是指: Consistency:一致性:就是在分布式系统中的所有数据备份, ...
- Flask开发天气查询软件,带你掌握pipenv的使用与手机Termux下的部署
关于pipenv 昨天介绍了pipenv这个相比于virtualenv更高端大气上档次的虚拟环境管理软件,但看了下流量貌似不是很受欢迎,也许是我介绍的不够好吧.那么今天就拿它做一个例子,开发一款天气预 ...
- 转:java 解析excel,带合并单元的excel
收集了一些对博主有帮助的博文,如下 >>>>>>>>>>>第一部分: 首先,mavn导入jar包 <!-- 解析excel需要导 ...
- shell脚本持续更改
1.用shell查看磁盘是否大于80%并发送邮箱告警. 分析如何查看磁盘占用: # df -h | grep /dev/vda1 | awk '{print $5}' |cut -d "%& ...