python同步IO编程——基本概念和文件的读写
IO——Input/Output,即输入输出。对于计算机来说,程序运行时候数据是在内存中的,涉及到数据交换的地方,通常是磁盘、网络等。比如通过浏览器访问一个网站,浏览器首先把请求数据发送给网站服务器,这个动作叫外发数据,即Output,随后网站服务器把数据网页发送给浏览器,这个动作是从外面接收数据,即Input。从磁盘读取文件到内存,叫Input,反过来,吧数据写到磁盘的文件里,叫Output操作。
IO编程中,一般都是用Stream(流)的概念来描述数据的动作,Input Stream 表示数据流进内存,Output Stream表示数据从内存中流出去。
一般来说,CPU和内存的运行速度远远高于外设的速度,外设的速度往往是制约系统性能的瓶颈。比如,要把100M的数据写入磁盘,CPU输出100M的数据只需要0.01秒,可是磁盘要接收这100M数据可能需要10秒。这时有同步和异步IO的区分:
同步IO:CPU等着,也就是程序暂停执行后续代码,等100M的数据在10秒后写入磁盘,再接着往下执行
异步IO:是CPU不等待,只是告诉磁盘,“您老慢慢写,不着急,我接着干别的事去了”,于是,后续代码可以立刻接着执行
同步和异步的主要区别就是是否等待IO执行的结果。异步IO的性能往往明显高于同步IO,这里我们先介绍同步IO编程。
现代操作系统都不会允许普通的程序直接操作磁盘,读写操作都是由操作系统封装了具体的实现细节并提供接口的方式实现的——读写文件就是请求操作系统打开一个文件对象(通常我们称为文件描述符),然后操作系统提供接口从这个文件对象中读取数据,或者把数据写入到这个文件中,
读文件
python内置了open()函数用于读取文件,需要传入文件名和标识符:
- f = open('err.py','r')
其中标识符'r'表示读的动作。如果文件不存在会抛出一个IOError的错误:
- >>> f = open('/err.py','r')
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- FileNotFoundError: [Errno 2] No such file or directory: '/err.py'
成功读取文件后,可以使用read()方法一次性读取文件中所有的内容,以str的类型表示:
- >>> f.read()
- "def foo(s):\n return 10 / int(s)\ndef bar(s):\n return foo(s) * 2\ndef main():\n ……
最后一步,非常重要——调用close()函数关闭文件:
- >>> f.close()
- >>> f.read()
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- ValueError: I/O operation on closed file.
通常,我们在读写文件的时候可能产生IOError错误,为了确保一定要执行close动作,我们可以使用try……finally来实现:
- >>> try:
- ... f = open('err.py','r')
- ... print(f.read())
- ... finally:
- ... if f :
- ... f.close()
- ...
- def foo(s):
- return 10 / int(s)
- def bar(s):
- return foo(s) * 2
- def main():
- bar('')
- main()
- >>> f.read()
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- ValueError: I/O operation on closed file.
如果我们多次打开文件,这个过程有点啰嗦。python提供了with语句,将会自动调用close()方法:
- >>> with open('err.py','r') as f:
- ... print(f.read())
- ...
- def foo(s):
- return 10 / int(s)
- def bar(s):
- return foo(s) * 2
- def main():
- bar('')
- main()
- >>> f.read()
- Traceback (most recent call last):
- File "<stdin>", line 1, in <module>
- ValueError: I/O operation on closed file.
另外,如果文件过大,一次性打开内存会吃不消的,而且有时候也不是一定要读取所有的内容。这时可以使用read(size)方法,每次最多读取size个字节的内容。另外readline()允许我们每次读取一行内容;readlines()允许我们一次性读取所有内容并分行返回,返回结果是个list。
- >>> f = open('err.py','r')
- >>> f.readline()
- 'def foo(s):\n'
- >>> f.readline()
- ' return 10 / int(s)\n'
- >>> f.readline()
- 'def bar(s):\n'
- >>> f.readlines()
- [' return foo(s) * 2\n', 'def main():\n', " bar('0')\n", '\n', 'main()']
- >>> f.readlines()
- []
我们由此发现,每一次readline()或者readlines()方法都是在上次读取结果之后继续执行的,可以想象成有一个虚拟的光标存在。
要读取二进制文件,比如图片、视频等等,用'rb'
模式打开文件即可:
- >>> f = open('C:/Users/WC/Pictures/图片/头像.jpg','rb')
- >>> f.read()
- b'\xff\xd8\xff\xe0\x00\x10J……
另外,open()函数还可以通过传入encoding参数,表示用指定编码打开文件;
如果有些文件中夹杂了一些非法编码的字符,open()函数还可以接受一个errors参数,表示遇到编码错误后如何处理,其中ignore表示直接忽略错误:
- f = open('/Users/michael/gbk.txt', 'r', encoding='gbk', errors='ignore')
写文件
当open()函数传入的标识符为'w'或者‘wb’时,表示写文本文件或者二进制文件:
- >>> f = open('/Users/wc/test.txt', 'w',
encoding='gbk'
)- >>> f.write('Hello, world!')
- >>> f.close()
上面的语句会把‘Hello, world!’直接覆盖原始的文件;如果想把要写入的内容追加在原始文件后面,可以添加参数'a',表示append的意思。
切记:写入文件后,一定不要忘了close()文件,否则不能保证数据全部都写入磁盘!!!
file-like Object
像open()
函数返回的这种有个read()
方法的对象,在Python中统称为file-like Object。除了file外,还可以是内存的字节流,网络流,自定义流等等。file-like Object不要求从特定类继承,只要写个read()
方法就行
python同步IO编程——基本概念和文件的读写的更多相关文章
- python同步IO编程——StringIO、BytesIO和stream position
主要介绍python两个内存读写IO:StringIO和BytesIO,使得读写文件具有一致的接口 StringIO 内存中读写str.需要导入StringIO >>> from i ...
- python异步IO编程(一)
python异步IO编程(一) 基础概念 协程:python generator与coroutine 异步IO (async IO):一种由多种语言实现的与语言无关的范例(或模型). asyncio ...
- python异步IO编程(二)
python异步IO编程(二) 目录 开门见山 Async IO设计模式 事件循环 asyncio 中的其他顶层函数 开门见山 下面我们用两个简单的例子来让你对异步IO有所了解 import asyn ...
- Python之IO编程——文件读写、StringIO/BytesIO、操作文件和目录、序列化
IO编程 IO在计算机中指Input/Output,也就是输入和输出.由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.从 ...
- 【Python】IO编程
文件读写 StringIO和BytesIO 操作文件和目录 序列化 学习廖老师的py官网的笔记 1.stream的概念.数据交换通常需要建立两根“水管”. 2.同步IO和异步IO.异步性能高,但是编程 ...
- python 同步IO
IO在计算机中指Input/Output 由CPU这个超快的计算核心来执行,涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.IO编程中,Stream(流)是一个很重要的概念,可以把流想象成一 ...
- Python笔记-IO编程
IO在计算机中是指input和output(数据输入与输出),涉及到数据交换(磁盘.网络)的地方就需要IO接口. 输入流input stream是指数据从外面(磁盘.网络服务器)流入内存:输出流out ...
- Python之IO编程
前言:由于程序和运行数据是在内存中驻留的,由CPU这个超快的计算核心来执行.当涉及到数据交换的地方,通常是磁盘.网络等,就需要IO接口.由于CPU和内存的速度远远高于外设的速度,那么在IO编程中就存在 ...
- Python 同步IO/异步IO了解
说明: 对于一次IO访问(以read举例),数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间.所以说,当一个read操作发生时,它会经历两个阶段: 1. ...
随机推荐
- HDFS之NameNode
NameNode&Secondary NameNode工作机制 1)第一阶段:namenode启动 (1)第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次 ...
- SQL查询优化实践
为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上,即随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢,且数据是存放在磁盘上的,读写速度无法和内存相比 如何优化 设计数据库时 ...
- PyQt5的安装及测试(pycharm)
参考链接:https://www.cnblogs.com/pywjh/articles/9835931.html https://blog.csdn.net/SeekAndFindYou/ar ...
- 内网环境搭建NTP服务器
说在前面:ntp和ntpdate区别 ①两个服务都是centos自带的(centos7中不自带ntp).ntp的安装包名是ntp:ntpdate的安装包是ntpdate.他们并非由一个安装包提供. ② ...
- 题解 P3954 【成绩】
题目评级: ★ (水题) 内容及算法: 无,简单模拟计算即可 代码: /** *@author little_frog */ #include <bits/stdc++.h> using ...
- Spring(Bean)3
bean的继承<!-- bean 的继承 作为模板来使用. 可以通过abstract="true"来指定把该bean配置为·抽象的. 通过abstract="tru ...
- 程序员的算法课(18)-常用的图算法:广度优先(BFS)
版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/m0_37609579/article/de ...
- Zookeeper 应用实现-配置中心
一.目标 一个乞丐版自更新配置中心,更新配置后,能在各个服务器实现更新 二.架构 三.角色 config-web: 配置后台,主要用于管理配置,增改配置 config-agent: 监听配置,遇到变动 ...
- socket实现ftp上传下载
socket实现ftp文件的上传和下载 server端代码: import socket import json import struct import os soc = socket.socket ...
- PAT(甲级)2018年冬季考试
1152 Google Recruitment 思路:判断素数 #include<bits/stdc++.h> using namespace std; const int maxn = ...