通常我们在读取文件的时候,会用到read(), readline(), readlines()。 通常可能会有这样的用法:

  1. def test1():
  2. with open("/tmp/test.log", "r") as f:
  3. print f.read()

或者

  1. def test2():
  2. f = open("/tmp/test.log", "r")
  3. for line in f.readlines():
  4. print line
  5. f.close()

read ()的方法是一次性把文件的内容以字符串的方式读到内存, 放到一个字符串变量中

readlines()的方法是一次性读取所有内容, 并按行生成一个list

因为read()和readlines()是一次性把文件加载到内存, 如果文件较大, 甚至比内存的大小还大, 内存就会爆掉。 所以,这两种方法只适合读取小的文件。

实际工作中,会碰到读取10几G的大文件的需求, 比如说日志文件。 这时候就要用的新的读取文件的方法。 这里提供两种方法, 有简单,有复杂,但基本原理都是一样的。 就是利用到生成器generator。

方法一:

将文件切分成小段,每次处理完小段内容后,释放内存

这里会使用yield生成自定义可迭代对象, 即generator, 每一个带有yield的函数就是一个generator。

  1. def read_in_block(file_path):
  2. BLOCK_SIZE = 1024
  3. with open(file_path, "r") as f:
  4. while True:
  5. block = f.read(BLOCK_SIZE)  # 每次读取固定长度到内存缓冲区
  6. if block:
  7. yield block
  8. else:
  9. return  # 如果读取到文件末尾,则退出
  10. def test3():
  11. file_path = "/tmp/test.log"
  12. for block in read_in_block(file_path):
  13. print block

方法二:

利用open(“”, “”)系统自带方法生成的迭代对象

  1. def test4():
  2. with open("/tmp/test.log") as f:
  3. for line in f:
  4. print line

for line in f 这种用法是把文件对象f当作迭代对象, 系统将自动处理IO缓冲和内存管理, 这种方法是更加pythonic的方法。 比较简洁。

以上代码均在python2.7环境调试通过。

本文大略讲解了几种处理文件的方法, 并介绍了大文件的正确打开‘姿势’。 这里提到了几个概念: 分别是生成器,迭代器, 文件对象。 你可能会对这些概念比较陌生, 没关系, 我会在下篇再深入解释这些。

转载请注明来自: http://blog.csdn.NET/hackstoic/article/details/49804655 , 作者hackstoic

----------------------上篇完-------------------------------

【参考文献】

1.  http://chenqx.github.io/2014/10/29/Python-fastest-way-to-read-a-large-file/

2.  http://www.zhidaow.com/post/python-read-big-file

3.  http://pyzh.readthedocs.org/en/latest/the-python-yield-keyword-explained.html

4.  https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/#ibm-pcon

用Python读取大文件的更多相关文章

  1. Python读取大文件(GB)

    Python读取大文件(GB) - CSDN博客 https://blog.csdn.net/shudaqi2010/article/details/54017766

  2. 强悍的Python读取大文件的解决方案

    这是一道著名的 Python 面试题,考察的问题是,Python 读取大文件和一般规模的文件时的区别,也即哪些接口不适合读取大文件. 1. read() 接口的问题 f =open(filename, ...

  3. PHP 与Python 读取大文件的区别

    php读取大文件的方法   <?php function readFile($file) { # 打开文件 $handle = fopen($file, 'rb'); while (feof($ ...

  4. 如何使用Python读取大文件

    背景 最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法. 准备工作 ...

  5. Python读取大文件的"坑“与内存占用检测

    python读写文件的api都很简单,一不留神就容易踩"坑".笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码. 1. ...

  6. python读取大文件

    最近在学习python的过程中接触到了python对文件的读取.python读取文件一般情况是利用open()函数以及read()函数来完成: f = open(filename,'r') f.rea ...

  7. 使用python读取大文件

    python中读取数据的时候有几种方法,无非是read,readline,readlings和xreadlines几种方法,在几种方法中,read和xreadlines可以作为迭代器使用,从而在读取大 ...

  8. python读取大文件的方法及mmap内存映射模块

    python计算文件的行数和读取某一行内容的实现方法 :最简单的办法是把文件读入一个大的列表中,然后统计列表的长度.如果文件的路径是以参数的形式filepath传递的,那么只用一行代码就可以完成我们的 ...

  9. Python——读取大文件(GB)

    最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法. Prelimi ...

随机推荐

  1. 理解PHP数组的序列化和反序列化

    当我们想要将数组值存储到数据库时,就可以对数组进行序列化操作,然后将序列化后的值存储到数据库中.其实PHP序列化数组就是将复杂的数组数据类型转换为字符串,方便数组存库操作.对PHP数组进行序列化和反序 ...

  2. HOWTO: Get the command line of a process(转)

    How would you get the command line of a process? Some people have suggested that you use remote thre ...

  3. Oracle 12c on Solaris 10 安装文档

    http://www.orasql.com/blog/archives/2013/08/20/12c_solaris.htm

  4. delphi 如何判断应用程序未响应

    http://www.cnblogs.com/smallmuda/archive/2009/07/24/1529845.html delphi 如何判断应用程序未响应    今天在MSN的核心讨论组上 ...

  5. [html5]使用localStorage兼容低版本Safari无法使用indexeddb的情况

    摘要 简单场景描述:将html5开发的app内嵌入ios app中,有部分数据,需要在本地存储,就想到使用浏览器的localstorage或者indexeddb,另外localstorage存储的方式 ...

  6. 转 UIActivityIndicatorView、UIProgressView 活动与进度指示器-IOS开发

    活动指示器(UIActivityIndicatorView)可以告知用户有一个操作正在进行中.进度指示器(UIProgressView )也具有同样功能,而且还可以告知用户离操作结束还多远. 这两个指 ...

  7. 十四种Java开发工具点评

    在计算机开发语言的历史中,从来没有哪种语言象Java那样受到如此众多厂商的支持,有如此多的开发工具,Java菜鸟们如初入大观园的刘姥姥,看花了眼,不知该何种选择.的确,这些工具各有所长,都没有绝对完美 ...

  8. 算法:插入排序(Insertion Sort)

    using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.T ...

  9. Android之多媒体扫描过程

    转自:http://blog.csdn.net/yan8024/article/details/6620359下面是系统图      MediaScannerReceiver会在任何的ACTION_B ...

  10. [PHP] Ubuntu 16.10 开启PHP错误提示

    两个步骤: 修改php.ini配置文件中的error_reporting 和 display_errors两地方内容: sudo vim /etc/php/7.0/apache2/php.ini er ...