python编程之处理GB级的大型文件

一般我们采取分块处理，一次处理固定大小的块。

 def read_in_chunks(file_obj,chunk_size):
 """Lazy function (generator) to read a file piece by piece"""
 　　while True:
 　　　　data = file_obj.read(chunk_size)
 　　　　if data == "":
 　　　　　　break
 　　　　yield data

 file = open(file_path,"rb")

 for piece in read_in_chunks(file,chunk_size):
 　　process_data(piece)