【转载】 tensorflow gfile文件操作详解

原文地址：

https://zhuanlan.zhihu.com/p/31536538

-------------------------------------------------------------------------------

一、gfile模块是什么

gfile模块定义在tensorflow/python/platform/gfile.py，但其源代码实现主要位于tensorflow/tensorflow/python/lib/io/file_io.py，那么gfile模块主要功能是什么呢？我们看到gfile.py里有那么一句简单的话“File I/O wrappers without thread locking.”用来描述gfile，翻译过来是"无线程锁的文件I/O操作包装器"，可还是不明就里。于是，到google上搜索该模块的功能，

找到如下描述：

Why use tensorflow gfile? (for file I/O)

翻译过来就是（我的翻译水平还有待提高，哈哈，暂且看看吧）：

• 1、提供了一种类似于python文件操作的API；
• 2、提供了一种操作tensorflow C++文件系统的API；
• tensorflow c++文件操作接口支持多个文件系统实现，包括本地文件、谷歌云存储(以gs://开头)和HDFS(以HDFS://开头)，tensorflow封装这些接口到tf.gfile，以便我们可以使用这些接口来存储和加载检查点文件、将tensorboard log信息写到文本里以及访问训练数据(在其他用途里)。但是，如果所有文件都放在本地，那么我们直接使用python提供的常规文本操作接口也是一样效果且毫无问题的！

这应该就是Google对gfile模块的说明了！

二、gfile API介绍

下面将分别介绍每一个gfile API！

2-1）tf.gfile.Copy(oldpath, newpath, overwrite=False)

拷贝源文件并创建目标文件，无返回，其形参说明如下：

oldpath：带路径名字的拷贝源文件；

newpath：带路径名字的拷贝目标文件；

overwrite：目标文件已经存在时是否要覆盖，默认为false，如果目标文件已经存在则会报错

2-2）tf.gfile.MkDir(dirname)

创建一个目录，dirname为目录名字，无返回。

2-3）tf.gfile.Remove(filename)

删除文件，filename即文件名，无返回。

2-4）tf.gfile.DeleteRecursively(dirname)

递归删除所有目录及其文件，dirname即目录名，无返回。

2-5）tf.gfile.Exists(filename)

判断目录或文件是否存在，filename可为目录路径或带文件名的路径，有该目录则返回True，否则False。

2-6）tf.gfile.Glob(filename)

查找匹配pattern的文件并以列表的形式返回，filename可以是一个具体的文件名，也可以是包含通配符的正则表达式。

2-7）tf.gfile.IsDirectory(dirname)

判断所给目录是否存在，如果存在则返回True，否则返回False，dirname是目录名。

2-8）tf.gfile.ListDirectory(dirname)

罗列dirname目录下的所有文件并以列表形式返回，dirname必须是目录名。

2-9）tf.gfile.MakeDirs(dirname)

以递归方式建立父目录及其子目录，如果目录已存在且是可覆盖则会创建成功，否则报错，无返回。

2-10）tf.gfile.Rename(oldname, newname, overwrite=False)

重命名或移动一个文件或目录，无返回，其形参说明如下：

oldname：旧目录或旧文件；

newname：新目录或新文件；

overwrite：默认为false，如果新目录或新文件已经存在则会报错，否则重命名或移动成功。

2-11）tf.gfile.Stat(filename)

返回目录的统计数据，该函数会返回FileStatistics数据结构，以dir(tf.gfile.Stat(filename))获取返回数据的属性如下：

2-12）tf.gfile.Walk(top, in_order=True)

递归获取目录信息生成器，top是目录名，in_order默认为True指示顺序遍历目录，否则将无序遍历，每次生成返回如下格式信息(dirname, [subdirname, subdirname, ...], [filename, filename, ...])。

2-13）tf.gfile.GFile(filename, mode)

获取文本操作句柄，类似于python提供的文本操作open()函数，filename是要打开的文件名，mode是以何种方式去读写，将会返回一个文本操作句柄。

tf.gfile.Open()是该接口的同名，可任意使用其中一个！

2-14）tf.gfile.FastGFile(filename, mode)

该函数与tf.gfile.GFile的差别仅仅在于“无阻塞”，即该函数会无堵塞以较快的方式获取文本操作句柄。

三、gfile示例

我将按照API介绍的顺序来举例说明每一个接口的使用方法！

假设在目录/home/xsr-ai/study/test里已经拥有如下文件：

示例代码如下：

import tensorflow as tf

tf.gfile.Copy('/home/xsr-ai/study/test/app.py', '/home/xsr-ai/study/test/app_new.py', True)

tf.gfile.MkDir('/home/xsr-ai/study/test/gfile')

tf.gfile.Remove('/home/xsr-ai/study/test/app.py')

tf.gfile.DeleteRecursively('/home/xsr-ai/study/test/hello')

pathexist = tf.gfile.Exists('/home/xsr-ai/study/test/')
print(pathexist)
print('\n')

glob = tf.gfile.Glob('/home/xsr-ai/study/test/app*new.py')
print(glob)
print('\n')

isdir = tf.gfile.IsDirectory('/home/xsr-ai/study/test/yes')
print(isdir)
print('\n')

lstdir = tf.gfile.ListDirectory('/home/xsr-ai/study/test/mnist')
print(lstdir)
print('\n')

tf.gfile.MakeDirs('/home/xsr-ai/study/test/lucky/boy/is/me')

tf.gfile.Rename('/home/xsr-ai/study/test/hello.jpg', '/home/xsr-ai/study/test/world.jpg', True)

statinfo = tf.gfile.Stat('/home/xsr-ai/study/test/')
print(statinfo.length)
print('\n')

walkinfo = tf.gfile.Walk('/home/xsr-ai/study/test/')
for info in walkinfo:
    print(info)
print('\n')

gfile_hd = tf.gfile.GFile('/home/xsr-ai/study/test/app_new.py', "r")
print(gfile_hd.readline())
print('\n')

fast_gfile_hd = tf.gfile.FastGFile('/home/xsr-ai/study/test/app_new.py', "r")
print(fast_gfile_hd.readline())

print('\ngfile example is end, good lucky!')

在jupyter notebook里执行该示例代码输出信息如下：

运行示例代码后目录/home/xsr-ai/study/test的情况如下：

通过该示例，可以看到gfile所有接口都有按照正确逻辑执行输出，Congratulation to me！