让你提前知道软件开发(22)：shell脚本文件操作

文章1部分 再了解C语言

shell脚本中的文件操作

【文章摘要】

编写shell脚本时，经常会涉及到对文件的操作，比方从文件里读取一行数据、向文件追加一行数据等。

完毕文件读写操作的方法有非常多，了解各种命令下文件操作的运行情况，有助于开发者在不同使用场景下选择合适的命令。

本文以实际的shell脚本为例，介绍了对文件进行操作的不同方法，为相关开发工作提供了參考。

【关键词】

shell  文件操作  读写  效率

一、概述

在某些软件项目的需求文档中，要求程序一次性读或写的数据规模较大，可达1000万行级，这就涉及到对程序运行方法和效率等的考虑。

本文比較了不同shell命令在对文件进行读或写操作过程中运行效率的不同，为大数据下文件操作命令的选择提供了參考。

二、文件比較算法流程介绍

文件比較算法的流程如图1所看到的。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvemhvdXpoYW94aW9uZzEyMjc=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast" alt="" />

图1 文件比較算法的流程

三、不同的文件内容读取命令

1. sed逐行读取数据

该命令在一个循环里，依次读取文件的每一行内容。

(1) 读取方法

举例：读取f1文件的第一行：小节中的原因分析)。

2. 运用exec及read读取文件内容

(1) 打开读文件句柄

是文件描写叙述符(文件句柄)，在linux取大于等于3的值(在aix下仅仅能为[3,9]之间的值)，该文描写叙述符兴许用来读取一行数据和关闭文件。testfile是要打开的文件。

(2) 读取一行数据

表示从该文件描写叙述符读取数据；str是变量，用于保存从文件里读取的行数据。

(3) 关闭文件句柄

行的文件，而用sed方式逐行读取完一个4995行的数据。測试脚本(命名为Test1.sh)例如以下：

測试结果例如以下：

(1) 測试文件内容行数

zhou@linux:~/zhouzx/sh> wc -l Test1 Test2

122880 Test1

行的文件耗时3秒，而sed方式逐行读取完一个4995行的数据须要13秒。可见，运用exec及read后的文件读取效率有大幅的提升。

(3) sed命令在大数据量(在十万数量级以上)下读取效率低下原因分析

经分析，问题原因是sed命令读取一行数据太耗时。

sed读取一行数据有两个耗时的地方：

1) 每读取一行都会打开和关闭文件句柄，频繁的打开和关闭文件句柄成本高昂。

2) sed读取某一行时有一个定位的过程，比方想要读取第10万行，则该命令运行时首先须要从头開始查找一直定位到第10万行，此种运行方式的成本也非常高。而且随着数据行数的添加成本不断地添加。

上面的两个耗时的地方在仅仅运行一次sed命令读取一行数据时并不明显。但将该命令放在一个100万级的循环内，其效率问题就显得非常突出了。

四、不同的写文件方式

主要有两种方式。

1. 运用>>向文件追加一行数据

这是经常使用的操作方式。

2. 运用exec方式向文件追加数据

(1) 打开写文件句柄

的值(在aix下仅仅能为[3,9]之间的值)。该文描写叙述符兴许用来读取一行数据和关闭文件；testfile是要打开的文件。

(2) 写入一行数据

万行数据，同一时候用exec方式向文件追加100万行数据，測试脚本(命名为Test2.sh)例如以下：

測试结果例如以下：

(1) 脚本运行结果

所看到的。

图2 test3文件部分截图

从运行结果能够看出。用>>方式向文件追加100万行数据耗时40秒。而用exec方式向文件追加100万行数据耗时36秒。用exec方式节约下来的4秒时间是非常可观的。在大数据量下可进一步提升了程序运行效率。

五、总结

提升程序运行效率是程序设计中一个永恒的话题，作为优秀的软件开发project师。一定要学会在已有程序的基础之上对算法进行优化。以提升程序及软件产品的运行效率。

本文比較了不同shell命令在对文件进行读或写操作过程中运行效率的不同。并用脚本演示了不同命令运行时间的差距。通过对本文的阅读，希望大家能够对shell环境下文件操作有更为深刻的认识。

(欢迎訪问南邮BBS：http://bbs.njupt.edu.cn/)
(欢迎訪问重邮BBS：http://bbs.cqupt.edu.cn/nForum/index)

(本系列文章每周更新两篇，敬请关注！

我的微博：http://weibo.com/zhouzxi?

topnav=1&wvr=5。我们的聊天号码：245924426，欢迎关注！

)