记使用sed的一次坑

sed做为linux下的三剑客，自然功能强大，但是如果使用不当，反而适得其反，今天就因为这个命令采了很深坑，分析一下原因，以谏后来者。

情景回顾：

项目中使用的一个python爬虫采用的是多线程并发爬取，输入为一个存放url的文件，因为程序随时可能停止，所以每次重启程序的时候需要将以爬取过的url去除，实现思路如下：

但是这样实现自动化的时候多有不便，一个程序就涉及五个文件，在加上其他的逻辑，文件众多，用shell脚本实现自动化写出来的代码可读性差，不易理解，所以想重新更改一下策略。有一种思路就是在程序启动的时候将文本读入一个list，然后删除掉处理完成的，程序关闭时将list写入文件，这样看似轻松，但是文本内容过大，而且如果程序异常退出，就会丢失掉内存中list内容，干了半天白干了。

旁边的一个小哥给了个建议，说是处理完就直接从Input中删掉，这样就不用再写shell自动化了，程序重启直接读取input文件就Ok了。

但是如何用python实现删除文件中指定的一行呐？总不能把文件读成列表，然后把那一行删除，然后再写回文件。因为是个大文件，这样效率很低。尤其是在多线程并发的情况下这样会导致大量IO，旁边的小哥又献策说可以用os.system('sed -i 1001d %s' % filename) 系统调用sed删除该行，在无可奈何的情况下，一想这样编码也不是很简单吗？ 于是就欣然接收了这个提议，很快就实现了。

程序运行起来后才发现不是自己想的那样，自己还是没有搞明白sed，

原理剖析：

sed 是一种在线流编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

使用-i选项可以直接在原文件进行修改，他会将sed原本输出到屏幕的内容输出到一个以sed开头的临时文件，处理完毕后他会将这个临时文件替换原本的文件，如果运行的时候出现错误，这个临时文件就不会被删除，一直留在那里。

而且在多个线程同时调用sed的时候，就会出现以下情况

线程B删除了第二行但第一行并未删除，当他处理完的时候替换原文本又会将第一行带回去，这样本来已经在线程A中删除的第一行，现在又出现了，于是被下一个线程读取处理，又被删除，又被替换回来，这样就造成一个循环，运行程序但并不能有效删除处理完毕的行。

         sed固然强大，但是应该在直到其实现原理的情况下合理调用，避免在多线程情况下调用。