针对文本文件,有时候我们需要删除其中重复的行.或者统计重复行的总次数,这时候可以采用Linux系统下的uniq命令实现相应的功能. 语法格式:uniq [-ic] 常用参数说明: -i 忽略大小写 -c 计算重复的行数 用法说明: 首先创建一个uniqdemo.txt 文件内容如下: 小明 小王 小张 小张 小明 小李 执行如下命令:cat uniq.txt | uniq 输出结果如下: 小明 小王 小张 小明 小李 执行如下命令:cat uniq.txt | sort | uniq 输出结果如…

前提:uniq只能查询数据相邻的重复次数,而sort可以查询乱序的重复次数. 原谅我,以下内容都是复制菜鸟驿站的!!! Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用. uniq 可检查文本文件中重复出现的行列. 语法 uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件] 参数: -c或--count 在每列旁边显示该行重复出现的次数…

地址:http://blog.51yip.com/shell/1022.html 一,uniq干什么用的 文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操作时,它一般会和sort命令进行组合使用,因为uniq 不会检查重复的行,除非它们是相邻的行.如果您想先对输入排序,使用sort -u. 2,对文本操作时,若域中为先空字符(通常包括空格以及制表符),然后非空字符,域中…

Linux是一套免费使用和自由传播的类Unix操作系统,下面的笔记是我从鸟菜中摘抄出来的重要命令,并进行了一定的排版,摒弃了一些用不到的乱七八糟的命令,目的是在生产环境中能够快速的定位并查询需要命令的参数,能够高效工作. 文件目录基本命令 文件基本操作命令 显示目录或文件: 显示目标列表,在Linux系统中是使用率较高的命令.ls命令的输出信息可以进行彩色加亮显示,以分区不同类型的文件 [root@localhost ~]# ls --help 命令语法:[ ls [选项] 文件或目录 ] -a…

本文转自http://blog.csdn.net/ithomer/article/details/6926325 文本处理时,经常要删除重复行,下面是三种方法 第一,用sort+uniq,注意,单纯uniq是不行的. sort -n test.txt | uniq 第二,用sort+awk命令,注意,单纯awk同样不行,原因同上. sort -n $file | awk '{if($0!=line)print; line=$0}' 第三,用sort+sed命令,同样需要sort命令先排序. so…

清空文件内容命令 $ echo "" >log.log > 是重写,覆盖式 >>是尾部追加…

1. locate:按照文件名搜索文件 locate filename 与find在整个操作系统中遍历搜索不同,locate命令在/var/lib/mlocate这个后台数据库中按照文件名搜索,所以优点是搜索速度很快. 然而由于数据库是一天更新一次,所以新建的文件很可能搜索不到,为了避免这个问题,可以强制更新数据库:updatedb Locate的缺点是只能用文件名搜索,而且由于Locate的搜索是根据/etc/updatedb.conf文件中的规则进行搜索的,所以可能会存在某些文件或者某些文件…

本文部分翻译自这里,来自 Jadu Saikia 的博客,这个博客上有很多非常有用的小技巧,有空可以多看看. 通常如果我们想获取一个文件里不重复的行的时候,我们可以直接通过 sort -u 命令,先把文件排序,然后去掉连续的重复行就行. 可是,如果我们去掉重复行之后,还想保留文件原有的顺序,该怎么办呢?虽然 Linux 下有个看上去似乎很有用的命令叫uniq,但事实上 uniq 命令仅仅只对连续的重复行有效.譬如我们有这样一个文件: $ cat file3AAAAFFFFBBBBBBBBCCCC…

在Linux命令下如果需要快速自己系统所需要处理的文件,可以通过find命令快速进行检索. 如果想在某个路径下查找相应的文件可以执行如下命令: find path -name filename # path 文件路径,可以用 / 来表示目录,当然如果能大概确定目录建议缩小目录范围,这样可以检索速度更快:filename 指的是文件检索的文件名. 比如:find / -name mysql.conf # 系统会从根目录遍历所有文件,然后找到mysql.conf 文件输出找到的结果输出在控制台. 当…

less与more类似,但使用less可以随意浏览文件,而more仅能向前移动,却不能向后移动,而且less在查看之前不会加载整个文件. 语法 less [参数] 文件 参数说明: -b <缓冲区大小> 设置缓冲区的大小 -e 当文件显示结束后,自动离开 -f 强迫打开特殊文件,例如外围设备代号.目录和二进制文件 -g 只标志最后搜索的关键词 -i 忽略搜索时的大小写 -m 显示类似more命令的百分比 -N 显示每行的行号 -o <文件名> 将less 输出的内容在指定文件中保存…