Linux 文本去重 之 命令sort 与 uniq】的更多相关文章

sort [-fbMnrtuk] [file or stdin] 选项与参数: -f :忽略大小写的差异,例如 A 与 a 视为编码相同: -b :忽略最前面的空格符部分: -M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法: -n :使用『纯数字』进行排序(默认是以文字型态来排序的): -r :反向排序: -u :就是 uniq ,相同的数据中,仅出现一行代表: -t :分隔符,默认是用 [tab] 键来分隔: -k :以那个区间 (field) 来进行排序的意思 sort -…
#文本处理命令--sort,cut,wc及其他 文本处理命令还有其他常用的,比如:sort,cut,wc 1.cut命令的用法 cut命令: cut - remove sections from each line of files cut OPTION... [FILE]... -c:字符范围,用于排列整齐的信息 -d CHAR:以指定的字符为输入分隔符:默认为空白字符: -f FILEDS:挑选出的字段: #:指定的单个字段: #,#:离散的多个字段:例如1,3,7: #-#:连续的多个字段…
linux文本处理常用命令   linux文本处理命令:grep.sed.printf.awk 1.grep grep的作用是按行查找字符,输出包含字符的行. #从文件查询 grep 'hello' filename.txt #从管道的输入查询 cat filename.txt|grep 'hello' grep使用示例: grep的查找主要就是基于基本正则表达式的匹配,下面只是简单的给一些常用例子供参考. grep 't[ae]st'   //查找tast或test grep '[0-9]'…
转自:https://www.cnblogs.com/sheeva/p/6406285.html 引子 作为一个偏爱windows的程序员,以前做文本处理的时候总是喜欢在windows下用notepad++等图形化工具处理,比如有时需要把linux服务器上一个文件进行一次全局字符串替换这样简单的操作,还得把文件down到本地编辑好再传回去.这两天买了本<鸟哥的Linux私房菜>,终于静下心系统的学习了一下linux下的文本处理,感觉其实没有想象的难,如果早点学会节约下来的大量时间肯定远超过学习…
命令难度总体来说有简入难,参数都是工作中常常用到的.如果涉及到一些生僻的参数还请百度或man一下. sort(参考学习网站:http://www.cnblogs.com/dong008259/archive/2011/12/08/2281214.html) 功能:根据不同的数据类型进行排序 格式:sort [-cMnrtk][源文件][-o 输出文件] 说明: 如果有一个文件"1.txt",假如有一列数字,分别为1,2,2,3,5,4 -n:   依照数值的大小排序 --> 数字…
sort(参考学习网站:http://www.cnblogs.com/dong008259/archive/2011/12/08/2281214.html) 功能:根据不同的数据类型进行排序 格式:sort [-cMnrtk][源文件][-o 输出文件] 说明: 如果有一个文件"1.txt",假如有一列数字,分别为1,2,2,3,5,4 -n:   依照数值的大小排序 --> 数字以字符进行排序时,2比10大    cat 1.txt |  sort -n -u: 在输出行中去除…
uniq 123.txt  去除连续重复uniq -u 123.txt  保留唯一uniq -c 123.txt  去重并计算出现的个数sort -n 123.txt | uniq -c 排序后去重sort -u 排序去重复…
sort uniq sort:对行或者文本文件排序 uniq:去除重复的行 常用 sort -n file.txt 按数字进行排序 sort -r file.txt 按逆序进行排序 sort -M file.txt 按月份进行排序 sort -C file 如果返回0表示已经排序 sort -nC file 返回0表示已经按照数字排序 sort -m sorted_file1 sorted_file2 合并两个已经排过序的文件,而且不需要对合并后的文件再次排序 按键或者列进行排序 sort -n…
1.Vim Vim  是一个功能强大的全屏幕文本编辑器,是 Linux/UNIX 上最常用的文本编辑器,它的作用是建立.编辑.显示文本文件. Vim 没有菜单,只有命令 2.Vim 工作模式 3.插入命令 4.定位命令 5.删除命令 6.剪切和复制命令 7.替换和取消命令 8.搜索和搜索替换命令 9.保存和退出命令 10.撤销命令 u    撤销上一步操作…
diff 命令详解 1.概述 windows系统下面就有不错的文本对比工具可以使用,例如常用的Beyond Compare,WinMerge都是图形界面的比较工具而且使用非常方便,如果你仅仅是在windows下工作,这些GUI的比较工具绝对是首选.对于在linux环境下工作的人来说,如果每次想看两个文件的区别都要将文件下载到windows环境然后用图形工具进行比较实在是太麻烦了.那么我们必须学会使用linux环境下的比较工具 diff. diff命令在最简单的情况下,比较给定的两个文件的不同.如…