实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 统计文件中出现次数最多的前10个单词 使用linux命令或者shell实现:文件words存放英文单词,格式为每行一个英文单词(单词可以重复),统计这个文件中出现次数最多的前10个单词. cat words.txt | sort | uniq -c | sort -k1,1nr | head -10 主要考察对sort.uniq命令…

tail 命令从指定点开始将文件写到标准输出.使用tail命令的-f选项可以方便的查阅正在改变的日志文件,tail -f filename会把filename里最尾部的内容显示在屏幕上,并且不但刷新,使你看到最新的文件内容. 1．命令格式; tail[必要参数][选择参数][文件] 2．命令功能: 用于显示指定文件末尾内容,不指定文件时,作为输入信息进行处理.常用查看日志文件. 3．命令参数: -f 循环读取 -q 不显示处理信息 -v 显示详细的处理信息 -c<数目> 显示的字节数 -n&l…

文件及内容处理 - sort.unip 1. sort:对文件的文本内容排序 sort命令的功能说明 sort 命令用于将文本文件内容加以排序.sort 可针对文本文件的内容,以行为单位来排序. sort命令的语法格式 sort [OPTION]... [FILE]... sort [-bcdfimMnr][-o][-t][+-][--help][--verison][文件] sort命令的常用参数说明: split 参数很多,表1为 sort 命令的参数及说明: 表1: sort 命令的参数及…

1.sort的作用 (排序) sort 命令对 File 参数指定的文件中的行排序,并将结果写到标准输出. 如果 File 参数指定多个文件,那么 sort 命令将这些文件连接起来,并当作一个文件进行排序. 2. sort语法 sort [-fbMnrtuk] [file or stdin]选项与参数:-f :忽略大小写的差异,例如 A 与 a 视为编码相同:-b :忽略最前面的空格符部分:-M :以月份的名字来排序,例如 JAN, DEC 等等的排序方法:-n :使用『纯数字』进行排序(默认是…

去除重复行 sort file |uniq   查找非重复行 sort file |uniq -u   查找重复行 sort file |uniq -d   统计 sort file | uniq -c   转自 http://www.study365.org/blog/3.html…

uniq uniq命令: uniq不加参数,只对相邻的相同行内容去重. 例子如下: [root@localhost ~]# pwd /root [root@localhost ~]# cat oldboy.txt 10.0.0.9 10.0.0.8 10.0.0.7 10.0.0.7 10.0.0.8 10.0.0.8 10.0.0.9 [root@localhost ~]# uniq oldboy.txt 10.0.0.9 10.0.0.8 10.0.0.7 10.0.0.8 10.0.0.9…

sort 排序 uniq 1.语法:sort [option]... [file]... 2.选项:-k key,关键子,指定以那个列来排序.如果不指定,默认将正行作为关键字排序-n 对数值排序.默认bash将所有列值认为是字符串类型,如果想要按照数值来排序使用-n或者修饰符n-r 倒序排序-t 指定列的分隔符,默认空格或这tab(制表符) -k: 指定排序关键字语法:-k pos1,pos2 -k 3,3 pos1 起始列 pos2结束列-k 3 定义起始列为第三列,如果第三列相同,则按照第4…

一.校验与核实 目前最为出名的校验技术是md5sum和sha1sum,它们对文件内容使用相应的算法来生成校验和. 举例: amosli@amosli-pc:~/learn$ md5sum text.txt 186931e2ff7cb0cde2c17b2298be604c text.txt 如上所示,使用md5sum生成了一个由32个字符组成的十六进制串. 可以将输出的校验重定向到一个文件中,然后再用这个md5文件来核实数据的完整性: amosli@amosli-pc:~/learn$ md5su…

centos shell基础知识 alias  变量单引号 双引号   history 错误重定向 2>&1  jobs  环境变量 .bash_history  source配置文件  nohup & 后台运行 cut,sort,wc ,uniq ,tee ,tr ,split, paste cat> 2.txt <<EOF 通配符 glob模式  发邮件命令mail 2015-4-8 第十二节课 set unset export 上半节课 history:命令历…

以文件的每行为单位,从左往右依次按ascii码进行比较 sort sort.txt #默认为升序 -u:去除重复行 sort -u sort.txt -r:降序排列 sort -r sort.txt -o:重定向到源文件 sort -r -o sort.txt -n:以数字的真实值比价大小,如果不加则会出现 排在 前面的情况 sort -n sort.txt -t:分隔符 -k:位置 sort.txt #以冒号进行分割,然后取第二列进行数字比较 uniq只对相连的行进行处理,所以操作前必须先so…