awk: awk '/^>/&&NR>1{print "";}{ printf "%s",/^>/ ? $0" ":$0 }' YourFile sed: sed -n '1{x;d;x};${H;x;s/\n/ /1;s/\n//g;p;b};/^>/{x;s/\n/ /1;s/\n//g;p;b};H' YourFile

30天内的文件打包 find ./test_log -type f -mtime -30|xargs tar -cvf test_log.tar.gz find,文件+超过7天+超过1M的+按日期为文件名压缩 注意: exec没-i, xargs如果有引用需要加上-i find xargs -type -name -size -mtime find /tmp/ -type f -mtime +7 -size +1M|xargs -i tar -zcvf access.log.tar.gz {}

因为linux shell命令行输出的前面几行一般是指导或是格式字段说明, 而不是实现的数据,所以在作过滤时,一般需要排除前面的几行. 现需要找出指定机器开放的所有端口. 我遇到的情况是要排除前面两行,再进行切割. 如下: netstat -nltp|awk '{if (NR>2){print $4}}'|cut -d ':' -f 2

首先解释一下什么叫“按域去除重复行”: 有的时候我们需要去除的重复行并不是整行都重复,两行的其中一列的元素相同我们有的时候就需要认定这两行重复,因此有了今天的内容. 去除重复行shell有一个原生命令但是不太好使应为这个命令找的重复行是上下文的重复行,也就是说需要提前排序,这样就增加了不必要的麻烦,我们在这里选择使用awk工具进行重复行的去除. 命令如下: awk '!array[$0]++' Filename 解释一下这行代码,由于awk工作方式的特殊性,也就是按行读入按行输出,中间引号内的语

Python,Perl,Bash命令行参数 Part I 日常经常性的和Perl,Python,Bash打交道,但是又经常性的搞混他们之间,在命令行上的特殊性和index的区别,Python真的是人性化到家了,但是命令行上就很原始,但是很有分类感.还是会喜欢Perl一点(至少还可以动脑子,不至于生锈),感觉Perl是个杂合子,而python像胡彦斌,bash像韩红(最近看我是歌手第三季,嘻嘻).Bash就是家常菜了,虽然Perl可以大部分代替Bash的功能,像grep sort map等,但是某

# root @ c7bit1 in ~ [16:43:40] $ cat test a b c d b g # root @ c7bit1 in ~ [16:46:27] C:2 $ awk '!x[$0]++' test a b c d g 解释: a[$0]: look at the value of key $0, in associative array a. If it does not exist, create it. a[$0]++: increment the value o

作用:当判断是否满足条件,而条件字段又是用","分割的时候. 如果数据库中一个字段插入数据,并且以","分割.有点像行转列 4804510101,4946645450,4870799370,4386453634,19563423 select ur2.c_orgunitid p2.c_ranges from TB_WK_PRIZE p2 inner join (select level l from dual connect by level <= 100)

{ if(NR % 2 == 0) printf("%s\n", $0) else printf("%s, ", $1) } awk -f awk.awk data

- sed过滤行 sed '2p' sed '2,5p' sed '2p;3p;4p' - awk过滤行 awk 'NR==2' awk 'NR>=2 && NR <=3' awk 'NR==2||NR==3||NR==4' - awk条件过滤 awk '{if($3>10) print $0}' 过滤某1行 sed过滤第2行 [root@n1 ~]# sed -n '2p' /etc/passwd bin:x:1:1:bin:/bin:/sbin/nologin awk

awk与sed.grep一样都是为了加工数据流而做成的文本加工过滤器命令.awk会事先把输入的数据根据字段单位进行分割.在没有制定分割单位的情况下,以输入数据中的空格或Tab为分隔符.与sed相比,它以更接近编程语言的文法记述处理,还包括了通过正则表达式进行的字符串操作.简单的数学函数功能等. sed的基本形式 sed 启动选项 '地址 命令/查找字符串/替换字符串/标志' 输入.txt > 输出.txt 启动选项 ​ -e '单行脚本': -f 脚本文件: -g 整个文章作为对象(global

一.AWK简介 AWK三大文本处理工具之一,是一个非常强大的文本处理工具.它不仅是 Linux 中也是任何环境中现有的功能最强大的数据处理引擎之一.这种编程及数据操作语言(其名称来自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母)的最大功能取决于一个人所拥有的知识.AWK 提供了极其强大的功能:可以进行样式装入.流控制.数学运算符.进程控制语句甚至于内置的变量和函数.它具备了一个完整的语言所应具有的几乎所有精美特性.实际

一.简介 强大的文本分析工具,基于指定规则浏览和抽取信息.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理.awk有3个不同版本: awk.nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本. awk其名称得自于它的创始人 Alfred Aho .Peter Weinberger 和 Brian Kernighan 姓氏的首个字母.实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正

使用awk取某一行数据中的倒数第N列:$(NF-(n-1))比如取/etc/passwd文件中的第2列.倒数第1.倒数第2.倒数第4列(以冒号为分隔符) [root@ipsan-node06 ~]# cat /etc/passwd root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/

fai示例: Sc0000003 2774837 10024730 60 61 Sc0000004 2768176 12845826 60 61 Sc0000005 2756750 15660150 60 61 Sc0000006 2627294 18462857 60 61 Sc0000007 2472379 21133951 60 61 Sc0000008 2452568 23647548 60 61 NAME Name of this reference sequence LENGTH T

格式转换: use awk :awk 'BEGIN{P=1}{if(P==1||P==2){gsub(/^[@]/,">");print}; if(P==4)P=0; P++}' input.fastq > output.fasta FASTA文件拆分: 1. 从a.fasta中提取第10至第20个序列存到b.fasta中 - awk -v RS='>' 'NR>1{i++}i>=10&&i<=20{print ">&

GAWK:报告生成器,格式化文本输出 awk [options] ‘program’ var=value file… awk [options] -f programfile var=value file… awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ... awk程序组成部分: BEGIN语句块.能够使用模式匹配的通用语句块.END语句块 选项: -F:指明输入时用到的字段分割符: -v

awk 数组回顾: 9.1 数组 举例:统计当前主机上每一个TCP连接状态以及每种连接状态的数目[非常实用] # netstat -tan | awk '/^tcp/{STATE[$NF]++}END{for (S in STATE) {print S,STATE[S]}}' 注:单引号内的都是PARTTEN,此句没有ACTION[定义数组.变量尽量大写,小写也不错] LISTEN ESTABLISHED 解释: 最后一列元素$NF作为数组的下标,数组的元素是数字 array[index-exp

awk与sed.grep一样都是为了加工数据流而做成的文本加工过滤器命令.awk会事先把输入的数据根据字段单位进行分割.在没有指定分割单位的情况下,以输入数据中的空格或Tab为分隔符.与sed相比,它以更接近编程语言的文法进行处理,还包括了通过正则表达式进行的字符串操作.简单的数学函数功能等. sed的基本形式 sed 启动选项 '地址 命令/查找字符串/替换字符串/标志' 输入.txt > 输出.txt 启动选项 ​ -e '单行脚本': -f 脚本文件: -g 整个文章作为对象(global

前言 awk是一种很棒的语言,它适合文本处理和报表生成. 模式扫描和处理.处理文本流. awk不仅仅是Linux系统中的一个命令,而是一种编程语言,可以用来处理数据和生成报告. 处理的数据: 可以是一个或多个文件 可以是来自标准输入 也可以通过管道获取标准输入 awk可以在命令行上直接编辑命令进行操作,也可以编写成awk程序来进行更为复杂的运用. awk中的概念: 字段(域)与记录 模式匹配 基本的awk执行过程 awk常用内置变量 awk数组(工作常用) awk语法:循环,条件 awk常用函数

一.awk介绍 awk 是一种程序语言. 它具有一般程序语言常见的功能. 因awk语言具有某些特点, 如 : 使用直译器(Interpreter)不需先行编译; 变量无类型之分(Typeless), 可使用文字当数组的下标(Associative Array)...等特色. 因此, 使用awk撰写程序比起使用其它语言更简洁便利且节省时间. awk还具有一些内建功能, 使得awk擅于处理具数据行(Record), 字段(Field)型态的资料; 此外, awk内建有pipe的功能, 可将处理中的数