date -d @时间戳 "+%Y-%m-%d %H:%M:%S" 也可以内置函数 awk '{print strftime("%Y-%m-%d %H:%M:%S", $1)}' 如果是毫秒级的时间戳要先除以1000: 在 shell 中这样子处理: awk '{print $1","$2","strftime("%Y-%m-%d %H:%M:%S", $3)}' origin.txt > origi…
本文将介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste.wc.sed.awk:提供的例子和参数都是最常用和最为实用的:我对shell脚本使用的原则是命令单行书写,尽量不要超过2行:如果有更为复杂的任务需求,还是考虑python吧: find 文件查找 查找txt和pdf文件 1 find . ( -name "*.txt" -o -name "*.pdf" ) -print 正则方式查…
shell编程系列15--文本处理三剑客之awk格式化输出printf printf的格式说明符 格式符 含义 %s 打印字符串 %d 打印十进制数 %f 打印一个浮点数 %x 打印十六进制数 %o 打印八进制数 %e 打印数学的科学计数法形式 %c 打印单个字符的ASCII码 printf的修饰符 修饰符 含义 - 左对齐 + 右对齐 # 显示8进制在前面加0,显示16进制在前面加0x awk格式化输出之printf总结: 格式符 %s 打印字符串 %d 打印10进制数 %f 打印浮点数 %x…
5.1 [grep] 全面搜索正则表达式(GREP)是一种强大的文本搜索工具,能使用正则 表达式搜索文本,并把匹配的行打印出来 过滤来自一个文件或标准输入匹配模式内容 除了grep外,还有egrep,fgrep,egrep是grep的扩展,相当于grep -E ,fgrep下相当于grep -f,用的较少 文件的正则                                  描述 -E,--extended-regexp            模式是扩展正则表达式 -P,perl-reg…
awk和流编辑器sed在工作原理和用法上有很多类似之处,它们都是检查输入数据中的行是否匹配指定的模式,如果匹配成功就对匹配的行执行相应的操作,重复这个过程直到所有的输入数据都被处理完,因此awk和sed都是面向数据流的工具. awk执行的操作action要写在模式后面的花括号{}中,而sed是直接接在模式后 比对: sed通常用来提取一整行,提取一行中的某个字段需要使用后向引用: awk通常用于提取行中的某个字段,也可提取一整行: 注意:上面的花括号中各个参数之间的逗号不是必要的,使用逗号在输出…
搞定Linux Shell文本处理工具,看完这篇集锦就够了 Linux Shell是一种基本功,由于怪异的语法加之较差的可读性,通常被Python等脚本代替.既然是基本功,那就需要掌握,毕竟学习Shell脚本的过程中,还是能了解到很多Linux系统的内容. Linux脚本大师不是人人都可以达到的,但是用一些简单的Shell实现一些常见的基本功能还是很有必要的. 下面我介绍Linux下使用Shell处理文本时最常用的工具:find.grep.xargs.sort.uniq.tr.cut.paste…
目录 gawk:模式扫描和处理语言 awk语言 awk工作原理 print awk变量 自定义变量 printf命令 awk操作符 awk的条件判断 awk的循环 awk的数组 awk的函数 awk调⽤系统命令和其他功能 文本处理工具awk awk:(Aho, Weinberger, Kernighan,)报告生成器,格式化文本输出 有多种版本:New awk(nawk),GNU awk( gawk) gawk:模式扫描和处理语言 1. 基本用法: awk [options] 'program'…
本篇主要写一些shell脚本编辑工具awk的使用. 概述 awk是一个功能强大的编辑工具,逐行读取输入文本,并根据指定的匹配模式进行查找,对符合条件的内容进行格式化输出或者过滤处理. awk倾向于将一行分成多个字段然后再进行处理,且默认情况下字段的分隔符为空格或者tab键.awk执行结果可以通过print的功能将字段数据打印显示. 可以使用逻辑操作符&&,表示与, ||表示或,!表示非:还可以进行简单的数学运算,如+.-.*./.%.^分别表示加.减.乘.除.取余和乘方. 命令常见用法 命…
shell之文本过滤(awk) 分类: linux shell脚本学习2012-09-19 15:53 1241人阅读 评论(0) 收藏 举报 shell正则表达式脚本任务语言 如果要格式化报文或从一个大的文本文件中抽取数据包,那么awk可以完成这些任务. 为了获取所需信息,文本必须格式化,也就是说要使用域分隔符来划分抽取域,分隔符可以使任意字符. awk语言的最基本功能是在文件或字符串中基于指定规格浏览和抽取信息.awk抽取信息后,才能进行其他文本操作.awk脚本通常用来格式化文本文件中的信息…
Common Shell Text Processing 珠玉在前,不再赘言. Linux Shell 文本处理工具集锦:http://blog.jobbole.com/99063/ 数据工程师常用的 Shell 命令:http://blog.jobbole.com/99034/   文件和目录管理:http://man.linuxde.net/par/1   linux sort,uniq,cut,wc命令详解:http://blog.jobbole.com/103822/ linux gre…