shell之文本过滤(awk) 分类: linux shell脚本学习2012-09-19 15:53 1241人阅读 评论(0) 收藏 举报 shell正则表达式脚本任务语言 如果要格式化报文或从一个大的文本文件中抽取数据包,那么awk可以完成这些任务. 为了获取所需信息,文本必须格式化,也就是说要使用域分隔符来划分抽取域,分隔符可以使任意字符. awk语言的最基本功能是在文件或字符串中基于指定规格浏览和抽取信息.awk抽取信息后,才能进行其他文本操作.awk脚本通常用来格式化文本文件中的信息

在上一篇博文jdbc连接数据库中我已经简单介绍了如何连接到mysql数据库,今天要总结的是学长给我布置的一个小作业,把一个很大的已经用","分开了的一行一行的txt文件内容过滤掉注释(注释都用#标注着),生成新的文件,将新文件内容存到mysql数据库中.学长跟我说这个小作业以后也会应用到,作为一个小作业布置应该是挺好的. 这是文件的一小小小小部分. 然后这是把文件内容过滤同时存到一个新文件中的代码. try { //************************ File file

源文件为: [root@luo5 wangxx]# cat -v luo.txt J LuoSoutth jfsaNanjing,china Y ZhangVictory UniversityNejflja,Australia D HouBeijing UniversityMelhouse,china 实现排序 [root@luo5 wangxx]# cat luo.txt |awk -v RS="" '{gsub("\n","@");print

查看文件内容 一些重要的目录: /usr/share/    帮助文档.说明文档/var/log/       日志/var/run/       运行中程序/var/tmp       临时文件 根(/)相当于一个入口,文件的总入口,也是唯一入口 bin (sbin) 二进制文件,可执行文件,也可能存在别处,默认使用较多所有用户软连接文件 ----------------命令 sbin 管理员可使用的二进制文件-------------命令ls cd useradd boot 系统内核.启动文

Git(读音为/gɪt/)是一个开源的分布式版本控制系统,可以有效.高速地处理从很小到非常大的项目版本管理. [1] 也是Linus Torvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件. 分布式相比于集中式的最大区别在于开发者可以提交到本地,每个开发者通过克隆(git clone),在本地机器上拷贝一个完整的Git仓库. git的功能特性 从一般开发者的角度来看,git有以下功能: 1.从服务器上克隆完整的Git仓库(包括代码和版本信息)到单机上. 2.在自己的机器

centos 正则,grep,egrep,流式编辑器 sed,awk -F 多个分隔符  通配符 特殊符号. * + ? 总结  问加星 cat -n  nl  输出文件内容并加上行号 alias放~/.bash_profile 2015-4-10 第十三节课 第一节课 grep. * + ? 特殊符号总结 问加星egrep 第二节课 sed 第三节课 awk nl命令和cat -n grep命令只支持基本正则! 通配符glob模式和正则不一样,例如 find命令 只能使用通配符,grep命令用

当我们在 Unix/Linux 下使用特定的命令从字符串或文件中读取或编辑文本时,我们经常需要过滤输出以得到感兴趣的部分.这时正则表达式就派上用场了. 什么是正则表达式? 正则表达式可以定义为代表若干个字符序列的字符串.它最重要的功能之一就是它允许你过滤一条命令或一个文件的输出.编辑文本或配置文件的一部分等等. 正则表达式的特点 正则表达式由以下内容组合而成: 普通字符,例如空格.下划线.A-Z.a-z.0-9. 可以扩展为普通字符的元字符,它们包括: (.) 它匹配除了换行符外的任何单个字符.

在学习Linux命令中,发现3个有关于文件内容操作的命令grep,sed和awk,在这里简单汇总这3个命令主要作用,在实际中找到最合适的情景应用,详细用法可以参考其他文章. 1.grep命令 主要作用:用于搜索文件中特定字符串,并输出整行内行 命令格式:grep [选项参数] "搜索内容" 文件(选项参数-r时为目录) 选项参数:-v 反选:-i忽略大小写:-r 递归:-n显示匹配位于第几行及内容:-c统计有多少行被匹配:-A之前多少行内容:-B之后多少行内容:-C前后多少行内容 例子

假如有三个文件file1.txt,file2.txt,file3.txt 每一个文件内容如下: 现在打算提取每一个文件字符为16的行,打印该行所有的内容.以及该文件名,并追加到file4.txt,则可以用以下命令: for i in *.txt do echo awk -F " " '{if($1~/^16/) print FILENAME,$1,$2,$3,$4,$5 }' $i >> file4.txt done ###{if($1~/^16/) print FILEN

1. Sed的help 鸟哥说的 学东西 先看 help 先看man 再google 不好FQ再百度.. Usage: sed [OPTION]... {script-only-if-no-other-script} [input-file]... -n, --quiet, --silent suppress automatic printing of pattern space -e script, --expression=script add the script to the comma

. cat 功能是连接多个文件并且打印到屏幕输出,或重定向到指定的文件 五大功能: 1.查看文件内容 cat file.txt 2.合并文件内容 cat file1 file2>newfile3 3.创建便捷新文件 cat >file  输入完成之后,使用ctrl+c结束即可 4.清空文件内容 cat /dev/null >file.txt 5.非交互式的编辑或者追加内容到文件尾部 cat>>file.txt<<EOF 1234 EOF -n # 从1开始对多有输

1.cat   合并文件或查看文件内容 基本功能:cat   test.txt     查看文件内容 也可以多文件显示 cat  test1.txt test2.txt >test3.txt   把多个文件合并成一个 cat  >test.txt  创建编辑文件,后边接要编辑的内容ctrl+d或c可结束编辑  如果错了 需要按住CTRL+退格键 cat>>test.txt<<EOF       飞交互式编辑或追加内容到文件尾部  EOF必须成对出现  也可以用别的标签替

. wc 用于统计文件的行数,单词,或字节数 -l # 统计行数 -L # 打印最长行的长度,一般脚本中判断字符长度 -c # 统计字节数 -w # 统计单词数 -m 统计字符数 . iconv 转换文件的编码格式 iconv [options] [-f from-encoding] [-t to-encoding] [inputfile]... 源编码 新编码 输入文件 -f  # 从编码A转换 -t # 转换为编码B -l # 显示系统支持的编码 -o # 将输出输入到指定文件 iconv

文档目录: 一.cat:合并文件或查看文件内容 二.tac:反向显示文件内容 三.more:分页显示文件内容 四.less:分页显示文件内容 五.head:显示文件头部内容 六.tail:显示文件尾部内容 七.tailf:跟踪日志文件 八.cut:从文本中提取一段文字并输出 九.split:分割文件 十.paste:合并文件 十一.sort:文本排序 十二.join:按两个文件的相同字段合并 十三.uniq:去除重复行 十四.wc:统计文件的行数.单词数或字节数 十五.iconv:抓换文件的编码

Linux基本操作命令 echo命令 echo命令: 把echo后面的内容显示到屏幕. -n 显示内容的时候不显示每行结尾的回车 echo 内容 >> 文件名 表示把内容加到一个文件的末尾 echo 内容 > 文件名 表示把内容覆盖原先的文件内容 cat命令 cat 常用选项 -b 显示行编号(忽略空行) -n 显示所有行编号(包括空格) cat >>文件<<EOF cat >文件<<EOF >表示写入新内容即使之前有内容也会覆盖 >

Java相关技术 - 文件内容检索工具 拿到一个几百M甚至上G的project让你去学习 有时候你会想知道某个关键词是在哪个文件里 比如:spring MVC配置的@RequestMapping,你从页面源知道了Action是 index/login.sftl 然后你想知道,这个@RequestMapping到底是配置在哪个Java类里,你怎么找到这个类呢 又比如,你想知道你当前看到的页面的源文件到底在项目的哪个路径下,你又要什么寻找 别告诉我,你会把项目里的文件一个个打开,直到找到你要的文件

说明,是通过file2内容与file1做比较,最后列出file1与file2不同的部分! 一.准备两个文件: [root@kinggoo.com test1]# cat file1 a b c d e [root@kinggoo.com test1]# cat file2 c e 二.比较方法: 方法一:grep 命令 [root@kinggoo.com test1]# grep -v -f file2 file1 a b d 方法二:comm 命令 [root@kinggoo.com test

awk 多文件操作2种实现方法 我们经常会将2个有关联文本文件进行合并处理.分别从不同文件获取需要的列,然后, 整体输出到一起.awk进行多文件处理时候,常常会遇到2个方面问题,第一个是怎么样合并多个文件为一个文件.第二个问题就是怎么样将多行合并为一行显 示.我这里说下我的处理2种方法,还有实现思路. [chengmo@centos5 shell]$ awk 'FNR==1{print "\r\n"FILENAME}{print $0}' a.txt b.txt  a.txt 100 

1.fread string fread ( int $handle , int $length ) fread() 从 handle 指向的文件中读取最多 length 个字节.该函数在读取完最多 length 个字节数,或到达 EOF 的时候,或(对于网络流)当一个包可用时,或(在打开用户空间流之后)已读取了 8192 个字节时就会停止读取文件,视乎先碰到哪种情况. fread() 返回所读取的字符串,如果出错返回 FALSE. <?php $filename = "/usr/loca

Settings→Editor→File Types 在下方的忽略文件和目录(Ignore files and folders)中添加自己需要过滤的内容 下图为我自己添加过滤的内容,例如:*.iml;*.idea;*.gitignore;*.sh;*.classpath;*.project;*.settings;target; 来自为知笔记(Wiz)

1,在某个路径下查文件. 在/etc下查找“*.log”的文件 find /etc -name “*.log” 2,扩展,列出某个路径下所有文件,包括子目录. find /etc -name “*” 3,在某个路径下查找所有包含“hello abcserver”字符串的文件. find /etc -name “*” | xargs grep “hello abcserver” 或者find /etc -name “*” | xargs grep “hello abcserver” > ./cqt