日常部分数据以 txt 的文件格式提供,为避免入库之后再进行统计的麻烦,故学习 shell 进行处理,减少工作量. 1.样例数据 # test.txt YD5Gxxx|6618151|6825449073|6476534190|36251|超级会员|0 YD5Gxxx|8968336|1445546463|6476534190|36251|超级会员|0 YD5Gxxx|2545939|6904742993|0858636804|36251|超级会员|80%以上 YD5Gxxx|3200810|6

Liang always brings me interesting quiz questions. Here is one: If i have a table like below: chr1 113438 114495 1 chr1 114142 114143 chr1 113438 114495 2 chr1 114171 114172 chr1 170977 174817 1 chr1 171511 171512 chr1 170977 174817 2 chr1 171514 171

awk awk是个很好用的东西,大量使用在linux系统分析的结果展示处理上.并且可以使用管道, input | awk ''  | output 1.首先要知道形式 awk 'command' file 如 awk '{print $0}' a.txt b.txt   (后面可以跟一个或多个文件)   2.command学习.command是awk的精髓,其结构为 '条件 {动作} 条件2 {动作2} ……'   2.1关键字学习: 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元

Go to the first, previous, next, last section, table of contents. Printing Output One of the most common actions is to print, or output, some or all of the input. You use the print statement for simple output. You use the printf statement for fancier

[root@elk_m ~]# awk '{print $0}' install.log.syslog |head -1 <86>Feb 29 02:58:28 groupadd[1598]: group added to /etc/group: name=dbus, GID=81 不想要的话就$num="" 并用分号结尾[root@elk_m ~]# awk '{$2="";print $0}' install.log.syslog |head -1&

原文地址: http://www.funtoo.org/Awk_by_Example,_Part_1?ref=dzone http://www.funtoo.org/Awk_by_Example,_Part_2 http://www.funtoo.org/Awk_by_Example,_Part_3 In defense of awk In this series of articles, I'm going to turn you into a proficient awk coder. I'

1. 前言 有关本手册 : 这是一本awk学习指引,  其重点着重于 : l         awk 适于解决哪些问题 ? l         awk 常见的解题模式为何 ? 为使读者快速掌握awk解题的模式及特性, 本手册系由一些较具代表性的范例及其题解所构成;  各范例由浅入深,  彼此间相互连贯,范例中并对所使用的awk语法及指令辅以必要的说明. 有关awk的指令,  函数,...等条列式的说明则收录于附录中, 以利读者往后撰写程序时查阅. 如此编排, 可让读者在短时间内顺畅地学会使用aw

1. 前言 有关本手册 : 这是一本awk学习指引, 其重点着重于 : l        awk 适于解决哪些问题 ? l        awk 常见的解题模式为何 ? 为使读者快速掌握awk解题的模式及特性, 本手册系由一些较具代表性的范例及其题解所构成; 各范例由浅入深, 彼此间相互连贯,范例中并对所使用的awk语法及指令辅以必要的说明. 有关awk的指令, 函数,...等条列式的说明则收录于附录中, 以利读者往后撰写程序时查阅. 如此编排, 可让读者在短时间内顺畅地学会使用awk来解决问题

原文: http://linuxfire.com.cn/~lily/awk.html 简体中文版由bones7456 (http://li2z.cn)整理. 原文:应该是 http://phi.sinica.edu.tw/aspac/reports/94/94011/ 但是原文很乱. 说明:之前也是对awk几乎一无所知,无意中看到这篇文章,网上一搜,居然没有像样的简体中文版.有的也是不怎么完整,或者错误一大堆的.于是就顺手整理了下这篇文章.通过整理这篇文章,自己也渐渐掌握了awk的种种用法. 原

为什么要使用正则表达式 UNIX 中提供了许多 指令 和 tools,它们具有在文件中 查找(Search)字串或替换(Replace)字串 的功能.像 grep, vi , sed, awk,... 不论是查找字串或替换字串,都得先告诉这些指令所要查找(被替换)的字串为何.若未能预先明确知道所要查找(被替换)的字串为何,只知该字串存在的范围或特征时,例如: (一)查找 "T0.c", "T1.c", "T2.c".... "T9.c&

前面的话: 这几天写了一个程序,在同一个目录里生成了很多文件,需要统计其中部分文件的总大小,发现经常用到的ls.du等命令都无济于事,我甚至都想到了最笨的方法,写一个脚本:mkdir一个新目录,把要统计总大小的文件mv过去,然后du或者ls -lh新目录.诚然,这个办法又笨又不精确,于是求助万能的网络,找到的都是同一篇用了3个很长的循环来统计的脚本,还是自己先苦读“经书”吧.鸟哥的书第十二章就有现成的示例,就用到了马上要出场的awk工具,用法如下(统计目录下所有tmp*文件的总大小,以KB为单位

echo "" | igawk -f main.awk # 需求:按照多种充值方式的多种金额类型进行累加统计 # 充值方式:移动卡 ,,,100元,联通卡20,,, 电信卡 ,,,, # wap快充 ,,, 移动短充,,,, # 设计:SQL语句取得表虽然不一致,但是我保证所有的记录集都包含2个字段,单元是元 # (固定金额的)累加值,固定金额 # 除了支付宝的其他数据表都没有记录泡豆数,但是金额可以推算出泡豆比例 # 目前有两种,一种1比10 ,一种1比8, 换算是通过savePay

1.正则表达式    (1)正则表达式一般用来描述文本模式的特殊用法,由普通字符(例如字符a-z)以及特殊字符(称为元字符,如/.*.?等)组成.   (2)基本元字符集及其含义       ^ :只匹配行首.   如^a 匹配以a开头的行abc,a2e,a12,aaa,......       $ :只匹配行尾.   如^a 匹配以a结尾的行bca,12a,aaa,.......       * :匹配0个或多个此单字符. 如(a)* 匹配 空,a,aa,aaa,....       [] :

awk awk是个很好用的东西,大量使用在linux系统分析的结果展示处理上.并且可以使用管道, input | awk ''  | output 1.首先要知道形式 awk 'command' file 如 awk '{print $0}' a.txt b.txt   (后面可以跟一个或多个文件)   2.command学习.command是awk的精髓,其结构为 '条件 {动作} 条件2 {动作2} ……'   2.1关键字学习: 变量名 含义 ARGC 命令行变元个数 ARGV 命令行变元

转自:http://my.oschina.net/leejun2005/blog/100710 最近有需求需要本地处理一些临时的数据,用做统计分析.如果单纯的 MYSQL 也能实现, 不过一堆临时数据这样从 mysql 导来导去还是挺麻烦的,比较理想的选择是本机装个 cygwin 环境,然后可以用 awk 等 shell 工具做即时处理. 本文主要讲述如何在 awk 中实现 SQL 的常用操作,当做个简单的 awk 入门分享.虽然文中部分 awk 会有其它更简洁高效的 shell 命令去完成,亦

命令难度总体来说有简入难,参数都是工作中常常用到的.如果涉及到一些生僻的参数还请百度或man一下. sort(参考学习网站:http://www.cnblogs.com/dong008259/archive/2011/12/08/2281214.html) 功能:根据不同的数据类型进行排序 格式:sort [-cMnrtk][源文件][-o 输出文件] 说明: 如果有一个文件"1.txt",假如有一列数字,分别为1,2,2,3,5,4 -n:   依照数值的大小排序 --> 数字

一.find命令 find 精确查找,根据提供的条件或组合条件进行查找,遍历所有文件,因此速度比较慢. 语法: find 目录 条件 动作 默认目录是当前目录默认条件是所有条件默认动作是显示查找到的信息 条件(选项): -name FILENAME:精确匹配,根据文件名进行查找,文件名支持通配符 -user USENAME:根据文件的属主查找文件 -group GROUPNAME:根据文件的属组查找文件 -nouser:查找没有对应属主用户的文件 -nogroup:查找没有对应属组的文件 -a:

1. 前言 有关本手册 : 这是一本awk学习指引, 其重点着重于 : l        awk 适于解决哪些问题 ? l        awk 常见的解题模式为何 ? 为使读者快速掌握awk解题的模式及特性, 本手册系由一些较具代表性的范例及其题解所构成; 各范例由浅入深, 彼此间相互连贯,范例中并对所使用的awk语法及指令辅以必要的说明. 有关awk的指令, 函数,...等条列式的说明则收录于附录中, 以利读者往后撰写程序时查阅. 如此编排, 可让读者在短时间内顺畅地学会使用awk来解决问题

----------------------------------------正则---------------------------------------- 基础正则 ^word ##搜索以word开头的 vi/vim中 ^ 一行的开头 word$ ##搜索以word结尾的 vi/vim中 $ 一行的结尾 ^$ ##表示空行 . ##代表且只能代表任意一个字符 \ ##例:\. 只代表点本身,转义符号,让有特殊身份意义的字符,脱掉马甲,还原 \n ##换行符 \r ##匹配回车 \w #

简述systemd的新特性及unit常见类型分析,能够实现编译安装的如nginx\apache实现通过systemd来管理 系统引导的新特性 系统引导时实现服务启动: 按需激活进程: 系统状态快照: 基于依赖关系定义服务控制逻辑: 核心概念:unit(单元) unit由其相关配置文件进行标识.识别和配置:文件中主要包含了系统服务.监听socket.保存的快照以及其他与init相关信息:这些配置文件主要保存在: /usr/lib/systemd/system /run/systemd/system