test.sh #!/bin/bash string="hello,shell,split,test" array=(${string//,/ }) for var in ${array[@]} do echo $var done 输出 bogon:conf macname$ awk '{print length($0)}' test.sh 参考: https://www.jb51.net/article/121290.htm

Linux下很多命令用起来真相当方便,尤其是进行批处理操作时.(话说感觉这种程序也不复杂,windows咋一直不搞一个好用的shell呢) 这里列出一些实际shell操作的应用场景,具体命令的用法与解释就不列了,网上有很多很好的教程. 可以当做练习题练练手. 1. 批量重命名 当前目录下有若干.wma文件,要把它们批量转成.mp3文件 例: 001.wma -> 001.mp3 解决方案: # solution 1 ls * | awk -F '.' '{print "mv "$

ps -ef |grep hello |awk '{print $2}'|xargs kill -9

引子: 在工作过程中经常要处理各种小数据,同事间会用各种工具方法来处理,比如用java.python.Perl甚至用UE手工处理.但貌似不都方便. 今天举一例子使用shell来处理,来说明shell一行可以解决用其它语言多行的问题. 需求: 有两个文件, device_jingweidu.txt 和device.txt,文件内容如下面格式: device_jingweidu.txt: ,@QQY.SZF,,三明尤溪水东水库坝上,118.210124,26.176165 ,@QQY.SZF,,三明

博客地址:http://www.moonxy.com Linux 是一个多用户的操作系统,在日常的使用中,从安全角度考虑,应该尽量避免直接使用 root 用户登录,而使用普通用户. 1. 关于用户 user 的两个重要的文件: /etc/passwd(存储用户信息) 和 /etc/shadow(存储用户对应的密码信息) [root@ryan ~]# cat /etc/passwdroot:x:0:0:root:/root:/bin/bashbin:x:1:1:bin:/bin:/sbin/nol

删除文件第一行: sed '1d' filename 删除文件最后一列: awk '{print $NF}' filename awk删除重复行的命令:awk '{if (!seen[$0]++) {print $0;}}' filename 比较文件的两种方法: 1)comm -3 --nocheck-order file1 file2 2) grep -v -f file1 file2 :输出file2中有file1中没有的行 当然还有diff file1 file2 贴一段昨天写的shel

shell command shell给一个文件中的每一行开头插入字符的方法:awk '{print "xxx"$0}' fileName shell给一个文件中的每一行结尾插入字符的方法:awk '{print $0"xxx"}' fileName shell给一个文件中的每一行的指定列插入字符的方法:awk '$O=$O" xxx"' fileName 需求: 由于hive表中有大量的临时表,所以决定要想删除它们,这些表全是以test_开头.

[1]Shell脚本:while read line无法读取最后一行的问题 刚刚利用shell脚本处理日志文件时,发现了一个问题:while read line无法读取到最后一行 通过编辑器可以看到待处理的文件是5243行,但是,脚本的计数值却只打印了5242次. shell脚本源码如下: icount=0 while read line do data=`echo ${line#*error repeat sdr }` callid=`echo ${data% error:mysql.*}`

使用shell随机读取文件的一行数据 shuf -n1 file_name

写法一: #!/bin/bash while read line do echo $line done < file(待读取的文件) 写法二: #!/bin/bash cat file(待读取的文件) | while read line do echo $line done 写法三: for line in `cat file(待读取的文件)` do echo $line done 说明:for逐行读和while逐行读是有区别的,如: $ cat file aaaa bbbb cccc dddd

标准输入输出与标准错误输出 标准输入/输出可能是软件工具设计原则里最主要的观念了.他的构想是:程序应有一个数据来源,数据出口(数据要去哪里),以及报告问题的地方.他们分别叫做标准输入,标准输出和标准错误输出.程序应该不知道也不在意其输入与输出背后是还有一个运行的程序!程序能够预期,在他启动的时候,这些标准位置都已打开,且已经准备好能够使用了. 默认情况下,程序会读取标准输入,写入标准输出,并将错误信息传递给标准错误输出.这种程序我们称为过滤器,由于他们过滤数据流,每个都会在数据流上运行某种运算,

说实话,虽然对shell编程包括awk有所了解,但是对sed的多行与一行的处理还是不甚理解,在网上搜罗了一篇文章觉得还不错,记录一下: 今天一个工程师问我,怎么将一个文件中的多行转换成一行. 我给出了如下三种方法: 1. 采用awk awk BEGIN{RS=EOF}'{gsub(/\n/," ");print}' file 说明:awk默认将记录分隔符(record separator即RS)设置为\n,此行代码将RS设置为EOF(文件结束),也就是把文件视为一个记录,然后通过gsu

在shell分析log的时候,需要将数据过滤后转为csv的格式: 要在分析好的数据后面追加逗号: sed 's/$/&,/g' no2.log > ccc.log 结果保存在ccc.log中 no2.log是待处理数据,格式是: 's/$/&,/g'      &后面是要追加的字符,可以是字符串,可以是字符.

1.使用read命令读取一行数据 while read myline do echo "LINE:"$myline done < datafile.txt 2.使用read命令读取一行数据 cat datafile.txt | while read myline do echo "LINE:"$myline done 3.#读取一行数据 cat datafile.txt | while myline=$(line) do echo "LINE:&qu

查找匹配行,输出该行并输出下面的一行 grep: grep -A 1 'keyword'   file awk:awk '$0~/keyword/{print $0; getline; print $0;}'  file

查看文件内容-while: cat 1.txt|while read line;do echo $line;done while read line; do echo $line; done <./1.txt 从日志当中测试连接统计情况 while :; do tail -n 100 /app/nginx/web.log |cut -d -f 8|sort|uniq -c;sleep 5;done 统计文件代码行数: find . -type f -name "*.sh" | x

原始文件内容 -bash-3.2# cat configTest.xml <?xml version="1.0" encoding="UTF-8"?> <config> <base-config> <config-version>1</config-version> <core>8</core> <version>2.0</version> </plug

http://www.cnblogs.com/koreaseal/archive/2012/05/28/2522178.html 要实现在一行执行多条Linux命令,分三种情况: 1.&& 举例: lpr /tmp/t2 && rm /tmp/t2第2条命令只有在第1条命令成功执行之后才执行.根据命令产生的退出码判断是否执行成功(0成功,非0失败). 2.|| 举例: cp /tmp/t2 /tmp/t2.bak || rm /tmp/t2只有||前的命令“cp /tmp/

1. 读取文件的第一行:head -n +1 file.txt 读取文件的最后一行: tail -n -1 file.txt echo 12:30:55 | cut -d: -f 1 结果为12,意思为将字符串12:30:55以:符号进行拆分,输出索引为1的值. -d后跟以什么字符进行拆分, -f 后的数字为取的索引值. 2. 小数计算 使用bc var1=3.55 var2=6.87 echo "$var1+$var2" | bc 输出为10.42 比较: echo "$v

在linux下有时可能需要将多行的值转成一行.其实现的方法有很多种.笔者将自己曾经用过的方法在些分享. 如有一文本文件5201351.txt,文本的内容如下: 现我们可以通过如下方法将文本内容转成一行: [root@ ~]# xargs < .txt [root@ ~]# cat .txt |xargs //方法一.通过xargs命令完成 [root@ ~]# a=$(cat .txt);echo $a //方法二.整个文件读入一个变量,然后直接打印 [root@ ~]# sed -n '1h;

突然有需求需要一个脚本,同时获取到每一行数据的两个值,下面做了一个例子模板,仅供记录参考 cat test.txt  id=1,name=zclinux1 id=2,name=zclinux2 id=3,name=zclinux3 id=4,name=zclinux4 id=5,name=zclinux5 id=6,name=zclinux6 id=7,name=zclinux7 id=8,name=zclinux8 id=9,name=zclinux9 id=10,name=zclinux10