1.awk功能和实用形式 awk指定读取文件中的某一行的某个字段 awk      可以设置条件来输出文件中m行到n行中每行的指定的k字段,使用格式如下 awk    'NR==m,NR==n {print $k}'  path/filename m,n,k表示实在的数值.如果要用变量来表示m,n的值,则变量需要用单引号将其引起来. NR,{print }是awk命令在此用法下的规定字段:path/filename表示读取文件的路径及文件名. 当要读取某一行的内容的k字段时,使用格式如下 awk…

shuf -n5 main.txt sort -R main.txt | head -5 awk -vN=5 -vC="`wc -l file`" 'BEGIN{srand();while(n<N){i=int(rand()*C+1);if(!(i in a)){a[i]++;n++}}}NR in a' file while read line;do echo "$line $RANDOM";done < main.txt | sort -k2,2n|…

有一个txt文件,每行都有数据,将每行的数据转换成list列表 例如: 5,6,7,8,1 9,1,3,4 如下实现: f = open('test1.txt','r') for i in f.readlines(): print(i.strip('\n').split(',')) f.close() i.strip('\n')去掉每行末尾的换行 输出 ['] [']…

shell command shell给一个文件中的每一行开头插入字符的方法:awk '{print "xxx"$0}' fileName shell给一个文件中的每一行结尾插入字符的方法:awk '{print $0"xxx"}' fileName shell给一个文件中的每一行的指定列插入字符的方法:awk '$O=$O" xxx"' fileName 需求: 由于hive表中有大量的临时表,所以决定要想删除它们,这些表全是以test_开头.…

sed -i 'ni\x' test.file        表示向test.file文件里的第n行的前面添加x内容sed -i 'na\x' test.file       表示向test.file文件里的第n行的后面添加x内容 sed -i '/m/i\x' test.file     表示向test.file文件里匹配m字符串的行的前面添加x内容sed -i '/m/a\x' test.file    表示向test.file文件里匹配m字符串的行的后面添加x内容 -i     表示in…

Shell 从日志文件中选择时间段内的日志输出到另一个文件 情况是这样的,某系统的日志全部写在一个日志文件内,所以这个文件非常大,非常长,每次查阅的时候非常的不方便.所以,相关人员希望能够查询某个时间段内的日志.我简单些了一个脚本来实现了这个效果. 不过我的实现不是最佳方案,性能上还有很大的优化空间,但我目前水平有限,没有想到更好的方法. 分析日志 5074400:2017-08-01T01:34:22.724252+00:00 test_rest_1.test_default bpmn_tes…

uniq命令用于报告或忽略文件中的重复行,一般与sort命令结合使用. 语法 uniq(选项)(参数) 选项 -c或——count:在每列旁边显示该行重复出现的次数: -d或--repeated:仅显示重复出现的行列: -u或——unique:仅显示出一次的行列: 参数 输入文件:指定要去除的重复行文件.如果不指定此项,则从标准读取数据: 输出文件:指定要去除重复行后的内容要写入的输出文件.如果不指定此选项,则将内容显示到标准输出设备(显示终端). 实例 删除重复行: uniq file.txt…

linux下查找文件中空行的行号 linux下查找文件中空行的行号 以aa.txt举例: 方法1:sed -n '/[a-zA-Z0-9@#$%^&*]/!=' aa.txt 方法2:grep -n ^$ aa.txt 方法3:awk '/^$/{print NR}' aa.txt 方法4:sed -n '/^$/=' aa.txt…

需求:已知s.txt文件中有这样的一个字符串:“hcexfgijkamdnoqrzstuvwybpl” 请编写程序读取数据内容,把数据排序后写入ss.txt中. 分析: A:读取文件中的数据 B:把数据存在一个字符串中 C:把字符串转换成字符串数组 D:对字符串数组进行排序 E:数组转换成字符串 F:把字符串写入文件中 public static void main(String[] args) throws IOException { // 读取文件中的数据 字符缓冲输入流 BufferedR…

head 命令 读取文件的前n行 默认查看文件的前十行 head /etc/passwd # 默认查看文件的前十行 /etc/passwd # 查看文件的前两行…