shell腳本

1.awk过滤重复行

awk '!a[$0]++{print $0}' 过滤重复行

awk '!a[$1]++{print $1}' 过滤第一列重复行 并只打印第一列

awk '!($1 in a){a[$1];print $1}' 和上面实现相同功能 过滤第一列重复行 并只打印第一列

2，过滤空行

awk  'NF {print $1}' query.lst

3，指定分割符号

awk -F"[>=]" '{print $1}' query.lst

4,去除空行

cat $BASE/test_tb.lst |awk '{print $6,$7}'|awk NF