[转帖]awk命令 去掉重复行

https://developer.aliyun.com/article/885946?spm=a2c6h.24874632.expert-profile.263.7c46cfe9h5DxWK

linux awk命令 去掉重复行

1.打印指定列 域信息

more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'

2.把文件中的重复行 写入 lance444

awk 'a[$0]++' lance.txt >> lance444.txt

3.把 lance.txt 文件中的不重复行 写入 lance333

awk '!a[$0]++' lance.txt >> lance3333.txt

4.查询文件夹下所有包括指定字符串的文件内容 并把他们写入 lance.txt

grep -r "BatchUpdateException: Duplicate" ./* >>lance.txt

5.查询文件中包括某个字符的所有行

grep -r "BatchUpdateException: Duplicate" /root/tomcat/logs/catalina.out
cat `ls ./*` >> lance.txt

wc -l filename 就是查看文件里有多少行

6.FS服务器被攻击 数据出现重复时：

6.1.归集数据

cat `ls ./*` >> lance.txt

6.2数据去重

awk '!a[$0]++' lance.txt >> data.txt

6.3.垃圾数据删除 删除包括有 以下关键字的记录行 删除指定条件的行

SUBSCRIBER_ABSENT

NO_ROUTE_DESTINATION

sed -i -e '/NO_ROUTE_DESTINATION/d' data.txt
sed -i -e '/SUBSCRIBER_ABSENT/d' data.txt