Linux文本工具-cat-cut-paste；文本分析-sort-wc-uniq

1.1 查看文本文件内容 cat

1.1.1　cat可以查看文本内容

cat [OPTION]... [FILE]...

常见选项

-E：    显示行结束符$

-A：    显示所有控制符

-n：    对显示出的每一行进行编号

-b：    非空行编号

-s：    压缩连续的空行成一行

1.1.2　　nl

显示行号，相当于cat -b

[10:00:37 root@centos8 ~]#nl /etc/fstab 

     1    #

     2    # /etc/fstab

     3    # Created by anaconda on Tue Apr  5 08:42:34 2022

     4    #

     5    # Accessible filesystems, by reference, are maintained under '/dev/disk/'.

     6    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.

     7    #

     8    # After editing this file, run 'systemctl daemon-reload' to update systemd

     9    # units generated from this file.

    10    #

    11    UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0

    12    UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2

    13    UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0

    14    UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0

[10:00:46 root@centos8 ~]#cat -b /etc/fstab 

     1    #

     2    # /etc/fstab

     3    # Created by anaconda on Tue Apr  5 08:42:34 2022

     4    #

     5    # Accessible filesystems, by reference, are maintained under '/dev/disk/'.

     6    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.

     7    #

     8    # After editing this file, run 'systemctl daemon-reload' to update systemd

     9    # units generated from this file.

    10    #

    11    UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0

    12    UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2

    13    UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0

    14    UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0

[10:01:14 root@centos8 ~]#

1.1.3　　tac

逆向显示文本内容

[10:03:11 root@centos8 ~]#nl /etc/fstab|tac

    14    UUID=27f69466-124d-4124-aab8-85f247d76d57 none                    swap    defaults        0 0

    13    UUID=2dd6f870-9df8-47ec-a4fc-b8a01878f4e0 /data                   xfs     defaults        0 0

    12    UUID=6c58d4aa-0c80-4e0b-b372-0a2187033d23 /boot                   ext4    defaults        1 2

    11    UUID=7a405199-a904-4290-89a3-72992b4ad489 /                       xfs     defaults        0 0

    10    #

     9    # units generated from this file.

     8    # After editing this file, run 'systemctl daemon-reload' to update systemd

     7    #

     6    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info.

     5    # Accessible filesystems, by reference, are maintained under '/dev/disk/'.

     4    #

     3    # Created by anaconda on Tue Apr  5 08:42:34 2022

     2    # /etc/fstab

     1    #

[10:03:56 root@centos8 ~]#

1.1.4　　rev

将同一行的内容逆向显示

[10:06:10 root@centos8 /data]#cat f1.txt

1  2  3  4  5  6  7 

a  b  c  d  e  f  g

[10:06:22 root@centos8 /data]#cat f1.txt |rev

 7  6  5  4  3  2  1

g  f  e  d  c  b  a

1.2 按列抽取文本cut

　　cut 命令可以提取文本文件或STDIN数据的指定列

　　格式

cut [OPTION]... [FILE]...

常用选项

-d DELIMITER: 指明分隔符，默认tab

-f FILEDS:

         #: 第#个字段,例如:3

         #,#[,#]：离散的多个字段，例如:1,3,6

         #-#：连续的多个字段, 例如:1-6

         混合使用：1-3,7

-c 按字符切割

--output-delimiter=STRING指定输出分隔符

示例：

passwd文件取出第一列用户名

[10:11:47 root@centos8 /data]#cut -d":" -f1 /etc/passwd

root

bin

daemon

adm

lp

sync

shutdown

halt

mail

operator

games

ftp

nobody

dbus

systemd-coredump

systemd-resolve

tss

polkitd

geoclue

[10:17:11 root@centos8 /data]#ifconfig | head -n2| tail -n1 |tr -s " "|cut -d" " -f3
192.168.1.85
[10:17:39 root@centos8 /data]#

1.3　合并多个文件paste

　　paste合并多个问价你同行号的列到一行

　　格式　

paste [OPTION]... [FILE]...

常用选项

-d  #分隔符：指定分隔符，默认用TAB

-s  #所有行合成一行显示

示例：

[10:28:27 root@centos8 /data]#paste  f1.txt

1  2  3  4  5  6  7 

a  b  c  d  e  f  g

[10:28:34 root@centos8 /data]#paste -s f1.txt

1  2  3  4  5  6  7         a  b  c  d  e  f  g

[10:28:43 root@centos8 /data]#

[10:33:32 root@centos8 /data]#paste  f1.txt seq.log

1  2  3  4  5  6  7     1

    2

a  b  c  d  e  f  g    3

    4

    5

    6

    7

    8

    9

    10

[10:33:55 root@centos8 /data]#paste -d";" f1.txt seq.log

1  2  3  4  5  6  7 ;1

;2

a  b  c  d  e  f  g;3

;4

;5

;6

;7

;8

;9

;10

2.1分析文本的工具

　　2.1.1　　wc

　　wc命令可用于统计文件的行总数，单词总数，字节总数和字符总数

　　可以对文件或STDIN中的数据统计

　　常用选项

-l       只计数行数

-w       只计数单词总数

-c       只计数字节总数

-m       只计数字符总数

-L       显示文件中最长行的长度

示例

[10:34:04 root@centos8 /data]#wc /etc/fstab

 15  　　78　　 709 　　/etc/fstab
行数   单词数   字节数

　　2.1.2　　sort

　　sort：文本排序；把整理过的文本显示在STDOUT，不改变原始文件

　　格式：

sort [options] file(s)

常用选项

-r          执行反方向（由上至下）整理

-R          随机排序

-n          执行按数字大小整理

-h          人类可读排序,如: 2K 1G

-f          选项忽略（fold）字符串中的字符大小写

-u          选项（独特，unique），合并重复项，即去重

-t c        选项使用c做为字段界定符

-k #        选项按照使用c字符分隔的 # 列来整理能够使用多次

默认是把相同的字符排序在一起

[10:48:15 root@centos8 /data]#cat seq.log

1

2

3

4

5

6

7

8

9

1

10

11

2

12

8

13

9

14

15

[10:48:21 root@centos8 /data]#cat seq.log |sort

1

1

10

11

12

13

14

15

2

2

3

4

5

6

7

8

8

9

9

[10:49:44 root@centos8 /data]#cat seq.log |sort -u

1

10

11

12

13

14

15

2

3

4

5

6

7

8

9

　　2.1.3　　uniq

　　uniq命令从输入中删除前后相接的重复的行

　　格式：

uniq [OPTION]... [FILE]...

常见选项

-c: 显示每行重复出现的次数

-d: 仅显示重复过的行

-u: 仅显示不曾重复的行

uniq常和sort 命令一起配合使用：

　　示例：

[10:50:10 root@centos8 /data]#cat seq.log |sort | uniq -c

      2 1

      1 10

      1 11

      1 12

      1 13

      1 14

      1 15

      2 2

      1 3

      1 4

      1 5

      1 6

      1 7

      2 8

      2 9

作业练习

6、统计出/etc/passwd文件中其默认shell为非/sbin/nologin的用户个数，并将用户都显示出来

7、查出用户UID最大值的用户名、UID及shell类型

练习脚本写法

[14:48:51 root@centos8 /data/bashs]#cat user.sh

#!/bin/bash

cat /etc/passwd |cut -d":" -f3|sort -nr|head -1  > /dev/null

maxUID=`grep 65534 /etc/passwd | cut -d":" -f1,3,7`

echo "UID最大值的用户：$maxUID"

[14:52:53 root@centos8 /data/bashs]#bash user.sh

UID最大值的用户：nobody:65534:/sbin/nologin

8、统计当前连接本机的每个远程主机IP的连接数，并按从大到小排序