Linux小工具的应用,grep,sort,wc,cut
小工具的使用:
1、管道(|):连接多个命令的工具,进程之间通讯的一种方式
用法:命令1 | 命令2 | 命令3....
2、grep工具:行过滤,打印出的结果一行一行的
用法:grep options 关键字 处理的文件
options:
-i: 不区分大小写
-v: 查找不包含指定内容的行,反向选择
-w: 按单词搜索
-c: 统计匹配到的次数[行数]
-n: 显示行号
-r: 逐层遍历目录查找
-A: 显示匹配行及前面多少行
grep -A 3 关键字 文件名
-B: 显示匹配行及后面多少行
-C: 显示匹配行前后多少行
--color=auto :可以将找到的关键词部分加上颜色的显示
grep --color=auto 关键字 文件名
-l:只列出匹配的文件名
-L:列出不匹配的文件名
-o ----显示匹配到的关键字
-e: 使用正则搜索 grep -e xxx =egrep xxx
^key:以什么开头
key$:以什么结尾
每次过滤都显示颜色:
vim ~/.bashrc
alias grep='grep --color=auto'
source ~/.bashrc
3、cut工具:截取某一个字符,列过滤
-c :以字符为单位进行分割。
-d :自定义分隔符,默认为制表符。
-f :与-d一起使用,指定显示哪个区域。
# cut -d: -f1,3,6 passwd|head ---head查看前10行,tail 后10行,打印第1,3,6行
# cut -d: -f1 passwd|head ----以:号分隔开的区域,f1为第一块区域,f2为第2块区域,一次类推
inet addr:172.16.13.74 Bcast:172.16.13.255 Mask:255.255.255.0
区域1 区域2 区域3 区域4
# cut -c10,15 passwd |head
# cut -c10-15 passwd |head 打印第10-15的字符
# cut -c10- passwd |head 打印第10个字符直到最后字符
注意:
cut的-d选项的默认间隔符就是制表符,所以当你就是要使用制表符的时候,完全就可以省略-d选项,而直接用-f来取域就可以。
-b和-c选项,-n表示从第一个字节到第n个字节,而n-表示从第n个字节到行尾
课堂练习:
用小工具列出你当系统的运行级别。5/3
4、sort工具:
排序,将文件的每一行作为一个单位,从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。
-u :去除重复行,不管是否连续,都会去除
-r :降序排列,默认是升序
-o :将排序结果输出到文件中
-n :以数字排序,默认是按字符排序
-t :分隔符
-k :第N列
-b :忽略前导空格。
-R :随机排序,每次运行的结果均不同。
> ----将文件重定向(保存)到其他文件中
sort -nr -t: -k3 passwd |head
5、uniq 去除连续重复行,不连续不去除
uniq options filename
[options]
-i : 忽略大小写
-c: 统计重复行次数
-d:只显示重复行
6、tee:从标准输入读取并写入标准输出和文件
echo 标准输出的内容|tee filename 输出的内容会覆盖filenme 的内容
tee 双向覆盖重定向<屏幕输出|文本输入>
tee -a 双向追加重定向<屏幕输出|文本输入>
echo 标准输出的内容|tee -a filename
注意:如果对源文件处理再重定向到源文件的话会把源文件的所有的内容删除,并且不会重定向成功。
例如:# cp /etc/passwd /tmp/passwd
# grep ^root /tmp/passwd |tee /tmp/passwd
结果:# cat /tmp/passwd 什么都没有。
7、paste 合并文件行
-d:自定义间隔符,默认是tab
-s:串行处理,非并行
用法:
paste file1 file2 ----两个文件不需要相同行数,行数对应合并
paste -d符号 file1 file2 --其中-d后面接的是连接符号。
例如:file1 内容为A
file2内容为1
paste -d: file1 file2
结果为:A:1
8、tr 替换 接收输入流文件
tr用来从标准输入中通过替换或删除操作进行字符转换。
tr主要用于删除文件中控制字符或进行字符转换。
使用tr时要转换两个字符串:字符串1用于查询,字符串2用于处理各种转换。
-d 删除字符串1中所有输入字符。
-s 删除所有重复出现字符序列,只保留第一个;即将重复出现字符串压缩为一个字符串。 tr -s '[a-z]' < 9、pass
tr '[a-z]' '[A-Z]' < pass
a-z 任意小写
A-Z 任意大写
0-9 任意数字
[:alnum:] all letters and digits//所有字母和数字
[:alpha:] all letters//所有字母
[:blank:] all horizontal whitespace//所有水平空白
[:cntrl:] all control characters//所有控制字符
\b Ctrl-H 退格符
\f Ctrl-L 走行换页
\n Ctrl-J 新行
\r Ctrl-M 回车
\t Ctrl-I tab键
[:digit:] all digits//所有数字
[:graph:] all printable characters, not including space//所有可打印的字符,不包含空格
[:lower:] all lower case letters//所有小写字母
[:print:] all printable characters, including space//所有可打印的字符,包含空格
[:punct:] all punctuation characters//所有的标点符号
[:space:] all horizontal or vertical whitespace//所有水平或垂直的空格
[:upper:] all upper case letters//所有大写字母
[:xdigit:] all hexadecimal digits//所有十六进制数字
[=CHAR=] all characters which are equivalent to CHAR//所有字符
10、diff 比较文件的差异
1、正常格式(normal diff)
2、上下文格式(context diff) -c参数
3、合并格式(unified diff) -u参数
-i:忽略大小写
-B:忽略空行
-b:忽略空格
[root@node1 Desktop]# cat file1
a
b
c
3
e
[root@node1 Desktop]# cat file2
a
b
c
d
e
8
[root@node1 Desktop]# diff file1 file2
4c4
< 3 第二个文件相对第一个文件少了1个3
---
> d
6c6
<
---
> 8
[root@node1 Desktop]# diff file2 file1
4c4
< d
---
> 3
6c6
< 8
---
>
[root@node1 Desktop]# diff -c file2 file1
***(代表第一个文件) file2 2017-04-21 17:25:58.448733455 +0800
--- file1 2017-04-21 17:24:46.026733277 +0800
***************
*** 1,6 ****
a
b
c
! d
e
! 8
--- 1,6 ----
a
b
c
! 3
e
!
[root@node1 Desktop]# diff -u file2 file1
--- file2 2017-04-21 17:25:58.448733455 +0800
+++ file1 2017-04-21 17:24:46.026733277 +0800
@@ -1,6 +1,6 @@
a
b
c
-d
+3
e
-8
+
[root@node1 Desktop]# diff -u file1 file2
--- file1 2017-04-21 17:24:46.026733277 +0800
+++ file2 2017-04-21 17:25:58.448733455 +0800
@@ -1,6 +1,6 @@
a
b
c
-3
+d
e
-
+8
[root@node1 Desktop]#
11、wc工具: 统计行 字符 单词数
-l: 打印行数
-c: 打印字节数
-m: 打印字符数
-w: 打印单词数
-L: 打印最长行的长度
4、扩展:
(一)“字节”的定义
字节(Byte)是一种计量单位,表示数据量多少,它是计算机信息技术用于计量存储容量的一种计量单位。
(二)“字符”的定义
字符是指计算机中使用的文字和符号,比如1、2、3、A、B、C、~!·#¥%……—*()——+、等等。
(三)“字节”与“字符”
不同编码里,字符和字节的对应关系不同:
①ASCII码中,一个英文字母(不分大小写)占一个字节的空间,一个中文汉字占两个字节的空间。
②UTF-8编码中,一个英文字符等于一个字节,一个中文(含繁体)等于三个字节。
③Unicode编码中,一个英文等于两个字节,一个中文(含繁体)等于两个字节。
符号:英文标点占一个字节,中文标点占两个字节。举例:英文句号“.”占1个字节的大小,中文句号“。”占2个字节的大小。
④UTF-16编码中,一个英文字母字符或一个汉字字符存储都需要2个字节(Unicode扩展区的一些汉字存储需要4个字节)。
⑤UTF-32编码中,世界上任何字符的存储都需要4个字节。
du和df工具:
1)du:统计目录或文件大小
-h:以人性化的方式查看 KB、MB、GB
-s:显示总和
2)df:查看文件系统的使用情况
-H:使用1000位进制单位,而不是1024
-h:以人性化的方式查看 KB、MB、GB
-T:显示文件系统类型
-i:列出inode信息
作业1:
分别截取IP;截取NETMASK;截取广播地址(Bcast);截取MAC地址
ifconfig eth0
ifconfig eth0 |grep Bcast |cut -d: -f2|tr -d '[:alpha:]'
ifconfig eth0 |grep Bcast |cut -d: -f2|tr -d '[:alpha:]'|tr -d '[:]'
ifconfig eth0 |grep MAC地址|cut -c -39-
作业2:
将系统中所有普通用户的用户名、密码和默认shell保存到一个文件中,要求用户名密码和默认shell之间用tab键分割
cat /etc/passwd
普通用户:1-500
grep bash& /etc/passwd |grep ^root -v |cut -d: -f1,2,7 |tr '[:]' '[\t]'
Linux小工具的应用,grep,sort,wc,cut的更多相关文章
- 数据流重定向和管道命令, grep, tr,sort, wc, cut,split,tee,sleep(shell 02)
主要内容 1.标准输入输出和错误 2.管道命令和 grep, tr,sort, wc, cut,split,tee,sleep 标准输入输出和错误 标准输入(stdin) 是指令数据的输入,代码为0, ...
- Linux 小工具学习之(1)——Wget十例[翻译]
在本博文中我们将学习一下wget这个工具.wget可以使用HTTP.HTTPS.和FTP等常见网络协议来从万维网(WWW)获取文件(从它的名字来源也可以看出 World Wide Web Get -& ...
- 两个实用linux小工具
使用 sshpass 工具来做名密码输入 使用 alias 别名来做成命令语句. Linux命令之非交互SSH密码验证-sshpass ssh登陆不能在命令行中指定密码.sshpass的出现,解决了这 ...
- 常用linux小工具介绍
1.ctags(Generate tag files for source code)是vim下方便代码阅读的工具.尽管ctags也可以支持其它编辑器,但是它正式支持的只有VIM. ctags 最先是 ...
- Linux 小工具
1. 截图工具 shutter 安装 sudo add-apt-repository ppa:shutter/ppa sudo apt-get update sudo apt-get install ...
- Linux小工具:文件上传ftp服务器
工作期间,每次将文件上传至ftp服务器时,均需要手工输入ip.用户名.密码等,因此,考虑编写脚本完成文件的上传任务.具体的脚本sync.sh如下: #!/bin/bash source ~/.bash ...
- <转>如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等
原文链接:http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/ 你是否曾经有过要计算一个非常大的数据(几百GB) ...
- 转摘--如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等
http://www.vaikan.com/use-multiple-cpu-cores-with-your-linux-commands/ 你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或 ...
- 如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等(转)
你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作.数据专家们,我是在对你们说.你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, ...
随机推荐
- Netty学习(二)使用及执行流程
Netty简单使用 1.本文先介绍一下 server 的 demo 2.(重点是这个)根据代码跟踪一下 Netty 的一些执行流程 和 事件传递的 pipeline. 首先到官网看一下Netty Se ...
- 13、mysql锁
mysql锁 事务的隔离性是通过锁来实现的.为保证数据的一致性,需要锁对并发事务操作进行控制.同时锁机制也为实现MySQL的各个隔离级别提供了保证. mysql并发事务访问相同的记录会出现什么问题(在 ...
- ArcMap进行天空开阔度(SVF)分析
这里的SVF并不是生物学或医学的(Stromal Vascular Fraction),而是指GIS中的(Sky View Factor,SVF),即为(城市)天空开阔度. 城市天空开阔度(Sky V ...
- python 绘图介绍
1. python 绘图介绍 2. 函数 import numpy as np import matplotlib.pyplot as plt t = np.arange(0.0, 3.0, 0.01 ...
- Oracle 11g中查询CPU占有率高的SQL
oracle版本:oracle11g 背景:今天在Linux中的oracle服务上,运用top命令发现许多进程的CPU占有率是100%. 操作步骤: 以进程PID:7851为例 执行以下语句: 方法一 ...
- FatFs知识点总结[多篇转载]
一.实用简单的fatfs基础知识点总结: https://my.oschina.net/u/274829/blog/282135 二.深入点的FAT表解析: http://blog.chinaunix ...
- 6月4日 python学习总结 装饰器复习
1. 装饰器的原理以及为什么要使用装饰器 在代码运行期间动态增加功能的方式,称之为"装饰器"(Decorator). 在不影响原代码结构的情况下为其添加功能 2. 装饰器的基本 ...
- Redis 系统学习目录
Redis 系统学习目录 1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 简介8. ...
- Mybatis 动态 sql 有什么用?执行原理?有哪些动态 sql?
Mybatis 动态 sql 可以在 Xml 映射文件内,以标签的形式编写动态 sql,执行原理 是根据表达式的值 完成逻辑判断并动态拼接 sql 的功能. Mybatis 提供了 9 种动态 sql ...
- java-第三方工具去做一些校验
推荐大家使用第三方 jar 的工具类去做判空.比如:从 Map 中取一个 key 的值,可以用 MapUtils 这个类:对字符串判空使用 StringUtils 这个类:对集合进行判空使用 Coll ...