bash&shell系列文章:http://www.cnblogs.com/f-ck-need-u/p/7048359.html


1.8.1 匿名管道"|"

管道符号意如其名,类似管道一样将管道入口的数据通过管道传递给管道出口。

管道是为了解决进程间通信问题而存在,它可以让两个进程之间的数据进行传递,将一个进程的输出数据传递给另一个进程作为其输入数据。管道左边是数据给予方,管道右边是数据接收方。

例如echo "abcd" | passwd --stdin username,表示将进程echo的输出结果"abcd"作为进程passwd的输入数据。

基本的管道符号及其用法很容易理解。现在的疑问是,对于ps aux | grep "ssh" ,为什么在结果里会有grep进程出现?

[root@xuexi ~]# ps aux | grep ssh
root 0.0 0.1 ? Ss Jul26 : /usr/sbin/sshd -D
root 0.0 0.2 ? Ss : : sshd: root@pts/
root 0.1 0.2 ? Ss : : sshd: root@pts/
root 25770 0.0 0.0 112648 948 pts/1 S+ 06:15 0:00 grep --color=auto ssh

按一般想法,先执行了ps,得到输出后将输出数据传递给grep,这时候grep还没运行而ps已经运行完毕了,为什么还能统计到grep进程的信息呢?原因是管道实现的是进程间通信,两个进程之间存在交叉,在运行ps进程后开始收集进程信息,grep也已经开始并处于等待接收数据状态,当ps收集到任何数据后都将输出放入内存由管道传递给grep进行筛选。

管道其本质是数据传递,管道左边的输出数据放入内存,由管道右边的进程读取。假如内存不足以完全存放输出数据,则管道左边的进程将一直等待,直到管道右边取出内存中一部分的数据以让管道左边的进程继续输出,而管道右边的进程在管道左边的进程启动后也立刻启动了,但是它一直处于等待状态,等待接收管道传递来的数据。

也就是说,管道左右两边的进程运行几乎是没有先后顺序的。

那么ps aux | grep "ssh"如何避免结果中出现grep自身的进程呢?方法有二:

方法一:ps aux | grep "ssh" | grep -v "grep"

方法二:ps aux | grep "ss[h]"

[root@xuexi ~]# ps aux | grep ss[h]
root 0.0 0.1 ? Ss Jul26 : /usr/sbin/sshd -D
root 0.0 0.2 ? Ss : : sshd: root@pts/
root 0.0 0.2 ? Ss : : sshd: root@pts/

方法一是应用grep的"-v"特性,方法二是应用正则表达式的特性。

在使用匿名管道的过程中,可能已经发现管道两边的进程是同属一个进程组的,也就是说管道左方的数据只能传递给管道右方的进程,其他任何进程都没法读取此数据。但除了匿名管道,还有命名管道,命名管道是将一个进程的数据存储到一个管道文件(fifo)中,其他进程可以读取该管道文件来读取其中的数据,也就是说不再限制数据读取方。关于命名管道,请参阅Linux/unix操作系统内核或编程类的书籍,一般都会有详细的介绍。

1.8.2 重定向

1.8.2.1 重定向基础

最常见的标准输入(stdin)、标准输出(stdout)和标准错误输出(stderr)的文件描述符分别是0、1和2,其中0、1、2也可以认为是它们的数字代号。对于输出信息,可以认为是打印在屏幕上的信息,而没给出错误的就是标准输出,给出错误提示的是标准错误输出,当然这样说明有失偏颇,但是易于理解。还可以自定义自己的描述符,实现高级重定向,在以后的文章中可能会介绍一下它们的用法。

标准输入 = /dev/stdin   = 代号0 = <符号(注意,没有包含<<符号)。

标准输出 = /dev/stdout = 代号1 = >或>>符号。

标准错误输出 = /dev/stderr = 代号2 = 使用2>或2>>符号。

注意,上面的/dev/std{in,out,err}分别是0、1、2默认的输出目标,当重定向后,就不再使用这些目标。具体见后文。

<、>、2>实现的是覆盖功能,>>、2>>实现的是追加的功能,但是注意"<<"不是追加功能,而是表示此处生成文档(here document),在后面cat和重定向配合的内容里有说明。此外,还有<<<,它表示此处字符串(here string),也见下文。

有时候,使用"-"也表示/dev/stdin。如:

[root@xuexi ~]# cat /etc/fstab | cat -

脚本中常见2>&1和&>以及&>>的符号,它们都表示将stdout和stderr都重定向到同一个地方去,即重定向所有输出内容。如最常见的"&> /dev/null"。

注意:

(1).重定向操作是shell最先解析到的,在执行命令之前,重定向就会先打开文件以确定输入、输出的位置。如果是重定向输出操作,则先截断文件使其为空。

(2)./dev/stdin、/dev/stdout、/dev/stderr等设备只是数据默认的流向目标(严格地说是文件描述符0、1、2的输出目标),它们不等价于"标准输入0、标准输出1、标准错误2"。之所以称为"重定向",就是将数据的流向改变,不再输入到这些默认设备中。

(3).重定向的顺序很重要。

例如 ls / >file1 >& 表示先打开file1作为标准输出(fd=1)的目的地,然后再将标准错误绑定到标准输出(已经是file1)上,这样无论是标准错误还是标准输出都重定向到file1中。它等价于 ls / &>file1 。"&"符号表示描述符重用(fd 2 duplicate from fd 1)。将其理解为文件描述符2复制了文件描述符1,或者文件描述2重用文件描述符1,使得fd=2也指向了fd=1所指向的文件。

而 ls / >& >file1 表示先将标准错误指向到标准输出,此时标准输出还是/dev/sdtout(即屏幕),因此标准错误的输出目标是/dev/stdout(屏幕)。之后再打开file1作为标准输出的目标。因此,它最终将标准错误重定向到/dev/stdout,将标准输出重定向到file1。可以让ls命令产生错误来测试, ls dlfjasl >& >file1 ,结果将直接显示在屏幕上。 

将stdout或stderr丢到/dev/null表示丢弃输出信息,反过来,将/dev/null重定向到某个文件则表示清空文件。

[root@xuexi ~]# cat /dev/null > ab.sh

除此,还有以下几种方法快速清空文件

[root@xuexi ~]# > ab.sh
[root@xuexi ~]# : > ab.sh # 或"true >ab.sh",其实它们都等价于">ab.sh"
[root@xuexi ~]# echo '' > ab.sh
[root@xuexi ~]# truncate -s ab.sh # truncate命令用于收缩和扩展文件大小
[root@xuexi ~]# dd if=/dev/null of=ab.sh

再次说明(很重要):在有输出类的重定向(包括错误重定向)语句中,命令执行之前就已经将文件截断为0大小。所以如果正在编辑一个文件并将编辑的结果重定向回这个文件将出现异常,因为截断后就没有合适的内容用于编辑。一个简单的示例如下:

[root@xuexi ~]# head a.log > a.log

有些时候直接使用">"覆盖输出是比较危险的。可以使用set -C来设置如果输出重定向文件已经存在则不覆盖。使用set +C来取消set -C的效果。如果在设置了set -C时仍然想强制覆盖,可以使用“>|”代替“>”来重定向输出。同理错误输出也有此特性。

[root@xuexi tmp]# set -C

[root@xuexi tmp]# cat flip >ttt.txt
-bash: ttt.txt: cannot overwrite existing file [root@xuexi tmp]# cat flip >| ttt.txt [root@xuexi tmp]# set +C

1.8.2.2 cat和重定向配合

配合cat使用可以分行输入内容到文件中。

[root@xuexi tmp]# cat <<eof>log.txt   # 覆盖的方式输入到log.txt
> this is stdin character
> eof

也可以使用下面的方法。

[root@xuexi tmp]# cat >log1.txt <<eof
> this is stdin character first!
> eof

一方面,eof部分都必须使用"<<eof",它表示here document,此后输入的内容都作为一个document输入给cat。既然是document,那就肯定有document结束符标记document到此结束,结束符使用的是here document后的字符,例如此处为eof。其实不使用eof,使用其他字符也是一样的,但document的结束符也必须要随之改变。如:

[root@xuexi ~]# cat <<abcx
>
>
> abcx

另一方面,>log1.txt表示将document的内容覆盖到log1.txt文件中,如果是要追加,则使用>>log1.txt。所以,追加的方式如下:

[root@xuexi tmp]# cat >>log1.txt <<eof
> this is stdin character first!
> eof

[root@xuexi tmp]# cat <<eof>>log1.txt
> this is stdin character first!
> eof

1.8.2.3 tee双重定向

可以使用tee双重定向。一般情况下,重定向要么将信息输入到文件中,要么输出到屏幕上,但是既想输出到屏幕又想输出到文件就比较麻烦。使用tee的双重定向功能可以实现该想法。如图。

tee [-a] file

选项说明:

-a:默认是将输出覆盖到文件中,使用该选项将变为追加行为。

file:除了输出到标准输出中,还将输出到file中。如果file为"-",则表示再输入一次到标准输出中。

例如下面的代码,将a开头的文件内容全部保存到b.log,同时把副本交给后面的的cat,使用这个cat又将内容保存到了x.log。其中"-"代表前面的stdin。

[root@xuexi tmp]# cat a* | tee b.log | cat - >x.log

还可以直接输出到屏幕:

[root@xuexi tmp]# cat a* | tee b.log | cat

tee默认会使用覆盖的方式保存到文件,可以使用-a选项来追加到文件。如:

[root@xuexi tmp]# cat a* | tee -a b.log | cat

现在就可以在使用cat和重定向创建文件或写入内容到文件的同时又可以在屏幕上显示一份。

[root@xuexi tmp]# cat <<eof | tee ttt.txt
> x y
> z
> eof x y
z

另一篇tee的技巧文章:tee的花式用法和pee,建议有一定基础后再看这篇文章。

1.8.2.4 <<和<<<

在bash中,<<和<<<是特殊重定向符号。<<表示的是here document,<<<表示的是here string。

here document在上文已经解释过了,对于here string,表示将<<<后的字符串作为输入数据。

例如:

passwd --stdin user <<< password_value

等价于:

echo password_value | passwd --stdin user

SHELL脚本--管道和重定向基础的更多相关文章

  1. 学习笔记之Shell脚本的输出重定向

    shell http://baike.baidu.com/link?url=qN3THt5ZJhQtwRJJkakWdz5-vZp4V9H3OmNP97XNhaoL-dqU-6rrFrYfHXmYv6 ...

  2. shell 脚本定制与重定向

    脚本定制 . 或者 source: 读取文本文件并执行(在当前shell解释并执行) source ./ld 总用量 8 -rw-------. 1 root root 1223 10月 2 21:1 ...

  3. 《Linux命令行与shell脚本编程大全》 第十四章 学习笔记

    第十四章:呈现数据 理解输入与输出 标准文件描述符 文件描述符 缩写 描述 0 STDIN 标准输入 1 STDOUT 标准输出 2 STDERR 标准错误 1.STDIN 代表标准输入.对于终端界面 ...

  4. shell脚本书写总结

    1.shell脚本,如果重定向到文件中,则在脚本中不可以sed -i,如果用了sed -i ,则自打用了sed -i之后的打印都不能再重定向到输出文件了. 2.shell脚本中,如果将命令写在字符串里 ...

  5. 什么是 Shell 脚本?

    Shell 既是一种命令语言,又是一种程序设计语言.Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务.Windows Explorer 是一个典型的图形 ...

  6. shell脚本基础及重定向!

    重定向: 补充:/dev/null(名叫黑洞)就是把输出的文件混合重定向到黑洞从而不显示在屏幕 yum -y install http &> /dev/null 重定向输入: 重定向输出 ...

  7. shell脚本语法基础汇总

    shell脚本语法基础汇总 将命令的输出读入一个变量中,可以将它放入双引号中,即可保留空格和换行符(\n) out=$(cat text.txt) 输出1 2 3 out="$(cat te ...

  8. shell脚本编程基础

       最近学习了shell脚本编程,感觉自己的脚本写的不太好,所以想把shell脚本相关的知识系统的整理一下,便于以后的学习和使用. 一.shell脚本基础    shell脚本是利用shell的功能 ...

  9. Shell脚本笔记(一)一些零碎的基础知识

    一些零碎的基础知识 一.认识Shell脚本 一)相关概念 Shell是一种命令解释器,作用是按次序执行(遇到子脚本,先执行子脚本的命令)用户输入的命令和程序. Shell脚本语言是弱类型语言,与其他脚 ...

随机推荐

  1. Vue下载页面显示内容

    摘抄自 https://www.cnblogs.com/zhangtianqi520/p/9323873.html 先下载所需依赖 npm install --save html2canvas npm ...

  2. Python开发——11.异常及异常处理

    一.异常 1.定义 异常及时程序运行时发生错误的信号 2.种类 异常分为语法错误和逻辑错误,语法错误在程序执行之前就应该改正. 常用异常 AttributeError 试图访问一个对象没有的树形,比如 ...

  3. Exp7 网络欺诈防范

    Exp7 网络欺诈防范 20154305 齐帅 一.实践内容 本实践的目标理解常用网络欺诈背后的原理,以提高防范意识,并提出具体防范方法.具体实践有 (1)简单应用SET工具建立冒名网站 (2)ett ...

  4. python 特别的生成器表达式

    Ⅰ起因 学习python的同学通常会遇到这样一道经典生成器测试题: def gen(): for i in range(4): yield i base = gen() for n in (2,10) ...

  5. python学习,excel操作之xlsxwriter常用操作

    from datetime import datetime import xlsxwriter #打开文件 workbook = xlsxwriter.Workbook('Expenses03.xls ...

  6. G++与C++的区别

    C++是一门计算机编程语言,G++不是语言,是一款编译器中编译C++程序的命令而已. 不同的编译器,会对代码做出一些不同的优化 比如说: a++;  和 ++a; 如果从标准C的角度去理解.a++这个 ...

  7. JSHFJK师德师风幅度十分时尚大方JSHFJK

    sdjfhjksd{104411661166112205880477047710881111099909771088104411111155116605880533055505330500051104 ...

  8. C语言+嵌入式SQL+DB2开发经验总结

    1.使用DB2工具将SQC文件预编译成C文件和bnd文件. 命令: db2 prep ***.sqc version * package using * bindfile BLOCKING ALL I ...

  9. Spark Programming--- Shuffle operations

    *:first-child { margin-top: 0 !important; } body > *:last-child { margin-bottom: 0 !important; } ...

  10. 大叔学ML第三:多项式回归

    目录 基本形式 小试牛刀 再试牛刀 调用类库 基本形式 上文中,大叔说道了线性回归,线性回归是个非常直观又简单的模型,但是很多时候,数据的分布并不是线性的,如: 如果我们想用高次多项式拟合上面的数据应 ...