linux下载网页上的文件夹以及删除文件（stream）

wget -nd -r -l1 --no-parent http://www.cs.virginia.edu/stream/FTP/Code/

注：-nd 不创建目录；-r 递归下载；-l1只下载当前目录下的文件；–no-parent 不下载父目录中的文件。

下载stream时候 使用如下命令

wget  -r  --no-parent http://www.cs.virginia.edu/stream/FTP/Code/

想下载Code目录下的所有代码。–no-parent 不下载父目录中的文件 否则整个网站的数据都会被下载。

下载后会有很多index文件。

find . -name “*index*” | xargs rm -f

可以通过管道命令来操作，先find出主目录 下想删除的文件，然后通过“xargs”这个构造参数列表并运行命令。

xargs - build and execute command lines from standard input

在使用find命令的-exec选项处理匹配到的文件时， find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。

find命令把匹配到的文件传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。

在有些系统中，使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在有些情况下就会出现进程过多，系统性能下降的问题，因而效率不高；

而使用xargs命令则只有一个进程。另外，在使用xargs命令时，究竟是一次获取所有的参数，还是分批取得参数，以及每一次获取参数的数目都会根据该命令的选项及系统内核中相应的可调参数来确定。

find命令配合使用exec和xargs可以使用户对所匹配到的文件执行几乎所有的命令。