最近在学习hadoop大数据平台,但是却感觉无从下手,于是看了一些专业的书籍,觉得还是先从下往上为学习也就是从源数据--数据抽取--存储--计算--展示这个路线来学习比较容易一些,所以就先从非结构化数据传输工具flume开始.下面介绍flume 的安装及简单使用 Flume是一个分布式.高可靠.高可用的用来收集.聚合.转移不同来源的大量日志数据到中央数据仓库的工具,下面是官方给出的一个工作流程图: 流程图中很清楚的描述了fluem的工作流程,落盘数据被读取到  agent的Source ,Sou

tar 压缩和解压缩使用笔记 1 文件 1.1 打包 1.1 压缩 $ tar czf myfile.txt.tar.gz ./myfile.txt 1.2 解压缩 解压缩到目录: $ mkdir outdir $ tar xzf ./myfile.txt.tar.gz -C ./outdir 解压缩到当前位置: $ tar xzf ./myfile.txt.tar.gz # 会覆盖当前路径下的已有文件myfile.txt 2 目录 2.1 打包目录树 把当前目录下的car目录的全部内容打包到c

zip 压缩命令:(可压缩文件或目录) 压缩文件: zip new_name.zip  file_name unzip name.zip   解压 压缩文件或目录: 指定解压位置: unzip  name.zip -d  dir_name unzip -l  name.zip  查看压缩文件里的文件 tar 打包命令:打包文件或目录 tar -cvf  name.tar  file_name  打包 tar -xvf  name.tar   解包 同时打包文件和目录: tar -cvf  nam

Linux下的tar压缩解压缩命令详解tar -c: 建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个.下面的参数是根据需要在压缩或解压档案时可选的. -z:有gzip属性的-j:有bz2属性的-Z:有compress属性的-v:显示所有过程-O:将文件解开到标准输出 下面的参数-f是必须的-f: 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名. # ta

目录 wget命令 下载整个网站 压缩与解压 小节 wget命令 Usage: wget [OPTION]... [URL]... # 后台运行 -b, --background go to background after startup # log信息打印 -o, --output-file=FILE log messages to FILE -a, --append-output=FILE append messages to FILE -d, --debug print lots of

计划任务:1.新建一个计划任务:crontab -e -----> 3*/1 * * * * date >> /tmp/data.txt查看计划任务:crontab -l.如果超过64个字节,写到文件里面---->如下:cd /tmpvim crontab.sh=====#!/bash/bin=====date >> /tmp/data.txt 如果没有写#!/bash/bin,则计划任务如下这样写:*/1 * * * * /bin/bash /tmp/crontab.

经常会忘记 tar 压缩和解压命令的使用,故记下来. 1. 打包压缩 tar -zcvf pack.tar.gz pack/ #打包压缩为一个.gz格式的压缩包 tar -jcvf pack.tar.bz2 pack/ #打包压缩为一个.bz2格式的压缩包 tar -Jcvf pack.tar.xz pack/ #打包压缩为一个.xz格式的压缩包 2. 解包解压 tar -zxvf pack.tar.gz /pack #解包解压.gz格式的压缩包到pack文件夹 tar -jxvf pack.t

打包并压缩文件 tar -zcf ansible.tar.gz ansible/* z    gzip属性 c    建立压缩文件 f    指定文件名 v    显示过程 解压文件 tar xzf ansible.tar.gz tar xf ansible.tar.gz -C /tmp/ C    指定输出位置 PS: tar压缩解压缩命令详解 linux下tar.gz.tar.bz2.zip等解压缩.压缩命令小结

tar命令详解 -c: 建立压缩档案 -x:解压 -t:查看内容 -r:向压缩归档文件末尾追加文件 -u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个. 下面的参数是根据需要在压缩或解压档案时可选的. -z:有gzip属性的 -j:有bz2属性的 -Z:有compress属性的 -v:显示所有过程 -O:将文件解开到标准输出 参数-f是必须的 -f: 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名. # tar -cf al

tar 压 缩:tar -jcv -f filename.tar.bz2 要被压缩的文件或目录名称 查 询:tar -jtv -f filename.tar.bz2 解压缩:tar -jxv -f filename.tar.bz2 -C 欲解压缩的目录 看了下网上一直流传的: -z或--gzip或--ungzip:通过gzip指令处理备份文件 -x或--extract或--get:从备份文件中还原文件 -v或--verbose:显示指令执行过程 -f<备份文件>或--file=<备份文件

转载自http://www.cnblogs.com/qq78292959/archive/2011/07/06/2099427.html tar -c: 建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个.下面的参数是根据需要在压缩或解压档案时可选的. -z:有gzip属性的-j:有bz2属性的-Z:有compress属性的-v:显示所有过程-O:将文件解开到标准输出 下

1. gzip gzip test.txt //压缩 gzip -d test.txt.gz //解压缩 gzip -9 test.txt //设置压缩等级(9最好,1最差,默认6) 相关:zcat 查看gzip压缩的文本文件 2. bzip2 bzip2 test.txt //压缩 bzip2 -z test.txt //压缩 bzip2 -d test.bz2 //解压缩 相关:bzcat 查看bzip2压缩的文本文件 3. tar tar -cvf dir.tar dir //打包 tar

linux下tar命令解压到指定的目录 :#tar zxvf /bbs.tar.zip -C /zzz/bbs //把根目录下的bbs.tar.zip解压到/zzz/bbs下,前提要保证存在/zzz/bbs这个目录 这个和cp命令有点不同,cp命令如果不存在这个目录就会自动创建这个目录!附:用tar命令打包例:将当前目录下的zzz文件打包到根目录下并命名为zzz.tar.gz#tar zcvf /zzz.tar.gz ./zzz----------------------------------

压缩: tar  -zcvf   压缩后文件名.tar.gz   被压缩文件 解压: tar  -zxvf  被解压文件 具体的可以在linux环境下 用 tar --help 查看详细说明格式:tar [option] file           -c  create  create a new archive           -x  extract extract files from an archive           -t  list       list the conte

解压 .tar.bz tar zxvf file.tar.gz .tar.gz2 tar jxvf file.tar.bz2 .bz gzip -d file.bz .gz2 bzip2 -d file.gz2 压缩 .gz gzip -v file .bz2 bzip2 -v file .tar.gz tar -zcvf file.tar.gz dir .tar.bz2 tar -jcvf file.tar.gz2 dir 查看 zcat bzcat

find *.tar.gz -exec tar zxvf '{}' \;//查找当前目录下的.tar.gz 的文件的 并发送给后面的命令执行find . -maxdepth 1 //查找当前目录下的文件并显示出来.find . -maxdepth 1 -type d//查找当前目录下的文件 find . -maxdepth 1 -type d -exec cp -r '{}' /home/android/autonavi-project/ ';'//查找当前目录 并拷贝到某个位置 find .

确实是用参数 -x aaa bbb 两个文件夹要写全路径. 如 zip -r test.zip test -x /test/aaa/* -x /test/bbb/* 既包含了文件夹,也可以 zip -r test.zip test -x /test/*.mp4(还未尝试, 不知道可否删除递归文件夹中.mp4文件),压缩时排除指定文件.tar -zcvf test.tar.gz --exclude=aaa --exclude==bbb test 其他参考:http://www.cnblogs.co

坚持知识分享,该文章由Alopex编著, 转载请注明源地址: http://www.cnblogs.com/alopex/    索引: 介绍压缩和打包 gzip bzip2 zip 的基本使用 gzip bzip2打包文件 需要 tar 的支援 同一文件使用不同压缩工具的比较 对zip gzip bzip2 信息总结   知识摘要: 能够完成文件的压缩和解压的基本操作 能够明白压缩和打包的概念 对于选择何种压缩命令有初步认识 涉及命令 : zip(unzip), gzip, bzip2, ta

tar命令: -c 压缩-x 解压缩-t 不解压的情况下查看文件内容-r 向压缩文件追加文件-u 更新压缩文件 以上参数必须和'-f'参数连用,且'-f'必须为最后一个参数,后接文档名 -z 对应gzip-j 对应bz2 原文出自:http://www.cnblogs.com/jyaray/archive/2011/04/30/2033362.html

压缩归档 掌握归档的定义:归档(archiving)就是将许多文件(或目录)打包成一个文件. 了解归档的目的:归档的目的就是方便备份.还原及文件的传输操作. 掌握tar命令的功能:将多个文件(也可能包括目录,因为目录本身也是文件)放在一起存放到一个磁带或磁盘归档文件中.并且将来可以根据需要只还原归档文件中的某些指定的文件. 掌握tar命令的常用选项: c:创建一个新的tar文件. t:列出tar文件中目录的内容. x:从tar文件中抽取文件. f:指定归档文件或磁带(也可能是软盘)设备(一般都要

tar -c: 建立压缩档案-x:解压-t:查看内容-r:向压缩归档文件末尾追加文件-u:更新原压缩包中的文件 这五个是独立的命令,压缩解压都要用到其中一个,可以和别的命令连用但只能用其中一个.下面的参数是根据需要在压缩或解压档案时可选的. -z:有gzip属性的-j:有bz2属性的-Z:有compress属性的-v:显示所有过程-O:将文件解开到标准输出 下面的参数-f是必须的 -f: 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名. # tar -cf all.tar *.jp