HDFS 常用命令(hadoop fs.hadoop dfs.hdfs dfs): hadoop fs -ls 显示当前目录结构,-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件,-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst] 从本地加载文件到HDFS hadoop fs -get [dst] [localsrc] 从HDFS导出文件到本地 hadoop fs -copyFromLo…

FROM : http://www.2cto.com/database/201303/198460.html hadoop hdfs常用命令   hadoop常用命令:  hadoop fs  查看Hadoop HDFS支持的所有命令    hadoop fs –ls  列出目录及文件信息    hadoop fs –lsr  循环列出目录.子目录及文件信息    hadoop fs –put test.txt /user/sunlightcs  将本地文件系统的test.txt复制到HDFS文…

本文记录matlibplot常用基本操作,都是基本功能,不涉及复杂联合操作,其中各用法详细用法可参考官网: 1. 基本画图操作 ##mofan_matplotlib.pyplot import matplotlib.pyplot as plt import numpy as np x = np.linspace(1,50) y = 2*x + 1 #draw the lines #plt.plot(x,y) #show to draw the figure :must call at the l…

Hadoop生态常用数据模型 一.TextFile 二.SequenceFile 1.特性 2.存储结构 3.压缩结构与读取过程 4.读写操作 三.Avro 1.特性 2.数据类型 3.avro-tools应用 4.在Hive中使用Avro 5.在Spark中使用Avro 四.Parquet 1.特性 2.数据结构 3.Java API 4.Parquet On Spark 5.Parquet On Hive 五.RC&ORC 1.特性 2.存储结构RC (Record Columnar)ORC…

当发现作业运行效率不理想时,需要对作业执行进行性能监测,以及对作业本身.集群平台进行优化.优化后的集群可能最大化利用硬件资源,从而提高作业的执行效率.本文记录了在hadoop集群平台搭建以及作业运行过程中一些常用优化手段,在使用中会不断补充,不断翻阅. 一.对应用程序进行调优 1.避免输入大量小文件.大量的小文件(不足一个block大小)作为输入数据会产生很多的Map任务(默认一个分片对应一个Map任务),而每个Map任务实际工作量又非常小,系统要花更多的时间来将这些Map任务的输出进行整合.如…

Hadoop中的Map Reduce框架依赖InputFormat提供数据,依赖OutputFormat输出数据,每一个Map Reduce程序都离不开它们.Hadoop提供了一系列InputFormat和OutputFormat方便开发,本文介绍几种常用的: TextInputFormat 作为默认的文件输入格式,用于读取纯文本文件,文件被分为一系列以LF或者CR结束的行,key是每一行的位置偏移量,是LongWritable类型的,value是每一行的内容,为Text类型. KeyValue…

Hadoop 集群安装及原理:hdfs命令行操作:Java操作hdfs的常用API接口:动态添加删除数据节点. HBase 集群安装及原理:Hbase命令行操作:Java操作Hbase的常用API接口. Hadoop高级 MapReduce开发:Flume抽取日志:Hive安装及命令行操作及JDBC操作:通过Sqoop进行Hive和 MySQL之间的数据交换:MaHout入门: 分布式集群管理zookeeper集群安装及原理及Java常用操作接口. 大数据交换 Kafka集群安装及原理:Kafk…

hadoop常用命令:hadoop fs查看Hadoop HDFS支持的所有命令 hadoop fs –ls列出目录及文件信息 hadoop fs –lsr循环列出目录.子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs –get /user/sunlightcs/test.txt .将HDFS中的test.txt复制到本地文件系统中,…

生成key: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys       -t   密钥类型可以用 -t 选项指定.如果没有指定则默认生成用于SSH-2的RSA密钥.    -f filename             指定密钥文件名.   来源:http://www.aboutyun.com/thread-6487-1-1.html   远程登录执行sh…

Hadoop: https://blog.csdn.net/mulangren1988/article/details/54860924 Hadoop:1. Hadoop fs –fs [local | <file system URI>]: 列出在指定目录下的文件内容,支持pattern匹配.输出格式如filename(full path) <r n> size. 其中n代表replica的个数,size代表大小(单位bytes). 2. hadoop fs –ls <pa…