hadoop day 1

hadoop是什么？

解决的问题：

　　海量数据的存储(HDFS)：供hbase，mapreduce进行处理

　　海量数据的分析(MapReduce)

　　资源管理调度(YARN)

搜索引擎：

　　爬虫系统+站内搜索

　　爬虫对html网页进行抓取，数据量较大，需要进行海量数据存储，传统存储手段已经无法满足需求

hadoop具体能干什么

1.擅长海量日志分析

海量数据存储的解决方案：

程序执行相关命令：

向hdfs中上传文件至根目录：hadoop fs -put filename hdfs://hostname:port/
从hdfs中下载文件：hadoop fs -get hdfs://hostname:port/filename
创建目录：hadoop fs -mkdir hdfs://hostname:port/wordcount
查看目录下的类容：    -ls
查看某个文件的类容：  -cat
执行mapreduce程序：
hadoop jar filename.jar pi 5 5

2.hdfs的实现机制

hdfs通过分布式集群来存储文件，为客户端提供了一个便捷的访问方式，就是一个虚拟的工作目录

文件存储到hdfs集群中去的时候是被切分成block的

文件的block存放在若干台datanode节点上

hdfs文件系统中的文件与真实的block之间有映射关系，由namenode管理

namenode记录每个文件在datanode所存放的位置

每个block在集群中会存储多个副本，好处是可以提高数据的可靠性和访问的吞吐量

3.mapreduce

hadoop fs -mkdir hdfs://hostname:9000/wordcount

hadoop fs -mkdir /wordcount/input

hadoop fs -mkdir /wordcount/output

hadoop fs -put test.txt /wordcount/input  将文件放到hdfs中

hadoop jar filename.jar  wordcount /wordcount/input /wordcount/output

4.hdfs实现机制

将文件分块放置于不同的DataNode下：DataNode的路径如下/hadoop/data/dfs/data/，每个block在集群中会存储多个副本

NameNode中记录了元数据所存放的位置，客户端通过namenode对分布式的数据进行操作

hdfs文件的内容不能修改