HADOOP回顾

1. hadoop 分为四大模块

common  其他组件的公共一来模块

HDFS 分布式模块提供高吞吐量的数据访问

mapreduce 分布式计算模块

yarn 作业调度和集群资源管理模块

2. 安装的版本2.60. jdk版本1.80_131

Namenode 是整个文件系统的管理节点.他维护者整个文件系统的文件目录树.文件目录的元信息和每个文件对应的数据块列表.接手用户请求操作.

dataNode 提供真实的文件存储服务.

secondnamenode : 辅助namenode保存元数据信息.

3. HDFS 相关的端口

Namenode  8020 rpc   http 50070

datanode 50020    http 50075

secondNamenode  50090   http  50090

4. hdfs 命令行

hdfs dfs -ls /

hdfs dfs -mkdir /test

echo -e "111" >test.txt

hdfs dfs -put  ./test.txt  /test

hdfs dfs -copyFromLocal  ./test.text  /test

hdfs dfs -get /test/test.txt  ./

hdfs dfs -getToLocal  /test/test.txt

hdfs dfs -cp /test/test.txt  /test1

hdfs dfs -rm /test/test.txt

hdfs dfs -rmr /test1