《OD大数据实战》HDFS入门实例

一、环境搭建

1.  下载安装配置

《OD大数据实战》Hadoop伪分布式环境搭建

2. Hadoop配置信息

1）${HADOOP_HOME}/libexec：存储hadoop的默认环境变量信息

（1）hadoop-config.sh

（2）hdfs-config.sh

（3）mapred-config.sh

（4）yarn-config.sh

（5）httpfs-config.sh & kms-config.sh

2）${HADOOP_HOME}/etc/hadoop：搭建环境时配置的环境变量信息

（1）hadoop-env.sh

（2）mapred-env.sh

（3）yarn-env.sh

（4）httpfs-env.sh & kms-env.sh

3）${HADOOP_HOME}/share/hadoop：hadoop相关依赖包信息，包括各个模块依赖的其他第三方jar等信息

二、Hadoop Shell命令

1. 启动命令

位于sbin目录下。

1）httpfs.sh命令

启动/停止webhdfs

参数： debug, start, stop

（1）查看

curl -i "http://beifeng-hadoop-02:14000/webhdfs/v1?op=LISTSTATUS&user.name=beifeng"

（2）创建目录

curl -i -X PUT "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs?op=MKDIRS&user.name=beifeng"

（3）上传文件

curl -i -X PUT "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=CREATE&user.name=beifeng"

curl -i -H "content-type:application/octet-stream" -X PUT -T ./kafka-start.log "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=CREATE&user.name=beifeng&data=true" 

（4）打开文件

curl -i "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=OPEN&user.name=beifeng"

（5）删除文件

curl -i -X DELETE "http://beifeng-hadoop-02:14000/webhdfs/v1/user/beifeng/httpfs/abc.txt?op=DELETE&user.name=beifeng" 

2）hadoop-daemon.sh

3）hadoop-daemons.sh

hadoop-daemons.sh是在hadoop-daemon.sh的基础上，通知其他机器执行命令，也就是说hadoop-daemon.sh只对一台机器起作用，但是hadoop-daemons.sh会对多台机器起作用

4）yarn-daemon.sh

5）start-dfs.sh

启动所有节点的hdfs相关服务进程

hadoop-daomons.sh脚本启动：namenode，datanode，secondarynamenode，journalnode，zkfc

6）stop-dfs

7）start-yarn.sh

yarn-daemons.sh脚本启动：resourcemanager，nodemanager

8）stop-yarn.sh

9）mr-jobhistory-daemon.sh

启动/停止当前节点的mapred相关服务

10）其他命令

kms.sh

refresh-namenode.sh

slaves.sh

start/stop-secure-dns.sh

start/stop-balance.sh

start/stop-all.sh

2. 控制/操作命令（hfds + mapred + yarn）

位于bin目录下。