【实战】Hadoop安装01-伪分布式-Pseudo

Hadoop安装-伪分布式-Pseudo

〇、所需资料

一、前置环境安装

1、包含内容

（1）安装

虚拟机安装、系统安装

（2）配置

ip、host、主机名配置

关闭防火墙及selinux

SSH免密登录

（2）基础环境安装

安装jdk

安装ntpd开启时钟同步

2、参考地址

https://www.cnblogs.com/liujinhui/p/16838546.html

二、Hadoop安装配置

1、解压与环境变量配置

（1）目录介绍

sbin目录：服务的启动脚本

bin目录：功能模块下的一些命令

lib：所需jar包

（2）环境变量配置

vi /etc/profile

增加：hadoop的bin和sbin目录

source /etc/profile使配置文件生效

2、hadoop-env.sh：配置jdk

export JAVA_HOME=/usr/java/default

3、core-site.xml：配置NN

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
		<property>
				<name>hadoop.tmp.dir</name>
				<value>/usr/local/data/hadoop</value>
		</property>
</configuration>

4、hdfs-site.xml：配置SNN和DN

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
		<property>
		    <name>dfs.namenode.name.dir</name>
		    <value>/usr/local/data/hadoop/dfs/name</value>
		</property>
		<property>
		    <name>dfs.datanode.data.dir</name>
		    <value>/usr/local/data/hadoop/dfs/data</value>
		</property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
		<property>
		      <name>dfs.namenode.secondary.http-address</name>
		      <value>hadoop01:50090</value>
		</property>
		<property>
		      <name>dfs.namenode.checkpoint.dir</name>
		      <value>/var/bigdata/hadoop/local/dfs/secondary</value>
		</property>
</configuration>

5、slaves：配置DN节点位置

hadoop01

三、启动及验证

1、格式化NN

bin/hdfs namenode -format

2、验证NN对应位置

/usr/local/data/hadoop/dfs/name/xxx

3、HDFS启动与验证

sbin/start-dfs.sh

4、页面及生成文件验证

（1）页面验证

修改Windows的地址：C:\Windows\System32/drivers\etc\hosts

增加ip和主机的映射关系

192.168.40.101 hadoop01

四、使用

1、命令介绍

hdfs dfs【得到支持的命令】

2、创建目录

创建目录：hdfs dfs -mkdir abc（操作的是NN的元数据）

通常会创建：hdfs dfs -mkdir -p /usr/root 【点右上角的go!进行刷新】【对比linux家目录home，此处为user】【-p表示递归创建】

3、上传文件

上传数据：hdfs dfs -put a.txt /usr/root【点go刷新】

上传过程显示：COPYING

4、查看DN文件所在位置

/usr/local/data/hadoop/dfs/data/xxx

5、上传时附加配置

按字节切割：block.size【hdfs-site.xml】

上传时，指定块大小1m，验证如何切割

hdfs dfs -D dfs.blocksize=1024*1024(1048576=1m) -put data.txt