hadoop3.1.0 HDFS快速搭建伪分布式环境

1.环境准备

1. CenntOS7环境
2. JDK1.8-并配置好环境变量
3. 下载Hadoop3.1.0二进制包到用户目录下

2.安装Hadoop

1.解压移动

#1.解压tar.gz
tar -zxvf hadoop-3.1.0.tar.gz
#2.将hadoop.tar.gz 移动到usr目录下
sudo mv hadoop-3.1.0 /usr/hadoop

2.配置Hadoop JAVA_HOME

vim /usr/hadoop/etc/hadoop/hadoop-env.sh

#设置JAVA_HOME
export JAVA_HOME=/usr/java/xxx

3.配置Hadoop环境变量

vim /etc/profile

#设置Hadoop环境变量
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#使用 hadoop 指令检测是否配置成功   

4.修改etc/hadoop/core-site.xml

vim /usr/hadoop/etc/hadoop/core-site.xml

#设置configuration
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5.修改etc/hadoop/hdfs-site.xml

vim /usr/hadoop/etc/hadoop/hdfs-site.xml

#设置configuration
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

6.检测localhost是否可以免密登录

ssh localhost

#如果不可以设置后再测试
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

7.格式化NameNode

hdfs namenode -format

8.启动

/usr/hadoop/sbin/start-dfs.sh

9.检查是否启动成功

#输入命令jps查看

#返回
30403 DataNode
3043 Jps
30665 SecondaryNameNode
30301 NameNode
#成功

3.结束：使用一些hadoop命令试试成果

#查看根目录
hdfs dfs -ls /

#创建一个test文件夹
hdfs dfs -mkdir /test

#上传一个文件
hdfs dfs -copyFromLocal ko.txt /test

#查看上传文件
hdfs dfs -cat /test/ko.txt

#下载文件到本地
hdfs dfs -copyToLocal /test/ko.txt tiger.txt