hadoop的伪分布式系统

1.下载hadoop

链接：https://pan.baidu.com/s/10HBQd57pA4OYNPXe8Dwx9g
提取码：1wtk

运行hadoop需要Java环境，所以还需要安装jdk

链接：https://pan.baidu.com/s/1BoLOw8ASWWX5Pm3P6wmFfw
提取码：krta

2.配置环境

1.在opt文件夹下创建4个文件

mkdir install software test other

install：存放安装包

software：存放软件

test：存放测试文件

other：存放其他

2.上传安装包

1.因为上传需要使用终端模拟器，所以这里我使用了xshell

官网：https://xshell.en.softonic.com/

2.安装lrzsz yum install -y lrzsz

3.在install目录下，运行 rz ，选择对应安装包上传

4.解压两个包 tar -zxvf 包名 -C ../software/

5.software目录下，重命名俩个文件夹 mv 原名修改名

3.配置到环境变量中

vim /etc/profile
　　命令模式输入一些命令直接敲
　　　　G 到文件的末尾
　　　　2gg 进入第2行
　　　　p 粘贴
　　　　dd 删除某一行
　　　　2dd 从当前的光标开始删除2行数据
　　编辑模式修改当前文档的内容 i I O o

　　尾行模式
　　　　Esc键 :打一个冒号输入一些尾行命令
　　　　set nu 开启的行号
　　　　wq 　　 w write 写入
　　　　　　　　q quit 退出

写入:

JAVA_HOME=/opt/software/jdk8 （jdk文件夹名）
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop277（hadoop文件夹名）
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后退出，运行 source /etc/profile

运行 echo $PATH 查看路径

4.配置主机名和映射

vi /etc/sysconfig/network

　　hostname=hdp01 #你的主机名

vi /etc/hostname

　　hdp01

vi /etc/hosts

　　192.168.1.108 ( 你的IP ) hdp01（你的主机名）

5.配置hadoop

/opt/software/hadoop277文件夹下 6个配置文件：

hadoop-env.sh
　　25行 JAVA_HOME=/opt/software/jdk8 #JDK的存放目录
　　33行 export HADOOP_CONF_DIR=/opt/software/hadoop277/etc/hadoop

core-site.xml
　　我们在x-site中配置实际上就是将系统原来的配置给覆盖了
　　<configuration>
　　　　<property>
　　　　　　<name>fs.defaultFS</name>
　　　　　　<value>hdfs://主机名:9000</value>
　　　　</property>

　　　<property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/opt/software/hadoop277/tmp</value>
　　　</property>

　　</configuration>

hdfs-site.xml
　　<configuration>
　　　　<property>
　　　　　　<name>dfs.replication</name>
　　　　　　<value>1</value>
　　　　</property>
　　</configuration>

运行cp mapred-site.xml.template mapred-site.xml
mapred-site.xml
　　<configuration>
　　　　<property>
　　　　　　<name>mapreduce.framework.name</name>
　　　　　　<value>yarn</value>
　　　　</property>
　　</configuration>

yarm-site.xml

<property>
　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　<value>主机名</value>
　　　　</property>

　　　　<property>
　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　<value>mapreduce_shuffle</value>
　　　　</property>

　　</configuration>

slaves
　　加入主机名

3.启动服务器

1.启动服务器之前

1.格式化文件系统 hadoop namenode -format

如果出现has been successfully formatted，表明格式化成功

2.配置免密

ssh-keygen #生成公钥，一直确认就行

ssh-copy-id hdp01 #hdp01为主机名

2.启动服务器　

start-all.sh 开启
stop-all.sh 关闭

3.启动服务器之后

查看是否启动成功，运行 jps #java/bin 里面的命令监测当前进程中那些是java进程
12305 NameNode 软件 web工程 50070端口
12401 DataNode 软件 web工程 50075端口
12740 ResourceManager 软件 8088端口
12566 SecondaryNameNode 软件 web工程 50090端口
12838 NodeManager 软件

查看系统端口 net-tools 这个工具包下面的子软件 yum install -y net-tools

　　 netstat -nltup