Hadoop部署(伪分布式系统)

hadoop安装

#修改主机名
hostnamectl set-hostname hadoop
#修改hosts
vim /etc/hosts
#追加到末尾
10.0.0.11 hadoop

安装必备依赖包

yum -y install openssh*
yum -y install man*
yum -y install compat-libstdc++-33*
yum -y install libaio-0.*
yum -y install libaio-devel*
yum -y install sysstat-9.*
yum -y install glibc-2.*
yum -y install glibc-devel-2.* glibc-headers-2.*
yum -y install ksh-2*
yum -y install libgcc-4.*
yum -y install libstdc++-4.*
yum -y install libstdc++-4.*.i686*
yum -y install libstdc++-devel-4.*
yum -y install gcc-4.*x86_64*
yum -y install gcc-c++-4.*x86_64*
yum -y install elfutils-libelf-0*x86_64* elfutils-libelf-devel-0*x86_64*
yum -y install elfutils-libelf-0*i686* elfutils-libelf-devel-0*i686*
yum -y install libtool-ltdl*i686*
yum -y install ncurses*i686*
yum -y install ncurses*
yum -y install readline*
yum -y install unixODBC*
yum -y install zlib
yum -y install zlib*
yum -y install openssl*
yum -y install patch
yum -y install git
yum -y install lzo-devel zlib-devel gcc autoconf automake libtool
yum -y install lzop
yum -y install lrzsz
yum -y install lzo-devel  zlib-devel  gcc autoconf automake libtool
yum -y install nc
yum -y install glibc
yum -y install gzip
yum -y install zlib
yum -y install gcc
yum -y install gcc-c++
yum -y install make
yum -y install protobuf
yum -y install protoc
yum -y install cmake
yum -y install openssl-devel
yum -y install ncurses-devel
yum -y install unzip
yum -y install telnet
yum -y install telnet-server
yum -y install wget
yum -y install svn
yum -y install ntpdate

下载以下所有东西

https://pan.baidu.com/s/1ouCGECr-mRg5qjXf8WzCqw 提取码：04lv

安装java

#删除掉过去的系统自带的java
#先确定是否已经有java安装过
rpm -qa|grep java
#如果有的话我们使用rpm -e xxxxxxxxxxxxx(代表你刚才命令执行出的结果内容) --nodeps (不考虑关联删除)
rpm -e tzdata-java-2014g-1.el6.noarch --nodeps
#将jdk-8u45-linux-x64.tar安装包上传到/usr目录下
cd /usr
rz
#编写以下脚本：
vim deljava.sh
#!/bin/bash
for i in `rpm -qa|grep java`
do
rpm -e $i --nodeps
done
#执行脚本
sh deljava.sh
#进入/usr
cd /usr
ls
#解压该压缩包
tar xzvf jdk-8u45-linux-x64.tar.gz
#改名
mv jdk1.8.0_45/ java
#配置环境变量
vim /etc/profile
#在尾部添加
export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
#生成环境变量
source /etc/profile

安装HADOOP-2.7.3伪分布式系统

#配置互信
#将sshUserSetup.sh脚本上传到/root目录下
rz
#执行以下命令
#执行命令 脚本名 -user 你需要互信的用户 -hosts "hadoop hadoop1 hadoop2 hadoop3" 不在校验yes
sh sshUserSetup.sh -user root -hosts "hadoop" -advanced -noPromptPassphrase
#上传hadoop安装包到  hadoop-2.7.3.tar /usr/local下
#解压安装包
rz
tar xzvf hadoop-2.7.3.tar.gz
#将解压以后的目录改名
mv hadoop-2.7.3 hadoop
#配置环境变量
vim /etc/profile#在尾部添加
export HADOOP_HOME=/usr/local/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_COMMON_LIB_NATIVE_DIR=/usr/local/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#生成环境变量
source /etc/profile

配置HADOOP集群

#进入到HADOOP配置文件所在目录
cd /usr/local/hadoop/etc/hadoop/
#配置HADOOP环境文件
vim hadoop-env.sh
#第25行改为
export JAVA_HOME=/usr/java
################
#在两个<configuration>中添加下列内容
vim core-site.xml
<!-- 制定了我们的HADOOP系统的对外提供服务的端口和谁是NAMENODE -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop:9000</value>
</property>

<!-- HADOOP系统产生临时文件的存放地 -->

<property>
  <name>hadoop.tmp.dir</name>
  <value>/var/hadoop/tmp</value>
</property>
#################
vim hdfs-site.xml
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>
###################
#拷贝文件
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
#####################
vim yarn-site.xml
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

hadoop操作

#格式化HADOOP的HDFS文件系统
hdfs namenode -format
#启动HADOOP集群
start-all.sh
输入3次yes
#关闭HADOOP集群
stop-all.sh
#看到以下进程就成功了
[root@hadoop hadoop]# jps
5973 Jps
5447 SecondaryNameNode
5687 NodeManager
5592 ResourceManager
5177 NameNode
5295 DataNode

关闭警告

vim /usr/local/hadoop/etc/hadoop/log4j.properties
#加到最后
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR