一、系统环境:

  1. 我使用的Ubuntu版本是:ubuntu-12.04-desktop-i386.iso
  2. jdk版本:jdk1.7.0_67
  3. hadoop版本:hadoop-2.5.0

二、下载jdk和hadoop,并上传到Ubuntu系统中

Vmware中的Linux与主机系统Windows交互文件的方法请参考:http://blog.chinaunix.net/uid-27717694-id-3834143.html

三、设置hadoop用户:

sudo addgroup hadoop #创建hadoop用户组

sudo adduser -ingroup hadoop hadoop #添加hadoop用户到hadoop组中

sudo gedit /etc/sudoers #为hadoop用户添加权限

在root设置权限的代码下添加一行:

hadoopALL=(ALL:ALL) ALL

四、安装ssh,配置无密码登录

  1. 安装ssh-server:sudo apt-get install openssh-server
  2. 配置无密码登录:
ssh-keygen -t ras -P ""
sudo cat ~/.ssh/id_rsa.pub >> authorized_keys
chmod authorized_keys
sudo gedit /etc/ssh/sshd_config
把AuthroziedKeysFile %h/.ssh/authorized_keys这一行注释取消

3. ssh localhost 成功!

五、安装jdk

  1. 在usr/local目录下新建java文件夹,命令行:sudo mkdir /usr/local/java
  2. 把下载到的jdk压缩包拷贝到java文件夹下,命令行:sudo cp ***.tar.gz /usr/local/java
  3. 进入java目录,命令行:cd /usr/local/java
  4. 解压压缩包,命令行:sudo tar -xvf ***.tar.gz
  5. 删除压缩包,命令行:sudo rm ***.tar.gz
  6. 设置jdk环境变量
这里采用全局设置方法,就是修改etc/profile,它是所有用户的共用的环境变量
sudo gedit /etc/profile 打开之后在末尾添加
export JAVA_HOME=/usr/local/java/jdk1..0_67
export JRE_HOME=/usr/local/java/jdk1..0_67/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH source /etc/profile  使profile生效

7. 检验是否安装成功

java -version

成功则显示如下

java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b18)
Java HotSpot(TM) -Bit Server VM (build 24.45-b08, mixed mode)

六、安装Hadoop

  1. 把hadoop源码包拷贝到/home/hadoop目录下,命令行:sudo cp hadoop-2.5.0.tar.gz /home/hadoop
  2. 解压,命令行:sudo tar -xvf hadoop-2.5.0.tar.gz
  3. 配置hadoop环境变量
配置:
sudo gedit /etc/profile 添加:
#HADOOP VARIABLES START
export HADOOP_INSTALL=/home/hadoop/hadoop-2.5.
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

4. 配置core-site.xml,包含了Hadoop启动时的配置信息

sudo gedit /etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

5. 配置yarn-site.xml,包含了MapReduce启动时的配置信息

sudo gedit /etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

6. 创建和配置mapred-site.xml

cd /etc/hadoop
cp mapred-site.xml.template mapred-site.xml <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

7. 配置hdfs-site.xml

sudo gedit /etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/software/hadoop-2.4./hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/software/hadoop-2.4./hdfs/data</value>
</property>
</configuration>

  

  8. 格式化hdfs,命令行:hdfs namenode -format

  9. 启动hadoop

start-dfs.sh:启动NameNode,DataNode,SecondaryNameNode

start-yarn.sh:启动NodeManager,Resourcemanager

七、安装Eclipse

  1. 下载Lunix,下载地址:http://www.eclipse.org/downloads/packages/eclipse-standard-44/lunar
  2. 拷贝Eclipse安装包到/usr/local目录下,命令行:sudo cp eclipse-standard-luna-R-linux-gtk.tar.gz /usr/local
  3. 解压Eclipse安装包,命令行:sudo tar -xvf eclipse-standard-luna-R-linux-gtk.tar.gz
  4. 运行eclipse,命令行:./eclipse

八、配置Eclipse上的hadoop插件:

  1. 下载插件:hadoop-eclipse-kepler-plugin-2.2.0.jar
  2. 拷贝插件到eclipse的plugins目录下,命令行:sudo cp hadoop-eclipse-kepler-plugin-2.2.0.jar /usr/local/eclipse/plugins
  3. 重启eclipse,配置Hadoop installation directory:打开Windows—Preferences,选择Hadoop Map/Reduce选项,设置Hadoop安装路径

九、关闭hadoop环境:

stop-dfs.sh

stop-yarn.sh

在虚拟机VM中安装的Ubuntu上安装和配置Hadoop的更多相关文章

  1. 转载 :Linux有问必答:如何在Debian或Ubuntu上安装完整的内核源码

    http://linux.cn/article-5015-1.html 问题:我需要为我的Debian或Ubuntu下载并安装完整树结构的内核源码以供编译一个定制的内核.那么在Debian或Ubunt ...

  2. [异常解决] ubuntu上安装JLink驱动遇到的坑及给后来者的建议

    一.前言 最近将整个电脑格式化,改成了linux操作系统 希望这样能让自己在一个新的世界探索技术.提升自己吧- win上的工具用多了,就不想变化了- 继上一篇<ubuntu上安装虚拟机遇到的问题 ...

  3. 在Ubuntu上安装JDK、Ant、Jmeter和Jenkins

    一.前期准备 1. 在win7下载VMware.Ubuntu(用迅雷下比较快) 2. 安装完VMware后新建虚拟机,选择iso: 3. 具体配置参考如下,至此Ubantu安装完成 二.在Ubuntu ...

  4. 如何在ubuntu上安装 搜狗输入法(已经成功)

    转自:https://blog.csdn.net/qq_37589838/article/details/81208409 本文链接:https://blog.csdn.net/qq_37589838 ...

  5. 在 Ubuntu 上安装 Android Studio

    在 Ubuntu 上安装 Android Studio http://www.linuxidc.com/Linux/2013-05/84812.htm 打开terminal,输入以下命令 sudo a ...

  6. 在Ubuntu上安装LAMP服务器

    1.安装Ubuntu上安装LAMP apt-get install lamp-server^ 2.安装过程中设置MySql密码 3.测试 创建index.php var/www/html/index. ...

  7. [译]How to Setup Sync Gateway on Ubuntu如何在ubuntu上安装sync-gateway

    参考文章https://hidekiitakura.com/2015/03/21/how-to-setup-sync-gateway-on-ubuntudigitalocean/ 在此对作者表示感谢 ...

  8. Ubuntu上安装MongoDB(译)

    add by zhj:直接从第四步开始就可以了,而且安装好MongoDB后会自动启动的,不必自己去执行启动命令 原文:https://docs.mongodb.com/manual/tutorial/ ...

  9. Ubuntu上安装ns2-2.34

    Ubuntu上安装ns2-2.34 步骤1 下载ns-allinone-2.34 $ tar zxf ns-allinone-2.34.tar.gz 步骤2 sudo apt-get install ...

随机推荐

  1. chrome中tcmalloc的使用

    chrome中内存分配采用了第三方库tcmalloc,这个库主要提供给应用程序内存管理方面的优化,按资料说内存存取速度会从300ns降到50ns.更具体的关于这个tcmalloc的信息大家可以查网上的 ...

  2. .md文件 Markdown 语法说明

    Markdown 语法说明 (简体中文版) / (点击查看快速入门) 概述 宗旨 兼容 HTML 特殊字符自动转换 区块元素 段落和换行 标题 区块引用 列表 代码区块 分隔线 区段元素 链接 强调 ...

  3. maven项目:Invalid bound statement

    在使用maven做mybatis项目时会遇到这个问题, org.apache.ibatis.binding.BindingException: Invalid bound statement (not ...

  4. IntelliJ IDEA 15开发Java Maven项目

    1.安装好之后开始创建项目

  5. 我的第一个jquery插件:下拉多选框

    <!DOCTYPE HTML> <html> <head> <title> New Document </title> <meta n ...

  6. OAuth2.0和SSO授权的区别

    OAuth2.0和SSO授权   一.OAuth2.0授权协议 一种安全的登陆协议,用户提交的账户密码不提交到本APP,而是提交到授权服务器,待服务器确认后,返回本APP一个访问令牌,本APP即可用该 ...

  7. Unrecognized selector sent to instance xxxxxxx

    两个界面传递参数时报这个错误,经检查发现,是因为目标视图没有关联对应的controller.

  8. [HDOJ3367]Pseudoforest(并查集,贪心)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=3367 求一个无向图上权值最大的伪森林. 伪森林:一个图的连通子图,当且仅当这个子图有且仅有一个环. 既 ...

  9. Android studio编译之后显示中文乱码的问题解决办法

    在build.gradle文件中加上 android {compileOptions.encoding = "GBK"}

  10. C++ STL之查找算法

    C++STL有好几种查找算法,但是他们的用法上有很多共同的地方: 1.除了binary_search的返回值是bool之外(查找的了返回true,否则返回false),其他所有的查找算法返回值都是一个 ...