(博客园-番茄酱原创)

首先感谢作者lxdhdgss,他的博文直接帮助了我如何安装hadoop,下面是他的博文修改版,用于安装在fedora20上面的,jdk1.8版本。

到hadoop官网去copy一下链接地址(hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz),在终端wget url(下载链接地址),会直接下载到当前目录下。然后解压,tar xvf apache-hadoop-2.5.1.tar.gz,解压下载的tar.gz。会看到一个名为hadoop-2.5.1的文件夹,把它拷贝到自己平时安装软件的地方,比如我是/opt/lib64/下面,命令是mv hadoop-2.5.1 /opt/lib64/。

注意:下面修改的时候,大家不会用vi,就用gedit来代替吧,可视化操作,简洁明了。如vi xxx可以换成gedit xxx

下面就需要对Hadoop进行设置了。

首先vi /etc/profile,增加

bash代码

     #设置jdk的安装路径
export JAVA_HOME=/opt/lib64/jdk1..0_20
#指定CLASSPATH和PATH
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
#设置的hadoop的环境变量
export HADOOP_HOME=/opt/lib64/hadoop-2.5.
export PATH=$HADOOP_HOME/bin:$PATH
export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存退出(按下ESC,然后再按下这三个:wq)

哦,别忘了在终端执行命令下source /etc/profile,让修改过的profile马上生效。

然后进入hadoop下面的etc/hadoop/(不是系统的etc,是hadoop下面的etc,这是一个配置文件夹),用ls命令,可以看到有很多配置文件。

先vi hadoop-env.sh
bash代码

export JAVA_HOME=/opt/lib64/jdk1.8.0_20

vi yarn-env.sh

bash代码

export JAVA_HOME=/opt/lib64/jdk1.8.0_20

vi core-site.xml

 <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/xxx/tmp </value>
</property>
</configuration>

vi hdfs-site.xml

Xml代码

 <configuration>
    <property>
      <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
      <name>dfs.namenode.data.dir</name>
      <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
</configuration>

保存退出(按下ESC,然后再按下这三个:wq)

----------------------------按照hadoop官网上面的配置-----------------------

vi mapred-site.xml

Xml代码

<configuration>
<property>
<name>mapreduce.jobtracker.address</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

保存退出(按下ESC,然后再按下这三个:wq)

vi yarn-site.xml:

Xml代码

 <configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

保存退出(按下ESC,然后再按下这三个:wq)

-------------------------------------------------------------------------------

-------------------------补充---------------ssh免登陆设置

还有就是:由于原文没有设置如何面验证登陆ssh,这边给与补充。

由于fedora已经默认安装了openssh,所以不用再此安装ssh了。直接直接配置以下就可以了

配置 SSH 免密码登陆 ,下面是bash命令,直接在终端输入(最好是root身份,如何root?只要终端输入su,然后root的密码就可以登陆root账户了)

  1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 600 ~/.ssh/authorized_keys
  4. sudo service sshd restart

就可以了。到此就大功告成了

-----------------------------------------------------------------------------

好了,现在可以启动看看了

先格式化,这个很重要。

  1. hadoop namenode -format

这句话基本上就是把目前你的hadoop系统确定一下结构,我们的hadoop系统中,一般是一个namenode+多个datanode。

namenode相当于顾客房间表,datanode相当于具体的房间。

然后启动hadoop吧。

到hadoop的根目录,

  1. sbin/start-dfs.sh

然后再启动yarn,因为2.5.0的版本,早就已经是以yarn这种更好的架构来运行了。

  1. sbin/start-yarn.sh

然后查看一下开启的进程

说明hadoop已经启动成功。

打开hdfs管理页面,查看hdfs系统:

在浏览器打开http://localhost:50070,可看到hadoop的管理界面,导航栏的最后一项还可以查看hadoop里面的文件。

我们来试着传个文件,到/home下面,新建一个文件,vim test.txt,随便写些东西。保存。

然后把这个文件上传。

打开job管理页面,查看job的运行情况:

由于这个是hadoop2.5.1版本,貌似以前的http://localhost:50030换成了现在的http://localhost:8088,所以需要查看jod的运行情况,需要在浏览器打开localhost:8088

现在的ResourceManager和NodeManager代替了原来的JobTracker和TaskTracker

  1. hadoop fs -put test.txt /test.first  (表示将本地的text放置在dfs根目录下,并且名为test.first可以随意命名)

在浏览器的后台刷新看看有没有test.first(打开http://localhost:50070,选择utilties在点击browse the file system)。

你也可以先给hadoop建立目录

  1. hadoop fs -mkdir /xxx

上面的上传文件也可以变成这样:

  1. hadoop fs -put test.txt /xxx/test.txt

其他的操作,大家自己去试吧。

特别感谢lxdhdgss,他的博文地址是:http://www.iteye.com/topic/1135085

(官网有英文版的配置说明,大家可以参照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)

fedora20安装hadoop-2.5.1的更多相关文章

  1. CentOS下安装hadoop

    CentOS下安装hadoop 用户配置 添加用户 adduser hadoop passwd hadoop 权限配置 chmod u+w /etc/sudoers vi /etc/sudoers 在 ...

  2. Linux下安装Hadoop完全分布式(Ubuntu12.10)

    Hadoop的安装非常简单,可以在官网上下载到最近的几个版本,最好使用稳定版.本例在3台机器集群安装.hadoop版本如下: 工具/原料 hadoop-0.20.2.tar.gz Ubuntu12.1 ...

  3. Ubuntu安装Hadoop与Spark

    更新apt 用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了.按 ctrl+alt+t 打开终端窗口,执行如下命令: sudo a ...

  4. 安装hadoop+zookeeper ha

    安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/pro ...

  5. 附录A 编译安装Hadoop

    A.1  编译Hadoop A.1.1  搭建环境 第一步安装并设置maven 1.  下载maven安装包 建议安装3.0以上版本(由于Spark2.0编译要求Maven3.3.9及以上版本),本次 ...

  6. 在Ubuntu上单机安装Hadoop

    最近大数据比较火,所以也想学习一下,所以在虚拟机安装Ubuntu Server,然后安装Hadoop. 以下是安装步骤: 1. 安装Java 如果是新机器,默认没有安装java,运行java –ver ...

  7. 安装hadoop集群服务器(hadoop1.2.1)

    摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储.本文主要介绍hadoop的安装与集群服务器的配置. 准备文件: ▪ VMware11.0.0      ▪ Cen ...

  8. 在Ubuntu上安装Hadoop(单机模式)步骤

    1. 安装jdk:sudo apt-get install openjdk-6-jdk 2. 配置ssh:安装ssh:apt-get install openssh-server 为运行hadoop的 ...

  9. Fedora20安装fcitx输入法

    Fedora20安装fcitx输入法 Fedora20默认安装的是ibus输入法,总有一些原因让我们选择fcitx输入法: ibus出词顺序有bug 在输入人名的时候,有些名字输入两三次后还是不会出现 ...

随机推荐

  1. Spring使用外部的配置文件

    在使用Spring做web项目的时候,通常会使用到数据库的连接信息 jdbcUrl driverClass username password 那么应该如何使用这些属性呢? 如在Spring中使用数据 ...

  2. 实例学习写Makefile文件

    目录 0. 扫盲 1. 编译,链接 2. Makefile文件执行 3. Makefile书写规则 4. 案例 5. Makefile是如何工作的 6. 拔高,参考 0. 扫盲 Linux 环境下的程 ...

  3. json-lib 中关于null与"null"

    总感觉json-lib里面关于null和"null"的处理非常不合理,或者说是bug,去了json-lib的网站,最后一次更新是10年了... 发现官方网站第一段就说json-li ...

  4. opencv 图像阴影检测

    参数说明: IplImage *workImg-当前全局变量,表示正在显示的图片. downleft, upright- 检测出的阴影部分矩形框的两个对角顶点. /****************** ...

  5. (三)CSS高级语法

    选择器分组 可以对选择器进行分组,被分组的选择器可以分享相同的声明,用逗号将需要分组的选择器分开.例如: h1,h2,h3,h4,h5,h6 { color: green; } 继承以及其问题一般,子 ...

  6. [POJ1753]Flip Game(开关问题,枚举)

    题目链接:http://poj.org/problem?id=1753 和上一个题一样,将初始状态存成01矩阵,就可以用位运算优化了.黑色白色各来一遍 /* ━━━━━┒ギリギリ♂ eye! ┓┏┓┏ ...

  7. [POJ3352]Road Construction(缩点,割边,桥,环)

    题目链接:http://poj.org/problem?id=3352 给一个图,问加多少条边可以干掉所有的桥. 先找环,然后缩点.标记对应环的度,接着找桥.写几个例子就能知道要添加的边数是桥的个数/ ...

  8. grunt + compass

    compass和sass文章列表:http://182.92.240.72/tag/compass/ compass实战grunt: http://wrox.cn/article/2000491/ h ...

  9. MySQL select into 和 SQL select into

    现在有张表为student,我想将这个表里面的数据复制到一个为dust的新表中去,虽然可以用以下语句进行复制,总觉得不爽,希望各位帮助下我,谢谢.  answer 01: create table d ...

  10. hadoop2的automatic HA+Federation+Yarn配置的教程

    前言 hadoop是分布式系统,运行在linux之上,配置起来相对复杂.对于hadoop1,很多同学就因为不能搭建正确的运行环境,导致学习兴趣锐减.不过,我有免费的学习视频下载,请点击这里. hado ...