折腾了一天,其间配置SSH时候出现了问题,误删了ssh-keygen相关文件,导致配置SSH彻底萎了,又重装了系统。。。。

采用伪分布式模式,即hadoop将所有进程运行于同一台主机上,但此时Hadoop将使用分布式文件系统,而且各jobs也是由JobTracker服 务管理的独立进程。同时,由于伪分布式的Hadoop集群只有一个节点,因此HDFS的块复制将限制为单个副本,其secondary-master和 slave也都将运行于本地主机。此种模式除了并非真正意义的分布式之外,其程序执行逻辑完全类似于完全分布式,因此,常用于开发人员测试程序执行。

安装步骤

1 下载hadoop源码包,自己编译。参考前面文章http://www.cnblogs.com/liuchangchun/p/4087231.html

2 JDK安装

  (1)jdk下载
      链接: http://pan.baidu.com/s/1jGr41SU 密码: rawv
  (2)jdk解压到合适目录

  (3)配置环境变量

export JAVA_HOME=/usr/dev/jdk1..0_51
export HADOOP_HOME=/home/lcc/software/hadoop/hadoop-2.5.
export HBASE_HOME=/home/lcc/software/hadoop/hbase-0.99.
export LD_LIBRARY_PATH=/home/lcc/software/dev/protobuf-2.5.
export ANT_HOME=/usr/dev/apache-ant-1.9.
export PATH=$PATH:$ANT_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib

3 配置hadoop

  3.1 解压hadoop到合适位置

  3.2 配置hadoop环境变量,参考上面

  3.3 进入hadoop文件家,配置etc/hadoop中的文件

    3.3.1 配置hadoop-env.sh

export JAVA_HOME="/usr/dev/jdk1.7.0_51"

    3.3.2 配置core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:</value>
</property>

    <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/lcc/software/hadoop/hadoop-2.5./tmp</value>
    </property>
</configuration>

    3.3.3 配置hdfs-site.xml,做如下配置(系统默认文件保存3份,因伪分布模式,故改为1份)

<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name> dfs.namenode.name.dir</name>
<value>/home/lcc/software/hadoop/hadoop-2.5./dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/lcc/software/hadoop/hadoop-2.5./dfs/data</value>
</property>
</configuration>

    3.3.4 配置mapred-site.xml.template

<configuration>
 <property>
       <name>mapred.job.tracker</name>
       <value>localhost:9001</value>
     </property>
</configuration>

    3.3.5 配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

  3.4 设置ssh免密码登录,注意实在root目录下

ssh-keygen -t rsa -P ""
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_key

    输入ssh localhost 看看能否登录

  3.5 格式化节点信息

hadoop namenode –format

  3.6 进度hadoop目录,启动hadoop

sbin/start-all.sh

  3.7 用命令jps查看是否启动成功,如果出现大概如下信息说明成功了

 NodeManager
DataNode
SecondaryNameNode
ResourceManager
NameNode
Jps

  3.8 进度hadoop目录,停止hadoop

sbin/stop-all.sh

  3.9 http://localhost:50070 这是hdfs的页面

  3.10 http://localhost:8088 hadoop进程管理页面

  3.11 禁用IPV6

    3.11.1 编辑grup文件

sudo nano /etc/default/grub

    3.11.2 将文件中的  GRUB_CMDLINE_LINUX_DEFAULT="quiet spalsh"  修改为

GRUB_CMDLINE_LINUX_DEFAULT="ipv6.disable=1 quiet splash"

    3.11.3 保存后运行sudo update-grub更新
    3.11.4 重启网络服务

/etc/init.d/network-manager restart

    3.11.5. 可以使用  ip a | grep inet6 查看关闭情况,若没有结果则说明禁用IPv6成功

Ubuntu 14.10 下安装伪分布式hdoop 2.5.0的更多相关文章

  1. Ubuntu 14.10 下安装伪分布式hbase 0.99.0

    HBase 安装分为:单击模式,伪分布式,完全分布式,在单机模式中,HBase使用本地文件系统而不是HDFS ,所有的服务和zooKeeper都运作在一个JVM中.本文是安装的伪分布式. 安装步骤如下 ...

  2. Ubuntu 14.10 下安装伪分布式hive-0.14.0

    本地独立模式,MySQL作为元数据库 1 安装环境准备 1.1 安装JDK,在安装hadoop时候已经安装了,参考http://www.cnblogs.com/liuchangchun/p/40972 ...

  3. Ubuntu 14.10 下安装Ganglia监控集群

    关于 Ganglia 软件,Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统,如集群和网格.它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数 ...

  4. Ubuntu 14.10 下安装java反编译工具 jd-gui

    系统环境,Ubuntu 14.10 ,64位 1 下载JD-GUI,网址http://221.3.153.126/1Q2W3E4R5T6Y7U8I9O0P1Z2X3C4V5B/jd.benow.ca/ ...

  5. Ubuntu 14.10 下安装navicat

    1 下载navicat,网址http://www.navicat.com.cn/download,我下载的是navicat111_premium_cs.tar.gz 2 解压到合适的位置 3 进入解压 ...

  6. Ubuntu 14.10下安装深度音乐客户端

    很多刚从windows系统投靠到ubuntu的机油,在听音乐时不是很舒心.毕竟ubuntu软件中心的很多影音软件都是国外的朋友编写的,所以很多时候国内的朋友用着很不舒服.今天给大家推荐的是国内开发者针 ...

  7. Ubuntu 14.10 下安装rabbitvcs-版本控制

    在Windows下用惯了TortoiseSVN这只小乌龟,到了Ubuntu下很不习惯命令行的SVN,于是经过一番寻找安装了RabbitVCS这款SVN图形化前端工具(官方网站:http://rabbi ...

  8. Ubuntu 14.10 下安装Synergy,不同电脑之间公用一套键盘鼠标

    因为工作时候有多台电脑放在一起,如果每个用一套键盘鼠标很是不方便,所以希望能够不用电脑之间公用一套键盘鼠标. Synergy可以实现不同电脑之间公用一套键盘鼠标,并且支持简单的复制粘贴.很好用. 它还 ...

  9. Ubuntu 14.10 下安装Sublime Text 3,注册码,中文输入法

    1 下载Sublime Text 3,网址http://www.sublimetext.com/3 2 双击deb安装 3 因为需要需要付费,输入下面的注册码,下面的注册码,来自百度,亲测可行 Sub ...

随机推荐

  1. 测试那些事儿—BUG

    一.作为测试人员,你应该这样报BUG: 不要对程序员说,你的代码有BUG. 他的第一反应是:1.你的环境有问题吧:2.你踏马到底会不会用? 如果你委婉的说:你这个程序和预期的不一样,你看看是不是我的方 ...

  2. resNet代码-小象/cv

    C:\yyy\ml\dengsong\ChinaHadoop\ChinaHadoop_C4-master\ChinaHadoop_C4-master\C4_ResNet_TF http://blog. ...

  3. Linux中ctrl+z,ctrl+d和ctrl+c的区别

    Ctrl-c Kill foreground processCtrl-z Suspend foreground processCtrl-d Terminate input, or exit shell

  4. Django book manage system

    创建一个简易的可以增删改查book的书籍管理system urls.py from django.contrib import admin from django.urls import re_pat ...

  5. [Codeforces Round #492 (Div. 1) ][B. Suit and Tie]

    http://codeforces.com/problemset/problem/995/B 题目大意:给一个长度为2*n的序列,分别有2个1,2,3,...n,相邻的位置可以进行交换,求使所有相同的 ...

  6. Go Example--错误处理

    package main import ( "errors" "fmt" ) //定义一种错误类型 type argError struct { arg int ...

  7. 【UOJ#21】【UR#1】缩进优化

    我好弱啊,什么题都做不出来QAQ 原题: 小O是一个热爱短代码的选手.在缩代码方面,他是一位身经百战的老手.世界各地的OJ上,很多题的最短解答排行榜都有他的身影.这令他感到十分愉悦. 最近,他突然发现 ...

  8. 【BZOJ1497】【NOI2006】最大获利

    最小割好劲啊 原题: 新的技术正冲击着手机通讯市场,对于各大运营商来说,这既是机遇,更是挑战.THU集团旗下的CS&T通讯公司在新一代通讯技术血战的前夜,需要做太多的准备工作,仅就站址选择一项 ...

  9. 使用 Prometheus 监控minio 性能指标信息&&docker-compose 方式运行

    minio server 已经支持Prometheus 了,对于系统的运行参数我们可以方便.实时的查看 运行使用docker-compose docker-compose 文件 version: &q ...

  10. win10开移动热点让手机使用上网

    PC得买个无线网卡带尾部那种的,插后面,有了无线网卡能力了. 然后开启移动热点: 在设备管理器里面去,找到网络适配器,选择带有Wireless的那个,更新驱动,浏览计算机查找,从计算机的设备驱动表选取 ...