hadoop-2.6.0为分布式安装

伪分布模式集群规划(单节点)
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
-    host        -    ip                -    soft                                -    process                                                                                  -
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
-    single32    -    192.168.1.30    -    jdk-6u32-linux-i586,hadoop-2.6.0    -    NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer -
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------

一、修改主机名为single32
    vi /etc/sysconfig/network
        将HOSTNAME=localhost改为HOSTNAME=single32
    shift+zz
    
二、修改主机名与IP映射文件
    vi /etc/hosts
        添加192.168.1.30 single32
    shift+zz

三、关闭防火墙
    service iptables stop
    chkconfig iptables off
    chkconfig --list | grep iptables
    
四、配置ssh免密码登陆
    ssh-keygen -t rsa(三次回车)
    ssh-copy-id -i single32
    ssh single32
    exit
    
五、安装jdk
    cd /usr/local/
    ./jdk-6u32-linux-i586.bin
    mv jdk1.6.32 jdk
    vi /etc/profile
        export JAVA_HOME=/usr/local/jdk
        export PATH=.:$JAVA_HOME/bin:$PATH
    shift+zz
    
六、安装hadoop-2.6.0
    cd /usr/local/
    tar -zxvf hadoop-2.6.0.tar.gz
    mv hadoop-2.6.0 hadoop
    vi /etc/profile
        export JAVA_HOME=/usr/local/jdk
        export HADOOP_HOME=/usr/local/hadoop
        export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
    shift+zz

七、修改hadoop/etc/hadoop下的配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml)
    hadoop-env.sh
        export JAVA_HOME=/usr/local/jdk

core-site.xml
        <configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://single32:9000</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
            </property>
            <property>
                <name>fs.trash.interval</name>
                <value>1440</value>
            </property>
        </configuration>

hdfs-site.xml
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.permissions</name>
                <value>false</value>
            </property>
        </configuration>

yarn-site.xml    
        <configuration>
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        </configuration>
        
    mapred-site.xml
        <configuration>
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
        </configuration>

八、格式化hdfs(只能格式化一次)
    cd /usr/local/hadoop/bin
    hdfs namenode -format
        
九、启动hadoop
    cd /usr/local/hadoop/sbin
    启动hdfs
        start-dfs.sh
    启动yarn    
        start-yarn.sh
    启动historyserver
        mr-jobhistory-daemon.sh start historyserver

十、验证启动状态
    1、命令行验证:(如下进程表示启动成功)
        [root@single32 sbin]# jps
        3691 SecondaryNameNode        
        3991 NodeManager            
        3420 NameNode                
        4270 JobHistoryServer        
        3831 ResourceManager        
        3539 DataNode                
        4307 Jps                    
    2、web验证:(打开表示启动成功)
        验证hdfs启动状态:http://single32:50070/
        验证yarn启动状态:http://single32:8088/
        验证启动状态:http://single32:19888/

hadoop-2.6.0为分布式安装的更多相关文章

  1. Centos 6.5 hadoop 2.2.0 全分布式安装

    hadoop 2.2.0 cluster setup 环境: 操作系统:Centos 6.5 jdk:jdk1.7.0_51 hadoop版本:2.2.0 hostname    ip master ...

  2. hadoop2.2.0+hive-0.10.0完全分布式安装方法

    hadoop+hive-0.10.0完全分布式安装方法 1.jdk版本:jdk-7u60-linux-x64.tar.gz http://www.oracle.com/technetwork/cn/j ...

  3. Hadoop生态圈-hbase介绍-伪分布式安装

    Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...

  4. centos 7下Hadoop 2.7.2 伪分布式安装

    centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...

  5. hadoop 2.2.0集群安装详细步骤(简单配置,无HA)

    安装环境操作系统:CentOS 6.5 i586(32位)java环境:JDK 1.7.0.51hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz 安装准备设置集群的host ...

  6. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

  7. Hadoop2.6.0完全分布式安装

    本文地址:http://www.cnblogs.com/myresearch/p/hadoop-full-distributed-operation.html,转载请注明源地址. 我这边是使用了两台主 ...

  8. hadoop 2.2.0集群安装

    相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net ...

  9. airflow2.0.2分布式安装文档

    需要安装的组件 组件 功能 Airflow Webserver 查询元数据以监控和执行DAGs的web界面. Airflow Scheduler 它检查元数据数据库中的DAG和任务的状态,在必要时创建 ...

随机推荐

  1. myqltransactionRollbackexception deadlock found when trying to get lock

    linux 下远程连接mysq 命令: mysql -h "1.0.0.1" -u username -p 1 获 取锁等待情况 可以通过检查 table_locks_waited ...

  2. 线程在WPF中的使用

    项目中可能会有这样的需求,一直获取新的某个数据信息,但仍不影响其他的操作功能,这时就用到了线程,获取新数据放到线程中操作,对其他操作不产生影响,下面就以随机获取数组中项为例解说WPF中使用线程这一实例 ...

  3. css08盒子模型

    <!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8&quo ...

  4. spring01

                                                                       spring的体系结构图 第一个spring入门例子 01.创建一 ...

  5. C#总结项目《影院售票系统》编写总结完结篇

    回顾:昨天总结了影院售票系统核心部分-售票,整个项目也就完成了2/3了,需求中也要求了对销售信息的保存,今天就继续总结销售信息的保存以及加载销售信息. 分析:退出程序时将已售出票集合中的对象循环写入到 ...

  6. Remoting 的“传递的引用”理解

    WCf是集大成者,具有其他微软的很多技术,其中分布式上很多借助于Remoting,所以研究一下Remoting有助于理解WCF 提到Remoting就不得不涉及到MarshalByRefObject这 ...

  7. ViewState探索

    什么是 view state? View State是客户端状态管理重要机制之一.当页面PostBack(向服务器发送或获得数据)时,它能存储页面的值.ASP.NET把View State属性作为页面 ...

  8. Android Translate 动画跳跃和缓慢移动

    1.动画跳跃:在动画结束的时候设置位置 Animation.AnimationListener listener = new Animation.AnimationListener() { @Over ...

  9. PL/SQL中的变量案例解析

    1.标量: ag1: declare v_ename emp.ename%type;--自己称为单变量 begin select ename into v_ename from emp where e ...

  10. 微信公众平台开发(一) ——实现URL接入

    一.填写服务器配置 登录微信公众平台,点击开发者中心,点击“修改配置”按钮,填写服务器地址(URL).Token和EncodingAESKey.URL是开发者用来接收微信消息和事件的接口URL.Tok ...