hadoop2.2.0伪分布模式64位安装
用到的软件:jdk-6u45-linux-x64.bin,hadoop-2.2.0.x86_64.tar.gz

修改主机名
vim /etc/sysconfig/network
HOSTNAME=h1

修改主机名和ip的映射关系
192.168.1.1 h1

关闭防火墙
chkconfig --list | grep iptables
service iptables stop
chkconfig iptables off
chkconfig --list | grep iptables

生成ssh免密码登录
[root@h1 ~]cd .ssh
ssh-keygen -t rsa
三次回车
cp id_rsa.pub authorized_keys

安装jdk-6u45-linux-x64.bin
解压jdk-6u45-linux-x64.bin到/mengyao/jdk1.6.0_45
./jdk-6u45-linux-x64.bin
mv jdk1.6.0_45 jdk
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export PATH=.:$JAVA_HOME:$PATH
source /etc/profile
java -version

安装hadoop-2.2.0.x86_64.tar.gz
解压hadoop-2.2.0.x86_64.tar.gz到/mengyao/hadoop-2.2.0
tar -zxvf hadoop-2.2.0.x86_64.tar.gz
重命名hadoop-2.2.0为hadoop
mv hadoop-2.2.0 hadoop
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export HADOOP_HOME=/mengyao/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME:$PATH
source /etc/profile

修改hadoop配置文件hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml五个配置文件
1、hadoop-env.sh
    vi hadoop-env.sh
    export JAVA_HOME=/mengyao/jdk
    
2、core-site.xml
    vi core-site.xml
    <configuration>
        <!-- 指定hdfs的NameNode的路径 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://h1:9000</value>
        </property>
        <!-- 指定hadoop的数据存放路径 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/mengyao/hadoop/tmp</value>
        </property>
    <configuration>
    
3、hdfs-site.xml
    vi hdfs-site.xml
    <configuration>
        <!-- 指定hdfs保存数据副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>
    
4、mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
    vi mapred-site.xml
    <configuration>
        <!-- 告诉hadoop以后MapReduce运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>
    
5、yarn-site.xml
    vi yarn-site.xml
    <configuration>
        <!-- 指定nodemanager获取数据的方式是shuffle -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定yarn的ResourceManager的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>h1</value>
        </property>
    </configuration>

初始化HDFS(格式化文件系统)
cd /mengyao/hadoop/bin
hadoop namenode -format(hadoop1的,在hadoop2中已过时)
hdfs namenode -format

启动hadoop
start-all.sh(hadoop2提示不推荐使用,使用如下命令)
start-dfs.sh,start-yarn.sh    
    
    
jps
36374 NodeManager
36269 ResourceManager
35980 DataNode
36133 SecondaryNameNode
35860 NameNode
36886 Jps

浏览器
hdfs    h1:50070
yarn    h1:8088

hadoop常用命令
上传文件到hdfs    hadoop fs -put /源文件路径 /hdfs目录
从hdfs上下载文件到本地    hadoop fs -get /hdfs系统上的文件 /本地路径下的指定文件
从hdfs上删除文件    hadoop fs -rm -r /hdfs系统上的文件
查看hdfs上的文件    hadoop fs -cat /hdfs系统上的文件
递归查看从hdfs根目录开始    hadoop fs ls -R /

hadoop2.2.0伪分布模式64位安装的更多相关文章

  1. hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档

    相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclip ...

  2. hadoop2.5发布:最新编译 32位、64位安装、源码包、API以及新特性

    hadoop2.5发布:最新编译 32位.64位安装.源码包.API以及新特性 http://www.aboutyun.com/thread-8751-1-1.html (出处: about云开发) ...

  3. CentOS6.0(64位)安装Apache+PHP+Mysql教程,安装Magento(解决DOM,Mcrypt,GD问题)完整教程

    CentOS6.0(64位)安装Apache+PHP+Mysql教程,安装Magento(解决DOM,Mcrypt,GD问题)完整教程 0   Posted by :小黑 On : 2012 年 9 ...

  4. 琐碎-hadoop2.2.0伪分布式和完全分布式安装(centos6.4)

    环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1s ...

  5. hadoop2.4.1伪分布模式部署

    hadoop2.4.1伪分布模式部署 (承接上一篇hadoop2.4.1-src的编译安装继续配置:http://www.cnblogs.com/wrencai/p/3897438.html) 感谢: ...

  6. linux下hadoop2.6.1源码64位的编译

    linux下hadoop2.6.1源码64位的编译 一. 前言 Apache官网上提供的hadoop本地库是32位的,如果我们的Linux服务器是64位的话,就会现问题.我们在64位服务器执行Hado ...

  7. Hadoop2.6.0伪分布环境搭建

    用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面.   (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...

  8. oracle 11g 64位安装sqldeveloper打开不了

    oracle 11g 64位安装sqldeveloper打开不了解决方法: 1.到官网下载对应版本的sqldeveloper. 2.找对应安装路径下的F:\app\Administrator\prod ...

  9. Win7 64位安装MySQL

    1.Win7 64位 安装MySQL5.5版本 安装文件的执行:会提示“已经停止工作”: 2.我下载了mysql-installer-community-5.7.11.0.msi,可以安装成功,中途需 ...

随机推荐

  1. 对不起,说句粗话——这个太屌了,windows1.0安装程序(附下载)

    今天逛一个软件论坛发现的,仅仅有几百K.遥想当今我刚接触windows的版本号是3.1,当时记得非常清楚哦,进入windows要从dos命令行进入.如今一转眼,变成进入伪dos是执行栏里敲cmd了.唉 ...

  2. [转] postgresql常用命令

    PS: 数据库安装后,里面的每个数据库有自己的用户密码,需要dump的时候,指定用户pg_dump -U xxx <数据库>  > 某个地址 最近一直在学习Postgresql,下面 ...

  3. List 去处自定义重复对象方法

    list泛型集合去除重复项,对于单一的某个字段非常简单,但是对于一些自定义要求的还需自定义规则.例子代码: /************绑定乘客信息********/ List<RT.Model. ...

  4. GraphViz web版

    http://graphviz-dev.appspot.com/ 用来把dot语言的图画出来,很多地方用dot语言来画图,比如doxygen的类关系,gperftools的分析结果等.

  5. C#之Linq学习笔记【转】

    写在前面 其实在09年就已经学习过Linq了,并被她那优美的语法所吸引,只是现在所在的公司还在使用VS2005在.Net2.0的框架下面的开发,所以Linq也很久没有用过了,最近看部门的同事对这个有些 ...

  6. GUID的广泛使用

    GUID(Global unique identifier)全局唯一标识符,它是由网卡上的标识数字(每个网卡都有唯一的标识号)以及 CPU 时钟的唯一数字生成的的一个 16 字节的二进制值. GUID ...

  7. require(),include(),require_once()和include_once()之间的区别

    引用文件的方法有两种:require 及 include. require 的使用方法如 require("file.php"); .这个函数通常放在 PHP 程序的最前面,PHP ...

  8. 大型系统开发sql优化总结(转)

    Problem Description: 1.每个表的结构及主键索引情况 2.每个表的count(*)记录是多少 3.对于创建索引的列,索引的类型是什么?count(distinct indexcol ...

  9. 使用PHP CURL的POST数据

    使用PHP CURL的POST数据 curl 是使用URL语法的传送文件工具,支持FTP.FTPS.HTTP HTPPS SCP SFTP TFTP TELNET DICT FILE和LDAP.cur ...

  10. SQL Server 2005、SQL Server 2008版本比较

    SQL Server 2005的版本有SQL Server 2005企业版(Enterprise).SQL Server 2005标准版(Standard) 和SQL Server 2005工作组版( ...