hadoop2.2.0部署

下载安装包

hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz

解压

tar zxvf hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz

ln -s /opt/hadoop-2.2.0-cdh5.0.0-beta-1 ~/hadoop

所有节点都解压

ssh双向认证

配置所有机器hosts

vi /etc/hosts

10.10.1.1 hadoop1

10.10.1.2 hadoop2

10.10.1.3 hadoop3

使用hostname 设置主机名

修改/etc/sysconfig/network 中的内容改为相应的主机名

在.ssh目录生成id_rsa.pub ，添加到本机~/.ssh/authorized_keys文件里面

ssh-keygen -q -t rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

本机登入验证：ssh localhost

复制authorized_keys到其他机器上

scp ~/.ssh/id_rsa.pub hadoop3:~/

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

chmod 700 ~/.ssh

其他机器重复以上步骤

修改环境参数

vi /etc/profile

增加以下内容：

export JAVA_HOME=/opt/jdk1.7.0_51

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_DEV_HOME=/home/hadoop/hadoop

export PATH=$PATH:$HADOOP_DEV_HOME/bin

修改ulimit

vi /etc/security/limits.d/90-nproc.conf

* soft nproc 502400

执行环境参数

source /etc/profile

修改hadoop配置

1.编辑同步脚本:vi hadoop/cp2slaves.sh

BASE_PATH=`dirname $0`

cd $BASE_PATH

echo `/bin/pwd`

scp etc/hadoop/* hadoop2:~/hadoop/etc/hadoop/

scp etc/hadoop/* hadoop3:~/hadoop/etc/hadoop/

2.配置hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME修改为：

export JAVA_HOME=/opt/jdk

HADOOP_PID_DIR修改为：

export HADOOP_PID_DIR=${HADOOP_LOG_DIR}

3.创建hadoop工作目录

mkdir -p /home/hadoop/tmp

mkdir -p /home/hadoop/hdfs/name

mkdir -p /home/hadoop/hdfs/data

mkdir -p /home/hadoop/hadoop-yarn

4.配置hadoop/etc/hadoop/core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop1:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>hadoop1</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

5.配置hadoop/etc/hadoop/mapred-site.xml

mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop1:19888</value>

</property>

<property>

<name>mapreduce.jobhistory.intermediate-done-dir</name>

<value>/mr-history/tmp</value>

</property>

<property>

<name>mapreduce.jobhistory.done-dir</name>

<value>/mr-history/done</value>

</property>

6.配置hadoop/etc/hadoop/hdfs-site.xml

<property>

<name>dfs.name.dir</name>

<value>file:/home/hadoop/hdfs/name</value>

<description> </description>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop1:9001</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>file:/home/hadoop/hdfs/data</value>

</property>

<property>

<name>dfs.http.address</name>

<value>hadoop1:9002</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

7.编辑hadoop/etc/hadoop/masters

haoop1

8.编辑hadoop/etc/hadoop/slaves

hadoop1

hadoop2

hadoop3

9.编辑hadoop/etc/hadoop/yarn-site.xml

<property>

<name>yarn.resourcemanager.address</name>

<value>hadoop1:8032</value>

</property>

<property>

<description>The address of the scheduler interface.</description>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hadoop1:8030</value>

</property>

<property>

<description>The address of the RM web application.</description>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop1:8088</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hadoop1:8031</value>

</property>

<property>

<description>The address of the RM admin interface.</description>

<name>yarn.resourcemanager.admin.address</name>

<value>hadoop1:8033</value>

</property>

<property>

<description>The hostname of the NM.</description>

<name>yarn.nodemanager.hostname</name>

<value>0.0.0.0</value>

</property>

<property>

<description>The address of the container manager in the NM.

</description>

<name>yarn.nodemanager.address</name>

<value>${yarn.nodemanager.hostname}:0</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<description>List of directories to store localized files in.

</description>

<name>yarn.nodemanager.local-dirs</name>

<value>/home/hadoop/hadoop-yarn/cache/${user.name}/nm-local-dir</value>

</property>

<property>

<description>Where to store container logs.</description>

<name>yarn.nodemanager.log-dirs</name>

<value>/home/hadoop/hadoop-yarn/containers</value>

</property>

<property>

<name>yarn.nodemanager.remote-app-log-dir</name>

<value>/hadoop/hadoop-yarn/apps</value>

</property>

<property>

<name>yarn.app.mapreduce.am.staging-dir</name>

<value>/hadoop/staging</value>

</property>

10.同步配置文件

sh hadoop/cp2slaves.sh

格式化namenode

hadoop/bin/hdfs namenode -format

启动

 
hadoop/sbin/start-all.sh

测试验证

 
http://hadoop1:8088
hadoop/bin/hadoop fs -df -h
hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0-cdh5.0.0-beta-1.jar pi 5 10

停止

 
hadoop/sbin/stop-all.sh
 

hadoop2.2.0部署的更多相关文章

  1. Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)

    目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二.flume的官方网站在哪里? 三.在哪里下载? 四.如何安 ...

  2. 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

    fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...

  3. Eclipse中部署hadoop2.3.0

    1 eclipse中hadoop环境部署概览 eclipse 中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署.一般hdfs环境部署比较简单,部署后就 可以在ecl ...

  4. 编写简单的Mapreduce程序并部署在Hadoop2.2.0上运行

    今天主要来说说怎么在Hadoop2.2.0分布式上面运行写好的 Mapreduce 程序. 可以在eclipse写好程序,export或用fatjar打包成jar文件. 先给出这个程序所依赖的Mave ...

  5. ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1伪分布式环境部署

    目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallel ...

  6. hadoop2.2.0集群搭建与部署

    原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3818908.html 一.安装环境 1.系统环境 CentOS  6.4 2.集群机器节点ip 节点一i ...

  7. hadoop2.6.0汇总：新增功能最新编译 32位、64位安装、源码包、API下载及部署文档

    相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclip ...

  8. Hadoop 学习笔记 （九） hadoop2.2.0 生产环境部署 HDFS HA部署方法

    step1:将安装包hadoop-2.2.0.tar.gz存放到某一个目录下,并解压 step2:修改解压后的目录中的文件夹/etc/hadoop下的xml配置文件(如果文件不存在,则自己创建) 包括 ...

  9. Hadoop2.2.0(yarn)编译部署手册

    Created on 2014-3-30URL : http://www.cnblogs.com/zhxfl/p/3633919.html @author: zhxfl   Hadoop-2.2编译 ...

随机推荐

  1. Linux文件与目录常用命令

    目录常用命令: cd:切换目录 pwd:显示当前目录 mkdir:新建一个目录 rmdir:删除一个空的目录 ## cd 命令几种常用方法: cd ~username 切换到用户username的主文 ...

  2. MyBatis多数据源配置(读写分离)

    原文:http://blog.csdn.net/isea533/article/details/46815385 MyBatis多数据源配置(读写分离) 首先说明,本文的配置使用的最直接的方式,实际用 ...

  3. hrb 2134 素数

    分拆素数和 Time Limit: 1000 MS Memory Limit: 32768 K Total Submit: 176(99 users) Total Accepted: 106(93 u ...

  4. Linux rsync 命令详解

    服务器之间常常要保持些文件或目录的一致,比如一些大的软件下载网站,它们通常使用多台服务器来提供下载服务.当一台服务器上的文件更新后,其它的服务器 也需要更新,而且 在更新的时候应该是只对新增或是修改过 ...

  5. HDOJ 2095

    find your present (2) Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/1024 K (Java/Oth ...

  6. MySQL目录

    MySQL的学习总结目录 Mysql5.7安装及配置 教你如何3分钟玩转MYSQL MySQL使用详解--根据个人学习总结 Mysql增删改 Mysql_以案例为基准之查询 MySQL之扩展(触发器, ...

  7. python 中接口的实现

    实际上,由于python是动态语言,支持多继承,因此接口在语言层面,是没有的东东. 然后,在架构设计上,我们又需要这么一个东西,来规范开发人员的行为. 因此就有了zope.interface的诞生. ...

  8. 推荐一个linux下的web压力测试工具神器webbench

    推荐一个linux下的web压力测试工具神器webbench2014-04-30 09:35:29   来源:   评论:0 点击:880 用多了apache的ab工具之后你就会发现ab存在很多问题, ...

  9. PYTHON实现HTTP摘要认证（DIGEST AUTHENTICATION）

    参考: http://blog.csdn.net/kiwi_coder/article/details/28677651 http://blog.csdn.net/gl1987807/article/ ...

  10. kettle job通过javascript进行循环控制

    任何一种编程语言都少不了循环,kettle中的job也一样.那么kettle中的job是怎么通过JavaScript来达到类似于编程语言中的for循环呢? var max = parent_job.g ...