hadoop2.2.0部署
下载安装包 |
hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz |
解压 |
tar zxvf hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz ln -s /opt/hadoop-2.2.0-cdh5.0.0-beta-1 ~/hadoop 所有节点都解压 |
ssh双向认证 |
配置所有机器hosts vi /etc/hosts 10.10.1.1 hadoop1 10.10.1.2 hadoop2 10.10.1.3 hadoop3 使用hostname 设置主机名 修改/etc/sysconfig/network 中的内容改为相应的主机名 在.ssh目录生成id_rsa.pub ,添加到本机~/.ssh/authorized_keys文件里面 ssh-keygen -q -t rsa cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 本机登入验证:ssh localhost 复制authorized_keys到其他机器上 scp ~/.ssh/id_rsa.pub hadoop3:~/ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys chmod 700 ~/.ssh 其他机器重复以上步骤 |
修改环境参数 |
vi /etc/profile 增加以下内容: export JAVA_HOME=/opt/jdk1.7.0_51 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar export PATH=$PATH:$JAVA_HOME/bin export HADOOP_DEV_HOME=/home/hadoop/hadoop export PATH=$PATH:$HADOOP_DEV_HOME/bin 修改ulimit vi /etc/security/limits.d/90-nproc.conf * soft nproc 502400 执行环境参数 source /etc/profile |
修改hadoop配置 |
1.编辑同步脚本:vi hadoop/cp2slaves.sh BASE_PATH=`dirname $0` cd $BASE_PATH echo `/bin/pwd` scp etc/hadoop/* hadoop2:~/hadoop/etc/hadoop/ scp etc/hadoop/* hadoop3:~/hadoop/etc/hadoop/ 2.配置hadoop/etc/hadoop/hadoop-env.sh JAVA_HOME修改为: export JAVA_HOME=/opt/jdk HADOOP_PID_DIR修改为: export HADOOP_PID_DIR=${HADOOP_LOG_DIR} 3.创建hadoop工作目录 mkdir -p /home/hadoop/tmp mkdir -p /home/hadoop/hdfs/name mkdir -p /home/hadoop/hdfs/data mkdir -p /home/hadoop/hadoop-yarn 4.配置hadoop/etc/hadoop/core-site.xml <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://hadoop1:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>hadoop1</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> 5.配置hadoop/etc/hadoop/mapred-site.xml mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop1:19888</value> </property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/mr-history/tmp</value> </property> <property> <name>mapreduce.jobhistory.done-dir</name> <value>/mr-history/done</value> </property> 6.配置hadoop/etc/hadoop/hdfs-site.xml <property> <name>dfs.name.dir</name> <value>file:/home/hadoop/hdfs/name</value> <description> </description> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop1:9001</value> </property> <property> <name>dfs.data.dir</name> <value>file:/home/hadoop/hdfs/data</value> </property> <property> <name>dfs.http.address</name> <value>hadoop1:9002</value> </property> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> 7.编辑hadoop/etc/hadoop/masters haoop1 8.编辑hadoop/etc/hadoop/slaves hadoop1 hadoop2 hadoop3 9.编辑hadoop/etc/hadoop/yarn-site.xml <property> <name>yarn.resourcemanager.address</name> <value>hadoop1:8032</value> </property> <property> <description>The address of the scheduler interface.</description> <name>yarn.resourcemanager.scheduler.address</name> <value>hadoop1:8030</value> </property> <property> <description>The address of the RM web application.</description> <name>yarn.resourcemanager.webapp.address</name> <value>hadoop1:8088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>hadoop1:8031</value> </property> <property> <description>The address of the RM admin interface.</description> <name>yarn.resourcemanager.admin.address</name> <value>hadoop1:8033</value> </property> <property> <description>The hostname of the NM.</description> <name>yarn.nodemanager.hostname</name> <value>0.0.0.0</value> </property> <property> <description>The address of the container manager in the NM. </description> <name>yarn.nodemanager.address</name> <value>${yarn.nodemanager.hostname}:0</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <description>List of directories to store localized files in. </description> <name>yarn.nodemanager.local-dirs</name> <value>/home/hadoop/hadoop-yarn/cache/${user.name}/nm-local-dir</value> </property> <property> <description>Where to store container logs.</description> <name>yarn.nodemanager.log-dirs</name> <value>/home/hadoop/hadoop-yarn/containers</value> </property> <property> <name>yarn.nodemanager.remote-app-log-dir</name> <value>/hadoop/hadoop-yarn/apps</value> </property> <property> <name>yarn.app.mapreduce.am.staging-dir</name> <value>/hadoop/staging</value> </property> 10.同步配置文件 sh hadoop/cp2slaves.sh |
格式化namenode |
hadoop/bin/hdfs namenode -format |
启动 |
hadoop/sbin/start-all.sh |
测试验证 |
http://hadoop1:8088 hadoop/bin/hadoop fs -df -h hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0-cdh5.0.0-beta-1.jar pi 5 10 |
停止 |
hadoop/sbin/stop-all.sh |
hadoop2.2.0部署的更多相关文章
- Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)
目录: 一.什么是Flume? 1)flume的特点 2)flume的可靠性 3)flume的可恢复性 4)flume 的 一些核心概念 二.flume的官方网站在哪里? 三.在哪里下载? 四.如何安 ...
- 分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署
fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3898991.html Hbase 是Apache Hadoop的数据库,能够对大数据提 ...
- Eclipse中部署hadoop2.3.0
1 eclipse中hadoop环境部署概览 eclipse 中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署.一般hdfs环境部署比较简单,部署后就 可以在ecl ...
- 编写简单的Mapreduce程序并部署在Hadoop2.2.0上运行
今天主要来说说怎么在Hadoop2.2.0分布式上面运行写好的 Mapreduce 程序. 可以在eclipse写好程序,export或用fatjar打包成jar文件. 先给出这个程序所依赖的Mave ...
- ubuntu12.04+hadoop2.2.0+zookeeper3.4.5+hbase0.96.2+hive0.13.1伪分布式环境部署
目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallel ...
- hadoop2.2.0集群搭建与部署
原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3818908.html 一.安装环境 1.系统环境 CentOS 6.4 2.集群机器节点ip 节点一i ...
- hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档
相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclip ...
- Hadoop 学习笔记 (九) hadoop2.2.0 生产环境部署 HDFS HA部署方法
step1:将安装包hadoop-2.2.0.tar.gz存放到某一个目录下,并解压 step2:修改解压后的目录中的文件夹/etc/hadoop下的xml配置文件(如果文件不存在,则自己创建) 包括 ...
- Hadoop2.2.0(yarn)编译部署手册
Created on 2014-3-30URL : http://www.cnblogs.com/zhxfl/p/3633919.html @author: zhxfl Hadoop-2.2编译 ...
随机推荐
- SGU 180 Inversions(离散化 + 线段树求逆序对)
题目链接:http://acm.sgu.ru/problem.php?contest=0&problem=180 解题报告:一个裸的求逆序对的题,离散化+线段树,也可以用离散化+树状数组.因为 ...
- Linux 常用软件和服务的配置网站
http://www.linuxidc.com/Linux/2012-11/73862.htm Linux zabbix的安装和配置
- 响应式Web设计(Responsive Web design)
中文名 响应式Web设计 提出时间 2010年5月 英 文 Responsive Web design 解 释 一个网站能够兼容多个终端 目 的 解决移动互联网的浏览 优 点 ...
- Android Studio项目整合PullToRefresh的问题记录
PullToRefresh下拉刷新在App中应用非常频繁,然而PullToRefresh是在ADT下开发完成的.如果要将其整合到Android Studio目录下的话颇费周折.前面的文章“Androi ...
- 转MYSQL学习(四) 查询
MySQL中select的基本语法形式: select 属性列表 from 表名和视图列表 [where 条件表达式] [group by 属性名[having 条件表达式]] [order by 属 ...
- 浅谈c标签
今天用c便签,没有写好,以为jsp不兼容c标签,最后发现,原来是c标签写错了,好吧,简单写两句. jsp要用c标签,首先要导入c标签库,导入jstl.jar与standard.jar两个jar包,一般 ...
- 【python】捕获所有异常
如下所示,在不知道异常名的情况下可以捕获所有异常 try: a=b b=c except Exception,ex: print Exception,":",ex
- Unix系统编程_cha11.6_线程同步
#include <stdio.h>#include <pthread.h>#include <stdlib.h> #define NHASH 29#define ...
- sdut 2162:The Android University ACM Team Selection Contest(第二届山东省省赛原题,模拟题)
The Android University ACM Team Selection Contest Time Limit: 1000ms Memory limit: 65536K 有疑问?点这里 ...
- [译] Web API 之 简介
事实上,MVC 框架本身已经提供了构建REST风格服务的基础,而Web API 只是让你可以更加容易和快捷的构建REST服务. 特性 基于约定的 CRUD Actions: 自动按照HTTP的acto ...