安装hadoop 2.2.0
安装环境为 CentOS 64位系统,
大概分下面几个步奏,
0. 安装JDK
1. 配置SSH
2. 配置/etc/hosts
3. 拷贝hadoop包到没台机器上
4. 修改hadoop配置文件
5. 关闭每台机器的防火墙
6. 格式化namenode
7. 运行hadoop
详细说每个步奏,
0. 安装jdk
下载JDK到每台机器上,解压后在.bash_profile中设置JAVA_HOME环境变量为JDK目录
1. 配置SSH
hadoop是master/slaver 结构,配置SSH使得从master上登陆每台slave 无需输入密码
使用 ssh-keygen -t rsa 产生key
拷贝 pub key 到目标机器 ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@192.168.5.123
2. 配置/etc/hosts
修改每台机器上的/etc/hosts文件中的(ip,主机名)对,添加所有机器到hosts中,可以在master上修改完毕后scp到每台机器
如果是虚拟机主机,运行ifconfig命令会有类似下面这几行,
br0 Link encap:Ethernet HWaddr C8:1F:66:D0:9C:02
inet addr:192.168.5.149 Bcast:192.168.5.255 Mask:255.255.255.0
inet6 addr: fe80::ca1f:66ff:fed0:9c02/64 Scope:Link
这里面的地址也要写到hosts文件中。
3. 拷贝hadoop包到每台机器上
下载hadoop 2.2.0,拷贝到每台机器上,解压到相同的目录。目前官网上只有32位版本。我们自己编译的64位版本。
我们一般放在 ~/hadoop/ 目录下 比如: ~/hadoop/hadoop-2.2.0
修改每台机器的.bashrc_profile文件,加入HADOOP_HOME 环境变量为hadoop根目录
4. 修改hadoop配置文件
下面几个配置文件需要修改(相应的ip需要修改),hadoop2.2.0配置文件在etc/hadoop目录下,
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.5.121:9000</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.5.121:10020</value>
</property>
yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.5.121:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.5.121:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.5.121:8031</value>
</property>
5. 关闭每台机器的防火墙
sudo /etc/init.d/iptables stop
6. 格式化namenode
格式化之前添加所有子节点到主节点etc/hadoop/slaves 文件中,一行一个ip地址(这里不是很准确,并不一定是主节点那台机器)
cd $HADOOP_HOME
bin/hadoop namenode -format
7. 运行hadoop
启动hdfs:sbin/start-dfs.sh
启动yarn:sbin/start-yarn.sh
如果机器很多 可以参考 拷贝ssh公钥到多台服务器上 文中提到的 方法 使用 pssh 批量执行相关命令。
最后可以通过访问 主机地址:50070 查看 HDFS是否启动成功,主机地址:8088 查看yarn是否启动成功。
安装hadoop 2.2.0的更多相关文章
- CentOS7.0分布式安装HADOOP 2.6.0笔记-转载的
三台虚拟机,IP地址通过路由器静态DHCP分配 (这样就无需设置host了). 三台机器信息如下 - 1. hadoop-a: 192.168.0.20 #master 2. ha ...
- CentOS 6.5 伪分布式 安装 hadoop 2.6.0
安装 jdk -openjdk* 检查安装:java -version 创建Hadoop用户,设置Hadoop用户使之可以免密码ssh到localhost su - hadoop ssh-keygen ...
- Ubuntu 12.04.5 LTS 上安装hadoop 2.6.0后运行自带的例程wordcount
注:我所有的操作均通过Xshell 5远程连接Ubuntu进行实施 第一步:启动hadoop,利用jps查看hadoop是否已经启动,如果没有启动用start-dfs.sh脚本启动(hadoop2.X ...
- 在Ubuntu 13.10 中安装配置 Hadoop 2.2.0
预备条件: 1. 已安装JDK Add Hadoop Group and User $ sudo addgroup hadoop$ sudo adduser --ingroup hadoop hdus ...
- hadoop 2.6.0 分布式 + Spark 1.1.0 集群环境
配置jdk 执行 sudo apt-get install openjdk-7-jdk jdk被安装到了 /usr/lib/jvm/ 目录 配置hosts 使用 vim 打开 /etc/hosts, ...
- Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]
目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Ma ...
- Hadoop 2.2.0 4结点集群安装 非HA
总体介绍 虚拟机4台,分布在1个物理机上,配置基于hadoop的集群中包括4个节点: 1个 Master, 3个 Salve,i p分布为: 10.10.96.33 hadoop1 (Master) ...
- Hadoop 2.2.0部署安装(笔记,单机安装)
SSH无密安装与配置 具体配置步骤: ◎ 在root根目录下创建.ssh目录 (必须root用户登录) cd /root & mkdir .ssh chmod 700 .ssh & c ...
- hadoop 2.2.0集群安装
相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net ...
随机推荐
- maven(一)maven自带的插件
关于org.apache.maven.plugins 前言 maven提供了很多插件给我们使用,解释3个java环境常用的maven插件, maven-jar-plugin, maven-compli ...
- GEO--工具 ScanGEO
http://scangeo.dartmouth.edu/ScanGEO/ ScanGEO - parallel mining of high-throughput gene expression d ...
- Tomcat 的context.xml说明、Context标签讲解
Tomcat的context.xml说明.Context标签讲解 1. 在tomcat 5.5之前 --------------------------- Context体现在/conf/server ...
- PIL中文文档
(0)http://hereson.iteye.com/blog/2224334 (1)http://blog.csdn.net/yjwx0018/article/details/52852067 ( ...
- bzoj3673可持久化并查集
n个集合 m个操作操作:1 a b 合并a,b所在集合2 k 回到第k次操作之后的状态(查询算作操作)3 a b 询问a,b是否属于同一集合,是则输出1否则输出0 0<n,m<=2*10^ ...
- nyoj20——有向无环图深搜模板
吝啬的国度 时间限制:1000 ms | 内存限制:65535 KB 难度:3 描述 在一个吝啬的国度里有N个城市,这N个城市间只有N-1条路把这个N个城市连接起来.现在,Tom在第S号城市, ...
- IOS-Storyboard全解析-第二部分
[IOS] Storyboard全解析-第二部分 如果你想了解更多Storyboard的特性,那么你就来对了地方,下面我们就来接着上次的内容详细讲解Storyboard的使用方法. 在上一篇<S ...
- Python 序列化pickle/cPickle模块整理
Python序列化的概念很简单.内存里面有一个数据结构,你希望将它保存下来,重用,或者发送给其他人.你会怎么做?这取决于你想要怎么保存,怎么重用,发送给谁.很多游戏允许你在退出的时候保存进度,然后你再 ...
- MySQL索引优化详解
MySQL存储引擎简介 查看命令 a. 查看所使用的MySQL现在已提供什么存储引擎: mysql> show engines; b. 查看所使用的MySQL当前默认的存储引擎: mysql&g ...
- 更改gitlab默认端口
若linux服务器的80和8080端口都已经被使用,则需修改gitlab监听的端口 修改路径文件:vim /etc/gitlab/gitlab.rb 1.修改external_url 'http:// ...