hadoop 1.2 集群搭建与环境配置
一、虚拟机环境
见我的另一篇博客http://www.cnblogs.com/xckk/p/6000881.html,
需要安装JDK环境,centos下安装JDK可参考:
http://www.centoscn.com/image-text/install/2014/0827/3585.html
注意三台机器均要配置,因为启动时,namenode会启动其它机器。
二、hadoop环境
hadoop1.2.1
idk7u79-linux-i586.tar.gz
三、开始搭完全分布式hadoop
三台机器,角色配置如下
hostname | 角色配置 |
centos1 | namenode |
centos2 | datanode, secondaryNameNode |
centos3 | datanode |
1、hadoop配置
分别在三台虚拟机内拷贝hadoop-1.2.1.tar.gz,并解压: tar -zxvf hadoop-1.2.1.tar.gz
conf目录文件配置
conf目录下文件 | 配置项 | 备注 |
core-site.xml |
<configuration> <property> <name>fs.default.name</name> <value>hdfs://centos:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop-tmp</value> </property> </configuration> |
1、fs.default.name:配置namenode站点地址。需要注意。9000端口是hdfs rpc协议端口,如果从浏览器访问,则是http协议,端口号是50070.例:http://cetnos:50070 |
hadoop-env.sh | export JAVA_HOME=/usr/local/java/jdk1.7.0_79 |
配置jdk时在系统配置了JAVA_HOME,但是hadoop不认,必须要在这里修改成你现在的路径。 |
hdfs-site.xml |
<configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> |
lock最大附本数,配置2台dataNode,此处填2. |
masters | centos1 | master文件用来配置secondaryNameNod, 注意是secondaryNameNode,不是nameNode |
slaves |
centos1 |
slaves用来配置dataNode |
2、格式化dfs
cd /home/hadoop-1.2/bin/
./hadoop namenode -format (格式化成功后会在/opt/hadoop-tmp/dfs/name/下生成格式化文件)
3、hadoop路径每台机器要保持一致
配置完成后,NameNode机器上输入命令,即可完成hadoopo的hdfs分布式服务的启动。
root@centos bin]# ./start-dfs.sh
4、启动后结果
在浏览器中输入http://{NameNode IP}:50070即可访问配置的hdfs环境
四、配置中常见问题
1、JAVA_HOME is not set.
错误日志:
root@centos bin]# ./start-dfs.sh
starting namenode, logging to /home/alvin/hadoop-1.2.1/libexec/../logs/hadoop-root-namenode-centos.out
centos1: bash: line 0: cd: /home/alvin/hadoop-1.2.1/libexec/..: No such file or directory
centos2: bash: line 0: cd: /home/alvin/hadoop-1.2.1/libexec/..: No such file or directory
centos2: starting datanode, logging to /opt/hadoop-1.2/libexec/../logs/hadoop-root-datanode-centos2.out
centos1: starting datanode, logging to /usr/hadoop-1.2.1/libexec/../logs/hadoop-root-datanode-centos1.out
centos2: Error: JAVA_HOME is not set.
centos1: Error: JAVA_HOME is not set.
centos1: bash: line 0: cd: /home/alvin/hadoop-1.2.1/libexec/..: No such file or directory
centos1: starting secondarynamenode, logging to /usr/hadoop-1.2.1/libexec/../logs/hadoop-root-secondarynamenode-centos1.out
centos1: Error: JAVA_HOME is not set.
产生原因三种:
(1)、JDK未配置
解决方法:配置JDK解决,可参考
http://www.centoscn.com/image-text/install/2014/0827/3585.html
(2)、hadoop在每台机器路径不一致,会报JAVA_HOME is not set.问题
该问题首先会想到centos1, centos2两台机器JDK环境是否有配置JAVA_HOME,但是查看均已配了JDK环境。
仔细阅读日志,发现问题是No such file or directory
centos1: bash: line 0: cd: /home/alvin/hadoop-1.2.1/libexec/..: No such file or directory
centos2: bash: line 0: cd: /home/alvin/hadoop-1.2.1/libexec/..: No such file or directory
解决方法:hadoop在每台机器配置路径要一致
(3)、hadoop-env.sh里面没有配置JAVA_HOME
解决方法:配置jdk时在系统配置了JAVA_HOME,但是hadoop不认,必须要在这里修改成你现在的路径。
分析原因:
由于centos1下hadoop路径在/home/alvin/hadoop-1.2.1/下,centos2与centos3路径在/opt/hadoop-1.2/下,
启动datanode或secondaryNameNode节点时,报No such file or directory.
可以看到centos2与centos3都是按照centos1机器的hadoop路径去读取文件的。因此报 No such file or directory
2、启动dfs服务时,jps命令查看,NameNode启动,DataNode和SecondaryNameNode未启动。
防火墙未关,输入命令service iptables stop关闭三台机器防火墙
3、org.apache.hadoop.security.AccessControlException
解决方法
在 hdfs-site.xml 添加参数:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
4、org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /opt/hadoop-tmp/dfs/data: namenode namespaceID = 1165565627; datanode namespaceID = 1468616188
解决方法:以name为准,将namenode节点上${hadoop-tmp}/hfs/data/current/VERSION文件的namespaceID改为${hadoop-tmp}/hfs/name/current/VERSION文件的namespaceID。同时将datanode节点上的${hadoop-tmp}/hfs/data/current/VERSION文件的namespaceID相应修改
5、org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid
发生错误的原因就是hdfs下的data文件夹权限设置错误,应为rwxr-xr-x,因此修改方式如下:
解决方法:chmod 755 /opt/hadoop-tmp/ –R
6、ERROR security.UserGroupInformation: PriviledgedActionException as:alvin cause:java.net.ConnectException: Call to 192.168.95.134/192.168.95.134:9091 failed on connection exception: java.net.ConnectException: Connection refused
java.net.ConnectException: Call to 192.168.95.134/192.168.95.134:9091 failed on connection exception: java.net.ConnectException: Connection refused
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1142)
解决方法:确认IP和端口号是否正确,mapreduce端口号是9001,这里是9091.所以报错
7、启动hadoop时,log中出现:java.io.IOException: NameNode is not formatted.
解决方法:初始化namenode
./hadoop namenode –format
秀才坤坤 出品
转载请注明源链接地址:http://www.cnblogs.com/xckk/p/6124553.html
hadoop 1.2 集群搭建与环境配置的更多相关文章
- Hadoop集群搭建-02安装配置Zookeeper
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- hadoop高可用集群搭建小结
hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmno ...
- Hadoop集群搭建-05安装配置YARN
Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚 ...
- Hadoop集群搭建-04安装配置HDFS
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- 从零自学Hadoop(06):集群搭建
阅读目录 序 集群搭建 监控 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 上一 ...
- hadoop伪分布式集群搭建与安装(ubuntu系统)
1:Vmware虚拟软件里面安装好Ubuntu操作系统之后使用ifconfig命令查看一下ip; 2:使用Xsheel软件远程链接自己的虚拟机,方便操作.输入自己ubuntu操作系统的账号密码之后就链 ...
- Hadoop介绍及集群搭建
简介 Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台.允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理.它的核 ...
- Hadoop完全分布式集群搭建
Hadoop的运行模式 Hadoop一般有三种运行模式,分别是: 单机模式(Standalone Mode),默认情况下,Hadoop即处于该模式,使用本地文件系统,而不是分布式文件系统.,用于开发和 ...
- 大数据之Hadoop完全分布式集群搭建
1.准备阶段 1.1.新建三台虚拟机 Hadoop完全分市式集群是典型的主从架构(master-slave),一般需要使用多台服务器来组建.我们准备3台服务器(关闭防火墙.静态IP.主机名称).如果没 ...
随机推荐
- xml格式化
Vim怎么格式化xml,完全不会,vim的缩进也搞不明白
- 使用xilinx的documentation navigator快速查找资料
2013-06-22 14:56:39 documentation navigator是xilinx的资料导航,是一个小插件,可以到xilinx的官网上下载,我的是Xilinx_DocNav_2013 ...
- 对于eclipse新建maven工程需要注意的地方。
新建项目的时候,如果想配置默认的maven的jre为1.6或者别的. http://hi.baidu.com/hi_hi/item/765ec8bbc49880d384dd79d1 1.cmd命令建立 ...
- CSS和JavaScript以及Ajax实现预加载图片的方法及优缺点分析
预加载图片是提高用户体验的一个很好方法.图片预先加载到浏览器中,访问者便可顺利地在你的网站上冲浪,并享受到极快的加载速度.这对图片画 廊及图片占据很大比例的网站来说十分有利,它保证了图片快速.无缝地发 ...
- J2EE中你必须了解的13种技术规范
1)JDBC(Java Database Connectivity): JDBC API为访问不同的数据库提供了一种统一的途径,象ODBC一样,JDBC对开发者屏蔽了一些细节问题,另外,JDCB对数据 ...
- Eclipse环境下JBoss调试,解决引用的工程不被部署的问题
其实算是一个很小的经验,在eclipse环境下进行jboss的部署,因为要定义某公共包的问题,将代码down下来做了个工程,部署时发现jboss提示:class not found! 从jboss部署 ...
- ASP.NET 中OAUTH 2.0 及OPENID CONNECT的介绍
了解以下内容对ASP.NET 5中的验证中间件应用有很大帮助! OAUTH2是目前很多大型网站都使用的对外提供开放资源接口的应用标准,比入taobao\alipay\腾讯\豆瓣等.它和目前的另 ...
- BZOJ_1027_[JSOI2007]_合金_(计算几何+Floyd求最小环)
描述 http://www.lydsy.com/JudgeOnline/problem.php?id=1027 共三种金属,\(m\)种材料,给出每种材料中三种金属的占比. 给出\(n\)种合金的三种 ...
- sun X509/X500Name异常(已解决)
appium环境搭建好后,再跑第一个脚本时遇到这个问题: Errors occurred during the build.Errors running builder 'Android Packag ...
- Appium自动化测试环境的搭建及脚本执行
之前搭建了robotium的环境,并使用了一下,因为需要兼顾到ios的测试,所以这次又搭建了appium的环境.关于Appium的介绍网上有很多了,也可以去它的官网学习,这里就不在赘述了. 具体搭建步 ...