【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置
今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~
先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的。。eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。
今天来说说hadoop2.4的安装和配置吧~
1、环境的准备:
系统:CentOS
JDK版本号:jdk7
系统须要包括ssh服务的。
CentOS配置:/etc/profile 最后面加入例如以下:(此配置文件接的是上次编译hadoop2.4源代码的配置文件:http://blog.csdn.net/enson16855/article/details/35568049)
export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH="$JAVA_HOME/bin:$PATH" export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1
export PATH="$MAVEN_HOME/bin:$PATH" export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4
export PATH="$ANT_HOME/bin:$PATH" export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH
export LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/
注意:这边要求下载好hadoop-2.4.0,而且解压到指定的文件夹(本人的:/home/hadoop/soft/hadoop)~
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、配置hadoop
hadoop-env.sh:
export JAVA_HOME=/usr/java/jdk1.7.0_60
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
core-site.xml :
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.0.167:9000</value>
</property> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>
hdfs-site.xml :
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property> <property>
<name>dfs.permissions</name>
<value>false</value>
</property> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>
mapred-site.xml,这里2.4.0中没有这个文件,能够新建一个,或者直接改动mapred-site.xml.template
<configuration>
<property>
<name>mapreduce.jobtracker.address </name>
<value>192.168.0.167:9001</value>
</property>
</configuration>
yarn-site.xml:
<configuration> <!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
3,ssh免password登陆设置
命令:(此处要切换root用户,不要傻逼嘻嘻的一直使用个人用户)
ssh-keygen -t rsa -P ""
直接回车就可以
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
试一下ssh localhost要是能免password登陆显示系统信息,就应该是对的。(这里有个输入password环节,是系统的password)
4、格式化hdfs:
命令:
./bin/hadoop namenode -format
出现上面这个图片那样的 说明格式化成功。。。。
5、启动hadoop
命令:
./sbin/start-all.sh
新版本号的hadoop事实上不建议这么直接start-all,建议一步步来,须要start-dfs.sh等等一系列的操作,反正我们仅仅是做试验一样,我就没这么去讲究了。。
关闭的命令:
./sbin/stop-all.sh
启动成功例如以下:
基本启动的进程例如以下:
SecondaryNameNode
DataNode
NodeManager
Jps
ResourceManager
NameNode
浏览器訪问:http://localhost:50070
http://localhost:8088 hadoop进程管理页面
这样就算是总体成功了。。
【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置的更多相关文章
- CentOS下Hadoop-2.2.0集群安装配置
对于一个刚开始学习Spark的人来说,当然首先需要把环境搭建好,再跑几个例子,目前比较流行的部署是Spark On Yarn,作为新手,我觉得有必要走一遍Hadoop的集群安装配置,而不仅仅停留在本地 ...
- Hadoop-2.7.1伪分布--安装配置hbase 1.1.2
hbase-1.1.2下载地址:http://www.eu.apache.org/dist/hbase/stable/hbase-1.1.2-bin.tar.gz 下载之后解压至\usr\local目 ...
- Hadoop2.6.0伪分布环境搭建
用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面. (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...
- Hadoop系列(二)hadoop2.2.0伪分布式安装
一.环境配置 安装虚拟机vmware,并在该虚拟机机中安装CentOS 6.4: 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修 ...
- Hadoop新生报到(一) hadoop2.6.0伪分布式配置详解
首先先不看理论,搭建起环境之后再看: 搭建伪分布式是为了模拟环境,调试方便. 电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 , ...
- Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命 ...
- Ubuntu16.04 Hadoop2.6.0伪分布式安装与启动中遇到的问题
1.安装JDK1.8,下载安装包解压至 /usr/lib/jdk vim /etc/profile #配置路径 export JAVA_HOME= /usr/lib/jdk export JRE_HO ...
- hadoop-2.3.0-cdh5.1.0伪分布安装(基于centos)
一.环境 操作系统:CentOS 6.5 64位操作系统 注:Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉,重新安装 下载地址:http://www.oracle. ...
- hadoop2.5的伪分布式安装配置
一.windows环境下安装 根据博主写的一次性安装成功了: http://blog.csdn.net/antgan/article/details/52067441 二.linux环境下(cento ...
随机推荐
- 关于java中的事件类型
java中的Date是为了证明:天才的程序员也会犯错: java中的Calendar是为了证明:普通的程序员也会犯错. ———————————————————— stackoverflow上大部分都推 ...
- Extjs学习----------动态载入js文件(减轻浏览器的压力)
动态载入js文件能够减轻浏览器的压力,本例使用了Ext.window.Window组件,该组件的学习地址:http://blog.csdn.net/z1137730824/article/detail ...
- VCL改变主窗体的方法
使用如下语句即可Pointer((@Application.MainForm)^) := Form1; 仔细想想和Pointer((Application.MainForm)) := Form1;有什 ...
- 依赖注入(DI)有助于应用对象之间的解耦,而面向切面编程(AOP)有助于横切关注点与所影响的对象之间的解耦(转good)
依赖注入(DI)有助于应用对象之间的解耦,而面向切面编程(AOP)有助于横切关注点与所影响的对象之间的解耦.所谓横切关注点,即影响应用多处的功能,这些功能各个应用模块都需要,但又不是其主要关注点,常见 ...
- AFNetworking2.0后 进行Post请求
本文以新浪微博的Oauth认证为样例进行Post请求的演示 以下直接上代码: #import "ViewController.h" #import "AFNetworki ...
- Linux编程return与exit区别
Linux编程return与exit区别 exit 是用来结束一个程序的执行的,而return只是用来从一个函数中返回. return return 表示从被调函数返回到主调函数继续执行,返回时可附 ...
- sha256
SHA-512 (这些有时候也被称做 SHA-2). 简介 SHA 家族 SHA (Secure Hash Algorithm,译作安全散列算法) 是美国国家安全局 (NSA) 设计,美国国家标准与技 ...
- 端口映射工具 redir/socat/xinetd - 运维技术 - 开源中国社区
端口映射工具 redir/socat/xinetd - 运维技术 - 开源中国社区 端口映射工具 redir/socat/xinetd 10人收藏此文章, 我要收藏 发表于3天前(2013-08 ...
- poj 1220 NUMBER BASE CONVERSION(短除法进制转换)
题目连接:1220 NUMBER BASE CONVERSION 题目大意:给出两个进制oldBase 和newBase, 以及以oldBase进制存在的数.要求将这个oldBase进制的数转换成ne ...
- ExtJS学习-------Ext正确Dom操作:Ext.get Ext.fly Ext.getDom
详细实例: (1)创建JSP文件.引入CSS和js文件,加入三个Div <%@ page language="java" import="java.util.*&q ...