Hadoop安装过程
1、安装JDK
apt-get install openjdk-7-jdk
2、配置环境变量
vim /etc/profile
编辑:
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64(jdk安装位置)
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
让配置生效:
source /etc/profile
3、配置Hadoop
3.1 下载Hadoop:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
3.2 放到/opt/下
root@imooc:~# mv hadoop-1.2.1.tar.gz /opt/
3.3 解压:
root@imooc:/opt# tar -zxvf hadoop-1.2.1.tar.gz
3.4 配置文件:
root@imooc:/opt# cd hadoop-1.2.1/conf/
需要修改的有四个文件:mapred-site.xml core-site.xml hdfs-site.xml hadoop-env.sh
3.4.1 vim hadoop-env.sh
修改JAVA_HOME配置(可用echo $JAVA_HOME查看JAVA_HOME位置)
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
3.4.2 vim core-site.xml
<configuration>
<!-- hadoop工作目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property> <!-- namenode所有元数据目录 -->
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property> <!-- 文件系统namenode改如何访问,其中imooc为host的name -->
<property>
<name>fs.default.dir</name>
<value>hdfs://imooc:9000</value>
</property>
</configuration>
3.4.3 vim hdfs-site.xml
<configuration>
<!-- 文件系统数据存放目录 -->
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
3.4.4 vim mapred-site.xml
<configuration>
<property>
<!-- 配置任务调度器改如何访问,其中imooc为主机名 -->
<name>mapred.job.tracker</name>
<value>imooc:9001</value>
</property>
</configuration>
3.5 配置hadoop环境变量
vim /etc/profile
加上 export HADOOP_HOME=/opt/hadoop-1.2.1
PATH加上$HADOOP_HOME/bin
生效 source /etc/profile
执行hadoop命令,如果有改命令则配置成功,改命令在 /opt/hadoop-1.2.1/bin/ 下。
4、启动hadoop
启动之前先对namenode进行格式化:hadoop namenode -format
启动:start-all.sh(改命令在 /opt/hadoop-1.2.1/bin/ 下),期间需要输出几次密码
执行jps,如果看到JobTracker Jps DataNode TaskTracker NameNode SecondaryNameNode说明hadoop正常运行
Hadoop安装过程的更多相关文章
- hadoop安装过程中出现的错误
此次来记录一下我在安装Hadoop安装过程中出现的错误,安装过程参照慕课网林子雨教程进行安装,在尝试过程中出现的错误如下: 1.在安装Ubuntu时,新建虚拟电脑时,并没有在版本的输入框中有Ubunt ...
- hadoop 安装过程记录
1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了 ...
- Hadoop 安装过程中出现的问题
1.hadoop-daemon.sh start namenode 启动失败 查看hadoop/logs 下面的日志 出现 2017-04-11 15:35:13,860 WARN org.apach ...
- Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...
- Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...
- Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)
Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...
- Hadoop 在windows 上伪分布式的安装过程
第一部分:Hadoop 在windows 上伪分布式的安装过程 安装JDK 1.下载JDK http://www.oracle.com/technetwork/java/javaee/d ...
- Hadoop集群中pig工具的安装过程记录
在Hadoop环境中安装了pig工具,安装过程中碰到了一些问题,在此做一下记录: 主要安装流程参考:http://www.cnblogs.com/yanghuahui/p/3768270.html ...
- Hadoop之hive安装过程以及运行常见问题
Hive简介 1.数据仓库工具 2.支持一种与Sql类似的语言HiveQL 3.可以看成是从Sql到MapReduce的映射器 4.提供shall.Jdbc/odbc.Thrift.Web等接口 Hi ...
随机推荐
- 第十六篇 Python之迭代器与生成器
一.迭代器 一. 递归和迭代 生活实例说明什么是递归和迭代 A想去腾达大厦,问B怎么走路,B 说我不知道,我给你问问C,C也不知道,C又去问D,D知道,把路告诉了C,C又告诉B,B最后告诉A, 这就是 ...
- memcached简单介绍及在django中的使用
什么是memcached? Memcached是一个高性能的分布式的内存对象缓存系统,全世界有不少公司采用这个缓存项目来构建大负载的网站,来分担数据库的压力.Memcached是通过在内存里维护一个统 ...
- STL应用——UVA673(堆栈)
分析:栈的应用,遇到右括号便弹出栈顶元素,看是否与右括号相互匹配,其余情况压入栈. 注意:本题有坑,空串空串,为此我跪了数次 #include<iostream> #include< ...
- WebStorm强大的调试JavaScript功能(转载)
一.JavaScript的调试 目前火狐和Chrome都具备调试JavaScript的功能,而且还是相当的强大.如果纯粹是用浏览器来进行js调试的话,我比较喜欢用火狐.火狐可以安装各种插件,真的是非常 ...
- float与定位的区别
float和绝对定位的区别 CSS中脱离文档流,也就是将元素从普通的布局排版中拿走,其他盒子在定位的时候,会当做脱离文档流的元素不存在而进行定位.1 需要注意的是,使用float脱离文档流时,其他盒子 ...
- 【bzoj4548】小奇的糖果 STL-set+树状数组
题目描述 平面上有n个点,每个点有一种颜色.对于某一条线段,选择所有其上方或下方的点.求:在不包含所有颜色的点的前提下,选择的点数最多是多少.(本题中如果存在某颜色没有相应的点,那么选择任何线段都不算 ...
- CF763B Timofey and Rectangles
题目戳这里. 首先答案肯定是YES,因为一个平面图肯定可以被4种颜色染色,关键是怎么输出方案. 由于4是一个特殊的数字\(4 = 2^2\),而我们还有一个条件就是边长为奇数,而奇数是会改变二进制位的 ...
- 自己模拟实现一下Google的赛马Doodle
今天的Google Doodle是个动态的,是一个骑马的动态Doodle,是谷歌纪念英国实验摄影师埃德沃德·迈布里奇182周年诞辰,埃德沃德·迈布里奇是运动摄影的开创者,所以谷歌涂鸦以一个运动的摄影作 ...
- pmap用法小计
By francis_hao Aug 4,2017 pmap-报告进程的内存映射. 概要 pmap [options] pid [...] 描述 pmap命令用来报告一个或多个进程的 ...
- Ubuntu下安装LNMP之nginx的安装
Nginx 最初是作为一个 Web 服务器创建的,用于解决 C10k 的问题.作为一个 Web 服务器,它可以以惊人的速度为您的数据服务.但 Nginx 不仅仅是一个 Web 服务器,你还可以将其用作 ...