Hadoop 在ubuntu系统上的搭建[图解]
前言
本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台。
配置
1. 操作系统: Ubuntu Kylin 14.04
2. 编程语言: JDK 1.8
3. 通信协议: SSH
2. 云计算项目版本: Hadoop 1.2.1
第一步:安装最新版本的JDK (若已经安装过请忽略这一步)
1. 去官网下载JDK1.8并解压 (当前安装包为:jdk-8u25-linux-x64.gz)
2. 将解压后的安装包复制到 /usr/lib/jvm 目录下 (jvm目录需要自行创建)
3. 以管理员方式打开 /etc/profile 文件并在文件底部添加以下代码:
#set Java Environment export JAVA_HOME=/usr/lib/jvm/jdk1..0_25 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME/bin:$PATH"
4. 执行以下命令使配置文件立即生效:
source /etc/profile
5. 执行以下命令验证JDK是否安装成功:
1 java -version
若显示以下信息表示安装完成:
第二步:配置SSH免密码登陆
1. 执行以下命令安装SSH:
1 sudo app-get install ssh
2. 检查用户目录下是不是有个名为.ssh的隐藏文件夹,没有的话就自己创建一个。
3. 执行以下命令配置SSH无密码登陆 (这几行代码的功能请参考SSH使用文档):
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4. 执行以下命令验证SSH是否安装配置成功:
ssh localhost
出现提示输入yes,若终端显示以下信息,表示SSH配置成功:
第三步:安装并运行Hadoop
说明:Hadoop有三种运行方式 - 单机模式,伪分布式和完全分布式。其中,前两者主要用于程序的测试和调试,这里要讲的是伪分布式的配置,配置完全分布式的方法将在以后讲解。
1. 下载并解压最新版本的Hadoop到当前目录下 (当前安装包为:hadoop-1.2.1.tar.gz)
2. 进入conf子目录中,修改如下配置文件:
a. hadoop-env.sh (设置JAVA路径)
在末尾添加:
export JAVA_HOME=/usr/lib/jvm/jdk1..0_25
b. core-site.xml (配置HDFS地址及端口号)
配置为:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
c. hdfs-site.xml (修改备份方式,单机版本需要将其改为1)
配置为:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value></value> </property> </configuration>
d. mapred-site.xml (设置JobTracker地址及端口)
配置为:
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:</value> </property> </configuration>
3. 进入Hadoop文件夹执行以下命令以格式化Hadoop文件系统HDFS:
bin/hadoop namenode -format
4. 执行以下命令以启动所有Hadoop进程:
bin/start-all.sh
5. 验证Hadoop是否安装成功
a. 打开浏览器,输入网址 http://localhost:50030 以查看MapReduce的Web页面:
b. 打开浏览器,输入网址 http://localhost:50070 以查看HDFS的Web页面:
如果显示正常,那么Hadoop环境便搭建好了。
小结
1. 伪分布式的架构,机制和真实分布式其实是一样的,不过伪分布式中,Master和Slave都是一台机器。
2. 关于真实分布式环境的搭建,将在以后介绍。到时会在虚拟机上组建一个虚拟网络,跑真·分布式程序。
Hadoop 在ubuntu系统上的搭建[图解]的更多相关文章
- [Hadoop] 在Ubuntu系统上一步步搭建Hadoop(单机模式)
1 Hadoop的三种创建模式 单机模式操作是Hadoop的默认操作模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,会保守地选择最小配置,即单机模式.该模式主要用于开发调试M ...
- 第二篇:Hadoop 在Ubuntu Kylin系统上的搭建[图解]
前言 本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台. 配置 1. 操作系统: Ubuntu Kylin 14.04 2. 编程语言: JDK 1.8 3. 通信协议: SSH ...
- 在Ubuntu系统上搭建Hadoop 2.x(2.6.2)
官方的中文版的Hadoop快速入门教程已经是很老的版本了,新版的Hadoop目录结构发生了变化,因此一些配置文件的位置也略微调整了,例如新版的hadoop中找不到快速入门中提到的conf目录,另外,网 ...
- 如何在一个ubuntu系统上搭建SVN版本控制工具
有话说,由于公司项目部署需要,将Windows工程迁移到Linux,通过调查确定使用Ubuntu的Linux操作系统.那么如何快速搭建和Windows一样快捷方便的开发环境就很重要了.本文讲述如何在一 ...
- 64位的Ubuntu系统上使用汇编nasm和C语言
64位的Ubuntu系统上使用汇编nasm和C语言 $ nasm -f elf foo.asm -o foo.o$ gcc -c bar.c -o bar.o$ ld -s foo.o bar.o ...
- 在64位Ubuntu系统上安装32位程序包
在64位Ubuntu系统上安装32位的程序包 $sudo apt-get install package_name:i386 例如: $sudo apt-get install openjdk-7-j ...
- 孤荷凌寒自学python第六十一天在Fedora28版的linux系统上找搭建本地Mongodb数据服务
孤荷凌寒自学python第六十一天在Fedora28版的linux系统上找搭建本地Mongodb数据服务 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第七天.成功在本地搭建 ...
- Nginx: ubuntu系统上查找nginx.conf配置文件的路径
问题描述:在ubuntu系统上,找到nginx.conf文件的位置. 解决方法:在终端窗口中,输入命令:nginx -t 回显中就可以看到nginx.conf文件的路径了. 参考:https://bl ...
- Nginx: ubuntu系统上如何判断是否安装了Nginx?
问题描述:ubuntu系统上,如何查看是否安装了Nginx? 解决方法:输入命令行:ps -ef | grep nginx master process后面就是Nginx的安装目录. 延伸:1. 如何 ...
随机推荐
- 一个漂亮灵活的PHP图片验证码
<?php class Imagecode{ private $width ; private $height; private $counts; private $distrubcode; p ...
- mysql 在insert 时防止出现主键冲突错误的方法
在mysql中插入数据的时候常常因为主键存在而冲突报错,下面有两个解决方法: 1.在insert 语句中添加ignore 关键字,如:insert ignore into table (id,name ...
- POJ 2240 && ZOJ 1082 Arbitrage 最短路,c++ stl pass g++ tle 难度:0
http://poj.org/problem?id=2240 用log化乘法为加法找正圈 c++ 110ms,g++tle #include <string> #include <m ...
- 长理ACM 14-星期几(谌海军)
题目描述:编一个程序,已知今天是星期几,计算出n天后是星期几.要求使用枚举变量. 输入描述:输入为两个正整数,第一个数n(n<=6)表示今天是星期几,第二个数m(m<=1000),表示求m ...
- KStar ----BPM应用框架,K2 的新星
“KStar”是基于K2 BPM搭建的应用框架产品,将K2最佳实践方案以产品的形式呈现给用户,该框架面向SOA服务,便于二次开发和扩展,流程设计.用户组织.业务表单.流程管理.系统集成等开发工作,都按 ...
- JavaScript中Date的一些细节
对于开发人员来说,Date有时候或许会很重要,我们可以通过new Date()来创建一个日期对象.例如: var start = new Date(), //获取当前时间 today = new Da ...
- iphone判断当前网络连接类型
eachability只能区分出无网络.wifi和wwan(2G&2.5G&3G)类型的网络连接类型,只需重构networkStatusForFlags方法,即可详细区分出2G与3G网 ...
- 立体透视 perspective transform-style 倾斜旋转
1.perspective 是设置镜头距离,距离越远视图越小,视图越近,视图越大.就像相机焦距一样.其只对子元素产生效果. 2.transform-style: preserve-3d 设置3d效果, ...
- php大力力 [001节]2015-08-21.php在百度文库的几个基础教程新手上路日记 大力力php 大力同学 2015-08-21 15:28
php大力力 [001节]2015-08-21.php在百度文库的几个基础教程新手上路日记 大力力php 大力同学 2015-08-21 15:28 话说,嗯嗯,就是我自己说,做事认真要用表格,学习技 ...
- Boostrap栅格系统
Boostrap排版.链接样式设置了基本的全局样式.分别是:为body元素设置 布局容器:Bootstrap需要为页面内容和栅格系统包裹一个:container容器.Bootstrap提供了两个作此用 ...