Ubuntu 13.10下Hadoop 2.2 安装、配置、编译(伪分布式)
1、安装JDK。在此不做解说,上篇博文里已介绍过。http://www.cnblogs.com/lifeinsmile/p/3578677.html
2、配置ssh。
ssh服务,用于管理远程Hadoop守护进程。
2.1安装ssh server:$sudo apt-get install openssh-server
2.2免密码ssh的设置: $ssh-keygen –t rsa (输入命令后一路回车即可)。
2.3设置密钥授权:
$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2.4安装完成后,测试运行:$ ssh localhost (尝试用ssh连接本机,如果不需要输入密码则成功)
3、hadoop 2.2.0编译。
可参考:http://blog.csdn.net/cruise_h/article/details/18709969
需要注意的是,在进行编译时,一定要进入解压目录,确保当前目录下存在pom.xml,否则编译失败。
4、hadoop2.2配置。(编译好的文件夹hadoop-2.2.0放在目录/home/hadoop 下)
4.1修改全局环境变量。
$sudo gedit /etc/profile 在文中添加一行:export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
4.2修改配置文件。
待修改的配置文件存放于/home/haoop/hadoop-2.2.0/etc/hadoop,可将下列代码直接粘贴到相应文件内。
文件core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.2./hadoop_tmp</value>
</property> </configuration>
文件hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/namenode </value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/datanode</value>
</property>
</configuration>
文件mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、hadoop启动。
以下操作均在目录/home/hadoop/hadoop-2.2.0下进行。
5.1 格式化namenode: bin/hdfs namenode -format
5.2 启动manager管理并测试。
方式一:sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
方式二:进入目录sbin,分别执行./start-dfs.sh 与./start-yarn.sh,注意启动顺序
jps
若启动成功即可在主节点上看到resourceManager与nameNode,在从节点上看到dataNode进程。
配置hadoop2.2过程中参考其他博文有http://my.oschina.net/u/179537/blog/189239
6、查看各节点信息
主节点地址:8088 查看整个集群节点情况
详见http://blog.csdn.net/zzhongcy/article/details/19912577
Ubuntu 13.10下Hadoop 2.2 安装、配置、编译(伪分布式)的更多相关文章
- Qt Creator 调试器 在 Ubuntu 13.10下 局部变量和表达式(Locals) 无内容
此篇算是一个翻译,万一有国内同样的小白遇到同样问题,方便参考. 原文http://hostilefork.com/2013/10/20/qtcreator-debugger-no-locals-ubu ...
- Ubuntu 11.10下GRUB 2 1.99版编译安装笔记
Ubuntu 11.10下GRUB 2 1.99版编译安装笔记 以下的安装笔记,都是QLi自己学习grub2 时,所整理的,还是新手,有错误的话,请大家帮忙就别提出来了. 最新版grub V1.99官 ...
- ubuntu 13.10 mono asp.net服务 安装
ubuntu 13.10 从官方文档http://www.mono-project.com/Mod_mono 可看到 Mod_Mono is an Apache 2.0/2.2/2.4.3 modul ...
- Ubuntu 13.10下安装ns2 2.35遇到的小问题
前面下载安装的环节我就不多说了,网上已经有很多的例子,最全的是一个新浪网友写的博客:http://blog.sina.com.cn/s/blog_785a23ae0100xraq.html.他使用的是 ...
- Ubuntu 13.10 下安装node
1.首先更新Ubuntu在线包:sudo apt-get update && sudo apt-get dist-upgrade, 2.默认Ubuntu已经安装python的,具体版本 ...
- Ubuntu 14.10 下Hadoop FTP文件上传配置
最近老板提出一个需求,要用Hadoop机群管理生物数据,并且生物数据很多动辄几十G,几百G,所以需要将这些数据传到HDFS中,在此之前搭建了HUE用来图形化截面管理HDFS数据,但是有个问题,上面使用 ...
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- Ubuntu14.04下hadoop-2.6.0单机配置和伪分布式配置
需要重新编译的教程:http://blog.csdn.net/ggz631047367/article/details/42460589 在Ubuntu下创建hadoop用户组和用户 hadoop的管 ...
- Ubuntu 13.10 下安装 eclipse
Ubuntu软件社区用的3.8,个人想用最新版本,所有手动下载安装. 1.下载安装Jdk sudo apt-get install openjdk-7-jdk 2.查看系统JVM sudo updat ...
随机推荐
- HBase High Level Architecutre
- cordova 5.0 白名单
最新的cordova 5.0 更新了白名单机制,增强了安全性,但是也给我们在开发中带来了很多问题: 当你引入谷歌.百度地图时,会出现 Failed to load resource -- 解决办法: ...
- 解决:操作无法完成(错误0x00000709)。再次检查打印机名称,并确保打印机已连接到.
就是重启一下服务器端的Print Spooler服务就行了,这么简单! [控制面板 - 服务 - Print Spooler]
- 纯JS省市区三级联动
代码下载
- C++-什么时候需要在类的构造函数中使用初始化列表
1,如果基类没有default构造函数,则意味着其不能自己初始化.如果其被派生,派生类的构造函数要负责调用基类的构造函数,并传递给它需要的参数.下例中Base 2,如果类成员没有默认构造函数.下例中E ...
- 有关嵌入式linux的注意点总结
知识收集和个人学习过程遇到的问题. 仅供参考. 1.sudo apt-get update 一直无法更新 一,查看网络是否连接上 有几种网络连接方式.常用的两种有网桥网络(Bridged)和网络地址翻 ...
- Centos使用key登录验证
1. 新建用户lsyw 设置密码 #useradd lsyw #passwd lsyw 2. 测试新建用户可以登录 3. 修改root登录密码为通用root密码,测试用新密码登录是否成功 0!B2pj ...
- CSS 3D旋转 hover 后设置transform 是相对于正常位置
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- c#图像处理入门(-bitmap类和图像像素值获取方法) 转
一.Bitmap类 Bitmap对象封装了GDI+中的一个位图,此位图由图形图像及其属性的像素数据组成.因此Bitmap是用于处理由像素数据定义的图像的对象.该类的主要方法和属性如下: 1. GetP ...
- MySQL数据类型(四)
一.数据类型 二.整型类型 tinyInt: 1个字节:-128-127(有符号) 是否有符号,可以定义时,使用unsign标识,表示无符号的,不写表示有符号的 Create table studen ...