hadoop2.2.0伪分布模式64位安装
hadoop2.2.0伪分布模式64位安装
用到的软件:jdk-6u45-linux-x64.bin,hadoop-2.2.0.x86_64.tar.gz
修改主机名
vim /etc/sysconfig/network
HOSTNAME=h1
修改主机名和ip的映射关系
192.168.1.1 h1
关闭防火墙
chkconfig --list | grep iptables
service iptables stop
chkconfig iptables off
chkconfig --list | grep iptables
生成ssh免密码登录
[root@h1 ~]cd .ssh
ssh-keygen -t rsa
三次回车
cp id_rsa.pub authorized_keys
安装jdk-6u45-linux-x64.bin
解压jdk-6u45-linux-x64.bin到/mengyao/jdk1.6.0_45
./jdk-6u45-linux-x64.bin
mv jdk1.6.0_45 jdk
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export PATH=.:$JAVA_HOME:$PATH
source /etc/profile
java -version
安装hadoop-2.2.0.x86_64.tar.gz
解压hadoop-2.2.0.x86_64.tar.gz到/mengyao/hadoop-2.2.0
tar -zxvf hadoop-2.2.0.x86_64.tar.gz
重命名hadoop-2.2.0为hadoop
mv hadoop-2.2.0 hadoop
vi /etc/profile
export JAVA_HOME=/mengyao/jdk
export HADOOP_HOME=/mengyao/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME:$PATH
source /etc/profile
修改hadoop配置文件hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml五个配置文件
1、hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/mengyao/jdk
2、core-site.xml
vi core-site.xml
<configuration>
<!-- 指定hdfs的NameNode的路径 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://h1:9000</value>
</property>
<!-- 指定hadoop的数据存放路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/mengyao/hadoop/tmp</value>
</property>
<configuration>
3、hdfs-site.xml
vi hdfs-site.xml
<configuration>
<!-- 指定hdfs保存数据副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
vi mapred-site.xml
<configuration>
<!-- 告诉hadoop以后MapReduce运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、yarn-site.xml
vi yarn-site.xml
<configuration>
<!-- 指定nodemanager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定yarn的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>h1</value>
</property>
</configuration>
初始化HDFS(格式化文件系统)
cd /mengyao/hadoop/bin
hadoop namenode -format(hadoop1的,在hadoop2中已过时)
hdfs namenode -format
启动hadoop
start-all.sh(hadoop2提示不推荐使用,使用如下命令)
start-dfs.sh,start-yarn.sh
jps
36374 NodeManager
36269 ResourceManager
35980 DataNode
36133 SecondaryNameNode
35860 NameNode
36886 Jps
浏览器
hdfs h1:50070
yarn h1:8088
hadoop常用命令
上传文件到hdfs hadoop fs -put /源文件路径 /hdfs目录
从hdfs上下载文件到本地 hadoop fs -get /hdfs系统上的文件 /本地路径下的指定文件
从hdfs上删除文件 hadoop fs -rm -r /hdfs系统上的文件
查看hdfs上的文件 hadoop fs -cat /hdfs系统上的文件
递归查看从hdfs根目录开始 hadoop fs ls -R /
hadoop2.2.0伪分布模式64位安装的更多相关文章
- hadoop2.6.0汇总:新增功能最新编译 32位、64位安装、源码包、API下载及部署文档
相关内容: hadoop2.5.2汇总:新增功能最新编译 32位.64位安装.源码包.API.eclipse插件下载Hadoop2.5 Eclipse插件制作.连接集群视频.及hadoop-eclip ...
- hadoop2.5发布:最新编译 32位、64位安装、源码包、API以及新特性
hadoop2.5发布:最新编译 32位.64位安装.源码包.API以及新特性 http://www.aboutyun.com/thread-8751-1-1.html (出处: about云开发) ...
- CentOS6.0(64位)安装Apache+PHP+Mysql教程,安装Magento(解决DOM,Mcrypt,GD问题)完整教程
CentOS6.0(64位)安装Apache+PHP+Mysql教程,安装Magento(解决DOM,Mcrypt,GD问题)完整教程 0 Posted by :小黑 On : 2012 年 9 ...
- 琐碎-hadoop2.2.0伪分布式和完全分布式安装(centos6.4)
环境是centos6.4-32,hadoop2.2.0 伪分布式文档:http://pan.baidu.com/s/1kTrAcWB 完全分布式文档:http://pan.baidu.com/s/1s ...
- hadoop2.4.1伪分布模式部署
hadoop2.4.1伪分布模式部署 (承接上一篇hadoop2.4.1-src的编译安装继续配置:http://www.cnblogs.com/wrencai/p/3897438.html) 感谢: ...
- linux下hadoop2.6.1源码64位的编译
linux下hadoop2.6.1源码64位的编译 一. 前言 Apache官网上提供的hadoop本地库是32位的,如果我们的Linux服务器是64位的话,就会现问题.我们在64位服务器执行Hado ...
- Hadoop2.6.0伪分布环境搭建
用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面. (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...
- oracle 11g 64位安装sqldeveloper打开不了
oracle 11g 64位安装sqldeveloper打开不了解决方法: 1.到官网下载对应版本的sqldeveloper. 2.找对应安装路径下的F:\app\Administrator\prod ...
- Win7 64位安装MySQL
1.Win7 64位 安装MySQL5.5版本 安装文件的执行:会提示“已经停止工作”: 2.我下载了mysql-installer-community-5.7.11.0.msi,可以安装成功,中途需 ...
随机推荐
- 对不起,说句粗话——这个太屌了,windows1.0安装程序(附下载)
今天逛一个软件论坛发现的,仅仅有几百K.遥想当今我刚接触windows的版本号是3.1,当时记得非常清楚哦,进入windows要从dos命令行进入.如今一转眼,变成进入伪dos是执行栏里敲cmd了.唉 ...
- [转] postgresql常用命令
PS: 数据库安装后,里面的每个数据库有自己的用户密码,需要dump的时候,指定用户pg_dump -U xxx <数据库> > 某个地址 最近一直在学习Postgresql,下面 ...
- List 去处自定义重复对象方法
list泛型集合去除重复项,对于单一的某个字段非常简单,但是对于一些自定义要求的还需自定义规则.例子代码: /************绑定乘客信息********/ List<RT.Model. ...
- GraphViz web版
http://graphviz-dev.appspot.com/ 用来把dot语言的图画出来,很多地方用dot语言来画图,比如doxygen的类关系,gperftools的分析结果等.
- C#之Linq学习笔记【转】
写在前面 其实在09年就已经学习过Linq了,并被她那优美的语法所吸引,只是现在所在的公司还在使用VS2005在.Net2.0的框架下面的开发,所以Linq也很久没有用过了,最近看部门的同事对这个有些 ...
- GUID的广泛使用
GUID(Global unique identifier)全局唯一标识符,它是由网卡上的标识数字(每个网卡都有唯一的标识号)以及 CPU 时钟的唯一数字生成的的一个 16 字节的二进制值. GUID ...
- require(),include(),require_once()和include_once()之间的区别
引用文件的方法有两种:require 及 include. require 的使用方法如 require("file.php"); .这个函数通常放在 PHP 程序的最前面,PHP ...
- 大型系统开发sql优化总结(转)
Problem Description: 1.每个表的结构及主键索引情况 2.每个表的count(*)记录是多少 3.对于创建索引的列,索引的类型是什么?count(distinct indexcol ...
- 使用PHP CURL的POST数据
使用PHP CURL的POST数据 curl 是使用URL语法的传送文件工具,支持FTP.FTPS.HTTP HTPPS SCP SFTP TFTP TELNET DICT FILE和LDAP.cur ...
- SQL Server 2005、SQL Server 2008版本比较
SQL Server 2005的版本有SQL Server 2005企业版(Enterprise).SQL Server 2005标准版(Standard) 和SQL Server 2005工作组版( ...