hadoop-2.6.0为分布式安装
hadoop-2.6.0为分布式安装
伪分布模式集群规划(单节点)
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
- host - ip - soft - process -
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
- single32 - 192.168.1.30 - jdk-6u32-linux-i586,hadoop-2.6.0 - NameNode、SecondaryNameNode、DataNode、ResourceManager、NodeManager、JobHistoryServer -
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
一、修改主机名为single32
vi /etc/sysconfig/network
将HOSTNAME=localhost改为HOSTNAME=single32
shift+zz
二、修改主机名与IP映射文件
vi /etc/hosts
添加192.168.1.30 single32
shift+zz
三、关闭防火墙
service iptables stop
chkconfig iptables off
chkconfig --list | grep iptables
四、配置ssh免密码登陆
ssh-keygen -t rsa(三次回车)
ssh-copy-id -i single32
ssh single32
exit
五、安装jdk
cd /usr/local/
./jdk-6u32-linux-i586.bin
mv jdk1.6.32 jdk
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
shift+zz
六、安装hadoop-2.6.0
cd /usr/local/
tar -zxvf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 hadoop
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
shift+zz
七、修改hadoop/etc/hadoop下的配置文件(hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml)
hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://single32:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
八、格式化hdfs(只能格式化一次)
cd /usr/local/hadoop/bin
hdfs namenode -format
九、启动hadoop
cd /usr/local/hadoop/sbin
启动hdfs
start-dfs.sh
启动yarn
start-yarn.sh
启动historyserver
mr-jobhistory-daemon.sh start historyserver
十、验证启动状态
1、命令行验证:(如下进程表示启动成功)
[root@single32 sbin]# jps
3691 SecondaryNameNode
3991 NodeManager
3420 NameNode
4270 JobHistoryServer
3831 ResourceManager
3539 DataNode
4307 Jps
2、web验证:(打开表示启动成功)
验证hdfs启动状态:http://single32:50070/
验证yarn启动状态:http://single32:8088/
验证启动状态:http://single32:19888/
hadoop-2.6.0为分布式安装的更多相关文章
- Centos 6.5 hadoop 2.2.0 全分布式安装
hadoop 2.2.0 cluster setup 环境: 操作系统:Centos 6.5 jdk:jdk1.7.0_51 hadoop版本:2.2.0 hostname ip master ...
- hadoop2.2.0+hive-0.10.0完全分布式安装方法
hadoop+hive-0.10.0完全分布式安装方法 1.jdk版本:jdk-7u60-linux-x64.tar.gz http://www.oracle.com/technetwork/cn/j ...
- Hadoop生态圈-hbase介绍-伪分布式安装
Hadoop生态圈-hbase介绍-伪分布式安装 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HBase简介 HBase是一个分布式的,持久的,强一致性的存储系统,具有近似最 ...
- centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
- hadoop 2.2.0集群安装详细步骤(简单配置,无HA)
安装环境操作系统:CentOS 6.5 i586(32位)java环境:JDK 1.7.0.51hadoop版本:社区版本2.2.0,hadoop-2.2.0.tar.gz 安装准备设置集群的host ...
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
- Hadoop2.6.0完全分布式安装
本文地址:http://www.cnblogs.com/myresearch/p/hadoop-full-distributed-operation.html,转载请注明源地址. 我这边是使用了两台主 ...
- hadoop 2.2.0集群安装
相关阅读: hbase 0.98.1集群安装 本文将基于hadoop 2.2.0解说其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:http://blog.csdn.net ...
- airflow2.0.2分布式安装文档
需要安装的组件 组件 功能 Airflow Webserver 查询元数据以监控和执行DAGs的web界面. Airflow Scheduler 它检查元数据数据库中的DAG和任务的状态,在必要时创建 ...
随机推荐
- myqltransactionRollbackexception deadlock found when trying to get lock
linux 下远程连接mysq 命令: mysql -h "1.0.0.1" -u username -p 1 获 取锁等待情况 可以通过检查 table_locks_waited ...
- 线程在WPF中的使用
项目中可能会有这样的需求,一直获取新的某个数据信息,但仍不影响其他的操作功能,这时就用到了线程,获取新数据放到线程中操作,对其他操作不产生影响,下面就以随机获取数组中项为例解说WPF中使用线程这一实例 ...
- css08盒子模型
<!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8&quo ...
- spring01
spring的体系结构图 第一个spring入门例子 01.创建一 ...
- C#总结项目《影院售票系统》编写总结完结篇
回顾:昨天总结了影院售票系统核心部分-售票,整个项目也就完成了2/3了,需求中也要求了对销售信息的保存,今天就继续总结销售信息的保存以及加载销售信息. 分析:退出程序时将已售出票集合中的对象循环写入到 ...
- Remoting 的“传递的引用”理解
WCf是集大成者,具有其他微软的很多技术,其中分布式上很多借助于Remoting,所以研究一下Remoting有助于理解WCF 提到Remoting就不得不涉及到MarshalByRefObject这 ...
- ViewState探索
什么是 view state? View State是客户端状态管理重要机制之一.当页面PostBack(向服务器发送或获得数据)时,它能存储页面的值.ASP.NET把View State属性作为页面 ...
- Android Translate 动画跳跃和缓慢移动
1.动画跳跃:在动画结束的时候设置位置 Animation.AnimationListener listener = new Animation.AnimationListener() { @Over ...
- PL/SQL中的变量案例解析
1.标量: ag1: declare v_ename emp.ename%type;--自己称为单变量 begin select ename into v_ename from emp where e ...
- 微信公众平台开发(一) ——实现URL接入
一.填写服务器配置 登录微信公众平台,点击开发者中心,点击“修改配置”按钮,填写服务器地址(URL).Token和EncodingAESKey.URL是开发者用来接收微信消息和事件的接口URL.Tok ...