hadoop1.1.0的伪分布搭建步骤
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFuYnVyZW4wMQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">
watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvbWFuYnVyZW4wMQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">--------------------------------------------------
一、单节点的安装
1.伪分布式的安装
1.1 改动ip
(1)打开VMWare或者VirtualBox的虚拟网卡
(2)在VMWare或者VirtualBox设置网络连接方式为host-only
(3)在linux中,改动ip。有上角的图标,右键,选择Edit Connections....
****ip必须与windows下虚拟网卡的ip在同一个网段,网关必须是存在的。
(4)重新启动网卡。运行命令service network restart
****报错,如no suitable adapter错误。
(5)验证:运行命令ifconfig
1.2 关闭防火墙
(1)运行命令service iptables stop 关闭防火墙
(2)验证:运行命令service iptables status
1.3 关闭防火墙的自己主动开启
(1)运行命令chkconfig iptables off
(2)验证:运行命令chkconfig --list|grep iptables
1.4 改动hostname
(1)运行命令hostname cloud4 改动会话中的hostname
(2)验证:运行命令hostname
(3)运行命令vi /etc/sysconfig/network 改动文件里的hostname
(4)验证:运行命令reboot -h now 重新启动机器
1.5 设置ip与hostname绑定
(1)运行命令vi /etc/hosts
在文本最后添加一行192.168.80.100 cloud4
(2)验证:ping cloud4
1.6 ssh免password登陆
(1)运行命令ssh-keygen -t rsa 产生秘钥位于/root/.ssh/
(2)运行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys 产生授权文件
(3)验证:ssh localhost
1.7 安装jdk
(1)使用winscp把jdk、hadoop拷贝到linux的/root/Downloads
(2)cp /root/Downloads/* /usr/local
(3)cd /usr/local
赋予运行权限 chmod u+x jdk-6u24-linux-i586.bin
(4)./jdk-6u24-linux-i586.bin
(5)重命名 mv jdk1.6.0_24 jdk
(6)运行命令 vi /etc/profile 环境变量设置
添加两行 export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保存退出
运行命令 source /etc/profile
(7)验证:运行命令java -version
1.8 安装hadoop
(1)运行命令 tar -zxvf hadoop-1.1.2.tar.gz 解压缩
(2)运行命令 mv hadoop-1.1.2 hadoop
(3)运行命令 vi /etc/profile 环境变量设置
添加一行 export HADOOP_HOME=/usr/local/hadoop
改动一行 export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
保存退出
运行命令 source /etc/profile
(4)验证:运行命令 hadoop
(5)改动位于conf/的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
<1>文件hadoop-env.sh的第9行
export JAVA_HOME=/usr/local/jdk/
<2>文件core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cloud4:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
<3>文件hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
<4>文件mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cloud4:9001</value>
<description>change your own hostname</description>
</property>
</configuration>
(6)运行命令 hadoop namenode -format 进行格式化
(7)运行命令 start-all.sh 启动hadoop
(8)验证:
<1>运行命令jps 查看java进程,发现5个进程,各自是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
<2>通过浏览器查看http://master:50070 和 http://master:50030
*****改动windows的C:/Windows/system32/drivers/etc/文件夹下的hosts文件
二、多节点的搭建
1.hadoop集群搭建
1.1 hadoop集群式多台机器物理分布的,每一台物理机器都是承担不同的角色(NameNode\DataNode\SecondarynaemNode\JobTracker\TaskTracker)。
搭建三个节点的hadoop集群:hadoop0(NameNode、JobTracker、SecondarynaemNode),hadoop1和hadoop2(DataNode、TaskTracker)。
1.2 集群的各个节点通常都是物理机器。可是也能够包括虚拟机。
1.3 在VMWare中复制出两个节点。删除这两个节点中的.ssh配置信息和/usr/local/文件夹下的全部内容
1.4 设置这两个新节点的ip(各自是192.168.80.101和192.168.80.102)和hostname(hadoop1和hadoop2)。
1.5 把全部的ip和hostname的映射信息配置在每个节点的/etc/hosts中。
1.6 集群的各个节点之间SSH免password登陆
(1)在两个新节点中产生ssh秘钥文件
(2)ssh-copy-id -i hadoop0
1.7 把hadoop0上原来的/usr/local/hadoop/logs和/usr/local/hadoop/tmp文件夹删除
1.8 把hadoop0上的jdk文件夹和hadoop文件夹拷贝到其它节点
scp -r /usr/local/jdk hadoop1:/usr/local
scp -r /usr/local/hadoop hadoop1:/usr/local
1.9 在hadoop0节点上配置主从关系。改动$HADOOP_HOME/conf/slaves文件。删除原有内容,改动为hadoop1和hadoop2.
1.10 在hadoop0上格式化文件系统 hadoop namenode -format
1.11 在hadoop0上运行命令 start-all.sh
2.动态添加hadoop的从节点
2.1 如果hadoop0是将要被新增的从节点
2.2 改动主节点hadoop0的slaves文件。添加hadoop0
2.3 在从节点hadoop0上手工启动DataNode和TaskTracker进程
hadoop-daemon.sh start datanode|tasktracker
2.4 让主节点载入新的从节点信息
hadoop dfsadmin -refreshNodes
3.动态改动副本数
hadoop fs -setrep 2 /core-site.xml
hadoop1.1.0的伪分布搭建步骤的更多相关文章
- Hadoop伪分布式搭建步骤
说明: 搭建环境是VMware10下用的是Linux CENTOS 32位,Hadoop:hadoop-2.4.1 JAVA :jdk7 32位:本文是本人在网络上收集的HADOOP系列视频所附带的 ...
- hadoop学习;hadoop伪分布搭建
先前已经做了准备工作安装jdk什么的,以下開始ssh免password登陆.这里我们用的是PieTTY工具,当然你也能够直接在linux下直接操作 ssh(secure shell),运行命令 ssh ...
- [b0006] Spark 2.0.1 伪分布式搭建练手
环境: 已经安装好: hadoop 2.6.4 yarn 参考: [b0001] 伪分布式 hadoop 2.6.4 准备: spark-2.0.1-bin-hadoop2.6.tgz 下载地址: ...
- Hadoop-1.0.4伪分布安装与配置
1.采用伪分布模式安装 将hadoop-****.tar.gz复制到linux的/usr/local目录下. 2.解压,重命名 #tar -xzvf hadoop-1.0.4.ta ...
- Hadoop伪分布搭建
一.伪分布式的搭建 1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改 ...
- Hadoop2.0 HA集群搭建步骤
上一次搭建的Hadoop是一个伪分布式的,这次我们做一个用于个人的Hadoop集群(希望对大家搭建集群有所帮助): 集群节点分配: Park01 Zookeeper NameNode (active) ...
- 在centos7上进行hadoop-3.1.2的伪分布搭建
第一步:配置网络(静态IP) vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同) 1. 修改: 将该配置文件中的ONBOOT=no修改为ye ...
- 2015.07.12hadoop伪分布安装
hadoop伪分布安装 Hadoop2的伪分布安装步骤[使用root用户用户登陆]other进去超级用户拥有最高的权限 1.1(桥接模式)设置静态IP ,,修改配置文件,虚拟机IP192.168. ...
- Hadoop 安装(本地、伪分布、分布式模式)
本地模式 环境介绍 一共三台测试机 master 192.168.4.91 slave1 192.168.4.45 slave2 192.168.4.96 操作系统配置 1.Centos7 ...
随机推荐
- javaScript - 面向对象 - ES5 和 ES6
javaScript - 面向对象 - ES5 和 ES6 ES5之前用 构造函数 构造函数的特点 就是一个普通函数, 他的函数名要大写.: 带方法的写法: 原型的方式: prototype 为内置的 ...
- StringUtils 的填充方法
注意:两个参数的用空格填充,三个参数的用后面的参数填充 第一个参数要填充的字符串,第二个是需要的长度,第三个是以什么填充. 左侧填充: leftPad(): StringUtils.leftPad(S ...
- VUE:计算属性和监视
<!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title> ...
- AsyncTask 简要介绍
当Android的UI线程超过5s未响应时,系统会引发ANR(Application Not Responding)异常,所以一般不在UI线程中执行耗时任务.一般是在其他线程中处理耗时任务,然后及时更 ...
- 在Action中获取servlet API
Struts2的Action组件是不依赖servlet API 的.那么当你在action中的业务需要处理HttpServletRequest和HttpServletResponse的时候(比如要对响 ...
- ssm框架下上传图片及其他信息
先引入这两个包: <dependency> <groupId>commons-fileupload</groupId> <artifactId>comm ...
- HDU Train Problem I (STL_栈)
Problem Description As the new term comes, the Ignatius Train Station is very busy nowadays. A lot o ...
- Double 与 Float 的值的比較结果
首先看geeksforgeeks上的两个程序: 程序1: #include<stdio.h> int main() { float x = 0.1; if (x == 0.1) print ...
- ThinkPHP5.0最最最最最简单实例
ThinkPHP5.0最最最最最简单实例 一.效果图 二.操作步骤 1.用mysql数据库建立数据库 2.按照ThinkPHP官网的指示装好ThinkPHP5.0 tp5里面的目录结构如下: 3.配置 ...
- (五)api网关服务 zuul-路由
路由是微服务架构中必须的一部分,比如,“/” 可能映射到你的WEB程序上,”/api/users “可能映射到你的用户服务上,“/api/shop”可能映射到你的商品服务商.(注解:我理解这里的这几个 ...