说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)

1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图

2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后修改ONBOOT=yes,如图,然后重启服务service network restart,然后再运行ifconfig发现eth0有了ip地址也有了,好ok,这时候你就可以用主机连接虚拟机操作了(个人建议用xshell工具好用)

3.安装jdk,将jdk-8u11-linux-x64.tar上传到虚拟机/home/hf(个人用户的文件夹),然后解压,然后将文件copy到/usr/java目录下,如图,接着配置环境变量在/etc/profile文件中添加如下几行,如图,可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:这个,这个是后边hadoop相关的环境变量,这里还用不到,然后运行source /etc/profile使环境变量生效,运行java -version出现java版本等信息表明jdk已经安装好了

4.配置ssh免密码登录,首先修改/etc/hosts,修改为以下内容,注意ip要根据实际ip来

然后配置免密码先在hadoop1上执行

一.ssh-keygen -t rsa

二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3

其余两台机器类似

5.安装hadoop,解压hadoop安装包,放到/usr/hadoop目录下,如图,然后配置hadoop相关文件。

首先配置/usr/hadoop/etc/hadoop/core.site.xml

<property>
<name>fs.defaultFS</name>//namenode的地址
<value>hdfs://hadoop1:9000</value>
</property> <property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/tmp</value>
</property>

配置/usr/hadoop/etc/hadoop/hdfs.site.xml

<property>
<name>dfs.namenode.name.dir</name> //namenode数据存放地址
<value>file:/home/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> //datanode数据存放地址
<value>file:/home/hadoop/datanode</value>
</property>
<property>
<name>dfs.replication</name> //副本
<value>2</value>
</property>

配置/usr/hadoop/etc/hadoop/mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置/usr/hadoop/etc/hadoop/yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name> //yarn的界面
<value>hadoop1:8088</value>
</property>

配置/usr/hadoop/etc/hadoop/slaver,加入3台机器的hostname

hadoop2
hadoop3
hadoop1

配置/usr/hadoop/etc/hadoop/yarn-env.sh,找到相应行修改为JAVA=$JAVA_HOME/bin/java

然后/etc/profile修改一开始已经列出,这里就不列了,hadoop已经安装好了

先运行hadoop namenode -format 格式化,然后用start-all.sh来启动hadoop集群了,主节点有namenode,从节点有datanode表明正常

6.安装zookeeper和hbase

先安装zookeeper,先解压到/usr/zookeeper下,然后配置/usr/zookeeper/conf/zoo.cfg文件,配置如下

tickTime=2000
dataDir=/var/log/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

在/var/log/zookeeper下创建myid文件写入1或2或3,hadoop1机器的话写1,hadoop2机器的话写2,hadoop3机器的话写3

分别启动zk,命令./usr/zookeeper/bin/zkServer start,看下是否正常

安装hbase,解压hbase到/usr/hbase

配置/usr/hbase/conf/hbase-site.xml

<name>hbase.rootdir</name>
<value>hdfs://hadoop1:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/var/log/zookeeper</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>

配置/usr/hbase/conf/hbase-env.xml,修改

export JAVA_HOME=/usr/java/jdk1.8.0_11/

export HBASE_MANAGES_ZK=false

配置/usr/hbase/conf/regionservers添加

hadoop1

hadoop2

hadoop3

就可以启动hbase了,要先启动hadoop和zk才能启动hbase,命令start-hbase.sh,看各节点的进程,jps -l,主节点有hmaster,从节点有hregionserver,这样表示正常

7.spark安装

首新解压spark到/usr/saprk,然后修改/usr/spark/conf/spark-env.sh文件,添加或覆盖

export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop

配置slaves,添加

hadoop1

hadoop2

hadoop3

好了至此环境都搭建好了,首先起hadoop再zk再hbase。

(安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)

最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)的更多相关文章

  1. Hadoop+HBase+Spark+Hive环境搭建

    杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟 ...

  2. [转]云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件

     云计算之hadoop.hive.hue.oozie.sqoop.hbase.zookeeper环境搭建及配置文件已经托管到githubhttps://github.com/sxyx2008/clou ...

  3. 修改hadoop/hbase/spark的pid文件位置

    1.说明 当不修改PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时,会发现无法停止相应的进程 ...

  4. Hadoop,HBase集群环境搭建的问题集锦(四)

    21.Schema.xml和solrconfig.xml配置文件里參数说明: 參考资料:http://www.hipony.com/post-610.html 22.执行时报错: 23., /comm ...

  5. Spark——Standalone 环境安装及简单使用

    Standalone 环境安装 将 spark-3.0.0-bin-hadoop3.2.tgz 文件解压缩在指定位置(/opt/module) tar -zxvf spark-3.0.0-bin-ha ...

  6. HBase、Hive、MapReduce、Hadoop、Spark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)

    步骤一 若是,不会HBase开发环境搭建的博文们,见我下面的这篇博客. HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 步骤一里的,需要补充的.如下: 在项目名,右键, ...

  7. hbase和zookeeper的安装和部署

    1.概要 1.1HBase的使用场景  大数据量 (100s TB级数据) 且有快速随机访问的需求.  例如淘宝的交易历史记录.数据量巨大无容置疑,面向普通用户的请求必然要即时响应.  容量的优 ...

  8. Hadoop学习(5)-zookeeper的安装和命令行,java操作

    zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下 ...

  9. spark的环境安装

    1.安装sbt 正常安装流程. 在cmd里运行的时候,要提前设置代理(如果上网有代理),set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172. ...

随机推荐

  1. 51单片机对无线模块nRF24L01简单的控制收发程序

    它的一些物理特性如工作频段.供电电压.数据传输速率就不详细介绍了,直接上代码. 1.首先是发送端: // Define SPI pins #include <reg51.h> #defin ...

  2. Ajax&json

    通过json-lib方式 复杂情况:

  3. oracle 抛出自定义错误(网上找的例子)

    CREATE OR REPALCE TRIGGER minimun_age_checkBEFORE INSERT ON employeeFOR EACH ROWBEGIN IF ADD_MONTHS( ...

  4. 道路翻新 (Revamping Trails, USACO 2009 Feb)

    题意:给定m<=50000的1-n有联通的图,求最多可以使K<=20条边变为0的情况下的最短路是多少.. 思路:简单的分层图最短路,对于每个点拆成K个点.. 然后求一边最短路.. code ...

  5. hdu 3951 - Coin Game(找规律)

    这道题是有规律的博弈题目,,, 所以我们只需要找出规律来就ok了 牛人用sg函数暴力找规律,菜鸟手工模拟以求规律...[牢骚] if(m>=2) { if(n<=m) {first第一口就 ...

  6. nsq初探

    一. 安装 参考:http://nsq.io/deployment/installing.htmlhttp://www.baiyuxiong.com/?p=873    (推荐.) 不推荐直接把官方的 ...

  7. Linux 网络编程(IO模型)

    针对linux 操作系统的5类IO模型,阻塞式.非阻塞式.多路复用.信号驱动和异步IO进行整理,参考<linux网络编程>及相关网络资料. 阻塞模式 在socket编程(如下图)中调用如下 ...

  8. JavaScript使用DeviceOne开发实战(一) 配置和起步

    2015 年 9 月 底,DeviceOne Release发布.至此,DeviceOne 基本完成了对多端的支持.基于 DeviceOne 可以: HTML5.Android.iOS.Windows ...

  9. 作业三:PSP耗时

    请同学们参照教材<构建之法>2.3节表2-4 PSP2.1汇报自己在完成四则运算编程时候的时间分布,发布到博客上. 个人项目耗时情况分析 PSP Personal Software Pro ...

  10. Java提高篇(三一)-----Stack

    在Java中Stack类表示后进先出(LIFO)的对象堆栈.栈是一种非常常见的数据结构,它采用典型的先进后出的操作方式完成的.每一个栈都包含一个栈顶,每次出栈是将栈顶的数据取出,如下: Stack通过 ...