最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)
说明:我这里安装的版本是hadoop2.7.3,hbase1.2.4,spark2.0.2,zookeeper3.4.9 (安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)
1.安装vmmare,创建3台虚拟机名字为hadoop1,hadoop2,hadoop3,都是centos6.5操作系统,网络选择桥接模式如图
2.创建完虚拟机后,启动虚拟机,然后运行ifconfig发现eth0网卡没有,这时不用急,去这个目录下找到ifcfg-eth0文件,然后修改ONBOOT=yes,如图
,然后重启服务service network restart,然后再运行ifconfig发现eth0有了ip地址也有了,好ok,这时候你就可以用主机连接虚拟机操作了(个人建议用xshell工具好用)
3.安装jdk,将jdk-8u11-linux-x64.tar上传到虚拟机/home/hf(个人用户的文件夹),然后解压,然后将文件copy到/usr/java目录下,如图,接着配置环境变量在/etc/profile文件中添加如下几行,如图,可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:这个,这个是后边hadoop相关的环境变量,这里还用不到,然后运行source /etc/profile使环境变量生效,运行java -version出现java版本等信息表明jdk已经安装好了
4.配置ssh免密码登录,首先修改/etc/hosts,修改为以下内容,注意ip要根据实际ip来
然后配置免密码先在hadoop1上执行
一.ssh-keygen -t rsa
二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3
其余两台机器类似
5.安装hadoop,解压hadoop安装包,放到/usr/hadoop目录下,如图,然后配置hadoop相关文件。
首先配置/usr/hadoop/etc/hadoop/core.site.xml
<property>
<name>fs.defaultFS</name>//namenode的地址
<value>hdfs://hadoop1:9000</value>
</property> <property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/tmp</value>
</property>
配置/usr/hadoop/etc/hadoop/hdfs.site.xml
<property>
<name>dfs.namenode.name.dir</name> //namenode数据存放地址
<value>file:/home/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> //datanode数据存放地址
<value>file:/home/hadoop/datanode</value>
</property>
<property>
<name>dfs.replication</name> //副本
<value>2</value>
</property>
配置/usr/hadoop/etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置/usr/hadoop/etc/hadoop/yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name> //yarn的界面
<value>hadoop1:8088</value>
</property>
配置/usr/hadoop/etc/hadoop/slaver,加入3台机器的hostname
hadoop2
hadoop3
hadoop1
配置/usr/hadoop/etc/hadoop/yarn-env.sh,找到相应行修改为JAVA=$JAVA_HOME/bin/java
然后/etc/profile修改一开始已经列出,这里就不列了,hadoop已经安装好了
先运行hadoop namenode -format 格式化,然后用start-all.sh来启动hadoop集群了,主节点有namenode,从节点有datanode表明正常
6.安装zookeeper和hbase
先安装zookeeper,先解压到/usr/zookeeper下,然后配置/usr/zookeeper/conf/zoo.cfg文件,配置如下
tickTime=2000
dataDir=/var/log/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888
在/var/log/zookeeper下创建myid文件写入1或2或3,hadoop1机器的话写1,hadoop2机器的话写2,hadoop3机器的话写3
分别启动zk,命令./usr/zookeeper/bin/zkServer start,看下是否正常
安装hbase,解压hbase到/usr/hbase
配置/usr/hbase/conf/hbase-site.xml
<name>hbase.rootdir</name>
<value>hdfs://hadoop1:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/var/log/zookeeper</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
配置/usr/hbase/conf/hbase-env.xml,修改
export JAVA_HOME=/usr/java/jdk1.8.0_11/
export HBASE_MANAGES_ZK=false
配置/usr/hbase/conf/regionservers添加
hadoop1
hadoop2
hadoop3
就可以启动hbase了,要先启动hadoop和zk才能启动hbase,命令start-hbase.sh,看各节点的进程,jps -l,主节点有hmaster,从节点有hregionserver,这样表示正常
7.spark安装
首新解压spark到/usr/saprk,然后修改/usr/spark/conf/spark-env.sh文件,添加或覆盖
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
配置slaves,添加
hadoop1
hadoop2
hadoop3
好了至此环境都搭建好了,首先起hadoop再zk再hbase。
(安装包:链接:http://pan.baidu.com/s/1c25hI4g 密码:hbr1)
最新hadoop+hbase+spark+zookeeper环境安装(vmmare下)的更多相关文章
- Hadoop+HBase+Spark+Hive环境搭建
杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟 ...
- [转]云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件
云计算之hadoop.hive.hue.oozie.sqoop.hbase.zookeeper环境搭建及配置文件已经托管到githubhttps://github.com/sxyx2008/clou ...
- 修改hadoop/hbase/spark的pid文件位置
1.说明 当不修改PID文件位置时,系统默认会把PID文件生成到/tmp目录下,但是/tmp目录在一段时间后会被删除,所以以后当我们停止HADOOP/HBASE/SPARK时,会发现无法停止相应的进程 ...
- Hadoop,HBase集群环境搭建的问题集锦(四)
21.Schema.xml和solrconfig.xml配置文件里參数说明: 參考资料:http://www.hipony.com/post-610.html 22.执行时报错: 23., /comm ...
- Spark——Standalone 环境安装及简单使用
Standalone 环境安装 将 spark-3.0.0-bin-hadoop3.2.tgz 文件解压缩在指定位置(/opt/module) tar -zxvf spark-3.0.0-bin-ha ...
- HBase、Hive、MapReduce、Hadoop、Spark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)
步骤一 若是,不会HBase开发环境搭建的博文们,见我下面的这篇博客. HBase 开发环境搭建(Eclipse\MyEclipse + Maven) 步骤一里的,需要补充的.如下: 在项目名,右键, ...
- hbase和zookeeper的安装和部署
1.概要 1.1HBase的使用场景 大数据量 (100s TB级数据) 且有快速随机访问的需求. 例如淘宝的交易历史记录.数据量巨大无容置疑,面向普通用户的请求必然要即时响应. 容量的优 ...
- Hadoop学习(5)-zookeeper的安装和命令行,java操作
zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下 ...
- spark的环境安装
1.安装sbt 正常安装流程. 在cmd里运行的时候,要提前设置代理(如果上网有代理),set JAVA_OPTS=-Dhttp.proxySet=true -Dhttp.proxyHost=172. ...
随机推荐
- 51单片机对无线模块nRF24L01简单的控制收发程序
它的一些物理特性如工作频段.供电电压.数据传输速率就不详细介绍了,直接上代码. 1.首先是发送端: // Define SPI pins #include <reg51.h> #defin ...
- Ajax&json
通过json-lib方式 复杂情况:
- oracle 抛出自定义错误(网上找的例子)
CREATE OR REPALCE TRIGGER minimun_age_checkBEFORE INSERT ON employeeFOR EACH ROWBEGIN IF ADD_MONTHS( ...
- 道路翻新 (Revamping Trails, USACO 2009 Feb)
题意:给定m<=50000的1-n有联通的图,求最多可以使K<=20条边变为0的情况下的最短路是多少.. 思路:简单的分层图最短路,对于每个点拆成K个点.. 然后求一边最短路.. code ...
- hdu 3951 - Coin Game(找规律)
这道题是有规律的博弈题目,,, 所以我们只需要找出规律来就ok了 牛人用sg函数暴力找规律,菜鸟手工模拟以求规律...[牢骚] if(m>=2) { if(n<=m) {first第一口就 ...
- nsq初探
一. 安装 参考:http://nsq.io/deployment/installing.htmlhttp://www.baiyuxiong.com/?p=873 (推荐.) 不推荐直接把官方的 ...
- Linux 网络编程(IO模型)
针对linux 操作系统的5类IO模型,阻塞式.非阻塞式.多路复用.信号驱动和异步IO进行整理,参考<linux网络编程>及相关网络资料. 阻塞模式 在socket编程(如下图)中调用如下 ...
- JavaScript使用DeviceOne开发实战(一) 配置和起步
2015 年 9 月 底,DeviceOne Release发布.至此,DeviceOne 基本完成了对多端的支持.基于 DeviceOne 可以: HTML5.Android.iOS.Windows ...
- 作业三:PSP耗时
请同学们参照教材<构建之法>2.3节表2-4 PSP2.1汇报自己在完成四则运算编程时候的时间分布,发布到博客上. 个人项目耗时情况分析 PSP Personal Software Pro ...
- Java提高篇(三一)-----Stack
在Java中Stack类表示后进先出(LIFO)的对象堆栈.栈是一种非常常见的数据结构,它采用典型的先进后出的操作方式完成的.每一个栈都包含一个栈顶,每次出栈是将栈顶的数据取出,如下: Stack通过 ...