本文转载自:https://blog.csdn.net/hanjin7278/article/details/53035739 一.简介 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析. 二.环境要求 1.JDK1.7+ 2.本次配…

Kafka集群环境配置 1 环境准备 1.1 集群规划 Node02 Node03 Node04 zk zk zk kafka kafka kafka 1.2 jar包下载 安装包:kafka_2.11-0.8.2.1.tgz 下载地址:http://kafka.apache.org/downloads.html 2 Kafka集群部署 1)解压安装包 $ tar -zxvf kafka_2.11-0.8.2.1.tgz -C /usr/local/bigdata 2) 进入到安装目录 $ cd…

EHCache分布式缓存集群环境配置 ehcache提供三种网络连接策略来实现集群,rmi,jgroup还有jms.同时ehcache可以可以实现多播的方式实现集群,也可以手动指定集群主机序列实现集群. Ehcache支持的分布式缓存支持有三种RMI,JGroups,JMS,这里介绍下MRI和JGrpups两种方式,Ehcache使用版本为1.5.0,关于ehcache的其他信息请参考http://ehcache.sourceforge.net/EhcacheUserGuide.html, 关于…

http://blog.csdn.net/whaoxysh/article/details/17755555 虚拟机安装 我安装的虚拟机版本是VMware Workstation 8.04,自己电脑上安装的有的话直接在虚拟机安装Linux操作系统,没有的话这里有我的一个百度云网盘虚拟机安装共享文件 http://pan.baidu.com/s/1c0Ie1cG 虚拟机的具体安装不再详细说明了. Linux操作系统安装调试 安装说明 本次采用的操作系统的Linux CentOS(Linux的一个版…

一.环境说明 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: Hostname IP User Password master 192.168.59.133 hadoop 123456 slave1 192.168.59.134 hadoop 123456 slave2 192.168.59.135 hadoop 123456 三个节点均使用CentOS 6.5系统,为了便于维护,集…

集群环境: 192.168.56.10 master 192.168.56.11 slave1 192.168.56.12 slave2 下载安装包/拷贝安装包 # 存放路径: cd /usr/local/src # 下载: > wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz # 解压: > tar zxvf hadoop-2.6.1 修改 hadoop 配置文件 #Mast…

一.集群规划 这里搭建一个3节点的HBase集群,其中三台主机上均为Regin Server.同时为了保证高可用,除了在hadoop001上部署主Master服务外,还在hadoop002上部署备用的Master服务.Master服务由Zookeeper集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master. 二.前置条件 HBase的运行需要依赖Hadoop和JDK(HBase 2.0+对应JDK 1.8+) .同时为了保证高可用,这里我们不采用HBase内置的…

一.集群规划 这里搭建一个 3 节点的 HBase 集群,其中三台主机上均为 Regin Server.同时为了保证高可用,除了在 hadoop001 上部署主 Master 服务外,还在 hadoop002 上部署备用的 Master 服务.Master 服务由 Zookeeper 集群进行协调管理,如果主 Master 不可用,则备用 Master 会成为新的主 Master. 二.前置条件 HBase 的运行需要依赖 Hadoop 和 JDK(HBase 2.0+ 对应 JDK 1.8+)…

目录 2.1 关闭防火墙 2.2 设置固定IP 2.3 修改主机名 2.4 添加用户 2.5 修改用户权限 2.6 新建目录 2.7 安装JDK 1.卸载系统自带的JDK 2.安装JDK 2.8 克隆虚拟机 2.9 配置主机IP映射 2.1 关闭防火墙 [操作目的] 集群一般都是内网搭建的,如果内网内开启防火墙,内网集群通讯会容易出现很多问题.因此需要关闭集群中每个节点的防火墙. [操作步骤] 执行以下命令进行关闭防火墙: systemctl stop firewalld.service 然后执…

1.下载解压安装文件 2.配置文件:conf/zoo.cfg tickTime=2000 dataDir=/usr/sunny/logs/zookeeper/data dataLogDir=/usr/sunny/logs/zookeeper/log clientPort=2181 initLimit=10 syncLimit=5 server.1=master1.cluster1:2888:3888 server.2=master2.cluster1:2888:3888 server.3=sla…