配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程. Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里hadoop.zookeeper.hbase.spark集群环境搭建,本文可以看做是这篇文章的补充.这里讲一下Hadoop配置安装. 配置Hadoop文件 需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下: core-site.xm

接上篇:Hadoop3集群搭建之——虚拟机安装 下篇:Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 上篇已经安装好了虚拟机了,现在开始配置环境,安装hadoop 注:hadoop集群最少需要三台机,因为hdfs副本数最少为3,单机不算 我搭了三台机 1.创建hadoop用户,hadoopgroup组 groupadd -g hadoopgroup # 创建用户组 useradd -d /opt/hado

折腾了这么久,hbase终于装好了 ------------------------- 上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 在安装之前,查了一下资料,关于hbase与hadoop兼容性的. 最开始看hadoop的时候,在好像慕课网上看的,hadoop全家桶之间的兼容性问题(以前被java web的各种jar包坑坏了的Java菜鸟,心理有点小阴影

Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hbase安装及简单操作 现在到hive了. hive安装比较简单. 下载个包,解压,配置hive-site.xml.hive-env.sh 就好了. 1.下载hive包 官网:http://mirror.bit.edu.cn/apache/hive/hive-2.3.3/ 2.解压到hadoop目录 -bin.tar.gz #解

现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多元化发展,要全面发展.就让大数据组的同事,给我们报表组的同事培训了下大数据方面的知识,主要是hive的.就这样就开启了新的篇章,虽然比较腹议,自此大数据离线数据计算的工作就交给我们报表组了,我们还是欣然的接受了,我自己还是相当想向大数据方面发展的. 自此,开启了大数据开发的篇章. -----------

一.实验说明 1.本实验将使用DNS而不是hosts文件解析主机名: 2.使用NFS共享密钥文件,而不是逐个手工拷贝添加密钥: 3.复制Hadoop时使用批量拷贝脚本而不是逐台复制. 测试环境: Hostname IP Hadoop版本 Hadoop 功能 系统             hadoop1 192.168.1.161 0.20.0 namenode nfs服务器端  rhel5.4x86 hadoop2 192.168.1.162 0.20.0 datanode dns+nfs客服端

一.Hadoop介绍 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上:而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序.Hadoop的框架最核心的设计就是:HDFS和MapReduce,HDFS为海量的数据提供了存储,MapReduce为海量的数据提供了计算. 二.安装Hadoop 环境:Docker(17.04.0-ce).镜像Ubuntu(16

前言 因近期要做 hadoop 有关的项目,需配置 hadoop 环境,简单起见就准备进行单机部署,方便开发调试.顺便记录下采坑步骤,方便碰到同样问题的朋友们. 安装步骤 一.下载 hadoop-XXX.tar.gz 下载地址:http://archive.apache.org/dist/hadoop/core/ 将文件解压至无空格目录下,好像时间有那么点点久..... 注:解压需管理员权限!!! 添加环境变量 添加HADOOP_HOME配置 在 path 中添加 bin 目录 C:\hadoo

1.      下载Hadoop 3.0 http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz 从零开始的 Win7 64Bit 编译Hadoop3 (此步无需执行,直接下载第二步的链接库) https://my.oschina.net/alexnine/blog/779794 2.      下载对应的链接库 https://github.com/steveloughr

https://blog.csdn.net/wsh596823919/article/details/80774805 hadoop3.1.0 window win7 基础环境搭建 前言:在windows上部署hadoop默认都是安装了java环境的哈. 1.下载hadoop3.1.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common 2.下载之后解压到某个目录 3.配置hadoop_home 新建HADOOP_HOME,指向ha

1.环境准备 系统版本:CentOS7.5 主机名:node01 hadoop3.1 的下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz  jdk8 rpm包下载地址:https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x6

http://mp.weixin.qq.com/s?__biz=MzI5MDYxNjIzOQ==&mid=2247483999&idx=1&sn=016e4c4d0ba7bd96e9f2d2d5f8cbe0de&chksm=ec1c649fdb6bed89e74984c28859557f577cdfedcdcee3f67ad50a5097daaff0e67718c50121&mpshare=1&scene=23&srcid=06136e9eXqqwI

1.环境说明 1.1.机器配置说明 本次集群环境为三台linux系统机器,具体信息如下: 主机名称 IP地址 操作系统 hadoop1 10.0.0.20 CentOS Linux release 7.2.1511 hadoop2 10.0.0.21 CentOS Linux release 7.2.1511 hadoop3 10.0.0.22 CentOS Linux release 7.2.1511 1.2.操作系统详情 本文档全程使用root用户进行操作: [root@hadoop1 ~]

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF Hadoop3集群搭建之——hive添加自定义函数UDTF 上篇中,udtf函数,只有为一行输入,一行输出.udtf是可以一行输入,多行输出的. 简述下需求: 输入开始时间,结束时间,返回每个小时的

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 Hadoop3集群搭建之——hive添加自定义函数UDF 其他配置请参照上篇:Hadoop3集群搭建之——hive添加自定义函数UDF 简述下需求: 系统userid格式如下: 前三位代表国家 接下来三位代表省 再接下来三位代表市 剩下的所以代表 商店 (

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 下篇: Hadoop3集群搭建之——hive添加自定义函数UDTF hive 提供的函数,总是不能很贴切的满足我们程序的需要,这时候就需要自定义hive的函数了 hive 函数,大概分为三种: udf : 一行输入,一行输出 udtf : 一行输入,多行输

上篇: Hadoop3集群搭建之——虚拟机安装 Hadoop3集群搭建之——安装hadoop,配置环境 下篇: Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 安装好的的虚拟机,发现时间不一致,相差还比较大,对于hadoop集群来说,是需要时间同步的. 这个时候,就需要一个ntp服务了. 1.在各个节点上安装ntp yum install ntp 2.在各个节点上设置时区为 亚洲上海 timedatectl set-timezone Asia/Sh

1.集群规划 1.1 规划说明 hadoop1 cluster1 nameNode hadoop2 cluster1 nameNodeStandby ZooKeeper ResourceManager  hadoop3 cluster2 nameNode ZooKeeper hadoop4 cluster2 nameNodeStandby ZooKeeper ResourceManagerStandBy hadoop5 DataNode hadoop6 DataNode hadoop7 Data

Redis https://redis.io/download yum install make gcc gcc-c++ openssl-devel zlib-devel -y; wget tar -xvfmake make install make test find /  | grep -v xl_ | grep redis [root@hadoop3 ~]# /usr/bin/redis-server  /etc/redis.conf [root@hadoop3 ~]# ps -aux |

Ganglia监控Hadoop集群的安装部署 详情请参见 http://boendev.iteye.com/blog/1750615 一. 安装环境 CentOS6.5x86_64 安装gmetad的机器:10.2.6.250 (服务端) 安装gmond的机器:10.2.6.250,10.2.6.246,10.2.6.248,10.2.6.249 浏览监控web页面的机器:10.2.6.250 Ganglia 监控套件包括三个主要部分 gmond ,gmetad,和网页接口,通常被称为gangl

hadoop3.2.0 完全分布式安装 hive-3.1.1 #解压缩tar -zxvf /usr/local/soft/apache-hive-3.1.1-bin.tar.gz -C /usr/local/#修改目录名称mv /usr/local/apache-hive-3.1.1-bin/ /usr/local/apache-hive-3.1.1vim /etc/profile #增加HIVE环境变量内容 export HIVE_HOME=/usr/local/apache-hive-3.1