下载hive(http://mirrors.cnnic.cn/apache/hive/) 或者 http://archive.apache.org/dist/hive/(hive历史版本) 在本地进行解压   下载mysql的jdbc,将下载后的jdbc放到hive安装包的lib目录下 http://dev.mysql.com/downloads/connector/j/   配置环境变量 #########hive#################### export HIVE_HOME=/u…

环境: CentOS7 Hadoop-2.6.4,配置两个节点:master.slave1 mysql-server 过程: 下载.解压hive-2.1.0到/usr/hadoop-2.6.4/thirdparty $ tar zxvf apache-hive-2.1.0-bin.tar.gz 设置 Hive环境变量 编辑 /etc/profile文件, 在其中添加以下内容: # Hive Env export HIVE_HOME=/usr/hadoop-2.6.4/thirdparty/apa…

package andes; import java.io.BufferedWriter; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStreamWriter; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Result…

1.Hive2 beeline  Beeline 要与HiveServer2配合使用,支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口,一个启动Hive2 一个beeline连接hive2 #启动HiverServer2 , ./bin/hiveserver2  [root@node5 ~]# hiveserver2 16/02/23 22:55:25 WARN conf.HiveConf: HiveConf of name hive.metastore.local does…

目录 目录 1.什么是 Sqoop? 2.下载应用程序及配置环境变量 2.1.下载 Sqoop 1.4.7 2.2.设置环境变量 2.3.设置安装所需环境 3.安装 Sqoop 1.4.7 3.1.修改 Sqoop 配置文件 3.1.1.修改配置文件 sqoop-env.sh 3.1.2.修改配置文件 configure-sqoop 3.2.查看 Sqoop 版本 4.启动和测试 Sqoop 的数据导入.导出 4.1.Sqoop 通过 Hive 导入数据到 Sqoop 4.2.Sqoop 通过…

目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Spark? 2.环境准备 2.1.网络配置 2.2.更改 HOSTNAME 2.3.配置 SSH 免密码登录登录 2.4.关闭防火墙 2.7.安装 NTP 3. 下载应用程序及配置环境变量 3.1.创建安装目录 3.2.下载本文中用到的程序 3.3.设置环境变量 4. 安装 Oracle JDK 1.…

问题 Drill最新版本是1.14,从1.13开始Drill支持hive的版本升级到2.3.2,详见1.13的release notes The Hive client for Drill is updated to version 2.3.2. With the update, Drill supports queries on transactional (ACID) and non-transactional Hive bucketed ORC tables. The updated li…

一 问题 在hive1.2中使用hive或者beeline执行sql都有进度信息,但是升级到hive2.0以后,只有hive执行sql还有进度信息,beeline执行sql完全silence,在等待结果的过程中完全不知道执行到哪了 1 hive执行sql过程(有进度信息) hive> select count(1) from test_table;WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the…

hive的安装简单一些,使用也比较简单,基础hadoop搭建好之后,只要初始化一些目录和数据库就好了 安装需要做几件事: 1.设立一个数据源作为元数据存储的地方,默认是derby内嵌数据库,不过不允许远程连接,所以换成mysql 2.配置java路径和classpath路径 下载地址: http://mirrors.shuosc.org/apache/hive/hive-2.3.2/ 发现一个问题:该地址会变化,所以不一定有效,可以到官网选择: http://www.apache.org/dyn…

首次安装hive-2.1.0,通过bin/hive登录hive shell命令行,报错如下: [hadoop@db03 hive-2.1.0]$ bin/hive which: no hbase in (/opt/service/jdk1.7.0_67/bin:/opt/service/jdk1.7.0_67/jre/bin:/opt/mysql-5.6.24/bin:/opt/service/jdk1.7.0_67/bin:/opt/service/jdk1.7.0_67/jre/bin:/u…

参考文献: http://blog.csdn.NET/reesun/article/details/8556078 http://blog.csdn.Net/zhongguozhichuang/article/details/52702476 http://blog.csdn.net/huoyuyan/article/details/50769104 http://blog.csdn.net/u014695188/article/details/54646575 一.Hive 运行模式 与 Ha…

[root@node1 ~]# hive which: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/app/jdk1.7.0_79/bin:/opt/app/zookeeper-3.4.9/bin:/opt/app/hadoop-2.7.3/bin:/opt/app/hadoop-2.7.3/sbin:/opt/app/hive-2.1.1/bin:/root/bin) SLF4J:…

1.下载Hive2.3.0 wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.0/apache-hive-2.3.0-bin.tar.gz 2.解压到指定安装目录 tar -zxvf apache-hive-2.3.0-bin.tar.gz mv apache-hive-2.3.0-bin /usr/local/hive cd /usr/local/hive 3.配置/etc/profile,在/etc/profile中添加如下语句 expor…

1.下载hive-2.3.3 下载地址 http://archive.apache.org/dist/hive/hive-2.3.3 解压,编辑/etc/profile添加HIVE_HOME,保存文件,执行source /etc/profile命令,使修改生效. 2.准备MySQL数据库 启动MySQL数据库,下载MySQL jdbc驱动,放入到$HIVE_HOME/lib下 3.修改配置文件 编辑hive-env.sh文件,添加 export HADOOP_HOME=/home/hadoop/…

一 Hive的下载 软件下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/  这里下载的版本是:apache-hive-2.3.3-bin.tar.gz 官方安装配置文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 二 Hive单用户安装 远程Metastore数据库 1  解压配置环境变量 #解压指定位置安装 [admin@node21 software…

博主学习Hadoop学习到Hive,一开始跟着资料去安装Hive 1.x一点问题也没有,方便快捷啊,但是看了一下官方文档,上面好像说Hive 2.0修复了很多bug,那么我想,我还是用Hive2.0好了.于是我开始按照原来的流程配置Hive2.0,遇到了各种问题,而且由于版本太新,国内网站上的解决方案基本上没有用.查阅各种资料,现在终于配置好了.所以写这篇博文分享,希望减少跟我一样的新手在使用Hive2.0的时候遇到的阻力. Hive 1.x与2.x As of June 2015, Hive…

说在前面的话 默认情况下,Hive元数据保存在内嵌的Derby数据库中,只能允许一个会话连接,只适合简单的测试.实际生产环境中不使用,为了支持多用户会话, 则需要一个独立的元数据库,使用MySQL作为元数据库,Hive内部对MySQL提供了很好的支持. 在Ubuntu系统下安装并配置hive详细正确步骤如下! 一.mysql-server和mysql-client的下载 root@SparkSingleNode:/usr/local#  sudo apt-get install mysql-se…

安装过程很简单,主要记录期间碰到的问题: 安装过程: 下载安装包: hadoop:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz hive:http://mirror.bit.edu.cn/apache/hive/hive-2.0.0/apache-hive-2.0.0-bin.tar.gz redis:http://download.redis.io/releases/redis-…

hive2.1.1配置 首先在conf下复制hive-site.xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://mini1:3306/hive211?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.…

解压缩hive安装包tar zxvf apache-hive-2.1.1-bin.tar.gz 安装mysqlsudo yum install mysql-server 安装 mysql connectorsudo yum install mysql-connector-java该命令会在/usr/share/java/下产生mysql-connector-java.jar 建立链接ln -s /usr/share/java/mysql-connector-java.jar /home/orco…

概述 hive 是一个包裹着 hdfs 的壳子,hive 通过 hql,将 sql 翻译成 MR ,进行数据查询. Hive是⼀个构建在Hadoop之上的数据仓库 hive的数据存在hdfs上,元信息放在metastore中,metastore也放在hdfs上 和传统的数据仓库⼀样,主要⽤来访问和管理数据,同样提供了类SQL查询语⾔ 和传统数据仓库不⼀样,可以处理超⼤规模的数据,可扩展性和容错性⾮常强 举个直观一点的例子,一个MapReduce程序,需要写很多代码,但是我们可以在hive上使用一…

1.mysql安装 这个安装很简单,是在线安装,只需要按顺序执行一下几个命令就ok了. (1)sudo apt-get install mysql-server (2)sudo apt-get install mysql-client (3)sudo apt-get install libmysqlclient-dev 安装过程会让你给数据库root用户输入密码,不要忽略.然后通过如下命令检查是否安装成功: sudo netstat -tap | grep mysql 登录验证: mysql -…

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, ResourceManager, NodeManager, Master, Worker m2: Zooke…

软件环境: linux系统: CentOS6.7 Hadoop版本: 2.6.5 zookeeper版本: 3.4.8 主机配置: 一共m1, m2, m3这五部机, 每部主机的用户名都为centos 192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, ResourceManager, NodeManager, Master, Worker m2: Zooke…

Hive2.0函数大全(中文版)   摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数. 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数     数学函数 Return Type Name (Signature) Description DOUBLE round(DOUBLE a) Returns the rounded BIGINT value of a.…

准备 1.hadoop已部署(若没有可以参考:Centos7安装Hadoop2.7),集群情况如下: hostname IP地址 部署规划 node1 172.20.0.4 NameNode.DataNode node2 172.20.0.5 DataNode node3 172.20.0.6 DataNode 2.官网下载安装包:apache-hive-2.3.6-bin.tar.gz(推荐去清华大学或中科大的开源镜像站). 安装 hive只需要部署在主节点node1上,解压apache-hi…

hive on spark真的很折腾人啊!!!!!!! 一.软件准备阶段 maven3.3.9 spark2.0.0 hive2.3.3 hadoop2.7.6 二.下载源码spark2.0.0,编译 下载地址:http://archive.apache.org/dist/spark/spark-2.0.0/ 编译: ./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-pr…

环境 腾讯云centos7 1.hadoop下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz 2.解压 tar -xvf hadoop-2.7.7.tar.gz -C /usr/java 3.修改hadoop-2.7.7/etc/hadoop/hadoop-env.sh文件 将jdk环境添加进去: # The java implementation to use. export JA…

前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命令). 关于如何安装Hadoop集群请参照:CentOS7搭建Hadoop2.8.0集群及基础操作与测试 下载Apache Hadoop 下载 地址:http://hive.apache.org/downloads.html wget http://mirrors.hust.edu.cn/apach…

公司建立数仓,hive是必不可少的,hive是建立在hadoop基础上的数据库,前面已经搭建起了hadoop高可用,要学习hive,先从搭建开始,下面梳理一下hive搭建过程 1.下载hive安装包 ,下载地址:https://hive.apache.org/downloads.html 找到自己hadoop对应的版本下载安装,我这里下载的是 apache-hive-2.3.6-bin.tar.gz 2.安装hive,将安装包解压到/opt/soft下,并建立软链接 tar -zxvf apac…