1.Hive介绍

  1. 数据库OLTP 在线事务处理
  2. 数据仓库OLAP 在线分析处理 延迟高
  3. 类sql方式(HQL)
  4. 使用sql方式,用来读写,管理位于分布式存储系统上的大型数据集的数据仓库技术
  5. hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
  6. hive使用的是hdfs做为存储
  7. 使用maprecude做为计算模型
  8. 用于海量数据计算分析

2.安装

  1. 基于hadoop完全分布式环境(搭建过程略)

  2. 下载hive包

    #wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
  3. 解压到指定路径和创建软链接

    #tar xf apache-hive-2.1.1-bin.tar.gz -C /soft/
    #ln -s /soft/apache-hive-2.1.1-bin /soft/hive
  4. 配置环境变量

    #vim  /etc/profile
    添加一下内容
    HIVE_HOME=/soft/hive
    PATH=$PATH:$HIVE_HOME/bin
    #source /etc/profile
  5. 测试

    #hive --version

3.配置mysql相关

  1. 安装mysql(过程省略)

  2. 创建相关数据库并授权

    mysql>create database dbhive;
    mysql>use hive;
    mysql>grant all on dbhive.* to "hive"@"%" identified by "123456";

5. 配置hive

  1. 修改hive-site.xml(修改mysql相关配置)

    #cd /soft/hive/conf
    #vim hive-site.xml

javax.jdo.option.ConnectionPassword
123456
password to use against metastore database

javax.jdo.option.ConnectionUserName
hive
Username to use against metastore database

javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.10.103:3306/dbhive

```

  1. 复制mysql驱动程序

    #cp /root/mysql-connector-java-5.1.38-bin.jar /soft/hive/lib/
  2. 在mysql中初始化hive的schema

    #cd /soft/hive/bin/
    #./schematool -dbType mysql -initSchema
    which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/soft/jdk/bin:/soft/hadoop/bin:/soft/hadoop/sbin:/soft/hive/bin:/root/bin)
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/soft/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/soft/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
    Metastore connection URL: jdbc:mysql://192.168.10.103:3306/dbhive
    Metastore Connection Driver : com.mysql.jdbc.Driver
    Metastore connection User: hive
    Starting metastore schema initialization to 2.1.0
    Initialization script hive-schema-2.1.0.mysql.sql
    Initialization script completed
    schemaTool completed
  3. 查看mysql

    mysql> use dbhive;
    Reading table information for completion of table and column names
    You can turn off this feature to get a quicker startup with -A Database changed
    mysql> show tables;
    +---------------------------+
    | Tables_in_dbhive |
    +---------------------------+
    | AUX_TABLE |
    | BUCKETING_COLS |
    | CDS |
    | COLUMNS_V2 |
    | COMPACTION_QUEUE |
    | COMPLETED_COMPACTIONS |
    | COMPLETED_TXN_COMPONENTS |
    | DATABASE_PARAMS |
    | DBS |
    | DB_PRIVS |
    | DELEGATION_TOKENS |
    | FUNCS |
    | FUNC_RU |
    | GLOBAL_PRIVS |
    | HIVE_LOCKS |
    | IDXS |
    | INDEX_PARAMS |
    | KEY_CONSTRAINTS |
    | MASTER_KEYS |
    | NEXT_COMPACTION_QUEUE_ID |
    | NEXT_LOCK_ID |
    | NEXT_TXN_ID |
    | NOTIFICATION_LOG |
    | NOTIFICATION_SEQUENCE |
    | NUCLEUS_TABLES |
    | PARTITIONS |
    | PARTITION_EVENTS |
    | PARTITION_KEYS |
    | PARTITION_KEY_VALS |
    | PARTITION_PARAMS |
    | PART_COL_PRIVS |
    | PART_COL_STATS |
    | PART_PRIVS |
    | ROLES |
    | ROLE_MAP |
    | SDS |
    | SD_PARAMS |
    | SEQUENCE_TABLE |
    | SERDES |
    | SERDE_PARAMS |
    | SKEWED_COL_NAMES |
    | SKEWED_COL_VALUE_LOC_MAP |
    | SKEWED_STRING_LIST |
    | SKEWED_STRING_LIST_VALUES |
    | SKEWED_VALUES |
    | SORT_COLS |
    | TABLE_PARAMS |
    | TAB_COL_STATS |
    | TBLS |
    | TBL_COL_PRIVS |
    | TBL_PRIVS |
    | TXNS |
    | TXN_COMPONENTS |
    | TYPES |
    | TYPE_FIELDS |
    | VERSION |
    | WRITE_SET |
    +---------------------------+
    57 rows in set (0.00 sec)
  4. 登录hive

    #hive

1.hive介绍及安装配置的更多相关文章

  1. hive介绍、安装配置、表操作基础知识适合小白学习

    1.hive概述 Apache Hive数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集.可以将结构投影到已存储的数据中.提供了命令行工具和JDBC驱动以将用户连接到Hive ...

  2. Hive介绍及安装

    Hive介绍及安装 介绍: Hive是基于Hadoop的数据仓库解决方案.由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性. 简单来说 ...

  3. kudu介绍及安装配置

    kudu介绍及安装配置 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity har ...

  4. 从零自学Hadoop(14):Hive介绍及安装

    阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 本系列已 ...

  5. Hive介绍、安装(转)

    1.Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语 ...

  6. Hive介绍和安装部署

        搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包.因为该目录用于安装h ...

  7. Hive on Spark安装配置详解(都是坑啊)

    个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Sp ...

  8. hive集群安装配置

    hive 是JAVA写的的一个数据仓库,依赖hadoop.没有安装hadoop的,请参考http://blog.csdn.net/lovemelovemycode/article/details/91 ...

  9. 每天收获一点点------Hadoop基本介绍与安装配置

    一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的G ...

随机推荐

  1. 【OC底层】OC对象本质,如 isa, super-class

    Objective-C的本质 1.我们编写的Objective-C,底层现实都是C/C++,代码生成步骤如下:   2.在OC中的所有面向对象的实现,都是基于C/C++的数据结构实现的 3.将Obje ...

  2. 《算法竞赛进阶指南》0x10 基本数据结构 Hash

    Hash的基本知识 字符串hash算法将字符串看成p进制数字,再将结果mod q例如:abcabcdefg 将字母转换位数字(1231234567)=(1*p9+2*p8+3*p7+1*p6+2*p5 ...

  3. C++ primer第三章作业

    3.1节 练习3.1: 使用恰当的using声明重做1.4.1节(第11页)和2.6.2节(第67页)的练习 #ifdef 1 #include <iostream> using std: ...

  4. vmware虚拟机下linux centos6.6只有lo,没有eth0网卡、随机分配ip地址,固定ip地址等问题

    这个问题卡了我一天多的时间,百度上搜出来的问题五花八门,反而把我给搞糊涂了.最后总算是实践成功了,记录一下配置的过程. 配置网卡和随机分配ip地址 我安装的是basic server版本,用的是NAT ...

  5. mysql 常用的时间日期函数小结

    本文主要是总结一些常用的在实际运用中常用的一些mysql时间日期以及转换的函数 1.now()  :返回当前日期和时间 select now(); //2018-04-21 09:19:21 2.cu ...

  6. vue 创建项目的命令

    1 cmd   创建项目 找到指定目录 vue create test   或   vue ui  (可视化创建)推荐 ---------------------------------------- ...

  7. Hammer.js 实现移动端元素的拖拽库

    1. Pan事件:在指定的dom区域内,一个手指放下并移动事件,即触屏中的拖动事件.这个事件在屏触开发中比较常用,如:左拖动.右拖动等,如手要上使用QQ时向右滑动出现功能菜单的效果.该事件还可以分别对 ...

  8. php 面试常问 基础知识

    字符串都是海针 数组是针海 输出及打印 echo 8%(-2); //输出结果为0 模后的正负号可无视 模前的有用 echo date('Y-m-d H:i:s',strtotime('-1 day' ...

  9. Spark RDD理解

    目录 ----RDD简介 ----RDD操作类别 ----RDD分区 ----宽依赖和窄依赖作用 ----RDD分区划分器 ----RDD到调度 返回顶部 RDD简介 RDD是弹性分布式数据集(Res ...

  10. 20155203 2016-2017-2 《Java程序设计》第10周学习总结

    20155203 2016-2017-2 <Java程序设计>第10周学习总结 教材学习内容总结 网络编程(Java Socket编程) Java最初是作为网络编程语言出现的,其对网络提供 ...