1.Hive介绍

  1. 数据库OLTP 在线事务处理
  2. 数据仓库OLAP 在线分析处理 延迟高
  3. 类sql方式(HQL)
  4. 使用sql方式,用来读写,管理位于分布式存储系统上的大型数据集的数据仓库技术
  5. hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
  6. hive使用的是hdfs做为存储
  7. 使用maprecude做为计算模型
  8. 用于海量数据计算分析

2.安装

  1. 基于hadoop完全分布式环境(搭建过程略)

  2. 下载hive包

    #wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
  3. 解压到指定路径和创建软链接

    #tar xf apache-hive-2.1.1-bin.tar.gz -C /soft/
    #ln -s /soft/apache-hive-2.1.1-bin /soft/hive
  4. 配置环境变量

    #vim  /etc/profile
    添加一下内容
    HIVE_HOME=/soft/hive
    PATH=$PATH:$HIVE_HOME/bin
    #source /etc/profile
  5. 测试

    #hive --version

3.配置mysql相关

  1. 安装mysql(过程省略)

  2. 创建相关数据库并授权

    mysql>create database dbhive;
    mysql>use hive;
    mysql>grant all on dbhive.* to "hive"@"%" identified by "123456";

5. 配置hive

  1. 修改hive-site.xml(修改mysql相关配置)

    #cd /soft/hive/conf
    #vim hive-site.xml

javax.jdo.option.ConnectionPassword
123456
password to use against metastore database

javax.jdo.option.ConnectionUserName
hive
Username to use against metastore database

javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.10.103:3306/dbhive

```

  1. 复制mysql驱动程序

    #cp /root/mysql-connector-java-5.1.38-bin.jar /soft/hive/lib/
  2. 在mysql中初始化hive的schema

    #cd /soft/hive/bin/
    #./schematool -dbType mysql -initSchema
    which: no hbase in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/soft/jdk/bin:/soft/hadoop/bin:/soft/hadoop/sbin:/soft/hive/bin:/root/bin)
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/soft/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/soft/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
    Metastore connection URL: jdbc:mysql://192.168.10.103:3306/dbhive
    Metastore Connection Driver : com.mysql.jdbc.Driver
    Metastore connection User: hive
    Starting metastore schema initialization to 2.1.0
    Initialization script hive-schema-2.1.0.mysql.sql
    Initialization script completed
    schemaTool completed
  3. 查看mysql

    mysql> use dbhive;
    Reading table information for completion of table and column names
    You can turn off this feature to get a quicker startup with -A Database changed
    mysql> show tables;
    +---------------------------+
    | Tables_in_dbhive |
    +---------------------------+
    | AUX_TABLE |
    | BUCKETING_COLS |
    | CDS |
    | COLUMNS_V2 |
    | COMPACTION_QUEUE |
    | COMPLETED_COMPACTIONS |
    | COMPLETED_TXN_COMPONENTS |
    | DATABASE_PARAMS |
    | DBS |
    | DB_PRIVS |
    | DELEGATION_TOKENS |
    | FUNCS |
    | FUNC_RU |
    | GLOBAL_PRIVS |
    | HIVE_LOCKS |
    | IDXS |
    | INDEX_PARAMS |
    | KEY_CONSTRAINTS |
    | MASTER_KEYS |
    | NEXT_COMPACTION_QUEUE_ID |
    | NEXT_LOCK_ID |
    | NEXT_TXN_ID |
    | NOTIFICATION_LOG |
    | NOTIFICATION_SEQUENCE |
    | NUCLEUS_TABLES |
    | PARTITIONS |
    | PARTITION_EVENTS |
    | PARTITION_KEYS |
    | PARTITION_KEY_VALS |
    | PARTITION_PARAMS |
    | PART_COL_PRIVS |
    | PART_COL_STATS |
    | PART_PRIVS |
    | ROLES |
    | ROLE_MAP |
    | SDS |
    | SD_PARAMS |
    | SEQUENCE_TABLE |
    | SERDES |
    | SERDE_PARAMS |
    | SKEWED_COL_NAMES |
    | SKEWED_COL_VALUE_LOC_MAP |
    | SKEWED_STRING_LIST |
    | SKEWED_STRING_LIST_VALUES |
    | SKEWED_VALUES |
    | SORT_COLS |
    | TABLE_PARAMS |
    | TAB_COL_STATS |
    | TBLS |
    | TBL_COL_PRIVS |
    | TBL_PRIVS |
    | TXNS |
    | TXN_COMPONENTS |
    | TYPES |
    | TYPE_FIELDS |
    | VERSION |
    | WRITE_SET |
    +---------------------------+
    57 rows in set (0.00 sec)
  4. 登录hive

    #hive

1.hive介绍及安装配置的更多相关文章

  1. hive介绍、安装配置、表操作基础知识适合小白学习

    1.hive概述 Apache Hive数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集.可以将结构投影到已存储的数据中.提供了命令行工具和JDBC驱动以将用户连接到Hive ...

  2. Hive介绍及安装

    Hive介绍及安装 介绍: Hive是基于Hadoop的数据仓库解决方案.由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性. 简单来说 ...

  3. kudu介绍及安装配置

    kudu介绍及安装配置 介绍 Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器.Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity har ...

  4. 从零自学Hadoop(14):Hive介绍及安装

    阅读目录 序 介绍 安装 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写的,SourceLink 序 本系列已 ...

  5. Hive介绍、安装(转)

    1.Hive介绍 1.1 Hive介绍 Hive是一个基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它是Facebook 2008年8月开源的一个数据仓库框架,提供了类似于SQL语 ...

  6. Hive介绍和安装部署

        搭建环境 部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放 Hadoop等组件运行包.因为该目录用于安装h ...

  7. Hive on Spark安装配置详解(都是坑啊)

    个人主页:http://www.linbingdong.com 简书地址:http://www.jianshu.com/p/a7f75b868568 简介 本文主要记录如何安装配置Hive on Sp ...

  8. hive集群安装配置

    hive 是JAVA写的的一个数据仓库,依赖hadoop.没有安装hadoop的,请参考http://blog.csdn.net/lovemelovemycode/article/details/91 ...

  9. 每天收获一点点------Hadoop基本介绍与安装配置

    一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的G ...

随机推荐

  1. 使用 runtime 实现字符串转方法,并传递参数

    利用runtime的动态机制实现字符串转方法并传递参数 使用 SEL 关键字引用方法声明,使用 methodForSelector 寻找方法实现, 使用函数指针调用方法. - (void)action ...

  2. mininet+floodlight使用(一)

    目录 一 .安装Floodlight 1.下载源和相关工具 2.安装(注意,需要java1.8,否则报错) 3.尝试游览器访问管理界面 4.修复查看不了floodlight 二.Mininet自定义拓 ...

  3. ABAP术语-Update Task

    Update Task 原文:http://www.cnblogs.com/qiangsheng/archive/2008/03/20/1114184.html Part of an ABAP pro ...

  4. MongoDB模糊查询 工具

    {"Exception":{$regex:"定时发送邮件"}}    //模糊查询条件 {"DateTime":-1}         // ...

  5. 服务端接收不到ajax post请求的参数

    问题描述 服务端使用request.getParameter()接收不到post请求的参数,导致业务逻辑抛出空指针异常. 解决途径 tomcat对post请求支持的字节数不受限制的配置发生变化.在to ...

  6. cookie、localstorage、sessionstorage区别

      localstorage sessionsorage cookie 大小 浏览器不能保存超过300个cookie,单个服务器不能超过20个,每个cookie不能超过4k 可以达到5M 可以达到5M ...

  7. windows7平台 nginx+python 环境搭建

    参考了这篇文章,感谢原文作者:https://blog.csdn.net/foxgod/article/details/78929201 最近正在学习Python,发现除了写一点py脚本在idlex上 ...

  8. Flume(2)-拓扑结构与Agent内部原理

    一. 拓扑结构 1. 串行模式 这种模式是将多个flume给顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统.此模式不建议桥接过多的flume数量, flume数量过多不仅会影 ...

  9. [Golang学习笔记] 01 工作区和GOPATH

    Go语言3个环境变量: GOROOT:GO语言按照根路径,也就是GO语言的安装路径. GOPATH:若干工作区目录的路径.是我自己定义的工作空间. GOBIN:GO程序生成的可执行文件(executa ...

  10. Python3 break与continue

    Infi-chu: http://www.cnblogs.com/Infi-chu/ break和continue都是中断循环的意思,但是他们的中断后的效果不同. 请看如下两个例子就懂了 ''' 这个 ...