一.概述 1. Hive是Apache提供的基于Hadoop的数据仓库管理工具2. Hive提供了类SQL语言来操作Hadoop,底层会将SQL转化为MapReduce来执行,所以效率会比较低3. Hive适应于离线处理4. 要求安装Hive的节点要先安装Hadoop,解压完成之后,在启动Hive的时候自动去找环境变量中的HADOOP_HOME 二.数据仓库和数据库比较 数据库 数据仓库数据量 <=GB >=TB数据种类 单一 - 结构化 多样 - 结构化.半结构化.非结构化数据来源 相对单一…

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是<hive学习笔记>的第十篇,前文实践过UDF的开发.部署.使用,那个UDF适用于一进一出的场景,例如将每条记录的指定字段转为大写: 除了一进一出,在使用group by的SQL中,多进一出也是常见场景,例如hive自带的avg.sum都是多进一出,这个场景的自定义函数叫做用户自定义聚合函数(User Defiend Aggregat…

Java基础及JavaWEB以及SSM框架学习笔记Xmind版 转行做程序员也1年多了,最近开始整理以前学习过程中记录的笔记,以及一些容易犯错的内容.现在分享给网友们.笔记共三部分. JavaSE 目录如下: 部分笔记: JavaWEB 目录如下: 部分笔记: SSM框架 目录如下: 部分笔记: 下载方式: 笔记我全都打包放在了我的网盘里.需要的朋友直接百度云下载 链接:https://pan.baidu.com/s/1IAsqekmkUNBjmsEOdINFpQ 提取码:xg9k 整理不易,点…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 关于hive学习笔记系列 <hive学习笔记>系列保持了作者一贯的风格,即通过实战学习和了解: 作…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览 本文是<hive学习笔记>系列的第三篇,要学习的是各种类型的表及其特点,主要内容如下:…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览 本文是<hive学习笔记>系列的第四篇,要学习的是hive的分区表,简单来说hive的分…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览 本文是<hive学习笔记>的第五篇,前文学习了分区表,很容易发现分区表的问题: 分区字段…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览 本文是<hive学习笔记>系列的第六篇,前面的文章咱们对数据类型.表结构有了基本了解,接…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览 本文是<hive学习笔记>系列的第七篇,前文熟悉了HiveQL的常用语句,接下来把常用的…

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS等: <hive学习笔记>系列导航 基本数据类型 复杂数据类型 内部表和外部表 分区表 分桶 HiveQL基础 内置函数 Sqoop 基础UDF 用户自定义聚合函数(UDAF) UDTF 本篇概览 本文是<hive学习笔记>的第九篇,前面学习的内置函数尽管已经很丰富,但未必能满足各种场…