文章目录 1 显示分区 2 添加分区 3 删除分区 4 修改分区 5 添加列 6 修改列 7 修改表属性 8 表的重命名 显示分区 show partitions iteblog; 添加分区 ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec   [LOCATION 'location1'] partition_spec [LOCATION 'location2'] ...;    partition_spec:…

1)按包含关键字在指定库中查找表名:show tables in dw '*_fab_*';   2)查看和删除自己hdfs系统所用的空间和文件(与shell命令合用):hive命令行下: --查看仓库使用空间 dfs -du -h /user/liaoxiongxiong/warehouse; --删除仓库文件dfs -rm -r /user/liaoxiongxiong/warehouse/.; --清空回收站dfs -rm -r /user/liaoxiongxiong/.Trash; 3…

示例数据库为 db_hive 1. 创建表 create-table.sql create table if not exists db_hive.tb_user ( id int, username string comment '用户名', age int comment '年龄', address string comment '地址' ) comment '用户表' row format delimited fields terminated by ',' stored as textf…

基础语句 CREATE DROP 建表.删表 建表 -------------------------------------- -- 1. 直接建表 -------------------------------------- -- 创建非分区表时,省去后半部分即可 create table if not exists table_name( id string comment 'id ', num string comment '数值' ) partitioned by ( ym strin…

0. 说明 记录 Hive 常用参数的配置 1. 设置本地模式 让 Hive 自动使用 Hadoop 的本地模式运行作业,提升处理性能 适合小文件,一般用于测试 set hive.exec.mode.local.auto=true; 输入文件大小低于此值会进入本地模式 SET hive.exec.mode.local.auto.inputbytes.max=500000000; 输入文件个数低于此值会进入本地模式 SET hive.exec.mode.local.auto.input.files…

Hive常用函数的使用 文章作者:foochane  原文链接:https://foochane.cn/article/2019062501.html 1 基本介绍 1.1 HIVE简单介绍 Hive是一个可以将SQL翻译为MR程序的工具,支持用户将HDFS上的文件映射为表结构,然后用户就可以输入SQL对这些表(HDFS上的文件)进行查询分析.Hive将用户定义的库.表结构等信息存储hive的元数据库(可以是本地derby,也可以是远程mysql)中. 1.2 Hive的用途 做数据分析,不用自…

参考:https://www.cnblogs.com/jonban/p/10779938.html Hive 启动:hive 退出:hive>quit; show databases; use  analysis; show tables; desc tab_name; --查看表的结构及表的路径 show partitions fact_measured_cft_hive ;展示表分区 fact_measured_cft_hive show create table fact_five_dat…

Hive 常用DML操作 一.加载文件数据到表 1.1 语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] LOCAL 关键字代表从本地文件系统加载文件,省略则代表从 HDFS 上加载文件: 从本地文件系统加载文件时, filepath 可以是绝对路径也可以是相对路径 (建议使用绝对路径): 从 HDFS 加载文…

Apache Hive作为处理大数据量的大数据领域数据建设核心工具,数据量往往不是影响Hive执行效率的核心因素,数据倾斜.job数分配的不合理.磁盘或网络I/O过高.MapReduce配置的不合理等等才是影响Hive性能的关键. Hive在执行任务时,通常会将Hive SQL转化为MapReduce job进行处理.因此对Hive的调优,除了对Hive语句本身的优化,也要考虑Hive配置项以及MapReduce相关的优化.从更底层思考如何优化性能,而不是仅仅局限于代码/SQL的层面.列裁剪和分…

第三天笔记 第三天笔记 SQL练习Hive 常用函数关系运算数值计算条件函数日期函数重点!!!字符串函数Hive 中的wordCount1.1 Hive窗口函数1.1.1 聚合开窗函数聚合开窗函数实战:实战1:Hive用户购买明细数据分析实战1需求:1.1.2 排序开窗函数实战2:Hive分析学生成绩信息Hive 行转列Hive 列转行Hive自定义函数UserDefineFunctionUDF:一进一出函数加载方式UDTF:一进多出方法一:使用 explode+split方法二:自定UDTFU…