Hive:常用的一些命令
1、一般可以通过beeline(CDH默认是使用hive,就会进入hive操作窗口),代理方式登录hive;
2、使用数据库abc_hive_db:use abc_hive_db;
3、查看数据库中有哪些表:show tables ;有哪些特定表 show tables like '*tb_site*';
4、查看某张表的表结构:desc tablename;
方法2:查看表的字段信息及元数据存储路径desc extended table_name;
方法3:查看表的字段信息及元数据存储路径desc formatted table_name;
备注:查看表元数据存储路径时,推荐方法3,信息比较清晰。二、查看表容量大小方法1:查看一个hive表文件总大小时(单位为Byte),我们可以通过一行脚本快速实现,其命令如下:--#查看普通表的容量$ hadoop fs -ls /user/hive/warehouse/table_name|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'这样可以省去自己相加,下面命令是列出该表的详细文件列表$ hadoop fs -ls /user/hive/warehouse/table_name--#查看分区表的容量$ hadoop fs -ls /user/hive/warehouse/table_name/yyyymm=|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a/(**)}'
39.709这样可以省去自己相加,下面命令是列出该表的详细文件列表$ hadoop fs -ls /user/hive/warehouse/table_name/yyyymm=方法2:查看该表总容量大小,单位为G$ hadoop fs -du /user/hive/warehouse/table_name|awk '{ SUM += $1 } END { print SUM/(1024*1024*1024)}'
5、创建表:
--OID,MSISDN,StartTime,EndTime,AP_MAC,ApAliasName,HotSpotName,Longitude,Latitude,Floor
0: jdbc:hive2://xxxxx/> create table tmp_wifi1109(OID string,MSISDN string,StartTime timestamp,
EndTime timestamp,AP_MAC string,ApAliasName string,HotSpotName string,Longitude string,Latitude
string,Floor string) row format delimited fields terminated by ',' stored as textfile;
表添加字段、修改、删除字段:ALTER TABLE name RENAME TO new_name
ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...])
ALTER TABLE name DROP [COLUMN] column_name
ALTER TABLE name CHANGE column_name new_name new_type
ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...]
rows selected (3.608 seconds)
: jdbc:hive2://10.178.152.162:21066/> alter table res_site_hangzhou add columns (cell_id_x16 string);
No rows affected (1.985 seconds)
: jdbc:hive2://10.178.152.162:21066/> desc res_site_hangzhou;
+----------------------------+------------+----------+--+
| col_name | data_type | comment |
+----------------------------+------------+----------+--+
| oid | int | |
| objectid | int | |
....
| cell_id_x16 | string | |
+----------------------------+------------+----------+--+ : jdbc:hive2://10.178.152.162:21066/> alter table res_site_hangzhou change cell_id_x16 objectidx16 string;
No rows affected (2.085 seconds)
: jdbc:hive2://10.178.152.162:21066/> desc res_site_hangzhou;
+----------------------------+------------+----------+--+
| col_name | data_type | comment |
+----------------------------+------------+----------+--+
| oid | int | |
| objectid | int | |
....
| objectidx16 | string | |
+----------------------------+------------+----------+--+
6、从hdfs文件中导入数据到表:
注意:tmp_wifi1109创建时格式要求设置:
create table if not exists tmp_wifi1109(id int,name string) row format delimited fields terminated by ',' stored as textfile;
入库代码:
0: jdbc:hive2://xxxx/> load data inpath 'hdfs:/user/xx_xx/dt/wifi_user_list_1109.csv' into table tmp_wifi1109;
0: jdbc:hive2://xxxx/> load data [local] inpath '/wifi_user_list_1109.csv' [overwrite] into table tmp_wifi1109;
7、把表之间关联的结果存储某张新建表:
create table tmp_mr_s1_mme1109 as
select distinct b.OID,b.MSISDN,b.StartTime,b.EndTime,b.AP_MAC,b.ApAliasName,b.HotSpotName,b.Longitude,b.Latitude,b.Floor,
a.ues1ap_id,a.cellid
from default.s1mme a join abc_hive_db.tmp_wifi1109 b on a.msisdn=b.MSISDN and a.hour>='' and a.hour<''
where (
(a.start_time<=b.StartTime and a.end_time>=b.StartTime)
or (a.start_time<=b.EndTime and a.end_time>=b.EndTime)
or (a.start_time>=b.StartTime and a.end_time<=b.EndTime)
)
8、导出某张表中的记录到hdfs:
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task= 1000000000;
set hive.merge.smallfiles.avgsize= 1000000000;
use abc_hive_db;
insert overwrite directory '/user/dt/dat/1109/' row format delimited fields terminated by '|' select * from tmp_mr_s1_mme1109; -- 如果此时到出文件没有合并的情况下:可以使用getmerge来合并文件。
hdfs dfs -getmerge /user/dt/dat/1100/* mergefile.csv
导出文件是指定分列格式:
insert overwrite directory '/user/jr/dt/my_table'
row format delimited fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
select * from my_table
9、查看表分区字段:
0: jdbc:hive2://xxx/> show partitions default.s1_mme;
+------------------------------------+--+
| partition |
+------------------------------------+--+
| hour=2016110214 |
| hour=2016110215 |
| hour=2016110216 |
...
+------------------------------------+--+
如果某一个张表中包含多个分区字段例如(default.s1_mme包含两个分区(p_city,p_day)),那么当我们查看某个城市都有哪些天数据分区的时候就可以执行以下命令:
0: jdbc:hive2://xxx/> show partitions default.s1_mme partition(p_city='wuhan');
load data local inpath '/sd/dataext' into table testPar partition(dt='');
参考信息:
hive partitions相关处理:http://blog.sina.com.cn/s/blog_9f48885501016hn5.html
http://blog.sina.com.cn/s/blog_9f48885501016k5m.html
Hive:常用的一些命令的更多相关文章
- Hive常用的SQL命令操作
Hive提供了很多的函数,可以在命令行下show functions罗列所有的函数,你会发现这些函数名与mysql的很相近,绝大多数相同的,可通过describe function functionN ...
- Hive常用非交互式命令
[hadoop@hadoop hive-0.13.1]$ bin/hive -help usage: hive -d,--define <key=value> Variable subsi ...
- Hive 常用命令和语句
示例数据库为 db_hive 1. 创建表 create-table.sql create table if not exists db_hive.tb_user ( id int, username ...
- HIve常用CLI命令
1. 清楚屏幕:Ctrl+L 或者!Clear 最后加上分号 2. 查看数据仓库中的表:show tables; 3. 查看数据仓库中内置函数:show functions: 4. 查看表结构 :de ...
- [Hive_add_8] Hive 常用参数配置
0. 说明 记录 Hive 常用参数的配置 1. 设置本地模式 让 Hive 自动使用 Hadoop 的本地模式运行作业,提升处理性能 适合小文件,一般用于测试 set hive.exec.mode. ...
- Hive 学习之路(三)—— Hive CLI和Beeline命令行的基本使用
一.Hive CLI 1.1 Help 使用hive -H或者 hive --help命令可以查看所有命令的帮助,显示如下: usage: hive -d,--define <key=value ...
- Hive常用函数的使用
Hive常用函数的使用 文章作者:foochane 原文链接:https://foochane.cn/article/2019062501.html 1 基本介绍 1.1 HIVE简单介绍 Hive ...
- Hive 系列(三)—— Hive CLI 和 Beeline 命令行的基本使用
一.Hive CLI 1.1 Help 使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助,显示如下: usage: hive -d,--define <key=va ...
- hive 常用操作
参考:https://www.cnblogs.com/jonban/p/10779938.html Hive 启动:hive 退出:hive>quit; show databases; use ...
随机推荐
- JBD日志的定位、分析和恢复
在上一篇中,我们介绍了Ext3文件系统的日志可以看做一个文件,由JBD进行管理.自然而然引出如下这些问题: 1)如何定位ext3日志文件和查看日志文件的裸数据? 2)ext3日志文件数据在物理上是如何 ...
- HDU 3038 How Many Answers Are Wrong(种类并查集)
题目链接 食物链类似的题,主要是在于转化,a-b的和为s,转换为b比a-1大s.然后并查集存 此节点到根的差. 假如x的根为a,y的根为b: b - y = rank[y] a - x = rank[ ...
- linux 添加 service 服务并自动添加 chkconfig 启动级别
下面以添加一个叫做watchcat的服务为例进行说明: 1.写一个提供给service命令使用的脚本 service 命令的使用方法一般如下 启动: $ service watchcat start ...
- Linux下redis的安装
第一部分:安装redis 希望将redis安装到此目录 /usr/local/redis 希望将安装包下载到此目录 /usr/local/src 那么安装过程指令如下: $ mkdir /usr/lo ...
- 使用XML文件记录操作日志,并从后往前读取操作日志并在richTextBox1控件中显示出来
#region 获取本地程序操作记录日志 /// <summary> /// 获取本地程序更新日志信息(由后往前读取) /// </summary> private void ...
- ES6(二)解构赋值详解
详解一下之前的解构赋值 ①解构赋值中的"..." let [a,...b]= [1]; b // [] ...代表变量b去匹配剩余的所有元素返回一个数组 ,匹配不到时返回[] // ...
- JavaScript之数组方法整理
Array概述 除了Object类型,最常用的类型: 实质:有序的数据列表, 特性:可以动态的调整数组的大小 创建数组的两种方式 构造函数创建方式 var arr = ...
- AutoIt操作Windows GUI实现文件上传
AutoIt 一个使用类似BASIC脚本语言的免费软件,用于Windows GUI(图形用户界面)中进行自动化操作.它利用模拟键盘按键,鼠标移动和窗口/控件的组合来实现自动化任务. 官方网站: htt ...
- php-fpm重启关闭等操作
php-fpm 启动:/usr/sbin/php-fpmphp-fpm 关闭:kill -INT `cat /var/run/php-fpm.pid`php-fpm 重启:kill -USR2 `ca ...
- mysql删除重复记录,保存Id最小的一条
方法1:1.创建一个临时表,选取需要的数据.2.清空原表.3.临时表数据导入到原表.4.删除临时表.mysql> select * from student;+----+------+| ID ...