hive工作记录-20180513
Hive的数据导入:
1.从本地文件系统中导入数据到Hive表
基础语法1 :
create table 表名(列名1 数据类型, 列名2 数据类型, … …) row format delimited fields terminated by '分隔符' stored as textfile
参数解释:
row format delimited --设置创建的表在加载数据的时候,支持的列分隔符
fields terminated by '分隔符' --指明具体的分隔符
stored as '数据类型' --设置加载数据的类型,默认textfile(纯文本)
基础语法 2:
load data local inpath '本地文件完整路径' into table 表名
代码示例:
create table hospital(hospitalid string, hcount double, hallcost double, hreimbursecost double, hcure double, hday double, hrecovery double, ocount double, ohallcost double, ohreimbursecost double, ocure double, ohrecovery double) row format delimited fields terminated by '\t' stored as textfile;
load data local inpath '/home/hadoop/part-r-00000' into table hospital;
2.从HDFS中导入数据到Hive表
基础语法:
建表语句同上
load data inpath 'hdfs文件完整路径' into table 表名
代码示例:
load data inpath '/guide/hospitaloutput/part-r-00000' into table hospital;
3.从别的表中查询出相应的数据并导入到Hive表中
基础语法:
建表语句同上
insert into table 目标表名 select * from 源表名; //不覆盖数据
insert overwrite table 目标表名 select * from 源表名; //覆盖数据
4.在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中
基础语法:
create table 新表名 as select * from 旧表名
新建表的结构和数据都和源表一致
5.导入数据到带有分区的表
基础语法:
建表语句同上
alter table 表名 add partition(分区1='值1',分区2='值2',... ...); //添加具体分区(子文件夹)
load data local inpath '本地文件路径' into table 表名 partition(分区1='值1',分区2='值2',… …);
注意事项:
分区文件夹需要在使用前创建
分区也是列名
分区2是分区1的子文件夹,以此类推
导入数据时,并不按照具体的值筛选
6.导入数据到带有桶的表
注意事项: 需要设置环境变量:set hive.enforce.bucketing=true;
示例代码:
create table hospitalcopy5(hospitalid string, hcount double, hallcost double, hreimbursecost double, hcure double, hday double, hrecovery double, ocount double, ohallcost double, ohreimbursecost double, ocure double, ohrecovery double) clustered by(hospitalid) into 2 buckets row format delimited fields terminated by '\t' stored as textfile;
insert overwrite table hospitalcopy6 select * from hospital;
hive工作记录-20180513的更多相关文章
- [工作记录] Android OpenGL ES: non-square texture - continue
previous: [工作记录] Android OpenGL ES 2.0: square texture not supported on some device recently I found ...
- MySQL跨表更新字段 工作记录
工作中遇到两表查询,从user表中获取用户唯一id字段 写入到另外一张qiuzu表中的uid字段中; 二者可以关联起来的只有用户的手机号码tel字段; 了解需求后数据量稍多,不可能一个一个的手动修改 ...
- 最近的linux工作记录
最近的linux工作记录 最近公司走了一些同事,部分服务器交到了我的手里,总结一些常用的操作 注:大写的字符串一般是用来占位,需要替换 创建账户和使用密钥对登陆 1,账户系列 useradd 选项 用 ...
- 工作记录 - OBB的解决方案
之前关于OBB的内容: Android上使用native IO 最近工作中的问题笔记 工作记录[续] android OBB 自从用了Java来mount OBB, 再也没有遇到挂载的问题. 但最近在 ...
- HIVE 命令记录
HIVE 命令记录 设置hive运行的队列 hive> set mapreduce.job.queuename=ven12; 打印列名 hive> set hive.cli.print.h ...
- 工作记录--WPF自定义控件,实现一个可设置编辑模式的TextBox
原文:工作记录--WPF自定义控件,实现一个可设置编辑模式的TextBox 1. 背景 因为最近在使用wpf开发桌面端应用,在查看页面需要把TextBox和Combox等控件设置为只读的.原本是个很简 ...
- 图书馆管理系统程序+全套开发文档(系统计划书,系统使用说明,测试报告,UML分析与设计,工作记录)
图书馆管理系统程序+全套开发文档(系统计划书,系统使用说明,测试报告,UML分析与设计,工作记录): https://download.csdn.net/download/qq_39932172/11 ...
- 国产mcu理论数据评估工作记录
目录 前言 简要工作记录 前言 时间:20210315 主要记录这两天对国内各IC厂商的 MCU 了解记录. 大环境,ST 厂商 MCU 疯狂涨价,国内 MCU 也越来越完善,还便宜.同时,全球缺晶圆 ...
- CDH:5.14.0 中 Hive BUG记录
CDH5.14.0使用的HIVE版本: 自建表log: +----------------------------------------------------+--+ | createtab_st ...
随机推荐
- INFA Transformation组件
RouterRouter和Filter很相似,Router可以用一或多个Filter来取代,不同的是用Router来生成多个组时输入数据只需处理一次,所以效率更高:Router 由一个输入组,一到多个 ...
- 使用RQShineLabel
使用RQShineLabel https://github.com/zipme/RQShineLabel 最终效果: 源码: // // RootViewController.m // UseText ...
- 判断计算机是否可以ping通
#!/usr/bin/python # -*- coding: utf-8 -*- import os of = open('servers.txt','r') ofw=open('servers_p ...
- VS编译报错Error2019
1.对项目右键,属性,链接器,常规,附加库目录,查看lib的路径是否填全了,写对了. 2.是否对项目添加引用.
- 使用事务和SqlBulkCopy批量插入数据
SqlBulkCopy是.NET Framework 2.0新增的类,位于命名空间System.Data.SqlClient下,主要提供把其他数据源的数据有效批量的加载到SQL Server表中的功能 ...
- curl命令学习之一--基本用法
- 求最长公共子串 Longest Common Subsequence
最长公共子串 // Longest Common Subsequence 子串有别于子序列, 子串是连续的, 而子序列可以不连续 /*--------------------------------- ...
- project euler 169
project euler 169 题目链接:https://projecteuler.net/problem=169 参考题解:http://tieba.baidu.com/p/2738022069 ...
- python中的BaseManager通信(二)文件二分
提供服务部分(运行时在接收端未打开前不能关闭) #mainsec.py from multiprocessing import Process, Queue from multiprocessing. ...
- UVA11324 The Largest Clique
嘟嘟嘟 很自然的想到先tarjan把强联通分量缩点,因为对于一个强联通分量,要么不选,要么全选,所以可看成一个点. 然后转化成了求DAG上的一条最长路(每一个点都有权值).刚开始我想用dijkstra ...