Hive之SerDe&Beeline
一.SerDe
SerDe:Serializer and Deserializer 序列化及反序列化,构建在数据存储和执行引擎之间,对两者实现解耦。
Hive通过ROW FORMAT DELIMITED 以及SERDE进行内容的读写。
样板:
row format
:DELIMITED
[FIELDS TERMIINATED BY char [ESCAPED BY char]
[COLLECTION ITEMS TERMINATED BY char]
[MAP KEYS TERMINATED BY char]
[LINES TERMINATED BY char]
:SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value,property_name=property_value...)]
案例1:
create table zhen(id int, name string,age int)
row format delimited fields terminated by ',' collection items terninated by ',' map keys terminated by ':' lines terminated by '\n' ;
案例2:
create table zhen(id int, name string,age int)
row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' with serdeproperties("input.regex" = "([^ ])([^ ])([^ ])") // 正则匹配
stored as textfile;
备注:lines 默认按照换行拆分!
二.Beeline
格式化数据表数据,Beeline要和HiveServer2配合使用。服务端启动hiveserver2,客户端通过beeline两种方式连接hive
1.beeline -u jdbc:hive2://localhost:10000/default -n root
2.1.beeline
2.2 !connect jebc:hive2:/localhost:10000/defalut;auth-noSasl root 123
Hive之SerDe&Beeline的更多相关文章
- [Hive_add_10] Hive 的 serde (序列化 & 反序列化) 操作
		0. 说明 serde 是序列化和反序列化 serialize & deserialize 是将文件中的字段映射成 Hive 中的列 1. 验证 1.1 openCSVSerde CSV 为逗 ... 
- Hive 学习之路(三)——  Hive CLI和Beeline命令行的基本使用
		一.Hive CLI 1.1 Help 使用hive -H或者 hive --help命令可以查看所有命令的帮助,显示如下: usage: hive -d,--define <key=value ... 
- Hive 系列(三)—— Hive CLI 和 Beeline 命令行的基本使用
		一.Hive CLI 1.1 Help 使用 hive -H 或者 hive --help 命令可以查看所有命令的帮助,显示如下: usage: hive -d,--define <key=va ... 
- java使用JDBC连接hive(使用beeline与hiveserver2)
		首先虚拟机上已经安装好hive. 下面是连接hive需要的操作. 一.配置. 1.查找虚拟机的ip 输入 ifconfig 2.配置文件 (1)配置hadoop目录下的core-site.xml和hd ... 
- Hive beeline update
		Hive cli vs beeline The primary difference between the two involves how the clients connect to Hive. ... 
- beeline 连接hive
		HiveServer2是一个能使客户端针对hive执行查询的一种服务,与HiverServer1比较,它能够支持多个客户端的并发请求和授权的:HiveCLI 和 hive –e的方式比较单一,HS2允 ... 
- Hadoop Hive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建(五)
		说在前面的话 以下三种情况,最好是在3台集群里做,比如,master.slave1.slave2的master和slave1都安装了hive,将master作为服务端,将slave1作为服务端. 以 ... 
- Hadoop Hive概念学习系列之hive里的扩展接口(CLI、Beeline、JDBC)(十六)
		<Spark最佳实战 陈欢>写的这本书,关于此知识点,非常好,在94页. hive里的扩展接口,主要包括CLI(控制命令行接口).Beeline和JDBC等方式访问Hive. CLI和B ... 
- Hive详解
		1. Hive基本概念 1.1 Hive简介 1.1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能. 1.1 ... 
随机推荐
- [Java]LeetCode284. 顶端迭代器 | Peeking Iterator
			Given an Iterator class interface with methods: next() and hasNext(), design and implement a Peeking ... 
- [Swift]LeetCode311. 稀疏矩阵相乘 $ Sparse Matrix Multiplication
			Given two sparse matrices A and B, return the result of AB. You may assume that A's column number is ... 
- 读取Json,并替换json中的指定字符
			string jsonfile = @"E:\history.json";//JSON文件路径 using (System.IO.FileStream file = new Fil ... 
- Vue实现移动端页面切换效果
			找了好多博客实现效果都……emmm…… 应用Vue自带的过渡 < 进入/离开 & 列表过渡 >和 嵌套路由 和 fixed定位实现 其实还是挺简单的. 在子页面把整个页面做绝对定位 ... 
- J2EE-tomcat的配置
			修改web.xml文件里面的内容: 路径:D:\software\apache-tomcat-8.0.44\webapps\ROOT\WEB-INF\web.xml: 内容:<?xml ver ... 
- JVM基础系列第9讲:JVM垃圾回收器
			前面文章中,我们介绍了 Java 虚拟机的内存结构,Java 虚拟机的垃圾回收机制,那么这篇文章我们说说具体执行垃圾回收的垃圾回收器. 总的来说,Java 虚拟机的垃圾回收器可以分为四大类别:串行回收 ... 
- GitHub 1W star 成就达成!
			起因 感谢各位大佬的支持收获了人生第一个(很有可能也是唯一一个)1W star 项目. 从今年一月份创建项目至今 8 个月时间. 一共关闭了 27 个 issue,47 个 RP,总共有 11 位小伙 ... 
- 【java提高】---java反射机制
			java反射机制 一.概述 1.什么是反射机制 反射机制是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法:对于任意一个对象,都能够调用它的任意一个方法和属性:这种动态获取的信息以及动态 ... 
- PHP_D4_“简易聊天室 ”的具体技术实现
			上面已经介绍了系统的关键技术,下面对具体实现进行详解: 1.开发时,经常需要利用一个配置文件来存储系统的参数,例如:数据库连接信息等.这样可以提高系统的可移植性,当系统的配置发生变化时,例如:更改服务 ... 
- 从锅炉工到AI专家(1)
			序言 标题来自一个很著名的梗,起因是知乎上一个问题:<锅炉设计转行 AI,可行吗?>,后来就延展出了很多类似的问句,什么"快递转行AI可行吗?"."xxx转行 ... 
