SQL数据单条转多条(Lateral View)
Lateral View和split,explode等UDTF一起使用,它能够将一行数据拆成多行数据,并在此基础上对拆分后的数据进行聚合。
单个Lateral View语句
语法定义如下:
lateralView: LATERAL VIEW [OUTER] udtf(expression) tableAlias AS columnAlias (',' columnAlias) * fromClause: FROM baseTable (lateralView)*
说明如下:
Lateral view outer:当table function不输出任何一行时,对应的输入行在Lateral view结果中依然保留,且所有table function输出列为null。
示例如下:
假设有一张表pageAds,它有两列数据,第一列是pageid string,第二列是adid_list,即用逗号分隔的广告ID集合。
string pageid	Array      <int> adid_list
   “front_page”                    [1, 2, 3]
   "contact_page”                [3, 4, 5]
需求是要统计所有广告ID在所有页面中出现的次数,实现过程如下所示。
拆分广告ID,如下所示:
SELECT pageid, adid 
 FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid;
执行结果如下:
string pageid          int adid
“front_page”               1
“front_page”               2
“front_page”               3
“contact_page”           3
“contact_page”           4
“contact_page”           5
进行聚合的统计,语句如下:
SELECT adid, count(1) 
    FROM pageAds LATERAL VIEW explode(adid_list) adTable AS adid
GROUP BY adid;
执行结果如下:
int adid      count(1)
       1           1
       2           1
       3           2
       4           1
       5           1
多个Lateral View语句
一个from语句后可以跟多个Lateral View语句,后面的Lateral View语句能够引用它前面的所有表和列名。
以下面的表为例:
Array<int> col1           Array<string> col2
      [1, 2]                         [“a”, “b”, “c”]
      [3, 4]                         [“d”, “e”, “f”]
执行单个语句:
SELECT myCol1, col2 FROM baseTable
    LATERAL VIEW explode(col1) myTable1 AS myCol1;
执行结果如下所示:
int mycol1                Array<string> col2
        1                            [“a”, “b”, “c”]
        2                            [“a”, “b”, “c”]
        3                            [“d”, “e”, “f”]
        4                            [“d”, “e”, “f”]
加上一个Lateral View语句,如下所示:
SELECT myCol1, myCol2 FROM baseTable
    LATERAL VIEW explode(col1) myTable1 AS myCol1
    LATERAL VIEW explode(col2) myTable2 AS myCol2;
执行结果如下所示:
int myCol1           string myCol2
        1                          “a”
        1                          “b”
        1                          “c”
        2                          “a”
        2                          “b”
        2                          “c”
        3                          "d”
        3                          “e”
        3                          “f”
        4                          “d”
        4                          “e”
        4                          “f”
SQL数据单条转多条(Lateral View)的更多相关文章
- 【hive】lateral view的使用
		
当使用UDTF函数的时候,hive只允许对拆分字段进行访问的 例如: select id,explode(arry1) from table; —错误 会报错FAILED: SemanticExcep ...
 - hive中的lateral view 与 explode函数的使用
		
hive中的lateral view 与 explode函数的使用 背景介绍: explode与lateral view在关系型数据库中本身是不该出现的. 因为他的出现本身就是在操作不满足第一范式的数 ...
 - python3操作mysql数据库表01(封装查询单条、多条数据)
		
#!/usr/bin/env python# -*- coding:UTF-8 -*- import pymysql# import os'''封装查询单条.多条数据'''# os.environ[' ...
 - Databricks 第11篇:Spark SQL 查询(行转列、列转行、Lateral View、排序)
		
本文分享在Azure Databricks中如何实现行转列和列转行. 一,行转列 在分组中,把每个分组中的某一列的数据连接在一起: collect_list:把一个分组中的列合成为数组,数据不去重,格 ...
 - mssql sqlserver 使用sql脚本实现相邻两条数据相减的方法分享
		
摘要: 下文讲述使用sql脚本实现相邻两条数据相减的方法,如下所示: 实验环境:sql server 2008 R2 实现思路: 1.使用cte表达式,对当前表进行重新编号 2.使用左连接对 表达式 ...
 - SQL Server 删除重复数据只保留一条
		
DELETE FROM Bus_TerminalMessage_Keywords WHERE Content IN (select Content from Bus_TerminalMessage_K ...
 - SQL高效分页(百万条数据)
		
第一种方法:效率最高 SELECT TOP 页大小 * FROM ( SELECT ROW_NUMBER() OVER (ORDER BY id) AS RowNumber,* FROM table1 ...
 - 面试题中经常遇到的SQL题:删除重复数据,保留其中一条
		
如题,解决思路如下: 1.首先我们需要找出拥有重复数据的记录 ---以name字段分组 select Name,COUNT(Name) as [count] from Permission group ...
 - sql  拼接字符串单条拆分多条
		
SELECT * FROM ( SELECT A.WS_ID , B.NEXT_OPERATOR FROM ( SELECT WS_ID , [NEXT_OPERATOR] = CONVERT(XML ...
 
随机推荐
- Magicodes.IE在.NET Core中通过请求头导出多种格式文件
			
前言 在2.2里程碑中我们增加了一些新的功能,正如标题所写通过请求头进行导出我们不同格式的文件.下面我们来看一下如何使用.通过这种方式无论是对我们的数据多用途,还是说对我们的数据校验都做到了轻松易配. ...
 - URL is not registered (Settings | Languages & Frameworks | Schemas and DTDs)
			
File - Settings - Schemas and DTDS时,选中报错的地址,然后Ctrl+alt+s打开设置(或者右键 -> setting)找到 把报错的地址填入就可以了,最后应用 ...
 - C++核心内容和机制
			
备注:不局限与C++版本 一. 基础知识 数据类型和POD/Trivial 数据类型: 类型转换: NULL和nullptr: 操作符重载: 全局静态变量和成员静态变量的申明和初始化: 左值和右值 ...
 - 调用php命令出错
			
调用php -v命令.php artisan route:list等命令均出现一下错误. MIB search path: c:/usr/share/snmp/mibsCannot find modu ...
 - laravel --- composer install之后,项目没有vender目录
			
composer install之后,项目没有vender目录 1. 原因一:PHP版本过低 PHP版本需要7.1以上,目前使用的是7.0.23
 - 分词搜索 sphinx+php+mysql
			
sphinx3.1.1的安装与使用 下载sphinx3.1.1 wget http://sphinxsearch.com/files/sphinx-3.1.1-612d99f-linux-amd64. ...
 - vueX基础知识笔记
			
接着昨天的知识点 mutations提交时,有时候达不到想要的响应式,我们必须要将数据提前放到state中,否则不会达到响应式的效果.比如 state.info['address'] = value ...
 - 深入理解JavaScript系列(2):揭秘命名函数表达式(转)
			
前言 网上还没用发现有人对命名函数表达式进去重复深入的讨论,正因为如此,网上出现了各种各样的误解,本文将从原理和实践两个方面来探讨JavaScript关于命名函数表达式的优缺点. 简 单的说,命名函数 ...
 - python读取文件路径
			
不同系统对文件路径的分割符不同: 在Windows系统下的分隔符是:\ (反斜杠). 在Linux系统下的分隔符是:/(斜杠). 绝对路径和相对路径 绝对路径就是文件的真正存在的路径,是指从硬盘的根目 ...
 - Java中的过滤器
			
什么是过滤器(Filter)? 过滤器就是一个实现了特殊接口的Java类.实现对请求资源的过滤的功能. 过滤器是Servlet技术中最为实用的技术. 过滤器有啥用? 对目标资源进行过滤. 自动登录,解 ...