hive sql基础了解
会有些不一样
1 例如使用SQL 之前,要了解用了那个库,use jz_daojia
2 使用GET_JSON_OBJECT 函数等,以及参数 匹配 $.childBrithDay
挺有意思的。新玩意哦
--odps sql
--********************************************************************--
--author:jz_admin
--create time:2019-11-11 10:14:49
--********************************************************************--
-- 这是什么意思?
-- 获取线索id,以及线索标签。
use jz_daojia;
SELECT a.id
,CONCAT_WS(',', COLLECT_SET(b.dict_value)) AS clue_labels
FROM (
SELECT a.id
,b.clue_label
FROM (
SELECT a.id
,GET_JSON_OBJECT(a.prop, '$.busSnapshotDto.clueLable') clue_label
FROM o_jz_clue_t_sale_clue a
WHERE dt = '${bdp.system.bizdate}'
) a
LATERAL VIEW EXPLODE(SPLIT(clue_label, ',')) b AS clue_label
) a LEFT
JOIN (
SELECT *
FROM o_jz_clue_t_dict
WHERE dt = '${bdp.system.bizdate}'
AND type IN ('target_unconform_label', 'clue_label','target_conform_label')
) b
ON a.clue_label = b.dict_key
GROUP BY a.id; -- 获取 SELECT a.*
,GET_JSON_OBJECT(a.prop, '$.busSnapshotDto.clueLable') clue_label
,GET_JSON_OBJECT(
GET_JSON_OBJECT(prop,'$.busSnapshotDto')
,'$.childBrithDay'
) AS childbrithday
,CASE WHEN a.category_id = 205 THEN '月嫂'
WHEN a.category_id = 270 THEN '育儿嫂'
WHEN a.category_id = 212 THEN '保姆'
ELSE '其他'
END AS category_name
FROM o_jz_clue_t_sale_clue a
WHERE dt = '${bdp.system.bizdate}'
AND delete_flag = 0
AND source_id != 100000680
基础的GET_JSON_OBJECT函数运用:
--odps sql
--********************************************************************--
--author:jz_admin
--create time:2019-11-11 14:27:08
--********************************************************************--
获取职员的职业。
use jz_daojia; SELECT us.* , GET_JSON_OBJECT(us.additional_info,'$.jobTitle') as title_s FROM d_sys_user as us
WHERE us.name LIKE "喜"
LIMIT 10 ;
hive sql基础了解的更多相关文章
- Hive SQL基础操作
创建表 hive 查看本地的文件#Can execute local commands within CLI, place a command in between ! and ;!cat data/ ...
- 【原创】大数据基础之Hive(2)Hive SQL执行过程之SQL解析过程
Hive SQL解析过程 SQL->AST(Abstract Syntax Tree)->Task(MapRedTask,FetchTask)->QueryPlan(Task集合)- ...
- 【原创】大数据基础之Hive(1)Hive SQL执行过程之代码流程
hive 2.1 hive执行sql有两种方式: 执行hive命令,又细分为hive -e,hive -f,hive交互式: 执行beeline命令,beeline会连接远程thrift server ...
- 揭秘FaceBook Puma演变及发展——FaceBook公司的实时数据分析平台是建立在Hadoop 和Hive的基础之上,这个根能立稳吗?hive又是sql的Map reduce任务拆分,底层还是依赖hbase和hdfs存储
在12月2日下午的“大数据技术与应用”分论坛的第一场演讲中,来自全球知名互联网公司——FaceBook公司的软件工程师.研发经理邵铮就带来了一颗重磅炸弹,他将为我们讲解FaceBook公司的实时数据处 ...
- Spark(Hive) SQL中UDF的使用(Python)
相对于使用MapReduce或者Spark Application的方式进行数据分析,使用Hive SQL或Spark SQL能为我们省去不少的代码工作量,而Hive SQL或Spark SQL本身内 ...
- Spark(Hive) SQL数据类型使用详解(Python)
Spark SQL使用时需要有若干“表”的存在,这些“表”可以来自于Hive,也可以来自“临时表”.如果“表”来自于Hive,它的模式(列名.列类型等)在创建时已经确定,一般情况下我们直接通过Spar ...
- 【甘道夫】使用HIVE SQL实现推荐系统数据补全
需求 在推荐系统场景中,假设基础行为数据太少,或者过于稀疏,通过推荐算法计算得出的推荐结果非常可能达不到要求的数量. 比方,希望针对每一个item或user推荐20个item,可是通过计算仅仅得到8个 ...
- 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)
一.本课程是怎么样的一门课程(全面介绍) 1.1.课程的背景 作为企业Hadoop应用的核心产品,Hive承载着FaceBook.淘宝等大佬 95%以上的离线统计,很多企业里的离线统 ...
- Spark(Hive) SQL中UDF的使用(Python)【转】
相对于使用MapReduce或者Spark Application的方式进行数据分析,使用Hive SQL或Spark SQL能为我们省去不少的代码工作量,而Hive SQL或Spark SQL本身内 ...
随机推荐
- 01 - Jmeter4.x环境安装以及简单使用
Jmeter 介绍 Apache JMeter应用程序是开源软件,旨在为负载测试功能行为和测量性能的100%纯Java应用程序.它最初是为测试Web应用程序而设计的,但后来扩展到其他测试功能 常用压力 ...
- seaborn教程4——分类数据可视化
https://segmentfault.com/a/1190000015310299 Seaborn学习大纲 seaborn的学习内容主要包含以下几个部分: 风格管理 绘图风格设置 颜色风格设置 绘 ...
- Servlet+AJAX实现的模拟电梯调度
需求产生: 大三下学期天天在学校的同一栋教学楼上课,每天要等四次电梯,有次等电梯无聊了,就想到电梯的运行逻辑该如何用程序来表达呢? 问题描述: 大学的那栋楼有21层,不过在页面中画21层有点密,所以只 ...
- Web前端基础学习-1
HTML5/CSS简介 首先来说一说什么是HTML5,HTML5可以认为是字面上的意义,也就是HTML的第五代产品,当然从另一个角度来说它是一种新的富客户端解决方案. HTML5 将成为 HTML.X ...
- 阿里云LNMP环境安装
文档里有一键部署LNMP环境和手动搭建LNMP环境您看下 镜像部署 LNMP 环境:https://help.aliyun.com/document_detail/25427.html?spm=517 ...
- 牛客小白月赛16 F 小石的妹子 (线段树)
链接:https://ac.nowcoder.com/acm/contest/949/F来源:牛客网 时间限制:C/C++ 1秒,其他语言2秒 空间限制:C/C++ 262144K,其他语言52428 ...
- C#基础知识之类和结构
虽然项目中一直在使用类.结构体等类型,仔细琢磨,还真无法系统的说出个所以然.记录一下类.结构体.类和结构体区别 一.类 对于类,大家都特别熟悉.简单的介绍一下类的结构,然后记录一下Class需要注意的 ...
- canvas 操作像素 反相
代码实例: <!DOCTYPE html> <html> <head> <style> canvas{ background:#eee; } </ ...
- HTML5 canvas绘制图片
demo.js window.onload=function() { createcanvas(); drawImage(); } function createcanvas() { var CANV ...
- vue新建项目之标准路由配置--父子嵌套界面
配置路由所有用到的地方总共四步或者说四处 1.index.js(src--router--index.js) 父子界面嵌套---需要配置子路由 import Vue from 'vue' import ...