hive 查询注意问题
1)对于hive内置的列,不是自己建的,在查询的时候需要添加反引号` 比如:`_mt_message`,别在这里犯错误,
(2)南京的_mt_message是json的格式,所以可以直接使用:get_json_object(`_mt_message`,'$.Flag')
南京的:
{"EngineId":"90927395","GPSBrand":"伴车星","OwnerName":"南京壹健汽车租赁有限公司","FeePrintId":"757012490408","VehicleNo":"苏A88H7J","Address":320100,"GPSModel":"ET02D","TransDateStart":20170703,"CheckState":"1","GPSInstallDate":20151113,"TransAgency":"南京市道路运输管理局","FuelType":"A","CertifyDateB":20170703,"FixState":"1","CertifyDateA":20181228,"CompanyId":"33030009","FareType":"222-c-1-1","VehicleType":"小型汽车","RegisterDate":20180911,"TransArea":"南京","Flag":2,"Seats":5,"Brand":"荣威","PhotoId":"https://p0.meituan.net/dache/238553418911c6fb51cfa160211199222613832.jpg@1500h?token=1.1545927117.dache.a605eb5b9dfbf5c0ccaf6ea2ba4a8a01","CommercialType":1,"driverId":195139349,"VehicleColor":"白色","State":0,"Model":"i6","UpdateTime":20181228000337,"PlateColor":"1","VIN":"50D65D3FF6C241192","EngineDisplace":"1600","TransDateStop":20210701}
但是上海的不是:
3 shanghai{"EngineId":"90927395","GPSBrand":"伴车星","OwnerName":"南京壹健汽车租赁有限公司","FeePrintId":"757012490408","VehicleNo":"苏A88H7J","Address":320100,"GPSModel":"ET02D","TransDateStart":20170703,"CheckState":"1","GPSInstallDate":20151113,"TransAgency":"南京市道路运输管理局","FuelType":"A","CertifyDateB":20170703,"FixState":"1","CertifyDateA":20181228,"CompanyId":"33030009","FareType":"222-c-1-1","VehicleType":"小型汽车","RegisterDate":20180911,"TransArea":"南京","Flag":2,"Seats":5,"Brand":"荣威","PhotoId":"https://p0.meituan.net/dache/238553418911c6fb51cfa160211199222613832.jpg@1500h?token=1.1545927117.dache.a605eb5b9dfbf5c0ccaf6ea2ba4a8a01","CommercialType":1,"driverId":195139349,"VehicleColor":"白色","State":0,"Model":"i6","UpdateTime":20181228000337,"PlateColor":"1","VIN":"50D65D3FF6C241192","EngineDisplace":"1600","TransDateStop":20210701}
所以上海的在查询的话应该先截取,然后在get_json_object();
如下:
select get_json_object(substr(`_mt_message`,11),'$.PhotoId') from log.qcs_regulation_shanghai where dt='20181228' and msgtype='baseInfoVehicle'
select * from log.qcs_regulation_shanghai where dt='20181120' limit 10;
查询南京订单成功上传数据总量
hive 查询注意问题的更多相关文章
- 使用shell+awk完成Hive查询结果格式化输出
好久不写,一方面是工作原因,有些东西没发直接发,另外的也是习惯给丢了,内因所致.今天是个好日子,走起! btw,实际上这种格式化输出应该不只限于某一种需求,差不多是通用的. 需求: --基本的:当前H ...
- hive查询遇到java.io.EOFException: Unexpected end of input stream错误
hive查询遇到java.io.EOFException: Unexpected end of input stream错误 原因基本上有两个: 空文件 不完整的文件 解决办法: 删除对应文件- 参考 ...
- hive查询ncdc天气数据
使用hive查询ncdc天气数据 在hive中将ncdc天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果. 1. 在hive中创建ncdc表,这个 ...
- hive查询不加分区的一个异常
今天下午有同事反馈她提交了了一个SQL后,hive 查询就停止响应了. 我看了下,发现hiveserver确实hug住了.听过查看日志,发现了一个牛逼的SQL, 这个SQL很简单: select a. ...
- hive查询语句入门(hive DDL)
hive DDL 启动hadoop /apps/hadoop/sbin/start-all.sh 开启MySQL库,用于存放hive的元数据 sudo service mysql start 启动hi ...
- 求解:为什么impala实现hive查询 可以使用ifnull()函数,不可以使用length() 函数
求大神解惑,找了很久都没有找到为什么??? hive支持length() 函数,不支持ifnull()函数??? impala实现hive查询 支持ifnull()函数,不支持length() 函数 ...
- cdh5.7 做完HA后hive 查询出现异常: expected: hdfs://nameservice
异常信息如下: select * from b_pt_pr_customer_address_info limit 19; FAILED: SemanticException Unable to de ...
- hive查询语句
一. 为什么hive是数据仓库 hive局限于hdfs, 不能进行记录级别的增删改 hive底层的mapreduce启动耗时很长, 无法做到传统数据库的秒查, 只适合离线分析 hive不支持事务, 无 ...
- Hive查询结果批量插入分区
在hive的数据建表时,为了查询的高效性,我们经常会对表建立分区,例如下面的表 create external table dm_fan_photo_icf_basic(user string, it ...
随机推荐
- 【Flask】abort和errorhandler、app_errorhandler进行请求中断及自定义异常处理
在view函数中,如果需要中断request,可以使用abort(500)或者直接raise exception.当然我们还需要返回一个出错信息给前端,所以需要定制一下ErrorHandler.一般只 ...
- flask-sqlalchemy中Datetime的创建时间、修改时间,default,server_default,onupdate
记录第一次创建时间,default falsk中如下两个字段 create_time1 = db.Column(db.DateTime, default=datetime.now) create_ti ...
- 深度学习框架PyTorch一书的学习-第六章-实战指南
参考:https://github.com/chenyuntc/pytorch-book/tree/v1.0/chapter6-实战指南 希望大家直接到上面的网址去查看代码,下面是本人的笔记 将上面地 ...
- mysql从5.5直接升级到5.7后,执行mysql_upgrade速度很慢且执行结束后数据目录大小增加一倍及 mysqlpump备份出现1577错误
mysql官网不支持夸大版本升级,比如跳过5.6直接升级到5.7,但由于一些客观原因,项目需要从5.5直接升级到5.7,以下是具体操作 1.备份之前mysql,(数据量少,可直接拷贝安装目录及data ...
- windows系统VS2017编译boost
1. 下载boost, 解压,进入boost源目录 2. 打开vs2017 x86 CMD工具,输入bootstrap.bat,等待初始化完毕 x86编译 bjam stage --toolset=m ...
- 理解koa2 之 async + await + promise
koa是下一代的Node.js web框架. 我们首先使用koa来实现一个简单的hello world吧!假如目前的项目结构如下: ### 目录结构如下: koa-demo1 # 工程名 | |--- ...
- Linux中断管理 (2)软中断和tasklet
目录: <Linux中断管理> <Linux中断管理 (1)Linux中断管理机制> <Linux中断管理 (2)软中断和tasklet> <Linux中断管 ...
- 异步操作之 Promise 和 Async await 用法进阶
ES6 提供的 Promise 方法和 ES7 提供的 Async/Await 语法糖都可以更好解决多层回调问题, 详细用法可参考:https://www.cnblogs.com/cckui/p/99 ...
- NLog配置分享
新建一个文件命名为NLog.Config,然后添加如下代码 <?xml version="1.0" encoding="utf-8" ?> < ...
- FineUIMvc随笔(3)不能忘却的回发(__doPostBack)
声明:FineUIMvc(基础版)是免费软件,本系列文章适用于基础版. 用户反馈 有网友在官方论坛抛出了这么一个问题,似乎对 FineUIMvc 中的浏览器端与服务器端的交互方式很有异议. 这里面的关 ...