UDF2
问题
- 根据给定的gps点point(x,y)和北京的shape数据,关联出 AOI ID
IO
- 输入
- gps点表
create table gps ( x double, //经度 y double //纬度 )
+------------+------------+
| x | y |
+------------+------------+
| 113.570517 | 22.149751 |
| 113.57431 | 22.152167 |
| 113.544971 | 22.190477 |
| 113.546035 | 22.203194 |
| 113.568557 | 22.168465 |- shape文件
ogrinfo -ro -al beijing_20160122152124568.shp OGRFeature(beijing_20160122152124568): AOIID (String) = G00AOI000001ZIQ3 POIID (String) = B0FFFTLAU4 Name (String) = ˮѧԺԺ Type (String) = Disp_Class (Integer) = Reference (String) = (null) ParentID (String) = (null) CenterX (Real) = 116.322184 CenterY (Real) = 39.931526 Area (Real) = 19187.288500 CreateTime (String) = -- : UpdateTime (String) = -- : Update (String) = u CityName (String) = Memo (String) = POLYGON ((418756.3848 143755.6608,418756.5396 143755.7688,418759.47 143755.7688,418760.8884 143755.7616,418760.8884 143754.616799999989,418761.9324 143754.5628,418763.556 143754.5376,418763.624399999972 143753.8716,418763.9304 143753.810399999988,418763.898 143751.5064,418756.395599999989 143751.733199999988,418756.395599999989 143753.263199999987,418756.3848 143755.6608))
- 输出
- 根据gps表中点,判断是否内含与shape文件的polygon中,关联出AOIID
- 输出表
+------------+------------+--------+ | x | y | aoi_id | +------------+------------+--------+ | 419217.2568 | 143807.9436 | NULL | | 418659.14879999997 | 143630.046 | NULL | | 418659.6312 | 143629.9848 | NULL | | 418024.2636 | 143054.75519999999 | NULL | | 419875.88399999996 | 143947.60199999998 | NULL | | 418042.9692 | 143037.2556 | NULL | | 418469.9436 | 144192.348 | NULL | | 418469.9436 | 144192.348 | G00AOI000001WBC2 | | 420292.3248 | 143810.84879999998 | NULL | | 418509.26279999997 | 143762.994 | NULL |
知识点
- GDAL/ogr2ogr使用
- JTS geometry内含判断
- JTS Rtree使用
数据准备
- shape文件
- 提取wkt和aoiid字段
ogr2ogr -lco "GEOMETRY=AS_WKT" -lco "SEPARATOR=SEMICOLON" -f CSV beijing_20160122152124568.csv -sql "select AOIID from beijing_20160122152124568" beijing_20160122152124568.shp
- 去掉文件中的双引号
sed -e '/"/s/"//g' beijing_20160122152124568.csv > beijing.csv
- odps中创建表
create table beijing(wkt string,lua_id bigint);
- 上传文件
tunnel u -fd ';' beijing.csv.csv autonavi_tinfo_dev.exercise_land_user_area; //列之间按照";"分割
- 将表作为资源文件加入odps
add table beijing
编码
- udtf
import java.util.Iterator; import java.util.List; import com.aliyun.odps.udf.ExecutionContext; import com.aliyun.odps.udf.UDFException; import com.aliyun.odps.udf.UDTF; import com.aliyun.odps.udf.annotation.Resolve; import com.vividsolutions.jts.geom.Coordinate; import com.vividsolutions.jts.geom.Envelope; import com.vividsolutions.jts.geom.GeometryFactory; import com.vividsolutions.jts.geom.Point; import com.vividsolutions.jts.geom.Polygon; import com.vividsolutions.jts.index.strtree.STRtree; import com.vividsolutions.jts.io.WKTReader; /** * 加载table中的资源,字段如: wkt string ,bigint lua_id 参数: x,y,tableName,idxWkt,idxId * * @author xingxing.dxx double,double,string,bigint,bigint->double,double,string * */ @Resolve({ "double,double->double,double,string" }) public class ExerciseWithinUDTF extends UDTF { /* * private Logger LOGGER = * LoggerFactory.getLogger(ExerciseWithinUDTF.class); */ private GeometryFactory geometryFactory = new GeometryFactory(); private WKTReader reader = new WKTReader(geometryFactory); private STRtree strtree; private ExecutionContext ctx; public void setup(ExecutionContext ctx) throws UDFException { this.ctx = ctx; } @Override public void process(Object[] args) throws UDFException { final double x = (double) args[0]; final double y = (double) args[1]; String tableName = (String) args[2]; int idxWkt = ((Long) args[3]).intValue(); int idxId = ((Long) args[4]).intValue(); // 1.初始化,第一次才加载表资源 if (strtree == null) { strtree = new STRtree(); try { Iterator<Object[]> iterator = this.ctx.readResourceTable(tableName).iterator(); while (iterator.hasNext()) { Object[] o = iterator.next(); String wkt = (String) o[idxWkt]; String id = (String) o[idxId]; Polygon polygon = (Polygon) reader.read(wkt); GeometryBean gb = new GeometryBean(polygon, id); strtree.insert(polygon.getEnvelopeInternal(), gb); } } catch (Exception e) { /* LOGGER.error("资源加载出现问题",e); */ e.printStackTrace(); throw new RuntimeException(e.getMessage()); } } Coordinate coord = new Coordinate(x, y); Point point = geometryFactory.createPoint(coord); Envelope envelope = new Envelope(coord); List<GeometryBean> items = strtree.query(envelope); String luaId = null; if (items != null && items.size() > 0) { for (Object o : items) { GeometryBean geometryBean = (GeometryBean) o; if (point.within(geometryBean.getPolygon())) { luaId = geometryBean.getId(); } forward(x, y, luaId); } } else { forward(x, y, luaId); } } public void close() throws UDFException { } }
- sql
CREATE TABLE result_gps_within AS SELECT udtf_exercise_within(x,y,,) as(x,y,aoi_id) FROM gps
SELECT a.aoi_id,count(distinct x,y) num FROM ( SELECT udtf_exercise_within(x*,y*,,) as(x,y,aoi_id) FROM gps ) a where aoi_id is not null GROUP BY a.aoi_id
碰到的坑
- shape文件是秒的格式,需要转换成度
- ogr2ogr转成的csv文件需要去掉双引号,否则不能反序列化为polygon
- udtf读取资源文件需要把表当做资源添加
UDF2的更多相关文章
- DB2 嵌入式应用中定义游标(开放平台上)
DECLARE CURSOR statement The DECLARE CURSOR statement defines a cursor. Invocation Although an inter ...
- AnonymousType匿名类型和对象之间的转换
本文转载:http://www.cnblogs.com/dean-Wei/p/3150553.html 一.匿名对象转换为对象. 1.问题: 2.解决方案:强制指定类型. 解决之. 二. 对象转换为匿 ...
- mysql常用的提权方法
一,利用MOF提权 Windows 管理规范 (WMI) 提供了以下三种方法编译到 WMI 存储库的托管对象格式 (MOF) 文件: 方法 1: 运行 MOF 文件指定为命令行参数将 Mofcomp. ...
- 【Spark篇】---SparkSql之UDF函数和UDAF函数
一.前述 SparkSql中自定义函数包括UDF和UDAF UDF:一进一出 UDAF:多进一出 (联想Sum函数) 二.UDF函数 UDF:用户自定义函数,user defined functio ...
- Spark SQL UDF示例
UDF即用户自定函数,注册之后,在sql语句中使用. 基于scala-sdk-2.10.7,Spark2.0.0. package UDF_UDAF import java.util import o ...
- 【Spark篇】---SparkSQL中自定义UDF和UDAF,开窗函数的应用
一.前述 SparkSQL中的UDF相当于是1进1出,UDAF相当于是多进一出,类似于聚合函数. 开窗函数一般分组取topn时常用. 二.UDF和UDAF函数 1.UDF函数 java代码: Spar ...
- 【Spark-SQL学习之三】 UDF、UDAF、开窗函数
环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark ...
- Windows XP UDF 2.5 补丁,播放蓝光ISO光盘必备
蓝光光盘的文件系统是UDF2.5,Windows XP及以下的操作系统默认不能支持这个文件系统.当我们在XP系统中使用蓝光光盘或蓝光ISO文件时,就会提示“Windows不能从此盘读取,此盘可能已损坏 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十五)Spark编写UDF、UDAF、Agg函数
Spark Sql提供了丰富的内置函数让开发者来使用,但实际开发业务场景可能很复杂,内置函数不能够满足业务需求,因此spark sql提供了可扩展的内置函数. UDF:是普通函数,输入一个或多个参数, ...
随机推荐
- js深拷贝和浅拷贝
一.数组的深浅拷贝 在使用JavaScript对数组进行操作的时候,我们经常需要将数组进行备份,事实证明如果只是简单的将它赋予其他变量,那么我们只要更改其中的任何一个,然后其他的也会跟着改变,这就导致 ...
- Simple Molecules(简单)
Simple Molecules time limit per test 1 second memory limit per test 256 megabytes input standard inp ...
- vbox导入虚拟电脑网卡MAC问题
vbox导入虚拟电脑之后,需要"重新初始化所有网卡的MAC地址". centos需要做以下几步操作: 1.删除文件"/etc/udev/rules.d/70-persis ...
- CM: 使用gerrit,提交代码到CM
1. Make sure your local git username matches with your Gerrit username, Gerrit username needs to be ...
- 资源 | 数十种TensorFlow实现案例汇集:代码+笔记
选自 Github 机器之心编译 参与:吴攀.李亚洲 这是使用 TensorFlow 实现流行的机器学习算法的教程汇集.本汇集的目标是让读者可以轻松通过案例深入 TensorFlow. 这些案例适合那 ...
- 3-5年的PHPer常见的面试题
看到有很多,的总结一下,比较适合有一定经验的PHPer 1.平时喜欢哪些php书籍及博客?CSDN.虎嗅.猎云 2.js闭包是什么? 3.for与foreach哪个更快? 4.php鸟哥是谁?能不能讲 ...
- 【原创】C#搭建足球赛事资料库与预测平台(5) 赔率数据表设计1
本博客所有文章分类的总目录:http://www.cnblogs.com/asxinyu/p/4288836.html 开源C#彩票数据资料库系列文章总目录:http://www.cn ...
- 这些年你需要注意的SQL
[20141114]这些年你需要注意的SQL *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bot ...
- url rewrite优化url的可读性
1.下载urlrewrite,官方下载地址:http://tuckey.org/urlrewrite/ 2.解压缩文件,将jar放入项目,并创建urlrewrite.xml: 3.将filter添加到 ...
- 使用 Responsive Elements 快速构建响应式网站
Responsive Elements 可以使任何元素来适应和应对他们所占据的区域.这是一个轻量的 JavaScript 库,你可以轻松嵌入到你的项目.元素会更具自己的宽度,自动响应和适应空间的增加或 ...