WFS: postgresql(postgis)和shp文件查询效率对比
对GeoServer上的WFS的各种数据源查询效率感兴趣,做个测试。本次测试了Postgresql、geopackage、shp文件三种数据源的查询效率,无论是本机还是服务器环境,pg存储查询效率都比shp要好。
环境
操作系统 本机=Windows 10 专业版 1903 服务器=Windows Server 2016
CPU 本机=i7 9700 服务器=L5xxx
内存 本机&服务器 = 32GB
硬盘 本机=512SSD 服务器=1TB机械
geoserver版本:2.16
pg版本:10.x
网络环境:公司局域网
代码测试环境:Cesium 1.68 原生自带的请求方法 Cesium.Resource.fetchJson()
测试环境:Microsoft Edge 84.0.488.1 Dev
预备知识
- WFS
- WFS的cql_filter过滤条件
shapefiles数据信息
数据名 | 数据体积 | 数据量 | EPSG | 非OBJECTID属性个数 |
---|---|---|---|---|
boundary_vill_sparse | 67.9MB | 31383 | 4490 | 12 |
village_mz_sparse | 17.0MB | 6246 | 4490 | 12 |
本文基于公司保密数据进行测试,就不提供数据了,感兴趣的朋友可以用全国县级数据进行模拟。
数据预览:
数据入库要求:
- 均建立索引
wfs模糊查询效率对比(本机)
数据名称 | 数据源 | 体积 | 查询用时(6次随机) |
---|---|---|---|
boundary_vill_sparse | postgresql | 55.65MB | [73, 86, 65, 66, 64, 64] / 6 = 69.7ms |
boundary_vill_sparse | geopackage | 71.70MB | [580, 640, 635, 610, 603, 653] / 6 = 620.2ms |
boundary_vill_sparse | shapefiles | 67.9MB | [412, 344, 359, 396, 339, 369] / 6 = 369.8ms |
village_mz_sparse | postgresql | 13.21MB | [52, 68, 29, 26, 70, 60] / 6 = 50.8ms |
village_mz_sparse | geopackage | 16.82MB | [195, 243, 254, 232, 207, 168] / 6 = 216.5ms |
village_mz_sparse | shapefiles | 17.0MB | [124, 162, 154, 162, 161, 119] / 6 = 147ms |
对于shp文件,在geoserver上勾选“若缺少空间索引,则构建空间索引”选项加速索引。
分析
纵向对比,同一份文件,pg的WFS查询效率远高于shp文件。geopackage作为sqlite的一种实现,适合用来做数据交换以替代shp文件的编辑功能,不适用于查询。
横向对比,数据量越大,pg的优势越明显。数据量大的全省村落行政区数据,比数据量小的梅州局部数据有明显优势(约3倍vs约6倍)。
除此之外,pg还有数据压缩方面的优势,约能节约相对于shp文件20%~30%的文件体积。
对于geopackage,文件体积没有太大变化,可以牺牲稍微多出来的一点空间解决二维数据编辑交换的各种中文不兼容问题。spatiallite未测试。
wfs模糊查询效率对比(服务器)
数据名称 | 数据源 | 查询用时(6次随机) |
---|---|---|
boundary_vill_sparse | postgresql | [419, 354, 411, 425, 360, 362] / 6 = 388.5ms |
boundary_vill_sparse | geopackage | [3.60, 3.37, 3.42, 3.31, 3.36, 3.17] / 6 = 3.37s |
boundary_vill_sparse | shapefiles | [1.94, 1.84, 1.87, 1.48, 1.93, 1.83] / 6 = 1.81s |
village_mz_sparse | postgresql | [320, 316, 314, 316, 316, 312] / 6 = 315.7ms |
village_mz_sparse | geopackage | [1.17, 1.01, 1.00, 1.01, 1.01, 1.01] / 6 = 1.04s |
village_mz_sparse | shapefiles | [656, 640, 636, 639, 637, 637] / 6 = 640.8ms |
分析
在服务器环境shp文件发布的WFS查询时间极其不稳定,有时候会剧增到十几秒,有的时候一秒多,有的时候几秒钟。估计是磁盘IO占用。
总的来说,shp文件的查询效率在数据量越大的时候,无论是服务器环境,还是本地环境,都是不如pg的。
至于geopackage,这个仅适合做交换格式,以覆盖shp文件中文不兼容的情况。
WFS: postgresql(postgis)和shp文件查询效率对比的更多相关文章
- EF 数据查询效率对比
优化的地方: 原地址:https://www.cnblogs.com/yaopengfei/p/9226328.html ①:如果仅是查询数据,并不对数据进行增.删.改操作,查询数据的时候可以取消状态 ...
- Java ftp上传文件方法效率对比
Java ftp上传文件方法效率对比 一.功能简介: txt文件采用ftp方式从windows传输到Linux系统: 二.ftp实现方法 (1)方法一:采用二进制流传输,设置缓冲区,速度快,50M的t ...
- PostGIS 导入SHP文件并与ArcGIS连接
运行环境: ArcGIS10.4 PostGreSql9.4 PostGIS2.2(需勾选空间数据库,否则需要重新安装) 实现步骤: 方法一: 1.打开pgAdminIII,数据库节点上右键,新建数据 ...
- postgresql+postgis+pgrouting实现最短路径查询(1)---线数据的处理和建立拓扑
准备一个线shp数据,并将其导入postgres里面,postgres安装postgis和pgrouting两个插件(方法见http://www.cnblogs.com/nidaye/p/455352 ...
- GeoServer+PostgreSQL+PostGIS+pgRouting实现最短路径查询
一.软件安装 GeoServer下载地址: http://geoserver.org/download/ PostgreSQL下载地址: https://www.postgresql.org/down ...
- postgresql+postgis+pgrouting实现最短路径查询(3)--流程图
项目结束,做一个项目的总结汇报,就把最短路径查询的实现流程图画了一下,现在补出来:
- postgresql+postgis+pgrouting实现最短路径查询(2)---openlayers+geoserver实现最短路径
自己的最短路径实现基本上是按照参考博文的1.2和3进行的,实现的时候也是问题不断,只能是一个一个解决. 问题1:自己发布的geoserver服务无法和OSM底图叠加到一起. 解决:参考博文2提到发布服 ...
- 解决PostGIS打开shp文件输入输出模块出现"找不到文件libintl-9.dll"的问题
找到shp2pgsql-gui.exe这个程序的目录 复制一份libintl-8.dll副本,改名为libintl-9.dll即可.
- Hibernate查询效率对比
查询已知表名的实体时推荐使用getHibernateTemplate().executeWithNativeSession() + SQLQuery方式. 以下测试使用JUnit进行,仅查询一次,查询 ...
随机推荐
- 下面总结一些在HTML中经常使用到的快捷键
使用的编辑器是VS code: 首先是很基础的: ctrl+s :保存: ctrl+a : 全选: ctrl+c , ctrl+c , ctrl+v : 剪切,复制,粘贴: ctrl+z ,ct ...
- IOS 常用的宏定义(#define)
开发中经常用到的常量定义(随时更行): 与UIView相关 //获取View的frame属性 #define GetViewWidth(view) view.frame.size.width #def ...
- springboot系列(三)配置文件详解
目录 properties 文件 1.语法 2.优先级 3.自定义数据配置 4.获取自定义数据配置 1.通过prefix获取 yml文件 1.语法 2.优先级 3.自定义数据配置. 4.获取自定义数据 ...
- MySql 分组函数
#二.分组函数/*功能:用作统计使用,又称为聚合函数或统计函数或组函数 分类:sum 求和.avg 平均值.max 最大值 .min 最小值 .count 计算个数 特点:1.sum.avg一般用于处 ...
- 相见恨晚的 Git 命令动画演示,一看就懂!
虽然 Git 是一个强大的工具,但是我觉得大部分人都会同意我说的:它也可以是一个--噩梦!我一直觉得,使用 Git 的时候把操作过程在脑海里视觉化会非常有用:当我执行某个命令的时候,分支之间是如何交互 ...
- STL之vector常用函数笔记
STL之vector常用函数笔记 学会一些常用的vector就足够去刷acm的题了 ps:for(auto x:b) cout<<x<<" ";是基于范围的 ...
- mpvue 踩坑之src数据绑定出错
原文链接:https://blog.csdn.net/weixin_38984353/article/details/80847288 src实现数据绑定稍不留神就不成功.假定value.src是绑定 ...
- 萌新带你开车上p站(三)
本文作者:萌新 前情回顾: 萌新带你开车上p站(一) 萌新带你开车上p站(二) 0x08 题目给的提示是和运算符优先级有关 登录后直接看源码 mistake@pwnable:~$ ls flag mi ...
- slice使用了解
切片 什么是slice slice的创建使用 slice使用的一点规范 slice和数组的区别 slice的append是如何发生的 复制Slice和Map注意事项 什么是slice Go中的切片,是 ...
- 【python实现卷积神经网络】开始训练
代码来源:https://github.com/eriklindernoren/ML-From-Scratch 卷积神经网络中卷积层Conv2D(带stride.padding)的具体实现:https ...