DEM数据全国各省的裁剪与分享(30m、90m、250m、1000m)
1.简介:
数字高程模型(Digital Elevation Model),简称DEM,是通过有限的地形高程数据实现对地面地形的数字化模拟。
这次分享的数据是全国34个省份的DEM裁剪数据,一共有6期数据。
分享的数据效果如上图所示。
2.背景介绍
首先,自己的百度云盘堆满了各种DEM数据,但都是单景,每一次使用都需要进行按区域裁剪、镶嵌。做得多也就烦了。
正好,前段时间研究了一下GDAL与Geopandas结合到一起,进行栅格的批量裁剪与转换。我就一次性地把DEM都裁剪到了省。
人数多了,就想要更多人数。
因此我写了这篇推文,阐述批量裁剪DEM的流程,以及分享各省的裁剪DEM资源。
3.数据制作
3.1 流程图
总体思路是:DEM数据转换、按省份裁剪DEM、切片镶嵌,结果数据后处理。
3.1数据准备工作
首先是下载数据,数据量加在一起是60G大小。
待下载好之后,检查数据,统一所有数据格式为TIFF。例如NASA_30mDEM数据为1300张hgt格式的影像,需全部转为tiff文件,
这步使用arcgis的栅格批量转换功能。
3.2 DEM按省份裁剪
3.2.1 脚本进行裁剪
使用python的RasterIO模块进行单景的DEM读取,使用Geooandas模块操作省份矢量裁剪。考虑到这条推文的阅读性,所有脚本代码我会在github上公开(https://github.com/KUAIDUOBAO),这里暂时只放重要的裁剪脚本:
#裁剪函数
def clip(pathDir,shpdata,rasterfile):
for i in tqdm(range(len(pathDir))):
# 读入栅格文件
rasterfile = files_path+"\\"+pathDir[i]
rasterdata = rio.open(rasterfile)
#获取栅格信息
profile = rasterdata.profile
#标识符
note = pathDir[i]
# 投影变换,使矢量数据与栅格数据投影参数一致
shpdata = shpdata.to_crs(rasterdata.crs)
# 按照所有矢量进行循环裁剪
for j in range(0, len(shpdata)):
try:
# 获取矢量数据的features
geo = shpdata.geometry[j]
#获取该要素的属性信息
data_shp_name=shpdata.全称[j]
#文件保存位置的文件夹 各省
data_filepath=str(data_shp_name)
feature = [geo.__geo_interface__]
# 通过feature裁剪栅格影像
out_image, out_transform = rio.mask.mask(rasterdata, feature, all_touched=True, crop=True, nodata=0)
profile.update(
height=out_image.shape[1],
width=out_image.shape[2],
shape=(out_image.shape[1],out_image.shape[2]),
nodata=0,
bounds=[],
transform=out_transform,
)
# 定义要创建的目录
mkpath = "目录名"
# 检测目录是否存在
mkdir(mkpath)
# 文件名字
name="文件名"
with rasterio.open(name, mode='w', **profile) as dst:
dst.write(out_image)
except:
pass
使用上述脚本,可以得到省级行政图裁剪每一张影像后的裁剪结果。
这些影像都是按照省级轮廓裁剪后的结果,单张只能覆盖一部分区域,因此需要对所有子集影像进行镶嵌。
3.2 DEM按省份镶嵌
需要遍历34个省份的文件夹,镶嵌使用gdal库的Warp函数。
3.3 数据后处理
主要是使用python脚本,对每一个省份文件夹中的结果影像进行重命名,并删除多余的切片文件。这一步需要添加一个判定函数,判定是否为镶嵌文件,
是则保留,不是则删除。
3.3 数据处理总结
除了上述处理过程,中间也写了数个辅助脚本,用以批量归类DEM文件、多线程处理、批量删除与重命名、匹配文件等。这部分脚本我会上传到github中,不再多做介绍。
当然,进行DEM分省裁剪最大的困难从不是算法问题,而是巨大的数据量,单类全国30m的DEM数据解压后差不多40G。长时间的跑数据,我的笔记本电脑cpu真的可以烤肉了(跑数据过程中,温度长期稳定在80度)。
总得来说,工作量很大,下班后都没时间碰"云顶之弈"这个游戏了。
4.结果展示
裁剪得到了34个省份的DEM,各有6张影像,三种30米分辨率、一种90米分辨率、一种250米分辨率以及一种1000米分辨率。总共166G文件,已经上传到百度云。
5.总结
5.1数据总结
使用gdal、geopandas可以很方面地使用矢量裁剪栅格。
而针对全国的DEM数据裁剪,算法不是问题,唯一的问题是数据量很大,需要足够的算力。
5.2下一步的计划
考虑到我的台式电脑即将组装完毕,而它的优点就是散热能力更强。因此,在工作的闲暇之余,接下来会做:
1.使用更高精度的12.5米分辨率的ALOS PALSAR数据和15米分辨率的SRTM-X-DLR,进行一个行政区划的裁剪;
2.从34个省份的DEM裁剪,扩展到全国400个地级市、2700多个县,并进行归类。
6.数据分享
“锐多宝的地理空间”gongzonghao,回复“DEM”,获取数据下载方式。
DEM数据全国各省的裁剪与分享(30m、90m、250m、1000m)的更多相关文章
- Python:爬取全国各省疫情数据并在地图显示
代码: import requests import pymysql import json from pyecharts import options as opts from pyecharts. ...
- arcgis如何制作DEM数据
DEM描述的是地面高程信息,它在测绘.水文.气象.地貌.地质.土壤.工程建设.通讯.军事等国民经济和国防建设以及人文和自然科学领域有着广泛的应用.如在工程建设上,可用于如土方量计算.通视分析等:在防洪 ...
- DEM数据如何生成高程点
这次给大家介绍一个arcgis里的实用功能:通过地形数据提取高程点. 首先做好准备工作: 1.地形数据下载获取 2.软件准备 locaspace viewer:http://rj.baidu.com/ ...
- DEM数据及其他数据下载
GLCF大家都知道吧?http://glcf.umiacs.umd.edu/data/ +++++++++++++++去年12月份听遥感所一老师说TM08初将上网8万景,可是最近一直都没看到相关的网页 ...
- geoServer 发布geoTiff格式的DEM数据
1/数据下载(首先感谢earthexplorer提供了免费的全球DEM数据) 下载地址 https://lta.cr.usgs.gov/GTOPO30 ,首先要注册才可以下载,登陆网站后点击get ...
- 聚合数据全国天气预报api接口
查询天气预报在APP中常用的一个常用功能,聚合数据全国天气预报api接口可以根据根据城市名/id查询天气.根据IP查询天气.据GPS坐标查询天气.查询城市天气三小时预报,并且支持全国不同城市天气预报查 ...
- Redis基本使用及百亿数据量中的使用技巧分享(附视频地址及观看指南)
作者:依乐祝 原文地址:https://www.cnblogs.com/yilezhu/p/9941208.html 主讲人:大石头 时间:2018-11-10 晚上20:00 地点:钉钉群(组织代码 ...
- [翻译] C# 8.0 新特性 Redis基本使用及百亿数据量中的使用技巧分享(附视频地址及观看指南) 【由浅至深】redis 实现发布订阅的几种方式 .NET Core开发者的福音之玩转Redis的又一傻瓜式神器推荐
[翻译] C# 8.0 新特性 2018-11-13 17:04 by Rwing, 1179 阅读, 24 评论, 收藏, 编辑 原文: Building C# 8.0[译注:原文主标题如此,但内容 ...
- 全球DEM数据资源下载
想找有海底地形的全球DEM数据作为三维地球展示用,发现很多都是只有陆地DEM而不带海底的,而且还需要通过Web页面进行选择然后数据下载. 找到一个学校的Ftp可以直接下载数据集,特别是这篇文章几乎汇集 ...
随机推荐
- chromium调试技巧
调试技巧: 1.多进程不方便跟踪渲染进程,单渲染进程的设置方法 command_line->AppendSwitchWithValue("--renderer-process- ...
- Git-05-文件删除与恢复
删除文件 1 添加一个文件test.txt文件用于测试 2 删除文件,这样删除,工作区和版本库一致 也可以直接rm 然后在 git rm,git commit 这样也能保证工作区和版本库一致 恢复误删 ...
- CleanArchitecture Application代码生成插件-让程序员告别CURD Ctrl+C Ctrl+V
这是一个根据Domain项目中定义的实体对象(Entity)生成符合Clean Architecture原则的Application项目所需要的功能代码,包括常用的Commands,Queries,V ...
- Django 模版语法 测试环境 ORM单表查询
模版语法 传值 视图函数向前端html页面传值,基本上所有的数据类型都可以渲染在前端页面上. views.py from django.shortcuts import render, redirec ...
- Spring系列之多个数据源配置
前言 在上篇文章讲到了如何配置单数据源,但是在实际场景中,会有需要配置多个数据源的场景,比如说,我们在支付系统中,单笔操作(包含查询.插入.新增)中需要操作主库,在批量查询或者对账单查询等对实时性要求 ...
- kvm虚拟化的qcow2磁盘格式的扩容方法
第一种:增加一块磁盘而另磁盘空间增大 1).先进入kvm环境,创建一块硬盘:qemu-img create -f qcow2 /home/tianke/test.qcow2 40G 2).再给增加的硬 ...
- NOIP 模拟 $13\; \text{卡常题}$
题解 一道环套树的最小点覆盖题目,所谓环套树就是有在 \(n\) 个点 \(n\) 条边的无向联通图中存在一个环 我们可以发现其去掉一条环上的边后就是一棵树 那么对于此题,我们把所有 \(x\) 方点 ...
- 题解 [SDOI2010]所驼门王的宝藏
传送门 保分题再度爆零,自闭ing×2 tarjan没写vis数组,点权算的也有点问题 这题情况3的连边有点麻烦,考场上想了暴力想了二分就是没想到可以直接拿map水过去 不过map果然贼慢,所以这也是 ...
- ReentrantLock中的Condition(等待和唤醒)
Condition 类的 awiat 方法和 Object 类的 wait 方法等效 Condition 类的 signal 方法和 Object 类的 notify 方法等效 Condition 类 ...
- idea中导包出现import org.apach.*,提交代码老出现冲突,不想使用.*的设置
打开设置>Editor>Code Style>Java>Scheme Default>Imports ① 将Class count to use import with ...