将NC栅格表示时间维度的数据提取出来的方法
本文介绍基于Python语言,逐一读取大量.nc
格式的多时相栅格文件,导出其中所具有的全部时间信息的方法。
.nc
是NetCDF
(Network Common Data Form)文件的扩展名,表示一种常用的科学数据存储格式。NetCDF
是一种自描述的、可移植的二进制文件格式,用于存储科学和工程领域的大型数据集;由于其自身的特性,.nc
数据被广泛应用于气象学、海洋学、地球科学、气候研究、大气科学、地理信息系统等领域。
首先,明确一下本文的需求。现在有一个文件夹,其中具有大量的.nc
格式的栅格文件,如下图所示。
其中,每一个.nc
格式的文件都具有多个时相(或者说是多个维度),而不仅仅只是一个时相。我们希望,读取这个文件夹中的全部.nc
格式文件,并获取其所表示的每一个时相。
明确了需求后,我们就可以开始具体的操作。首先,本文所需用到的代码如下。
# -*- coding: utf-8 -*-
"""
Created on Sun Dec 31 20:28:03 2023
@author: fkxxgis
"""
import os
import netCDF4
from netCDF4 import Dataset
def list_nc_dates(folder_path):
nc_dates = []
for file_name in os.listdir(folder_path):
if file_name.endswith(".nc"):
file_path = os.path.join(folder_path, file_name)
try:
dataset = Dataset(file_path)
time_var = dataset.variables["time"]
time_values = time_var[:]
time_units = time_var.units
time_calendar = time_var.calendar
dates = []
for value in time_values:
date = netCDF4.num2date(value, units=time_units, calendar=time_calendar)
dates.append(date.strftime("%Y-%m-%d %H:%M:%S"))
nc_dates.append((file_name, dates))
except Exception as e:
print(f"Error reading file {file_name}: {str(e)}")
return nc_dates
folder_path = "F:/Data_Reflectance_Rec/soil_1"
nc_dates = list_nc_dates(folder_path)
for nc_file, dates in nc_dates:
for date in dates:
print(date)
这段代码整体思路也很明确。
首先,我们导入所需的模块。在这里,需要导入Python的os
模块,用于处理文件和文件夹路径操作;同时导入netCDF4
库,并接着从netCDF4
库中导入Dataset
类,用于打开和读取.nc
文件。在这里,如果需要配置netCDF4
库,大家可以参考文章配置h5py、netCDF4库的方法:Anaconda环境。
接下来,我们定义了一个名为list_nc_dates
的函数,接受一个文件夹路径作为参数。在函数中,首先创建一个空列表nc_dates
,用于存储每个.nc
文件及其对应的日期列表;随后,使用os.listdir()
函数遍历文件夹中的所有文件,通过检查文件名是否以.nc
结尾来筛选出.nc
文件。紧接着,对于筛选出来的.nc
文件,使用os.path.join()
函数构建其完整路径。
其次,使用Dataset
类打开.nc
文件,并将打开的文件对象赋值给dataset
变量;随后,获取.nc
文件的时间,在本文的.nc
数据中,也就是名为time
的变量,并将时间变量的值读取到time_values
变量中。接下来,分别获取时间变量的单位与时间类型。
随后,我们创建一个空列表dates
,用于存储日期字符串。遍历时间变量的每个值,使用netCDF4.num2date()
函数将时间值转换为日期对象。紧接着,将日期对象转换为指定格式的字符串,并将其添加到dates
列表中。此外,这里还将.nc
文件名和对应的日期列表作为元组添加到nc_dates
列表中,方便我们后期对日期的核对。函数的最后,返回包含每个.nc
文件及其对应日期的列表。
在函数外部,我们设置文件夹路径,随后即可调用list_nc_dates
函数,将文件夹路径传递给它,并将返回的结果赋值给nc_dates
变量。最后,通过循环,打印每个日期即可。
执行上述代码,即可出现如下图所示的结果(结果很长,就截取一部分)。由于在本文中,每一个.nc
格式文件的每一个维度(即每一个时相)都是精确到天的,所以下图天数后的时、分、秒都是00
。当然,如果大家的.nc
格式文件维度很多,时相打印出来的话也不好完全显示,所以可以考虑将时间信息导出为表格文件等;例如,可以将每一个date
都放在DataFrame中,随后导出为.csv
文件。
至此,大功告成。
将NC栅格表示时间维度的数据提取出来的方法的更多相关文章
- PDO 学习与使用 ( 二 ) PDO 数据提取 和 预处理语句
以数据库 msg 为例,说明 PDO 的数据提取.预处理语句: mysql> show tables;+---------------+| Tables_in_msg |+----------- ...
- python爬虫数据提取之bs4的使用方法
Beautiful Soup的使用 1.下载 pip install bs4 pip install lxml # 解析器 官方推荐 2.引用方法 from bs4 import BeautifulS ...
- Scrapy(五):Response与Request、数据提取、Selector、Pipeline
学习自Requests and Responses - Scrapy 2.5.0 documentation Request在Spider中生成,被Downloader执行,之后会得到网页的Respo ...
- kmeans算法c语言实现,能对不同维度的数据进行聚类
最近在苦于思考kmeans算法的MPI并行化,花了两天的时间把该算法看懂和实现了串行版. 聚类问题就是给定一个元素集合V,其中每个元素具有d个可观察属性,使用某种算法将V划分成k个子集,要求每个子集内 ...
- 《BI项目笔记》创建时间维度(1)
SSAS Date 维度基本上在所有的 Cube 设计过程中都存在,很难见到没有时间维度的 OLAP 数据库.但是根据不同的项目需求, Date 维度的设计可能不大相同,所以在设计时间维度的时候需要搞 ...
- MySQL学习笔记:生成时间维度表
# ---- 对应时间戳怎么生成的? ---- /*TIME_CD TIME_CD1000000 000005000001 000005000002 000005000003 000005000004 ...
- 【BIEE】15_时间维度建立
时间维度的建立 1.环境准备 ①新建时间维度表:TIME_DIMENSION 建立时间维度表并插入数据 ---------------创建时间维度表 create table TIME_DIMENSI ...
- DAX/PowerBI系列 - 关于时间系列 - 如何用脚本生成时间维度 (Generate TIME Dimension)
DAX/PowerBI系列 - 关于时间系列 - 如何用脚本生成时间维度 (Generate TIME Dimension) 难度: ★☆☆☆☆(1星) 适用范围: ★★★★★(5星) 这个时间系列想 ...
- 《BI项目笔记》创建时间维度(2)
创建步骤: 序号 选择的属性 重命名后的名称 属性类别 1 DateKey DateKey 常规 2 Month Key Month Key 月份 3 English Month Name Eng ...
- DAX/PowerBI系列 - 关于时间系列 - 如何用脚本生成时间维度 (Generate Date Dimension)
跟大家的交流是我的动力. :) DAX/PowerBI系列 - 关于时间系列 - 如何用脚本生成时间维度 (Generate Date Dimension) 难度: ★☆☆☆☆(1星) 适用范围: ★ ...
随机推荐
- mindspore.ops.Pow()等算子不能处理float64类型的数据
原文地址: https://gitee.com/mindspore/mindspore/issues/I3ZG99 Software Environment: -- MindSpore r1.2 GP ...
- 解决CGLib动态代理测试不通过-Unable to load cache item
1.背景 在学习aop底层时遇到的问题,做个小结 2.现象 动态代理代码如下: package com.ldp.proxy; import net.sf.cglib.proxy.Enhancer; i ...
- SeaTunnel DB2 Source Connector 使用文档(含详细操作步骤)
DB2是IBM的一款关系型数据库管理系统,JDBC DB2 Source Connector是一个用于通过JDBC读取外部数据源数据的连接器.Apache SeaTunnel如何支持JDBC DB2 ...
- rcc of stm32
1. G0 2. F0 / F1 / F3 F0 F1 F3 3. F2/F4 F205 f429 f7
- AT Educational DP Contest
https://atcoder.jp/contests/dp J - Sushi 设 \(f[i,j,k]\) 表示有 \(1/2/3\) 个寿司的盘子有 \(i/j/k\) 个 考虑随机到哪种盘子列 ...
- 微信小程序 BLE 基础业务接口封装
写在前面:本文所述未必符合当前最新情形(包括蓝牙技术发展.微信小程序接口迭代等). 微信小程序为蓝牙操作提供了很多接口,但在实际开发过程中,会发现隐藏了不少坑.目前主流蓝牙应用都是基于低功耗蓝牙(BL ...
- Docker的数据卷与数据卷容器操作
一.数据卷 数据卷(Data Volumes)是一个可供容器使用的特殊目录,它将主机操作系统目录直接映射进容器,类似于Linux中的mount动作. 数据卷可以提供很多有用的特性: 数据卷可以在容器之 ...
- [Udemy] AWS Certified Data Analytics Specialty - 4.Analysis
Kinesis Data Analytics Analytics 可以和 Lambda集成 RANDOM_CUT_FOREST, 异常检测算法 OpenSearch = ElasticSearch O ...
- jstack排查cpu占用高的步骤
通过jstack排查cpu占用高的问题 1.通过top命令找到cpu占用高的应用程序进程 2.通过top -H -p pid查看该应用中占用CPU高的线程. 3.通过printf "%x\n ...
- LeetCode题集-2 - 两数相加
这个题目是什么意思呢?简单来说就是把两个链表平铺开,头节点对齐,然后从头开始相同的节点相加,满10则进位,进位值与下个节点继续相加,当一个链表没有节点时候则可以把没有节点当做0继续与有节点的链表继续相 ...