美国gfs数据介绍和解析

最近有个项目需要开发个气象信息API，可以通过经纬度查找未来几天的气象信息。

经过几天的研究，现在简单总结一下。

1、数据来源
数据来源采自美国国家环境预报中心的GFS(全球预报系统)，该系统每天发布4次全球范围的气象数据，分辨率最高可达到0.25° x 0.25°，精度还是比较可观的。

2、数据下载
GFS数据提供FTP下载方式：http://www.ftp.ncep.noaa.gov/data/nccf/com/gfs/prod/

每次发布的数据保存在命名为gfs.YYYYMMDDHH的文件夹中。本次需要的数据精度为0.25°（0p25），所以数据的文件名为：gfs.t{HH}z.pgrb2.0p25.f{XXX}

其中HH表示发布的时间，XXX表示未来几小时的预报数据。例如gfs.t00z.pgrb2.0p25.f001 表示0时发布的未来1小时气象数据信息。

那么问题来了，这个文件太大了，因为分辨率比较高，每个文件高达200多MB，不仅下载速度慢，处理慢，对存储空间也是一个考验。

于是找到了一个可以在线过滤要下载数据的地址：

http://nomads.ncep.noaa.gov/cgi-bin/filter_gfs_0p25.pl

这个网站允许用户仅下载过滤后的文件，并提供下载网址，这样文件就会小很多。

例如，在本项目中，仅需要下载降雨数据（PWAT），并且经纬度范围为特定区域，每次发布的数据全部下载下来也才8M多点。

3、wgrib2
GFS的数据格式为GRIB，那么什么是GRIB呢？ 官方的解释如下：

GRIB is a WMO format for gridded data. GRIB is used by the operational meteorological centers for storage and the exchange of gridded fields. GRIB's major advantages are files are typically 1/2 to 1/3 of the size of normal binary files (floats), the fields are self describing, and GRIB is an open, international standard.

那么要想获得GRIB文件中的数据，则需要用到一个软件wgrib2,，该软件在ncep网站上提供源码下载，可以很方便的在Linux下使用gcc进行编译。

以CentOS为例，需要首先安装gcc和gfortran编译器。

# yum install gcc
# yum install gcc-gfortran

然后就可以下载并安装wgrib2了。

1) Download ftp://ftp.cpc.ncep.noaa.gov/wd51we/wgrib2/wgrib2.tgz
2) untar wgrib2.tgz:  tar -xzvf wgrib2.tgz   (use gnu tar)
3) cd to main directory:  cd grib2
4) define the C and fortran compilers and make
   Bash:
     export CC=gcc
     export FC=gfortran
     make
     make lib                        only if you want the ftn_api
   Csh
     setenv CC gcc
     setenv FC gfortran
     make
     make lib                        only if you want the ftn_api
5) See if wgrib2 was compiled
     wgrib2/wgrib2 -config

需要注意的是，wgrib2以插件的形式提供了mysql入库功能，但是需要在make之前编辑"makefile" 文件以标记使用MYSQL（USE_MYSQL=1）。

另外，在编译的过程中会用到/usr/local/include的头文件，如果安装MySQL插件还需要安装下yum install mysql-devel。

安装后就可以体验下wgrib2的解压并入库功能了。

4、使用wgrib2解压文件并load进mysql数据库
使用wgrib2装载数据库，首先要创建对应的数据库表
create table wgrib2 (rt datetime, vt datetime, lat double, lon double, param varchar(80), level varchar(30), value double);

这里各列的含义如下：
rt: run time
vt: valid time
lat: latitude
lon: longitude
param: parameter
level: level/layer
value: value

命令也很简单：
# ./wgrib2 gfs.2017061900/gfs.t00z.pgrb2.1p00.f000 -if ":PWAT" -mysql <server_ip> <username> <password> <dbname> <tablename>

该命令会将文件中的全部PWAT数据放到对应的表中。

有了以上基础，就可以写个脚本每天自动化下载并保存GFS数据到我们的数据库了。