Pythond 读写HDF5文件

HDF(Hiearchical Data Format)是一种针对大量数据进行组织和存储的文件格式,可以存储不同类型的图像和数码数据的文件格式，并且可以在不同类型的机器上传输。

HDF是美国国家高级计算应用中心(National Center for Supercomputing Application,NCSA)为了满足各种领域研究需求而研制的一种能高效存储和分发科学数据的新型数据格式。它的通用性比较强，许多数据类型都可以被嵌入在一个HDF文件里。例如符号、数字和图形数据可以同时存储在一个HDF文件里。HDF还是跨平台的，是一种与平台无关的文件格式，无需任何转换就可以在不同平台上使用。

从20世纪八十年代起，NCSA陆续推出了HDF1～HDF4版本，HDF5发布于1998年，相比HDF4,HDF5具有以下改进：

• 被设计为一种新的格式用来改进HDF4.x，特别是每个文件可以存储更大的文件和更多的对象。
• 数据模式更简洁、更全面，它包含两个基本结构：多维数组记录结构，和分组结构。
• 更简洁、更利于工程库和应用编程接口，支持并行I/O，线程和其他一些现代系统和应用要求。

HDF5 是一种层次化的格式（hierarchical format），经常用于存储复杂的科学数据。例如 MATLAB 就是用这个格式来存储数据。在存储带有关联的元数据（metadata）的复杂层次化数据的时候，这个格式非常有用，例如计算机模拟实验的运算结果等，并且在技术上提供了丰富的接口，包含C，C++，Fortran, Python, Java等，能够在不同的语言间完美兼容。

HDF5在Python中的工具包是h5py，创建一个HDF5文件：

# -*- coding: utf-8 -*-
import h5py  # 导入工具包
import numpy as np

# HDF5的写入：
imgData = np.zeros((30, 3))
with h5py.File('HDF5_FILE.h5', 'w') as f:
    f['data'] = imgData  # 将数据写入文件的主键data下面
    f['labels'] = range(100)  # 将数据写入文件的主键labels下面
    # f.close()  # 关闭文件
print '*.h5 Created.

或者：

# -*- coding: utf-8 -*-
import h5py  # 导入工具包
import numpy as np

# HDF5的写入：
imgData = np.zeros((30, 3))
with h5py.File('HDF5_FILE.h5', 'w') as f:
    f.create_dataset('data', data=imgData)
    f.create_dataset('labels', data=range(100))

    # f.close()  # 关闭文件
print '*.h5 Created.'

读取.h5文件内容：

# -*- coding: utf-8 -*-
import h5py  # 导入工具包
import numpy as np

# HDF5的读取：
with h5py.File('HDF5_FILE.h5', 'r') as f:
    for item in f.keys():
        print 'main key is: {}'.format(item)
        content = f[item][:]
        print 'key value of {0} is: {1}'.format(item,content)
        # f.close()