转载 Python 存储与读取HDF5文件

HDF5 简介

HDF（Hierarchical Data Format）指一种为存储和处理大容量科学数据设计的文件格式及相应库文件。HDF 最早由美国国家超级计算应用中心 NCSA 开发，目前在非盈利组织 HDF 小组维护下继续发展。当前流行的版本是 HDF5。HDF5 拥有一系列的优异特性，使其特别适合进行大量科学数据的存储和操作，如它支持非常多的数据类型，灵活，通用，跨平台，可扩展，高效的 I/O 性能，支持几乎无限量（高达 EB）的单文件存储等，详见其官方介绍：https://support.hdfgroup.org/HDF5/ 。

HDF5 结构

HDF5 文件一般以 .h5 或者 .hdf5 作为后缀名，需要专门的软件才能打开预览文件的内容。HDF5 文件结构中有 2 primary objects: Groups 和 Datasets。

Groups 就类似于文件夹，每个 HDF5 文件其实就是根目录 (root) group'/'，可以看成目录的容器，其中可以包含一个或多个 dataset 及其它的 group。
Datasets 类似于 NumPy 中的数组 array，可以当作数组的数据集合。

每个 dataset 可以分成两部分: 原始数据 (raw) data values 和元数据 metadata (a set of data that describes and gives information about other data => raw data)。

+-- Dataset

|   +-- (Raw) Data Values (eg: a 4 x 5 x 6 matrix)

|   +-- Metadata

|   |   +-- Dataspace (eg: Rank = 3, Dimensions = {4, 5, 6})

|   |   +-- Datatype (eg: Integer)

|   |   +-- Properties (eg: Chuncked, Compressed)

|   |   +-- Attributes (eg: attr1 = 32.4, attr2 = "hello", ...)

|

从上面的结构中可以看出：

Dataspace 给出原始数据的秩 (Rank) 和维度 (dimension)
Datatype 给出数据类型
Properties 说明该 dataset 的分块储存以及压缩情况

Chunked: Better access time for subsets; extendible
Chunked & Compressed: Improves storage efficiency, transmission speed

Attributes 为该 dataset 的其他自定义属性

整个 HDF5 文件的结构如下所示：

+-- /

|   +-- group_1

|   |   +-- dataset_1_1

|   |   |   +-- attribute_1_1_1

|   |   |   +-- attribute_1_1_2

|   |   |   +-- ...

|   |   |

|   |   +-- dataset_1_2

|   |   |   +-- attribute_1_2_1

|   |   |   +-- attribute_1_2_2

|   |   |   +-- ...

|   |   |

|   |   +-- ...

|   |

|   +-- group_2

|   |   +-- dataset_2_1

|   |   |   +-- attribute_2_1_1

|   |   |   +-- attribute_2_1_2

|   |   |   +-- ...

|   |   |

|   |   +-- dataset_2_2

|   |   |   +-- attribute_2_2_1

|   |   |   +-- attribute_2_2_2

|   |   |   +-- ...

|   |   |

|   |   +-- ...

|   |

|   +-- ...

|

一个 HDF5 文件从一个命名为 "/" 的 group 开始，所有的 dataset 和其它 group 都包含在此 group 下，当操作 HDF5 文件时，如果没有显式指定 group 的 dataset 都是默认指 "/" 下的 dataset，另外类似相对文件路径的 group 名字都是相对于 "/" 的。

安装

pip install h5py

Python读写HDF5文件

#!/usr/bin/python

# -*- coding: UTF-8 -*-

#

# Created by WW on Jan. 26, 2020

# All rights reserved.

#

import h5py

import numpy as np

def main():

    #===========================================================================

    # Create a HDF5 file.

    f = h5py.File("h5py_example.hdf5", "w")    # mode = {'w', 'r', 'a'}

    # Create two groups under root '/'.

    g1 = f.create_group("bar1")

    g2 = f.create_group("bar2")

    # Create a dataset under root '/'.

    d = f.create_dataset("dset", data=np.arange(16).reshape([4, 4]))

    # Add two attributes to dataset 'dset'

    d.attrs["myAttr1"] = [100, 200]

    d.attrs["myAttr2"] = "Hello, world!"

    # Create a group and a dataset under group "bar1".

    c1 = g1.create_group("car1")

    d1 = g1.create_dataset("dset1", data=np.arange(10))

    # Create a group and a dataset under group "bar2".

    c2 = g2.create_group("car2")

    d2 = g2.create_dataset("dset2", data=np.arange(10))

    # Save and exit the file.

    f.close()

    ''' h5py_example.hdf5 file structure

    +-- '/'

    |   +--    group "bar1"

    |   |   +-- group "car1"

    |   |   |   +-- None

    |   |   |

    |   |   +-- dataset "dset1"

    |   |

    |   +-- group "bar2"

    |   |   +-- group "car2"

    |   |   |   +-- None

    |   |   |

    |   |   +-- dataset "dset2"

    |   |

    |   +-- dataset "dset"

    |   |   +-- attribute "myAttr1"

    |   |   +-- attribute "myAttr2"

    |   |

    |

    '''

    #===========================================================================

    # Read HDF5 file.

    f = h5py.File("h5py_example.hdf5", "r")    # mode = {'w', 'r', 'a'}

    # Print the keys of groups and datasets under '/'.

    print(f.filename, ":")

    print([key for key in f.keys()], "\n")  

    #===================================================

    # Read dataset 'dset' under '/'.

    d = f["dset"]

    # Print the data of 'dset'.

    print(d.name, ":")

    print(d[:])

    # Print the attributes of dataset 'dset'.

    for key in d.attrs.keys():

        print(key, ":", d.attrs[key])

    print()

    #===================================================

    # Read group 'bar1'.

    g = f["bar1"]

    # Print the keys of groups and datasets under group 'bar1'.

    print([key for key in g.keys()])

    # Three methods to print the data of 'dset1'.

    print(f["/bar1/dset1"][:])        # 1. absolute path

    print(f["bar1"]["dset1"][:])    # 2. relative path: file[][]

    print(g['dset1'][:])        # 3. relative path: group[]

    # Delete a database.

    # Notice: the mode should be 'a' when you read a file.

    '''

    del g["dset1"]

    '''

    # Save and exit the file

    f.close()

if __name__ == "__main__":

    main()