python3存储numpy格式的矩阵
技术背景
numpy在python中的地位是相当高的,即使是入门的python使用者也会经常看到这个库的使用。除了替代python自带的列表数据格式list之外,numpy的一大优势是其底层的高性能实现方式,比如前一篇博客中所提到的矢量运算,就是一种基于SIMD的底层运算优化方案,使得numpy的计算速度远高于一个普通的for循环。
而在日常运算的过程中,有些数据往往是不会变化的,比如机器学习中的测试和训练数据。那么如果这里使用的是numpy的数据结构的话,就会涉及到相关数据的存储,numpy可以将其数据存储为.npy
或者.npz
结构。
npy结构的数据存储
npy格式适用于单个numpy列表的存储,这个列表的维度可以是任意的,但是最外层必须是一个numpy的列表结构。以下用ipython来展示npy文件的基本使用方法,首先是创建一个数组,然后用np.save
保存到一个给定的文件名中:
[dechin@dechin-manjaro numpy]$ ipython
Python 3.8.5 (default, Sep 4 2020, 07:30:14)
Type 'copyright', 'credits' or 'license' for more information
IPython 7.19.0 -- An enhanced Interactive Python. Type '?' for help.
In [1]: import numpy as np
In [2]: test_arr = np.arange(10)
In [3]: np.save('test_arr', test_arr)
In [5]: !ls -l
总用量 4
-rw-r--r-- 1 dechin dechin 208 5月 2 18:52 test_arr.npy
可以看到文件名会自动补充npy
的后缀,然后可以在当前目录下使用np.load
函数直接加载刚才保存的数据:
In [6]: print (np.load('test_arr.npy'))
[0 1 2 3 4 5 6 7 8 9]
类似的可以测试一下多个维度的随机数组:
In [7]: test_arr = np.random.randn(2,5)
In [8]: np.save('random_arr', test_arr)
In [9]: !ls -l
总用量 8
-rw-r--r-- 1 dechin dechin 208 5月 2 18:56 random_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:52 test_arr.npy
In [10]: print (np.load('random_arr.npy'))
[[ 2.6917403 0.01488535 -0.5259401 -1.41512577 0.65968369]
[-0.68929493 0.30153131 0.84906878 -2.20849715 0.34260589]]
除了可以保存numpy格式的数组,还可以直接保存python本身的数组格式的数据:
In [11]: normal_arr = [1,3,5,7,9]
In [12]: np.save('normal_arr', normal_arr)
In [13]: print (np.load('normal_arr.npy'))
[1 3 5 7 9]
甚至还可以保存一些非列表格式的数据,比如python中的tuple
,但是保存后重新加载的数据格式,会被自动转化成列表格式:
In [14]: tuple_arr = [(1,2),(2,3),(3,4)]
In [15]: np.save('tuple_arr', tuple_arr)
In [16]: print (np.load('tuple_arr.npy'))
[[1 2]
[2 3]
[3 4]]
npz结构的数据存储
上面介绍的npy
数据结构存储下来是一个二进制的文件,仅用于单个列表数据结构的存储,这里的npz
数据结构可以存储多个列表结构的对象,可以直接参考一个使用案例:
In [17]: multi_arr1 = 3
In [18]: multi_arr2 = [1,2,3]
In [19]: multi_arr3 = (4,5)
In [20]: multi_arr4 = [[6,7],[8,9]]
In [22]: np.savez('multi_arr',multi_arr1,multi_arr2,multi_arr3,named_arr=multi_arr4)
In [23]: !ls -l
总用量 20
-rw-r--r-- 1 dechin dechin 1078 5月 2 19:09 multi_arr.npz
-rw-r--r-- 1 dechin dechin 168 5月 2 19:00 normal_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:56 random_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:52 test_arr.npy
-rw-r--r-- 1 dechin dechin 176 5月 2 19:02 tuple_arr.npy
In [24]: data=np.load('multi_arr.npz')
In [25]: data['arr_0']
Out[25]: array(3)
In [26]: data['arr_1']
Out[26]: array([1, 2, 3])
In [27]: data['arr_2']
Out[27]: array([4, 5])
In [28]: data['named_arr']
Out[28]:
array([[6, 7],
[8, 9]])
在npz
的数据结构中,除了列表以外的格式都会被自动转化成numpy的列表。而多个的列表对象最终是以字典的形式存储在文件中,如果不加以定义,那么索引的名称默认为arr_
加上一个数字的格式,以0
为起点。如果需要手动的命名,需要在传入savez
函数的末尾处加上手动命名的对象,比如上面实例中的named_arr
。npz
文件的读取方式跟npy
是一样的,使用np.load
函数即可。
存储数据的压缩
最后我们再额外介绍一个tar
压缩包的使用方法,如果存储的npz
文件较大,可以通过tar -zcvf filename.tar.gz filename.npz
打包成一个压缩包,特别是当数据中0
的数量较多时,可以获得一个非常理想的压缩比。
[dechin@dechin-manjaro numpy]$ ll
总用量 20
-rw-r--r-- 1 dechin dechin 1078 5月 2 19:09 multi_arr.npz
-rw-r--r-- 1 dechin dechin 168 5月 2 19:00 normal_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:56 random_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:52 test_arr.npy
-rw-r--r-- 1 dechin dechin 176 5月 2 19:02 tuple_arr.npy
[dechin@dechin-manjaro numpy]$ tar -zcvf multi_arr.tar.gz multi_arr.npz
multi_arr.npz
[dechin@dechin-manjaro numpy]$ ll
总用量 24
-rw-r--r-- 1 dechin dechin 1078 5月 2 19:09 multi_arr.npz
-rw-r--r-- 1 dechin dechin 427 5月 2 19:14 multi_arr.tar.gz
-rw-r--r-- 1 dechin dechin 168 5月 2 19:00 normal_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:56 random_arr.npy
-rw-r--r-- 1 dechin dechin 208 5月 2 18:52 test_arr.npy
-rw-r--r-- 1 dechin dechin 176 5月 2 19:02 tuple_arr.npy
而关于tar.gz
格式的文件的解压缩,则是使用tar -xvf filename.tar.gz
命令。
总结概要
在科学计算中对于恒定不变的数据,不一定需要实时保存在内存中,或者是需要跨平台运算的数据,我们可以将其保存为numpy格式的列表文件npy或者npz。而如果存储的文件过大,本文也额外介绍了简单的tar压缩与解压缩的使用方法。
版权声明
本文首发链接为:https://www.cnblogs.com/dechinphy/p/numba.html
作者ID:DechinPhy
更多原著文章请参考:https://www.cnblogs.com/dechinphy/
python3存储numpy格式的矩阵的更多相关文章
- 其它课程中的python---3、numpy总结(非常全)
其它课程中的python---3.numpy总结(非常全) 一.总结 一句话总结: 学习方式应该是:听课+总结:-->找总结博客+再总结 需要始终记住:凭借,继承,复用 1.numpy的主要功能 ...
- Python3:numpy模块中的argsort()函数
Python3:numpy模块中的argsort()函数 argsort函数是Numpy模块中的函数: >>> import numpy >>> help(nu ...
- laravel 存储base64格式图片
laravel 存储base64格式图片 一.总结 一句话总结: 用正则替换base64图片编码的编码头即可 存储图片的话,用laravel可以用Storage的put方法,原生php可以用file_ ...
- python上数据存储 .h5格式或者h5py
最近在做城市计算的项目,数据文件是以.h5的格式存储的,总结下其用法和特点 来自百度百科的简介: HDF(Hierarchical Data Format),可以存储不同类型的图像和数码数据的文件格式 ...
- python numpy 使用笔记 矩阵操作
(原创文章转载请标注来源) 在学习机器学习的过程中经常会用到矩阵,那么使用numpy扩展包将是不二的选择 建议在平Python中用多维数组(array)代替矩阵(matrix) 入门请考 http:/ ...
- Jupyter中python3之numpy练习
---恢复内容开始--- Numpy_pratice In [2]: n = 10 L = [i for i in range(n)] In [3]: L * 2 Out[3]: [0, 1, 2, ...
- python3中numpy函数tile的用法
tile函数位于python模块 numpy.lib.shape_base中,他的功能是重复某个数组.比如tile(A,n),功能是将数组A重复n次,构成一个新的数组,我们还是使用具体的例子来说明问题 ...
- 利用python将二值csv格式转换为矩阵
#!/usr/bin/env python # coding:utf-8 #import pandas as pd, numpy as np; ''' 将csv文件转换为对应的邻接矩阵mat ''' ...
- Python3.5 numpy,scipy,安装
不是特别难,先保证环境变量正确配置 首先,安装了VS2015; 第二,在Python3.5安装路径中有一个Scripts文件夹,里面有pip.exe或者类似的可执行文件,安装一下: 第三,下载相对应的 ...
随机推荐
- CentOS7系统重置root密码
https://blog.csdn.net/qq_42969074/article/details/88080821
- 力扣168. Excel表列名称
原题 1 class Solution: 2 def convertToTitle(self, n: int) -> str: 3 s = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ ...
- 【转载】Java虚拟机类加载机制与案例分析
出处:https://blog.csdn.net/u013256816/article/details/50829596 https://blog.csdn.net/u013256816/articl ...
- Reactive Spring实战 -- WebFlux使用教程
WebFlux是Spring 5提供的响应式Web应用框架. 它是完全非阻塞的,可以在Netty,Undertow和Servlet 3.1+等非阻塞服务器上运行. 本文主要介绍WebFlux的使用. ...
- 学习版pytest内核测试平台开发万字长文入门篇
前言 2021年,测试平台如雨后春笋般冒了出来,我就是其中一员,写了一款pytest内核测试平台,在公司落地.分享出来后,有同学觉得挺不错,希望能开源,本着"公司代码不要传到网上去,以免引起 ...
- windows 下使用vargant 搭建虚拟机服务
使用vagrant 下载 vagrant[https://www.vagrantup.com/downloads.html] 下载管理工具VirtualBox[https://www.virtualb ...
- mysql创建读写账号及服务相关优化配置
grant select on xoms_prod.* to 'kzcf'@'%' identified by '123456'; 赋权多权限就 grant select,update,delet ...
- C#开发BIMFACE系列38 网页集成开发2:审图系统中的模型或图纸批注
系列目录 [已更新最新开发文章,点击查看详细] 在运维或协同的场景中,经常需要对模型或图纸进行批注,及时记录已发现的问题并交给相关负责的人员. 在开始实现功能之前,先了解一下BIMFACE中有 ...
- 题解 洛谷P1990 覆盖墙壁
DP康复训练题 原题:洛谷P1990 核心:递推/DP 题源应该是铺地砖,所以采用一摸一样的思路,只是有两种不同的方块 我们先用最最简单的方式尝试一下枚举当最后一行被填满的情况: 1.如果我们只用第一 ...
- 数据库遇到的问题——mysql在线修改表结构大数据表的风险与解决办法归纳
互联网应用会频繁加功能,修改需求.那么表结构也会经常修改,加字段,加索引.在线直接在生产环境的表中修改表结构,对用户使用网站是有影响. 以前我一直为这个问题头痛.当然那个时候不需要我来考虑,虽然我们没 ...