临时处理小记：把Numpy的narray二进制文件转换成json文件

临时处理一个Numpy的二进制文件，分析知道里面是dict类型，简单小记一下，如果Numpy和Python基础不熟悉可以看我之前写的文章

In [1]:

%%time

import numpy as np

 

Wall time: 135 ms

In [2]:

%%time

import pandas as pd

 

Wall time: 351 ms

In [3]:

%%time

df = pd.DataFrame(np.load("data.npy")) # 通过narry创建DataFrame

 

Wall time: 910 ms

In [4]:

%%time

df.head(10) # 快速预览前10行

 

Wall time: 1 ms

Out[4]:

 

	0
0	{'email': 'liurh@csdn.net', 'pwd': '9755DD0556...
1	{'email': 'fw19@sina.com', 'pwd': '6BB518D1A42...
2	{'email': 'whcheng@126.com', 'pwd': '0079ABBA6...
3	{'email': 'zh4ang@163.com', 'pwd': 'E23E561F02...
4	{'email': 'johnzhou8888@yahoo.com.cn', 'pwd': ...
5	{'email': 'zaza902@hotmail.com', 'pwd': '9B084...
6	{'email': 'yuping_zhong@163.com', 'pwd': '7D07...
7	{'email': 'annnntning@sina.com', 'pwd': '448A2...
8	{'email': 'sunnydinasun@sohu.com', 'pwd': 'DBF...
9	{'email': 'ysmrose@sohu.com', 'pwd': '22DDD26D...

In [5]:

%%time

# 提取email列
df['Email'] = df[0].map(lambda x : dict(x)["email"])
# 提取pwd列
df['MD5'] = df[0].map(lambda x : dict(x)["pwd"] )
# 删除无用列
del df[0]

 

Wall time: 1.05 s

In [6]:

%%time

df.size # 查看总共多少数据

 

Wall time: 0 ns

Out[6]:

2097148

In [7]:

%%time

df.shape

 

Wall time: 0 ns

Out[7]:

(1048574, 2)

In [8]:

%%time

df.head(10)

 

Wall time: 0 ns

Out[8]:

 

	Email	MD5
0	liurh@csdn.net	9755DD05564EAD9EADCACE40B5A02711
1	fw19@sina.com	6BB518D1A42F22DA5CA62D5EE41C5D4F
2	whcheng@126.com	0079ABBA66856DAFDF2B9A6E0DB23A09
3	zh4ang@163.com	E23E561F0202ACECA30B8F07A48AB8E9
4	johnzhou8888@yahoo.com.cn	0EB1A2DB91A2BF3FB6275DE659A25805
5	zaza902@hotmail.com	9B08473C992C07E98389ED1C280A634A
6	yuping_zhong@163.com	7D0710824FF191F6A0086A7E3891641E
7	annnntning@sina.com	448A2BCEE09A3B14C22DC000351216B7
8	sunnydinasun@sohu.com	DBFBA02E366BAB58DF605D6475189A51
9	ysmrose@sohu.com	22DDD26D62AF8B1C4A216BE18FDFF5B2

In [9]:

%%time

df.T.to_json("user.json") # 重新保存为Json（转置只是为了存储成我们常见的json格式）

 

Wall time: 2.85 s

关于怎么知道是dict类型的扩展：可以加载看看：np.load("data.npy")