开源标准数据集 —— mnist(手写字符识别)

下载地址:mnist.pkl.gz

1. 使用 python 读取和解析 mnist.pkl.gz

import pickle
import gzip
from PIL import Image def load_data():
with gzip.open('./mnist.pkl.gz') as fp:
training_data, valid_data, test_data = pickle.load(fp)
return training_data, valid_data, test_data training_data, valid_data, test_data = load_data()
print len(training_data[0])
print len(valid_data[0])
print len(test_data[0])
print len(training_data[0][0]) I = training_data[0][0]
I.resize((28, 28))
im = Image.fromarray((I*256).astype('uint8'))
im.show()
im.save('5.png')

可以看出,mnist.pkl.gz 分为训练集,校验集和测试集;

使用 PIL 中的图像相关 api,我们可对其中的图像显示出来并保存;

2. Python中的单行、多行、中文注释

在大量的数据处理或者计算机视觉的文献和著作中,我们常见如下的数据集可视化(甚至对参数也可进行可视化,毕竟图像的本质是二维数组),通过文章末尾的代 码我们发现只需对布局及间距的慎重设置,便可对大量丰富的图像以”地板贴砖(tiles on a floor)”的形式进行组织,也即可视化,展示数据或相关工作,可以起到十分直观的效果,下图即是对深度神经网络的权值矩阵进行的贴砖可视化:

def normalize(darr, eps=1e-8):
# normalize(x) = (x-min)/(max-min)
darr -= darr.min()
darr *= 1./(darr.max()+eps)
return darr def tile_raster_images(X, image_shape, tile_shape,
tile_spacing=(0, 0), normalize_rows=True, output_pixel_vals=True):
# image_shape:每一个砖的高和宽,
# tile_shape:在横纵两个方向上分别有多少砖
# tile_spacing:砖与砖之间的距离
# normalize_rows:是否对砖进行归一化
# output_pixel_vals:是否对砖以图像的形式进行显示 assert len(image_shape) == 2
assert len(tile_shape) == 2
assert len(tile_spacing) == 2
# 对参数进行断言,确保它们都是二维元组
output_shape = [
(ishp + tsp)*tshp-tsp
for ishp, tshp, tsp in zip(image_shape, tile_shape, tile_spacing)
]
# image_shape == (28, 28) mnist data
# tile_shape == (10, 10), tile_spacing == (1, 1)
# [(28+1)*10-1]*[(28+1)*10-1] H, W = image_shape
Hs, Ws = tile_spacing
dt = 'uint8' if output_pixel_vals else X.dtype
# python 风格的三目运算符
output_array = numpy.zeros(output_shape, dtype=dt) # 开始贴砖
for i in range(tile_shape[0]):
for j in range(tile_shape[1]):
if i*tile_shape[1]+j < X.shape[0]:
# X的每一行是一个图像(二维)flatten后的(一维的行向量)
this_x = X[i*tile_shape[1]+j]
this_image = normalize(this_x.reshape(image_shape)) if normalize_rows else this_x.reshape(image_shape)
c = 255 if output_pixel_vals else 1
output_array[
i*(H+Hs):i*(H+Hs)+H, j*(W+Ws):j*(W+Ws)+W
] = this_image*c
return output_array import numpy
from PIL import Image X = numpy.random.randn(500, 28*28)
arr = tile_raster_images(X, image_shape=(28, 28),
tile_shape=(12, 12), tile_spacing=(1, 1))
img = Image.fromarray(arr)
img.show()
img.save('./砖块可视化.png')
# 这里也可使用 matplotlib 进行显示
# plt.imshow(img, cmap='gray')
# plt.show()

可视化可以更直观的观察数据,让工作更加高效。

3. 数据可视化,贴砖

一、python单行注释符号(#)

示例:#this is a comment

二、批量、多行注释符号

多行注释是用三引号”’ ”’包含的,引号可以使单引号也可以是双引号

例如:

'''
ABC
ABC
ABC
'''
"""
ABC
ABC
ABC
"""

三、python中文注释方法

如果文件里有非ASCII字符,需要在第一行或第二行指定编码声明。把ChineseTest.py文件的编码重新改为ANSI,并加上编码声明:

一定要在第一行或者第二行加上这么一句话:

#coding=utf-8

# -*- coding: utf-8 -*-

我刚开始加上了依然出错,是因为我的py文件的前三行是注释声明,我把这句话放在了第四行,所以依然报错。

py脚本的前两行一般都是:

#!/usr/bin/python

# -*- coding: utf-8 -*-

python 读写数据的更多相关文章

  1. python读写数据篇

    一.读写数据1.读数据 #使用open打开文件后一定要记得调用文件对象的close()方法.比如可以用try/finally语句来确保最后能关闭文件.file_object = open('thefi ...

  2. python操作txt文件中数据教程[1]-使用python读写txt文件

    python操作txt文件中数据教程[1]-使用python读写txt文件 觉得有用的话,欢迎一起讨论相互学习~Follow Me 原始txt文件 程序实现后结果 程序实现 filename = '. ...

  3. Python StringIO实现内存缓冲区中读写数据

    StringIO的行为与file对象非常像,但它不是磁盘上文件,而是一个内存里的“文件”,我们可以像操作磁盘文件那样来操作StringIO.这篇文章主要介绍了Python StringIO模块,此模块 ...

  4. Python 学习 第17篇:从SQL Server数据库读写数据

    在Python语言中,从SQL Server数据库读写数据,通常情况下,都是使用sqlalchemy 包和 pymssql 包的组合,这是因为大多数数据处理程序都需要用到DataFrame对象,它内置 ...

  5. Python中异常和JSON读写数据

    异常可以防止出现一些不友好的信息返回给用户,有助于提升程序的可用性,在java中通过try ... catch ... finally来处理异常,在Python中通过try ... except .. ...

  6. Python读写文件

    Python读写文件1.open使用open打开文件后一定要记得调用文件对象的close()方法.比如可以用try/finally语句来确保最后能关闭文件. file_object = open('t ...

  7. python 读写、创建 文件

    python中对文件.文件夹(文件操作函数)的操作需要涉及到os模块和shutil模块. 得到当前工作目录,即当前Python脚本工作的目录路径: os.getcwd() 返回指定目录下的所有文件和目 ...

  8. [转]用Python读写Excel文件

    [转]用Python读写Excel文件   转自:http://www.gocalf.com/blog/python-read-write-excel.html#xlrd-xlwt 虽然天天跟数据打交 ...

  9. [Python]读写文件方法

    http://www.cnblogs.com/lovebread/archive/2009/12/24/1631108.html [Python]读写文件方法 http://www.cnblogs.c ...

随机推荐

  1. Switch能否用string做参数

    在Java5以前,switch(expr)中,exper只能是byte,short,char,int类型(或其包装类)的常量表达式. 从Java5开始,java中引入了枚举类型,即enum类型. 从J ...

  2. 如何跳转到其他APP(android)

    有很多小伙伴会遇上这样的需求,从自己的app页面跳转到其他APP界面,一般情况下都是在自己的主包中跳转到公司其他APP,或者是合作方的APP,如果手机中没有这款APP会下载这款APP . 今天,博主就 ...

  3. [PHP] print_r()函数美化

    function beautiful_print_r($arr){ echo '<pre>'; print_r($arr); echo '</pre>'; }

  4. La 4976 Defense lines

    蓝书紫书上都有的一道题...这里就懒得说题解了. 但是我竟然WA了6次!为什么呢??? 一开始没看见连续子序列..... 后来插入的时候忘判断了是不是比前驱大.... 所以我们只需要维护一个权值递增( ...

  5. 【bzoj1001】【最短路】【对偶图】【最大流转最小割】狼抓兔子题解

    [BZOJ1001]狼抓兔子 1001: [BeiJing2006]狼抓兔子 Time Limit: 15 Sec  Memory Limit: 162 MBSubmit: 18872  Solved ...

  6. PHP添加mcrypt扩展模块

    PHP添加mcrypt扩展模块 系统环境:CentOS6.3 APACHE:httpd-2.4.2 PHP:php-5.3.21 一.安装mcrypt 1.下载Libmcrypt,mhash,mcry ...

  7. linux-网络监控命令-netstat进阶

    2.网络连接状态详解共有12中可能的状态,前面11种是按照TCP连接建立的三次握手和TCP连接断开的四次挥手过程来描述的.1).LISTEN:首先服务端需要打开一个socket进行监听,状态为LIST ...

  8. 【微信】微信小程序 获取本次场景值

    场景值: 代表从何处进入小程序的.代表小程序的入口场景值. 注意: 1>目前仅可以在 App 的 onlaunch 和 onshow 中获取上述场景值 获取场景值的方法: //在小程序的onLa ...

  9. 【Linux】CentOS7 添加常用源

    CentOS 的官方源去掉了一些与版权有关的软件,因此想要安装这些软件或者手动下载安装,或者使用其他源. 下面是添加EPEL源和RPMforge源的步骤. 1.首先, 添加源之前要确定系统架构及版本 ...

  10. 设计模式之工厂模式之抽象工厂(php实现)

    github地址: git@github.com:ZQCard/design_pattern.git 抽象工厂模式: 先来认识下什么是产品族: 位于不同产品等级结构中,功能相关联的产品组成的家族.图中 ...