python 实现简单卷积网络框架
第一步定义卷积核类:
class Filter(object):
# 滤波器类 对卷积核进行初始化
def __init__(self,width,height,depth):
# initialize the filter parameter
self.weights=np.random.uniform(-1e-4,1e-4,(depth,height,width))
self.bias=0
self.weights_grad=np.zeros(self.weights.shape)
self.bias_grad=0
def get_weights(self):
return self.weights
def get_bias(self):
return self.bias
def update_weight(self,learning_rate):
self.weights-=self.weights_grad*learning_rate
self.bias-=self.bias_grad*learning_rate
定义卷积层
def conv(input_array,kernel_array,output_array,stride,bias):
channel_number=input_array.ndim
output_width=output_array.shape[1]
output_height=output_array.shape[0]
kernel_width=kernel_array.shape[-1]
kernel_height=kernel_array.shape[-2]
for i in range(output_height):
for j in range(output_width):
# get_patch 得到i,j位置对应的图像的块
output_array[i][j]=(get_patch(input_array,i,j,kernel_width,kernel_height,stride)*kernel_array).sum()+bias
定义padding 函数:根据扩展的大小进行0填充
def padding(input_array, zero_padding):
if zero_padding == 0:
return input_array
else:
if input_array.ndim == 3:
input_width = input_array.shape[2]
input_height = input_array.shape[1]
input_depth = input_array.shape[0]
padded_array = np.zeros((input_depth, input_height + 2 * zero_padding,
input_width + 2 * zero_padding))
padded_array[:, zero_padding:zero_padding + input_height,
zero_padding:zero_padding + input_width] = input_array elif input_array.ndim == 2:
input_width = input_array.shape[1]
input_height = input_array.shape[0]
padded_array = np.zeros((input_height + 2 * zero_padding, input_width + 2 * zero_padding))
padded_array[zero_padding:zero_padding + input_width,
zero_padding:zero_padding + input_height] = input_array
return padded_array
定义卷积类:
def calculate_output_size(input_size,filter_size,zero_padding,stride):
return (input_size-filter_size+2*zero_padding)/stride+1
class ConvLayer(object):
def __init__(self,input_width,input_height,channel_number,
filter_width,filter_height,filter_number,zero_padding,stride,
activator,learning_rate):
self.input_width=input_width
self.input_height=input_height
self.channel_number=channel_number
self.filter_width=filter_width
self.filter_height=filter_height
self.filter_number=filter_number
self.zero_padding=zero_padding
self.stride=stride
# 根据(f-w+2p)/2+1
self.outpu_width=ConvLayer.calculate_output_size(self.input_width,
filter_width,zero_padding,stride)
self.output_height=ConvLayer.calculate_output_size(self.input_height,
filter_height,zero_padding,
stride)
# 得到padding 后的图像
self.output_array=np.zeros(self.filter_number,self.output_width,self.output_height)
# the output of the convolution
# 初始化filters
self.filters=[]
# initialize filters
for i in range(filter_number):
self.filters.append(Filter(filter_width,filter_height,self.channel_number))
self.activator=activator
self.learning_rate=learning_rate
# 对 灵敏度图进行扩充
def expand_sentivity_map(self,sensitivity_array):
depth=sensitivity_array.shape[0]
expanded_width=(self.input_width-self.filter_width+2*self.zero_padding+1)
expanded_height=(self.input_height-self.filter_height+2*self.zero_padding+1)
expand_array=np.zeros((depth,expanded_height,expanded_width))
for i in range(self.output_height):
for j in range(self.output_width):
i_pos=i*self.stride
j_pos=j*self.stride
expand_array[:,i_pos,j_pos]=sensitivity_array[:,i,j]
return expand_array
# 创建灵敏度矩阵
def create_delta_array(self):
return np.zeros((self.channnel_number,self.input_height,self.input_width))
# 前向传递
def forward(self,input_array):
self.input_array=input_array
# first pad image to the size needed
self.padded_input_array=padding(input_array,self.zero_padding)
for f in range(self.filter_number):
filter=self.filters[f]
conv(self.paded_input_array,filter.get_weights(),filter.get_bias())
element_wise_op(self.output_array,self.acitator.forward)
# 反向传递
def bp_sensitivity_map(self, sensitivity_array,activator):
# padding sensitivity map
expanded_array=self.expand_sentivity_map(sensitivity_array)
expanded_width=expanded_array.shape[2]
zp=(self.input_width+self.filter_width-1-expanded_width)/2
padded_array=padding(expanded_array,zp)
self.delta_array=self.create_delta_array()
for f in range(self.filter_number):
filter=self.filter[f]
filpped_weights=np.array(map(lambda i: np.rot90(i,2),filter.get_weights()))
delta_array=self.create_delta_array()
for d in range(delta_array.shape[0])
conv(padded_array[f],filpped_weights[d],delta_array[d],1,0)
self.delta_array+=delta_array
derivative_array=np.array(self.input_array)
element_wise_op(derivative_array,activator.backward)
self.delta_array*=derivative_array
# 参数的梯度是 输入乘以灵敏度矩阵
def bp_gradient(self,sensitivity_array):
expanded_array=self.expand_sensitivity_map(sensitivity_array)
for f in range(self.filter_number):
filter=self.filter[f]
for d in range(filter.weights.shape[0]):
conv(self.padded_input_array[d],expanded_array[f],filter.weights_grad[d],1,0)
filter.bias_grad=expanded_array[f].sum()
# 对参数进行update
def update(self):
for filter in self.filters:
filter.update(self.learning_rate)
python 实现简单卷积网络框架的更多相关文章
- 学习笔记TF028:实现简单卷积网络
载入MNIST数据集.创建默认Interactive Session. 初始化函数,权重制造随机噪声打破完全对称.截断正态分布噪声,标准差设0.1.ReLU,偏置加小正值(0.1),避免死亡节点(de ...
- [记录]python的简单协程框架(回调+时间循环+select)
# -*- coding: utf-8 -*- # @Time : 2018/12/15 18:55 # @File : coroutine.py #一个简单的 Coroutine 框架 import ...
- Python学习之==>Socket网络编程
一.计算机网络 多台独立的计算机通过网络通信设备连接起来的网络.实现资源共享和数据传递.在同一台电脑上可以将D盘上的一个文件传到C盘,但如果想从一台电脑传一个文件到另外一台电脑上就要通过计算机网络 二 ...
- uvloop —— 超级快的 Python 异步网络框架
简短介绍 asyncio是遵循Python标准库的一个异步 I/O框架.在这篇文章里,我将介绍 uvloop: 可以完整替代asyncio事件循环.uvloop是用Cython写的,基于 libuv. ...
- Python实现简单框架及三大框架对比
手撸web框架 简单的请求响应实现 要实现最简单的web框架,首先要对网络熟悉,首先HTTP协议是应用层的协议,只要我们给数据加上HTTP格式的响应报头,我们的数据就能基于socket进行实现了 im ...
- python网络框架Twisted
什么是Twisted Twisted是一个用python语言写的事件驱动网络框架,它支持很多种协议,包括UDP,TCP,TLS和其他应用层协议,比如HTTP,SMTP,NNTM,IRC,XMPP/Ja ...
- 用Python写一个简单的Web框架
一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI( ...
- iOS开发网络篇—简单介绍ASI框架的使用
iOS开发网络篇—简单介绍ASI框架的使用 说明:本文主要介绍网络编程中常用框架ASI的简单使用. 一.ASI简单介绍 ASI:全称是ASIHTTPRequest,外号“HTTP终结者”,功能十分强大 ...
- Android中android-async-http开源网络框架的简单使用
android-async-http开源网络框架是专门针对Android在Apache的基础上构建的异步且基于回调的http client.所有的请求全在UI线程之外发生,而callback发生在创建 ...
随机推荐
- equals方法相关总结
先说一下Object类吧: 这是一个号称为祖宗类的东西,是所有类的父类,也是唯一一个没有父类的类. 接口不继承object类 并且Object类存在于java的lang包中,我们都知道存在于lang包 ...
- 模拟vue的tag属性,在react里实现自定义Link
我封装了一个简单的实现react里自定义Link的方法,方便大家使用. 因为普通组件没有metch.location.history等属性.只有在<Router>里面的<compon ...
- day 10函数二
今日内容 '''实参:调用函数,在括号内传入的实际值,值可以为常量.变量.表达式或三者的组合*****形参:定义函数,在括号内声明的变量名,用来接受外界传来的值''''''注:形参随着函数的调用 ...
- 2019-04-15 python深浅复制
原作地址:https://www.cnblogs.com/xueli/p/4952063.html 在python中,对象赋值实际上是对象的引用.当创建一个对象,然后把它赋给另一个变量的时候,pyth ...
- 面试必问Elasticsearch倒排索引原理
本文摘抄自我的微信公众号"程序员柯南",欢迎关注!原文阅读 倒排索引是目前搜索引擎公司对搜索引擎最常用的存储方式,也是搜索引擎的核心内容,在搜索引擎的实际应用中,有时需要按照关键字 ...
- Gruntfile.js模板
module.exports = function(grunt) { // 配置项 var AppConfig = { name: 'app', //源文件目录 src: 'app/src', //生 ...
- PS调出韩式米黄色室内婚纱照片
原图: Camera Raw打开原图. 光线调整,压暗白色,保留高光细节,少量对比黑色压暗. 降低整体饱和. 曲线调整,压暗高光明度. 减红加青(融合色彩). 中间调,靠近暗部区域加蓝,靠近亮部区域加 ...
- supervisor 守护者进程配置小记
安装 Supervisor 联网状态下,官方推荐首选安装方法是使用easy_install,它是setuptools(Python 包管理工具)的一个功能.所以先执行如下命令安装 setuptools ...
- 软工+C(1): 题目设计、点评和评分
// 下一篇:分数和checklist 如何设计题目 教学中的一个问题是老师出题太简单了,题目设计一开始上来就不紧凑,我认为一个好的课程应该上来就给你紧凑感,而不是先上来"轻松2-3周&qu ...
- Unable to preventDefault inside passive event listener
最近做项目经常在 chrome 的控制台看到如下提示: Unable to preventDefault inside passive event listener due to target bei ...