python 实现简单卷积网络框架
第一步定义卷积核类:
class Filter(object):
# 滤波器类 对卷积核进行初始化
def __init__(self,width,height,depth):
# initialize the filter parameter
self.weights=np.random.uniform(-1e-4,1e-4,(depth,height,width))
self.bias=0
self.weights_grad=np.zeros(self.weights.shape)
self.bias_grad=0
def get_weights(self):
return self.weights
def get_bias(self):
return self.bias
def update_weight(self,learning_rate):
self.weights-=self.weights_grad*learning_rate
self.bias-=self.bias_grad*learning_rate
定义卷积层
def conv(input_array,kernel_array,output_array,stride,bias):
channel_number=input_array.ndim
output_width=output_array.shape[1]
output_height=output_array.shape[0]
kernel_width=kernel_array.shape[-1]
kernel_height=kernel_array.shape[-2]
for i in range(output_height):
for j in range(output_width):
# get_patch 得到i,j位置对应的图像的块
output_array[i][j]=(get_patch(input_array,i,j,kernel_width,kernel_height,stride)*kernel_array).sum()+bias
定义padding 函数:根据扩展的大小进行0填充
def padding(input_array, zero_padding):
if zero_padding == 0:
return input_array
else:
if input_array.ndim == 3:
input_width = input_array.shape[2]
input_height = input_array.shape[1]
input_depth = input_array.shape[0]
padded_array = np.zeros((input_depth, input_height + 2 * zero_padding,
input_width + 2 * zero_padding))
padded_array[:, zero_padding:zero_padding + input_height,
zero_padding:zero_padding + input_width] = input_array elif input_array.ndim == 2:
input_width = input_array.shape[1]
input_height = input_array.shape[0]
padded_array = np.zeros((input_height + 2 * zero_padding, input_width + 2 * zero_padding))
padded_array[zero_padding:zero_padding + input_width,
zero_padding:zero_padding + input_height] = input_array
return padded_array
定义卷积类:
def calculate_output_size(input_size,filter_size,zero_padding,stride):
return (input_size-filter_size+2*zero_padding)/stride+1
class ConvLayer(object):
def __init__(self,input_width,input_height,channel_number,
filter_width,filter_height,filter_number,zero_padding,stride,
activator,learning_rate):
self.input_width=input_width
self.input_height=input_height
self.channel_number=channel_number
self.filter_width=filter_width
self.filter_height=filter_height
self.filter_number=filter_number
self.zero_padding=zero_padding
self.stride=stride
# 根据(f-w+2p)/2+1
self.outpu_width=ConvLayer.calculate_output_size(self.input_width,
filter_width,zero_padding,stride)
self.output_height=ConvLayer.calculate_output_size(self.input_height,
filter_height,zero_padding,
stride)
# 得到padding 后的图像
self.output_array=np.zeros(self.filter_number,self.output_width,self.output_height)
# the output of the convolution
# 初始化filters
self.filters=[]
# initialize filters
for i in range(filter_number):
self.filters.append(Filter(filter_width,filter_height,self.channel_number))
self.activator=activator
self.learning_rate=learning_rate
# 对 灵敏度图进行扩充
def expand_sentivity_map(self,sensitivity_array):
depth=sensitivity_array.shape[0]
expanded_width=(self.input_width-self.filter_width+2*self.zero_padding+1)
expanded_height=(self.input_height-self.filter_height+2*self.zero_padding+1)
expand_array=np.zeros((depth,expanded_height,expanded_width))
for i in range(self.output_height):
for j in range(self.output_width):
i_pos=i*self.stride
j_pos=j*self.stride
expand_array[:,i_pos,j_pos]=sensitivity_array[:,i,j]
return expand_array
# 创建灵敏度矩阵
def create_delta_array(self):
return np.zeros((self.channnel_number,self.input_height,self.input_width))
# 前向传递
def forward(self,input_array):
self.input_array=input_array
# first pad image to the size needed
self.padded_input_array=padding(input_array,self.zero_padding)
for f in range(self.filter_number):
filter=self.filters[f]
conv(self.paded_input_array,filter.get_weights(),filter.get_bias())
element_wise_op(self.output_array,self.acitator.forward)
# 反向传递
def bp_sensitivity_map(self, sensitivity_array,activator):
# padding sensitivity map
expanded_array=self.expand_sentivity_map(sensitivity_array)
expanded_width=expanded_array.shape[2]
zp=(self.input_width+self.filter_width-1-expanded_width)/2
padded_array=padding(expanded_array,zp)
self.delta_array=self.create_delta_array()
for f in range(self.filter_number):
filter=self.filter[f]
filpped_weights=np.array(map(lambda i: np.rot90(i,2),filter.get_weights()))
delta_array=self.create_delta_array()
for d in range(delta_array.shape[0])
conv(padded_array[f],filpped_weights[d],delta_array[d],1,0)
self.delta_array+=delta_array
derivative_array=np.array(self.input_array)
element_wise_op(derivative_array,activator.backward)
self.delta_array*=derivative_array
# 参数的梯度是 输入乘以灵敏度矩阵
def bp_gradient(self,sensitivity_array):
expanded_array=self.expand_sensitivity_map(sensitivity_array)
for f in range(self.filter_number):
filter=self.filter[f]
for d in range(filter.weights.shape[0]):
conv(self.padded_input_array[d],expanded_array[f],filter.weights_grad[d],1,0)
filter.bias_grad=expanded_array[f].sum()
# 对参数进行update
def update(self):
for filter in self.filters:
filter.update(self.learning_rate)
python 实现简单卷积网络框架的更多相关文章
- 学习笔记TF028:实现简单卷积网络
载入MNIST数据集.创建默认Interactive Session. 初始化函数,权重制造随机噪声打破完全对称.截断正态分布噪声,标准差设0.1.ReLU,偏置加小正值(0.1),避免死亡节点(de ...
- [记录]python的简单协程框架(回调+时间循环+select)
# -*- coding: utf-8 -*- # @Time : 2018/12/15 18:55 # @File : coroutine.py #一个简单的 Coroutine 框架 import ...
- Python学习之==>Socket网络编程
一.计算机网络 多台独立的计算机通过网络通信设备连接起来的网络.实现资源共享和数据传递.在同一台电脑上可以将D盘上的一个文件传到C盘,但如果想从一台电脑传一个文件到另外一台电脑上就要通过计算机网络 二 ...
- uvloop —— 超级快的 Python 异步网络框架
简短介绍 asyncio是遵循Python标准库的一个异步 I/O框架.在这篇文章里,我将介绍 uvloop: 可以完整替代asyncio事件循环.uvloop是用Cython写的,基于 libuv. ...
- Python实现简单框架及三大框架对比
手撸web框架 简单的请求响应实现 要实现最简单的web框架,首先要对网络熟悉,首先HTTP协议是应用层的协议,只要我们给数据加上HTTP格式的响应报头,我们的数据就能基于socket进行实现了 im ...
- python网络框架Twisted
什么是Twisted Twisted是一个用python语言写的事件驱动网络框架,它支持很多种协议,包括UDP,TCP,TLS和其他应用层协议,比如HTTP,SMTP,NNTM,IRC,XMPP/Ja ...
- 用Python写一个简单的Web框架
一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI( ...
- iOS开发网络篇—简单介绍ASI框架的使用
iOS开发网络篇—简单介绍ASI框架的使用 说明:本文主要介绍网络编程中常用框架ASI的简单使用. 一.ASI简单介绍 ASI:全称是ASIHTTPRequest,外号“HTTP终结者”,功能十分强大 ...
- Android中android-async-http开源网络框架的简单使用
android-async-http开源网络框架是专门针对Android在Apache的基础上构建的异步且基于回调的http client.所有的请求全在UI线程之外发生,而callback发生在创建 ...
随机推荐
- Python爬虫【实战篇】获取网易云歌词
先看代码 import requests import json headers = { "User-Agent": "Mozilla/5.0 (iPhone; CPU ...
- LInkedHashMap实现最近被使用(LRU)缓存
在最近的面试中,我曾被多次问到,怎么实现一个最近最少使用(LRU)的缓存.缓存可以通过哈希表来实现,然而为这个缓存增加大小限制会变成另一个有意思的问题.现在我们看一下怎么实现. 最近最少使用缓存的回收 ...
- MySQL之数据备份、pymysql模块
一 IDE工具介绍 生产环境还是推荐使用mysql命令行,但为了方便我们测试,可以使用IDE工具 下载链接:https://pan.baidu.com/s/1bpo5mqj 掌握: #1. 测试+链接 ...
- WiFi广告强推的基本技术原理和一些相关问题
WiFi推原理(转) 本文地址:http://jb.tongxinmao.com/Article/Detail/id/412 WiFi广告强推的基本技术原理和一些相关问题 WiFi广告推送原理就是利用 ...
- Java Scanner用法详解
一.Scanner类简介 Java 5添加了java.util.Scanner类,这是一个用于扫描输入文本的新的实用程序.它是以前的StringTokenizer和Matcher类之间的某种结合.由于 ...
- python小白——进阶之路——day3天-———运算符
(1)算数运算符: + - * / // % ** (2)比较运算符: > < >= <= == != (3)赋值运算符: = += -= *= /= //= %= ** ...
- python之os
os 系统级别的操作 os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径 os.chdir("dirname") 改变当前脚本工作目录:相当于shell ...
- RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your c
Error Msg: Traceback (most recent call last): File "<string>", line 1, in <module ...
- DOTween的Sequence图例说明
- js中 ajax动态新增节点无法触发点击事件
在写ajax加载数据的时候发现,后面添加进来的demo节点元素,失去了之前的点击事件. 其实最简单的方法就是直接在标签中写onclick="",但是这样写有些场景的是实现不了的,最 ...