本文主要介绍如何搭建一个网络并训练

最近,我在写代码时经常碰到这样的情况,明明记得代码应该怎么写,在写出来的代码调试时,总是有些小错误。原因不是接口参数个数不对,就是位置不对。为了节约上网查找时间,现记录下常用操作,以备需要时快速查看。

根据网络结构不同功能,主要分这几大块:网络基本结构元组件,网络常用结构,Tensorboard调试接口,数据预处理常用操作,后处理常用操作。

1、搭建一个基础网络所需的元组件:

import tensorflow as tf
import glog as log class basenet(object):
'''
base model for other specific cnn
'''
def __init__(self):
pass def weight_variable(self,shape,sdtdev=0.1,name):
initial=tf.truncated_normal(shape=shape,mean=0.0,stddev=sdtdev)
if name is None:
return tf.Variable(initial)
else:
return tf.get_variable(name=name,initial=initialdef bias_variable(self,shape,name): initial=tf.constant(.01,shape=shape)
     if name is None:
return tf.Variable(initial,name=name)
else:
return tf.get_variable(name=name,initial=initial)
@staticmethod
def conv2d(self,x,w,s=1,name=None,padding='SAME'):
#with tf.variable_scope(name):
if s == 1:
x = tf.nn.conv2d(x,w,strides=[1,s,s,1],padding=padding)
else:
x = tf.nn.conv2d(x,w,strides=[1,s,s,1],padding=padding)
#log.info('basenet conv2d x:{:}'.format(x.get_shape().as_list()))
return x def conv2d_transpose(x,w,b,output_shape,stride=2):
if output_shape is None:
output_shape =x.get_shape().as_list()
output_shape[1]*=2
output_shape[2]*=2
output_shape[3]=w.get_shape().as_list()[2]
conv = tf.nn.conv2d_transpose(x,w,output_shape,strides=[1,stride,stride,1],padding='SAME')
return tf.nn.bias_add(conv,b)
def maxpool(self,x,k=2,s=2,padding='SAME'):
x= tf.nn.max_pool(x,ksize=[1,k,k,1],strides=[1,s,s,1],padding=padding)
return x def avgpool(self,x,k,s,padding='SAME'):
x= tf.nn.avg_pool(x,ksize=[1,k,k,1],strides=[1,s,s,1],padding=padding)

def local_response_norm(x):
return tf.nn.lrn(x,depth_radius=5,bias=2,alpha=1e-4,beta=0.75)
def relu(self,x,name):
x = tf.nn.relu(x)
return x def leaky_relu(x,alpha=0.0,name=""):
return tf.maximum(alpha*x,x,name) def relu6(self,x):
x= min(max(0,x), 6)
x = tf.nn.relu(x)
return x

def batch_norm(x,output,phrase,scope='bn',decay=0.9,eps=1e-5):
with tf.variable_scope(scope):
beta=tf.get_variable(name='beta',shape=[output],initializer=tf.constant_initializer(0.05))
gamma=tf.get_variable(name='gamma',shape=[output],initialzer=tf.random_normal_initializer(1.0,0.02)
batch_mean,batch_var=tf.nn.moment(x,[0,1,2],name='moment') def mean_var_2_update():
ema_apply_op = ema.apply([batch_mean,batch_var])
with tf.control_dependencies([ema_apply_op]):
return tf.identity(batch_mean),tf.identity(batch_var)
mean,var = tf.cond(phrase,mean_var_2_update,lambda:(ema.average(batch_mean),ema.average(batch_var))
normed = tf.nn.batch_normalization(x,mean,var,beta,gamma,eps)
return normed
def wx_b(self,x,w,b):
x = tf.matmul(x,w)+b
log.info('basenet wx_b x:{:}'.format(x.get_shape().as_list()))
return x def fc(self,x,w,b):
x = tf.add(tf.matmul(x,w),b)
return x

2、常用网络结构

网络结构1:

def bottleneck_unit(x,out_chan1,out_chan2,down_stride=False,up_stride=False,name=None):

3、数据预处理常用操作

def save_img(image,save_dir,name,mean=None):
if mean:
image=unprocess_image(image,mean)
misc.imsave(os.path.join(save_dir,name+'.png'),image) def process_image(image,mean_pixel):
return image-mean_pixel

4、Tensorboard常用接口

def add_regular_to_summary(var):
if var is not None:
tf.summary.histogram(var.op.name,var)
tf.add_to_collection('reg_loss',tf.nn.l2_loss(var)) def add_activation_to_summary(var):
if var is not None:
tf.summary.histogram(var.op.name+'/activation',var)
tf.summary.scalar(var.op.name+'/sparsity',tf.nn.zero_fraction(var)) def add_gradient_to_summary(grad,var):
if grad is not None:
tf.summary.histogram(var.op.name+'/gradient',grad)

TF版网络模型搭建常用代码备忘的更多相关文章

  1. metasploit 常用命令备忘

    metasploit 常用命令备忘    MSFconsole Commands-------------------------------------24show exploits 查看所有exp ...

  2. 代码备忘, TODO宏实现

    代码备忘, TODO宏实现 我们平时在开发过程中, 往往并非憋足气一股脑敲完所有代码.每一个模块, 每一个函数的实现总有个先后顺序. 又或者哪个部分须要做调整, 改动- 所以, 我们须要有一个东西, ...

  3. Linux基础之常用基本命令备忘

    Linux基础之常用基本命令备忘 PWD   查询当前所在Linux上的位置 /         根目录 CD(change directory)切换目录  语法 CD /(注意添加空格)   LS ...

  4. Webstorm常用快捷键备忘(Webstorm入门指南)

    WebStorm 是jetbrains公司旗下一款JavaScript 开发工具.被广大中国JS开发者誉为“Web前端开发神器”.“最强大的HTML5编辑器”.“最智能的JavaSscript IDE ...

  5. sublime 常用快捷键备忘

    转一篇sublime常用的快捷键备忘 sublime常用快捷键 选择类Ctrl+D 选中光标所占的文本,继续操作则会选中下一个相同的文本.Alt+F3 选中文本按下快捷键,即可一次性选择全部的相同文本 ...

  6. Webstorm常用快捷键备忘

    WebStorm 是jetbrains公司旗下一款JavaScript 开发工具.被广大中国JS开发者誉为“Web前端开发神器”.“最强大的HTML5编辑器”.“最智能的JavaSscript IDE ...

  7. Axure常用操作备忘

    目录 前言 技巧 边框重合 复制对象文本居中 复制粘贴样式 文本自适应 给图形添加连接点 导出图片无空白 前言 下面列出Axure画图过程中曾经遇到过的问题,备忘一下,避免别人也走弯路,法布施一下~ ...

  8. CentOS常用命令备忘

    1. 查看进程 ps -a 杀掉进程 kill PID 2. 添加计划任务crontab -e 例如:30 21 * * * service httpd restart 每天21:30重启apache ...

  9. 【荐1】Total Commander 7.57 个人使用设置 及 常用快捷键 备忘

    Total Commander 7.57a  下载地址:http://www.baidu.com/s?wd=total commander 7.57 破解版 软件整体预览图:(注意,下面的版本我用的是 ...

随机推荐

  1. tmpfs使用完毕导致数据库无法正常工作

    df -h 查看 重新启动服务器就可以了

  2. Spring Aop(十三)——ProxyFactoryBean创建代理对象

    转发地址:https://www.iteye.com/blog/elim-2398673 ProxyFactoryBean创建代理对象 ProxyFactoryBean实现了Spring的Factor ...

  3. Linux 系统中用Systemd 管理系统服务

    Systemd  命令详解: https://www.digitalocean.com/community/tutorials/how-to-use-systemctl-to-manage-syste ...

  4. BP神经网络算法预测销量高低

    理论以前写过:https://www.cnblogs.com/fangxiaoqi/p/11306545.html,这里根据天气.是否周末.有无促销的情况,来预测销量情况. function [ ma ...

  5. Unity学习笔记_控制人物移动+摄像机跟随

    我想做的移动操作方式类似[流星蝴蝶剑].[龙之谷].[我的世界第三人称]的第三人称操作方式. 操作说明:W键会朝当前镜头方向前进,鼠标控制镜头旋转. 做前需知(先去稍微了解一下比较好): ①unity ...

  6. QueryPerformanceFrequency 基本介绍精确获取时间

    精确获取时间: QueryPerformanceFrequency() - 基本介绍 类型:Win32API 原型:BOOL QueryPerformanceFrequency(LARGE_INTEG ...

  7. Python if __name__ == '__main__': 理解

    if __name__ == '__main__':是为了区分.py文件是自己直接被执行还是被其他文件调用. 当.py文件直接被执行时,默认的是 __name__ = '__main__',因此条件成 ...

  8. 【转帖】Webmin 安装 (centos7 rpm 方式)

    https://www.cnblogs.com/osfipin/p/5948803.html 这两天公众号都在手这个小工具, 今天早上试了下 挺好用的 还看到了启动 samba 的方法. 一会儿 再学 ...

  9. SpringBoot 使用WebSocket打造在线聊天室

    教程: https://www.jianshu.com/p/55cfc9fcb69e https://wallimn.iteye.com/blog/2425666 关于websocket基础普及见:h ...

  10. idea调试框架时如何能够进入maven依赖包的源码

    最近用idea使用spring security做登录与权限控制,在调试过程中碰到问题,经常需要断点追踪源码,深入查看其中问题.但是maven中引用的包,进入后都是.class文件,非源码.导致查看时 ...