先介绍一下 Caffe 和 TensorFlow 中 weight decay 的设置: 在 Caffe 中, SolverParameter.weight_decay 可以作用于所有的可训练参数, 不妨称为 global weight decay, 另外还可以为各层中的每个可训练参数设置独立的 decay_mult, global weight decay 和当前可训练参数的 decay_mult 共同决定了当前可训练参数的 weight decay. 在 TensorFlow 中, 某些接口

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6221664.html 参考网址: https://github.com/torch/nn/issues/873 http://stackoverflow.com/questions/37459812/finetune-a-torch-model https://github.com/torch/nn/blob/master/doc/module.md https://github.com/torch

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6549452.html 参考网址: https://github.com/torch/threads#examples 1. addjob简单示例 参考网址中给出了torch中threads的addjob函数使用方法: local threads = require 'threads' local msg = "hello from a satellite thread" local poo

torch中的多线程threads学习 torch threads threads 包介绍 threads package的优势点: 程序中线程可以随时创建 Jobs被以回调函数的形式提交给线程系统,然后job由空闲下的thread执行 如果有ending callback(结束回调函数),那么当一个任务执行完毕将在主线程中执行该函数 Job的回调函数全部都是序列化的,包括一些界外变量(upvalue),这可以方便数据在线程之间的拷贝 job的回调函数返回值将传送给ending callback

torch中的copy()和clone() 1.torch中的copy()和clone() y = torch.Tensor(2,2):copy(x) ---1 修改y并不改变原来的x y = x:clone()1 修改y也不改变x y = x1 修改y这个时候就开始改变x了 注意,官网中Returns a clone of a tensor. The memory is copied.内存被复制,也即重新分配了一份内存个y,所以y改变x不改变,对于copy是一样的.copy允许复制的维度不一样

import torch torch中的squeeze与unsqueeze作用是去除/添加维度为1的行 例如,a=torch.randn(2,3) 那么b=a.unsqueeze(0),b为(1,2,3)的矩阵 类似的,b=a.unsqueeze(1),b为(2,1,3)的矩阵 b=a.unsqueeze(2),b为(2,3,1)的矩阵 同理,如果a=torch.randn(2,1,3) 则b=a.squeeze(2)=torch.squeeze(a),b为(2,3)的矩阵.

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6065526.html 本部分多试几次就可以弄得清每一层具体怎么访问了. step1. 网络定义如下: require "dpnn" local net = nn.Sequential() net:add(nn.SpatialConvolution(, , , , , , , )) net:add(nn.SpatialBatchNormalization()) net:add(nn.ReLU

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6030232.html 参考网址: https://github.com/torch/cutorch/issues/210 https://github.com/torch/cutorch/issues/425 https://developer.nvidia.com/cuda-downloads http://tieba.baidu.com/p/4210823766 https://github.c

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/5783006.html 之前使用的是torch,由于其他人在caffe上面预训练了inception模型,需要使用caffe的inception模型进行微调.然后网上搜了一下如何将caffe模型load到torch里面.有两种方式(可直接跳转到3查看): 1. https://github.com/szagoruyko/loadcaffe 该网址的不需要安装caffe.应该是根据.prototxt来强

工作中需要把一个SGD的LSTM改造成mini-batch的LSTM, 两篇比较有用的博文,转载mark https://zhuanlan.zhihu.com/p/34418001 http://www.cnblogs.com/lindaxin/p/8052043.html 一.为什么RNN需要处理变长输入 假设我们有情感分析的例子,对每句话进行一个感情级别的分类,主体流程大概是下图所示: 思路比较简单,但是当我们进行batch个训练数据一起计算的时候,我们会遇到多个训练样例长度不同的情况,这样

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6549432.html 参考网址: https://github.com/torch/threads/issues/82 修改别人程序的时候,使用torch多线程load数据,遇到了这个问题: FATAL THREAD PANIC:(write) XXX/torch/install/share/lua/5.1/torch/File.lua:141:Unwritable object <userdata

PIL:使用python自带图像处理库读取出来的图片格式 numpy:使用python-opencv库读取出来的图片格式 tensor:pytorch中训练时所采取的向量格式(当然也可以说图片) PIL与Tensor相互转换 import torch from PIL import Image import matplotlib.pyplot as plt # loader使用torchvision中自带的transforms函数 loader = transforms.Compose([ tr

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6591667.html 参考网址: https://github.com/torch/torch7/blob/master/doc/serialization.md 1. 数据与文件之间的序列化/反序列化操作 1.1 torch.save(filename, object [, format, referenced]) format可选binary(默认)和ascii.binary依赖操作系统,但更容

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6591641.html 说明:本文不一定正确... 如果要是variable:type(),则返回torch.FloatTensor等类型 如果要是type(variable),则返回变量的类型,如userdata等

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6015990.html BatchNorm具体网上搜索. caffe中batchNorm层是通过BatchNorm+Scale实现的,但是默认没有bias.torch中的BatchNorm层使用函数SpatialBatchNormalization实现,该函数中有weight和bias. 如下代码: local net = nn.Sequential() net:add(nn.SpatialBatch

backward函数 官方定义: torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False, grad_variables=None) Computes the sum of gradients of given tensors w.r.t. graph leaves.The graph is differentiated using the chain rule. If a

torch 深度学习(3) 损失函数,模型训练 前面我们已经完成对数据的预处理和模型的构建,那么接下来为了训练模型应该定义模型的损失函数,然后使用BP算法对模型参数进行调整 损失函数 Criterion 加载包 require 'torch' require 'nn' -- 各种损失函数也是 'nn'这个模块里面的 设定命令行参数 if not opt then print "==> processing options:" cmd = torch.CmdLine() cmd:t

apply weightDecay,L2 REGULARIZATION_LOSSES weights = tf.get_collection(tf.GraphKeys.TRAINABLE_VARIABLES) for w in weights: print(w) l2r = tf.contrib.layers.l2_regularizer(0.001) tf.contrib.layers.apply_regularization(l2r,weights) tf.get_collection(tf

Torch 网络层 参数的初始化问题 参考链接: https://github.com/Kaixhin/nninit 从 Torch 中自带的包,可以看到:https://github.com/torch/torch7/wiki/Cheatsheet#utility-libraries 在 Machine Learning 这一栏当中,有一软件包 nninit 可以实现该功能: nninit - Weight initialisation schemes for nn modules

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6230227.html 提前说明:此文不能真正解决该问题,具体原因我也不知道... 以前使用某台电脑A上torch来require "caffe"后,使用net:forward时,能正常运行,这两天换了另一台电脑B,运行程序,就出现下面的错误: Check failed: status == CUDNN_STATUS_SUCCESS (8 vs. 0)  CUDNN_STATUS_EXECU

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/6221633.html torch中的apply函数通过可以不断遍历model的各个模块.实际上其使用的是深度优先算法. 其具体代码如下所示(代码见torch/install/share/lua/5.1/nn/Module.lua): -- Run a callback (called with the module as an argument) in preorder over this -- m