Torch7学习笔记（四）StochasticGradient

使用随机梯度下降训练神经网络

StochasticGradient是一个比较高层次的类，它接受两个参数，module和criterion，前者是模型结构，后者是损失函数的类型。这个类本身有一些参数：

LearningRate: 这是学习率，不用多说

LearningRateDecay: 学习率衰减，current_learning_rate =learningRate / (1 + iteration * learningRateDecay)

maxIteration: 最大迭代次数

shuffleIndices 是否洗数据

hookExample 这个比较神奇，是一个钩子函数，具体功能不详。

hookIteration: 同样的。

如何使用StochasticGradient来训练神经网络？

只有两步

1. 准备好你的数据
2. 设计好神经网络结构和loss function

同样的用官方文档的一个例子：

准备数据集：

dataset={};

function dataset:size() return 100 end -- 100 examples

for i=1,dataset:size() do

local input = torch.randn(2);     -- normally distributed example in 2d

local output = torch.Tensor(1);

if input[1]*input[2]>0 then     -- calculate label for XOR function

output[1] = -1;

else

output[1] = 1

end

dataset[i] = {input, output}

end

定义神经网络：

require "nn"

mlp = nn.Sequential();  -- make a multi-layer perceptron

inputs = 2; outputs = 1; HUs = 20; -- parameters

mlp:add(nn.Linear(inputs, HUs))

mlp:add(nn.Tanh())

mlp:add(nn.Linear(HUs, outputs))

训练网络：

criterion = nn.MSECriterion()

trainer = nn.StochasticGradient(mlp, criterion)

trainer.learningRate = 0.01

trainer:train(dataset)

同样的，如果不使用stochasticGradient类，手动训练神经网络也是可以的。

这里举得例子是训练XOR问题。

带有一层隐藏层的神经网络：

require "nn"

mlp = nn.Sequential();  -- make a multi-layer perceptron

inputs = 2; outputs = 1; HUs = 20; -- parameters

mlp:add(nn.Linear(inputs, HUs))

mlp:add(nn.Tanh())

mlp:add(nn.Linear(HUs, outputs))

Loss function：

Criterion = nn.MSECriterion()

Training:

for i = 1,2500 do

-- random sample(生成数据集)

local input= torch.randn(2);     -- normally distributed example in 2d

local output= torch.Tensor(1);

if input[1]*input[2] > 0 then  -- calculate label for XOR function

output[1] = -1

else

output[1] = 1

end

-- 这里需要注意的是criterion的forward和nn的forward的调用顺序

-- feed it to the neural network and the criterion

criterion:forward(mlp:forward(input), output)

-- train over this example in 3 steps

-- (1) zero the accumulation of the gradients

mlp:zeroGradParameters()

-- (2) accumulate gradients

mlp:backward(input, criterion:backward(mlp.output, output))

-- (3) update parameters with a 0.01 learning rate

mlp:updateParameters(0.01)

end