几种常见的优化函数比较:https://blog.csdn.net/w113691/article/details/82631097

 '''
基于Adam识别MNIST数据集
'''
import torch
import torchvision
import torchvision.transforms as transform
import torch.nn
from torch.autograd import Variable '''
神经网络层级结构:
卷积层Conv1,Conv2()
最大池化层 MaxPool2d()
损失函数 ReLU()
参数:
卷积神经网络的卷积层参数:------输入通道数、输出通道数、卷积核大小、卷积核移动步长和Padding的值
Conv2d(input_channels,output_channels,kernel_size,stride,padding);
最大池化层参数:------池化窗口大小、移动步长
MaxPool2d(kernel_size,stride)
方法:
1.torch.nn.Sequential()用作参数序列化,神经网络模块会按照传入Suquential构造器顺序依次被添加到计算图中执行
2.torch.nn.Linear(x,y)用作对矩阵线性变换,对于一个a*x大小的矩阵,变换后会变成a*y大小的矩阵,即矩阵的乘法
''' class LeNet(torch.nn.Module):
def __init__(self):
super(LeNet, self).__init__() # 卷积层1
self.conv1 = torch.nn.Sequential( # input_size=(1*28*28)
torch.nn.Conv2d(1, 6, 5, 1, 2), # padding=2保证输入输出尺寸相同
# 输出尺寸计算公式:Height=(Height_input-kernel_size+2*padding)/stride+1
# 输出尺寸=(28 - 5 + 2*2)/1 + 1 = 28
torch.nn.ReLU(), # input_size=(6*28*28)
torch.nn.MaxPool2d(kernel_size=2, stride=2), # output_size=(6*14*14)
# 池化层尺寸计算公式: Height=(Height_input-Height_filter)/stride+1
# Height = (28 - 2)/2 +1 = 14
)
# 卷积层2
self.conv2 = torch.nn.Sequential(
torch.nn.Conv2d(6, 16, 5), # 默认stride=1,padding=0; 输入矩阵 6*14*14
# Height = (14-5+0*2)/1 + 1 = 10
torch.nn.ReLU(), # input_size=(16*10*10)
torch.nn.MaxPool2d(2, 2) # output_size=(16*5*5)
# Height = (10-2)/2 + 1 = 5
)
# 全连接层1
self.fullConnection1 = torch.nn.Sequential(
torch.nn.Linear(16 * 5 * 5, 120),
torch.nn.ReLU()
)
# 全连接层2
self.fullConnection2 = torch.nn.Sequential(
torch.nn.Linear(120, 84),
torch.nn.ReLU()
)
# 全连接层3
self.fullConnection3 = torch.nn.Linear(84, 10) def forward(self, x):
x = self.conv1(x)
x = self.conv2(x)
x = x.view(x.size()[0], -1) # 对参数进行扁平化,因为之后要进行全连接,必须降低他的channel
x = self.fullConnection1(x)
x = self.fullConnection2(x)
x = self.fullConnection3(x)
return x EPOCH = 8 # 遍历总次数
BATCH_SIZE = 64 # 批处理尺寸
LEARNINGRATE = 0.001 '''
------------------------------定义数据预处理方式------------------------------
现在需要考虑的是,计算机视觉的数据集很多是图片形式的,而PyTorch中计算的则是Tensor数据类型的变量,因此我们先要做的是数据类型的转换
即 图像类型---->Tensor类型 需要注意的是,有的时候我们的训练集是有限的,这个时候需要进行数据增强
数据增强就是将图片进行各种变换,例如放大、缩小、水平翻转、垂直反转等
torch.transforms()中有很多数据增强的变换类
'''
transform = transform.ToTensor() # 定义训练数据集
data_train = torchvision.datasets.MNIST(
root='C://data/',
train=True,
download=False,
transform=transform
) # 定义训练批处理数据
data_train_loader = torch.utils.data.DataLoader(
data_train,
batch_size=BATCH_SIZE,
shuffle=True
) # 定义测试数据集
data_test = torchvision.datasets.MNIST(
root='C://data/',
train=True,
download=False,
transform=transform
) # 定义测试批处理数据
data_test_loader = torch.utils.data.DataLoader(
data_test,
batch_size=BATCH_SIZE,
shuffle=False
) # 定义损失函数Loss function和优化方式(这里采用Adam)
net = LeNet()
loss_n = torch.nn.CrossEntropyLoss() # 交叉熵损失函数
optimizer = torch.optim.Adam(net.parameters()) # 训练
for epoch in range(EPOCH):
sum_loss = 0.0
# 读取数据
for i, data in enumerate(data_train_loader):
inputs, labels = data
inputs, labels = Variable(inputs), Variable(labels) # 梯度清理
optimizer.zero_grad() # forward + backward
outputs = net(inputs) # 预测数据
loss = loss_n(outputs, labels) # 预测数据与实际数据做交叉熵
loss.backward()
optimizer.step() # 后向传播过后对模型进行更新 # 每100个batch打印一次平均loss
sum_loss += loss.item() # ???????????
if i % 100 == 99:
print('[%d,%d] loss:%.03f' % (epoch + 1, i + 1, sum_loss / 100))
sum_loss = 0.0 # 打印并且重置 # 每次运行一次epoch打印一次正确率
with torch.no_grad():
correct = 0
total = 0
for data in data_test_loader:
images, labels = data
images, labels = Variable(images), Variable(labels)
outputs = net(images)
# 取得分最高的那个类
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum()
print('第%d个epoch的识别准确率为:%d%%' % (epoch + 1, (100 * correct / total)))
# torch.save(net.state_dict(), '%s/net_%03d.pth' % (opt.outf, epoch + 1))
'''
基于SGD优化函数识别MNIST数据集
'''
import torch
import torchvision as tv
import torchvision.transforms as transforms
import torch.nn as nn
import torch.optim as optim
import argparse # 定义是否使用GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# 定义网络结构 '''
神经网络层级结构:
卷积层Conv1,Conv2()
最大池化层 MaxPool2d()
损失函数 ReLU()
参数:
卷积神经网络的卷积层参数:------输入通道数、输出通道数、卷积核大小、卷积核移动步长和Padding的值
Conv2d(input_channels,output_channels,kernel_size,stride,padding);
最大池化层参数:------池化窗口大小、移动步长
MaxPool2d(kernel_size,stride)
方法:
1.torch.nn.Sequential()用作参数序列化,神经网络模块会按照传入Suquential构造器顺序依次被添加到计算图中执行
2.torch.nn.Linear(x,y)用作对矩阵线性变换,对于一个a*x大小的矩阵,变换后会变成a*y大小的矩阵,即矩阵的乘法
''' class LeNet(nn.Module):
def __init__(self):
super(LeNet, self).__init__()
# 卷积层1
self.conv1 = nn.Sequential( # input_size=(1*28*28)
nn.Conv2d(1, 6, 5, 1, 2), # padding=2保证输入输出尺寸相同
nn.ReLU(), # input_size=(6*28*28)
nn.MaxPool2d(kernel_size=2, stride=2), # output_size=(6*14*14)
)
# 卷积层2
self.conv2 = nn.Sequential(
nn.Conv2d(6, 16, 5),
nn.ReLU(), # input_size=(16*10*10)
nn.MaxPool2d(2, 2) # output_size=(16*5*5)
)
# 全连接层1
self.fc1 = nn.Sequential(
nn.Linear(16 * 5 * 5, 120),
nn.ReLU()
)
# 全连接层2
self.fc2 = nn.Sequential(
nn.Linear(120, 84),
nn.ReLU()
)
# 全连接层3
self.fc3 = nn.Linear(84, 10) # 定义前向传播过程,输入为x
def forward(self, x):
x = self.conv1(x)
x = self.conv2(x)
# nn.Linear()的输入输出都是维度为一的值,所以要把多维度的tensor展平成一维
x = x.view(x.size()[0], -1)
x = self.fc1(x)
x = self.fc2(x)
x = self.fc3(x)
return x # 使得我们能够手动输入命令行参数,就是让风格变得和Linux命令行差不多
parser = argparse.ArgumentParser()
parser.add_argument('--outf', default='./model/', help='folder to output images and model checkpoints') # 模型保存路径
parser.add_argument('--net', default='./model/net.pth', help="path to netG (to continue training)") # 模型加载路径
opt = parser.parse_args() # 超参数设置
EPOCH = 8 # 遍历数据集次数
BATCH_SIZE = 64 # 批处理尺寸(batch_size)
LR = 0.001 # 学习率 # 定义数据预处理方式
transform = transforms.ToTensor() # 定义训练数据集
trainset = tv.datasets.MNIST(
root='./data/',
train=True,
download=True,
transform=transform) # 定义训练批处理数据
trainloader = torch.utils.data.DataLoader(
trainset,
batch_size=BATCH_SIZE,
shuffle=True,
) # 定义测试数据集
testset = tv.datasets.MNIST(
root='C://data//',
train=False,
download=True,
transform=transform) # 定义测试批处理数据
testloader = torch.utils.data.DataLoader(
testset,
batch_size=BATCH_SIZE,
shuffle=False,
) # 定义损失函数loss function 和优化方式(采用SGD)
net = LeNet().to(device)
criterion = nn.CrossEntropyLoss() # 交叉熵损失函数,通常用于多分类问题上
optimizer = optim.SGD(net.parameters(), lr=LR, momentum=0.9) # 训练
if __name__ == "__main__": for epoch in range(EPOCH):
sum_loss = 0.0
# 数据读取
for i, data in enumerate(trainloader):
inputs, labels = data
inputs, labels = inputs.to(device), labels.to(device) # 梯度清零
optimizer.zero_grad() # forward + backward
outputs = net(inputs)
loss = criterion(outputs, labels)
loss.backward()
optimizer.step() # 每训练100个batch打印一次平均loss
sum_loss += loss.item()
if i % 100 == 99:
print('[%d, %d] loss: %.03f'
% (epoch + 1, i + 1, sum_loss / 100))
sum_loss = 0.0
# 每跑完一次epoch测试一下准确率
with torch.no_grad():
correct = 0
total = 0
for data in testloader:
images, labels = data
images, labels = images.to(device), labels.to(device)
outputs = net(images)
# 取得分最高的那个类
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum()
print('第%d个epoch的识别准确率为:%d%%' % (epoch + 1, (100 * correct / total)))
# torch.save(net.state_dict(), '%s/net_%03d.pth' % (opt.outf, epoch + 1))

SGD与Adam识别MNIST数据集的更多相关文章

  1. Python实现bp神经网络识别MNIST数据集

    title: "Python实现bp神经网络识别MNIST数据集" date: 2018-06-18T14:01:49+08:00 tags: [""] cat ...

  2. RNN入门(一)识别MNIST数据集

    RNN介绍   在读本文之前,读者应该对全连接神经网络(Fully Connected Neural Network, FCNN)和卷积神经网络( Convolutional Neural Netwo ...

  3. 卷积神经网络CNN识别MNIST数据集

    这次我们将建立一个卷积神经网络,它可以把MNIST手写字符的识别准确率提升到99%,读者可能需要一些卷积神经网络的基础知识才能更好的理解本节的内容. 程序的开头是导入TensorFlow: impor ...

  4. 81、Tensorflow实现LeNet-5模型,多层卷积层,识别mnist数据集

    ''' Created on 2017年4月22日 @author: weizhen ''' import os import tensorflow as tf import numpy as np ...

  5. 吴裕雄 python 神经网络TensorFlow实现LeNet模型处理手写数字识别MNIST数据集

    import tensorflow as tf tf.reset_default_graph() # 配置神经网络的参数 INPUT_NODE = 784 OUTPUT_NODE = 10 IMAGE ...

  6. 吴裕雄 python 神经网络——TensorFlow实现AlexNet模型处理手写数字识别MNIST数据集

    import tensorflow as tf # 输入数据 from tensorflow.examples.tutorials.mnist import input_data mnist = in ...

  7. 机器学习(2) - KNN识别MNIST

    代码 https://github.com/s055523/MNISTTensorFlowSharp 数据的获得 数据可以由http://yann.lecun.com/exdb/mnist/下载.之后 ...

  8. 基于Keras 的VGG16神经网络模型的Mnist数据集识别并使用GPU加速

    这段话放在前面:之前一种用的Pytorch,用着还挺爽,感觉挺方便的,但是在最近文献的时候,很多实验都是基于Google 的Keras的,所以抽空学了下Keras,学了之后才发现Keras相比Pyto ...

  9. Pytorch实现MNIST(附SGD、Adam、AdaBound不同优化器下的训练比较) adabound实现

     学习工具最快的方法就是在使用的过程中学习,也就是在工作中(解决实际问题中)学习.文章结尾处附完整代码. 一.数据准备  在Pytorch中提供了MNIST的数据,因此我们只需要使用Pytorch提供 ...

随机推荐

  1. 吴裕雄--天生自然 PYTHON3开发学习:JSON 数据解析

    import json # Python 字典类型转换为 JSON 对象 data = { 'no' : 1, 'name' : 'Runoob', 'url' : 'http://www.runoo ...

  2. 前端Js复习-前后台的搭建-结合Bootstrap和JQuery搭建vue项目

    流式布局思想 """ 页面的尺寸改变动态改变页面布局,或是通过父集标签控制多个子标签,这种布局思想就称之为 - 流式布局思想 1) 将标签宽高设置成 百分比,就可以随屏幕 ...

  3. TPO4-2 Cave Art in Europe

    Perhaps, like many contemporary peoples, Upper Paleolithic men and women believed that the drawing o ...

  4. 常见 Web 安全攻防总结

    Web 安全的对于 Web 从业人员来说是一个非常重要的课题,所以在这里总结一下 Web 相关的安全攻防知识,希望以后不要再踩雷,也希望对看到这篇文章的同学有所帮助.今天这边文章主要的内容就是分析几种 ...

  5. poj 1463树形dp 树的最小覆盖

    #include<iostream> #include<cstdio> #include<cstring> #include<algorithm> #i ...

  6. 感叹号在Linux bash中使用技巧

    1. 重复执行上一条指令  !! [root@iZ23t6nzr7dZ python]# ls /usr/local/ aegis bin etc games include lib lib64 li ...

  7. descriptive statistics|inferential statistics|Observational Studies| Designed Experiments

    descriptive statistics:组织和总结信息,为自身(可以是population也可以是sample)审视和探索, inferential statistics.从sample中推论p ...

  8. The General Addition Rule|complementation rule|special addition rule|

    5.3 Some Rules of Probability 如图所示,AorB是所有蓝色区域,所以P(AorB)=PA+PB,但是若非互斥事件,则不能直接相加: If you think of the ...

  9. vs2015的密钥

    最近一直提示VS要登陆,登陆完就说评估期已到,搞得很烦. VS2015 enterprise版本得密钥:  HM6NR-QXX7C-DFW2Y-8B82K-WTYJV    亲测有效!!! 专业版本的 ...

  10. 奇点云 x 阿里云 | 联合发布综合体数字化转型与数据创新解决方案

    2019年7月25日下午,在阿里云峰会上海站,奇点云入选阿里云首批联合解决方案合作伙伴,并联合发布了“综合体数字化转型与数据创新解决方案”,共同探索综合体的智能服务. 关于综合体的数字化转型,奇点云联 ...