重新学习pytorch的库函数等..

http://blog.csdn.net/victoriaw/article/list/10 开始第一篇: http://blog.csdn.net/VictoriaW/article/details/72356453…

[深度学习] Pytorch（三）—— 多/单GPU、CPU，训练保存、加载模型参数问题

[深度学习] Pytorch(三)-- 多/单GPU.CPU,训练保存.加载预测模型问题上一篇实践学习中,遇到了在多/单个GPU.GPU与CPU的不同环境下训练保存.加载使用使用模型的问题,如果保存.加载的上述三类环境不同,加载时会出错.就去研究了一下,做了实验,得出以下结论: 多/单GPU训练保存模型参数.CPU加载使用模型 #保存 PATH = 'cifar_net.pth' torch.save(net.module.state_dict(), PATH) #加载 net = Net()…

[深度学习] Pytorch学习（一）—— torch tensor

[深度学习] Pytorch学习(一)-- torch tensor 学习笔记 . 记录分享 . 学习的代码环境:python3.6 torch1.3 vscode+jupyter扩展 #%% import torch print(torch.__version__) # 查看CUDA GPU是否可用 a = torch.cuda.is_available() print(a) #%% # torch.randperm x = torch.randperm(6) print(x) #%% #…

001-深度学习Pytorch环境搭建(Anaconda , PyCharm导入)

001-深度学习Pytorch环境搭建(Anaconda , PyCharm导入) 在开始搭建之前我们先说一下本次主要安装的东西有哪些. anaconda 3:第三方包管理软件. 这个玩意可以看作是一个大仓库,他里边含有很多Python的第三方开发库(也就是别人发布的,他收集起来管理).安装好这个软件之后我们便可以使用这个大仓库来安装一些我们需要的包 (人工智能需要用的包也可以使用这个来装). 同时,这个软件也可以管理我们的开发环境,让我们的环境看起来更加的简洁明了. 安装Pytorch:深度学…

深度学习PyTorch环境安装——mac

参考:http://python.jobbole.com/87522/ 1.首先要安装Anaconda 1)什么是Anaconda Anaconda是Python的包管理器和环境管理器,是一个包含180+的科学包及其依赖项的发行版本.其包含的科学包包括:conda, numpy, scipy, ipython notebook等. 1.包管理 Anaconda附带了一大批常用数据科学包,它附带了conda.Python和 150 多个科学包及其依赖项.因此你可以用Anaconda立即开始处理数据…

动手学习Pytorch(6)--卷积神经网络基础

卷积神经网络基础本节我们介绍卷积神经网络的基础概念,主要是卷积层和池化层,并解释填充.步幅.输入通道和输出通道的含义. 二维卷积层本节介绍的是最常见的二维卷积层,常用于处理图像数据. 二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter).卷积核的尺寸通常小于输入数组,卷积核在输入数组上滑动,在每个位置上,卷积核与该位置处的输入子数组按元素相乘…

动手学习Pytorch(4)--过拟合欠拟合及其解决方案

过拟合.欠拟合及其解决方案过拟合.欠拟合的概念权重衰减丢弃法模型选择.过拟合和欠拟合训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error).通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似.计算训练误差和泛化误差可以使用之前介绍过的损失函数,例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损…

动手学习pytorch——（1）线性回归

最近参加了伯禹教育的动手学习深度学习项目,现在对第一章(线性回归)部分进行一个总结. 这里从线性回归模型之从零开始的实现和使用pytorch的简洁两个部分进行总结. 损失函数,选取平方函数来评估误差,公式如下: 1)从零开始实现首先设置真实的权重和偏差w,b.随机生成一个二维数组并由此生成对应的真实labels. num_inputs = 2 #二个自变量 num_examples = 1000 # set true weight and bias in order to generate c…

[PyTorch入门]之从示例中学习PyTorch

Learning PyTorch with examples 来自这里. 本教程通过自包含的示例来介绍PyTorch的基本概念. PyTorch的核心是两个主要功能: 可在GPU上运行的,类似于numpy的多维tensor 自动区分构建的和训练的神经网络我们将使用全连接ReLU网络作为示例.网络中包含单个隐藏层,通过最小化网络输出与真实输出之间的欧氏距离,用梯度下降训练来拟合随机数据. Tensor Warm-up: numpy 在介绍PyTorch之前,我们先用numpy来实现网络. Num…

学习Pytorch遇到的一些问题（一）

基本介绍这周开始学习深度学习的部分知识,参考的书是<动手学深度学习>(PyTorch版),在操作过程中遇到一些小问题,记录一下问题和解决办法. PyTorch下载过慢安装步骤 PyTorch的安装步骤相对简单,首先打开它的官网,找到下图所示的内容.第一行是选择版本,第二行是选择要在什么系统上安装,第三行如果是用Anaconda的话选Conda就可以,第四行是选择开发语言,第五行是选择CUDA的版本,这些都选好之后,会在第六行出现代码,这行代码就是用来安装的.复制这行代码,打开Anacond…

小白如何学习PyTorch】25 Keras的API详解（下）缓存激活，内存输出，并发解决

[新闻]:机器学习炼丹术的粉丝的人工智能交流群已经建立,目前有目标检测.医学图像.时间序列等多个目标为技术学习的分群和水群唠嗑答疑解惑的总群,欢迎大家加炼丹兄为好友,加入炼丹协会.微信:cyx645016617. 参考目录: 目录 1 Keras卷积层 1.1 Conv2D 1.2 SeparableConv2D 1.3 Conv2DTranspose 1.3.1 去卷积的例子1 1.3.2 去卷积的例子2 2 Keras参数初始化 2.1 正态分布 2.2 均匀分布 2.3 截尾正态分布 2.…

通过示例学习PYTORCH

注意:这是旧版本的PyTorch教程的一部分.你可以在Learn the Basics查看最新的开始目录. 该教程通过几个独立的例子较少了PyTorch的基本概念. 核心是:PyTorch提供了两个主要的特性: 一个n维的Tensor,与Numpy相似但可以在GPU上运行构建和训练神经网络的自动微分我们将使用一个三阶多项式拟合 \(y=sin(x)\) 的问题作为我们的运行示例.该网络会有4个参数,将使用梯度下降来训练,通过最小化神经网络输出和真值之间的欧氏距离来拟合随机数据. Tensor…

Linux内核设计第四周学习总结使用库函数API和C代码中嵌入汇编代码两种方式使用同一个系统调用

陈巧然原创作品转载请注明出处 <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-1000029000 实验目的: 使用库函数API和C代码中嵌入汇编代码两种方式使用同一个系统调用,理解系统调用的工作机制. 实验过程: 本文实验使用亚马逊云计算平台(AWS)Ubuntu 14.04.2 LTS 64bit 本文实验选择24号和47号系统调用,分别获取当前用户uid(用户ID)和gid(组ID),即模拟Linux系统“id”命令.…

深度学习--pytorch安装

一.查看cuda及cudnn版本先确保安装了显卡:nvidia-smi 查看 cat /usr/local/cuda/version.txt cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 或者 nvcc --version ,后一个版本更靠谱,因为前者完全依赖/usr/local/cuda/include/cudnn.h 这个文件,而这个文件并不一定非得在这个路径中,尤其是既没有root又没有admin权限的情况下.…

[深度学习] pytorch学习笔记（4）(Module类、实现Flatten类、Module类作用、数据增强)

一.继承nn.Module类并自定义层我们要利用pytorch提供的很多便利的方法,则需要将很多自定义操作封装成nn.Module类. 首先,简单实现一个Mylinear类: from torch import nn # Mylinear继承Module class Mylinear(nn.Module): # 传入输入维度和输出维度 def __init__(self,in_d,out_d): # 调用父类构造函数 super(Mylinear,self).__init__() # 使用Pa…

[深度学习] pytorch学习笔记（3）(visdom可视化、正则化、动量、学习率衰减、BN)

一.visdom可视化工具安装:pip install visdom 启动:命令行直接运行visdom 打开WEB:在浏览器使用http://localhost:8097打开visdom界面二.使用visdom # 导入Visdom类 from visdom import Visdom # 定义一个env叫Mnist的board,如果不指定,则默认归于main viz = Visdom(env='Mnist') # 在window Accuracy中画train acc和test acc,x…

[深度学习] pytorch利用Datasets和DataLoader读取数据

本文简单描述如果自定义dataset,代码并未经过测试(只是说明思路),为半伪代码.所有逻辑需按自己需求另外实现: 一.分析DataLoader train_loader = DataLoader( datasets.MNIST('../data', train=True, download=True, transform=transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))…

[深度学习] pytorch学习笔记（2）(梯度、梯度下降、凸函数、鞍点、激活函数、Loss函数、交叉熵、Mnist分类实现、GPU)

一.梯度导数是对某个自变量求导,得到一个标量. 偏微分是在多元函数中对某一个自变量求偏导(将其他自变量看成常数). 梯度指对所有自变量分别求偏导,然后组合成一个向量,所以梯度是向量,有方向和大小. 上左图中,箭头的长度表示陡峭度,越陡峭的地方箭头越长,箭头指向的方向是y变大的方向,如果要使用梯度下降,则需要取负方向. 右图中,蓝色代表低点,红色代表高点,中间的箭头方向从蓝色指向红色,而且中间最陡峭的地方,箭头最长. 二.梯度下降上图中分别使用梯度下降优化θ1和θ2的值,α表示学习率,即每次按…

[深度学习] pytorch学习笔记（1）(数据类型、基础使用、自动求导、矩阵操作、维度变换、广播、拼接拆分、基本运算、范数、argmax、矩阵比较、where、gather)

一.Pytorch安装安装cuda和cudnn,例如cuda10,cudnn7.5 官网下载torch:https://pytorch.org/ 选择下载相应版本的torch 和torchvision的whl文件使用pip install whl_dir安装torch,并且同时安装torchvision 二.初步使用pytorch # -*- coding:utf-8 -*- __author__ = 'Leo.Z' import torch import time # 查看torch版本…

动手学习pytorch——（3）多层感知机

多层感知机(multi perceptron,MLP).对于普通的含隐藏层的感知机,由于其全连接层只是对数据做了仿射变换,而多个仿射变换的叠加仍然是一个仿射变换,即使添加更多的隐藏层,这种设计也只能与仅含输出层的单层神经网络等价.解决问题的一个方法是引入非线性变换,对隐藏变量使用非线性变化,然后作为下一个全连接层的输入,这个非线性函数被称为激活函数. 激活函数主要有ReLu.Sigmoid.tanh.其中ReLu计算简单,且不像其他两个哪个容易造成梯度消失,使用较多. 多层感知机pytorch实…

[深度学习] Pytorch学习（二）—— torch.nn 实践：训练分类器（含多GPU训练CPU加载预测的使用方法）

Learn From: Pytroch 官方Tutorials Pytorch 官方文档环境:python3.6 CUDA10 pytorch1.3 vscode+jupyter扩展 #%% #%% # 1.Loading and normalizing CIFAR10 import torch import torchvision import torchvision.transforms as transforms batch_size = 16 transform = transform…

学习C语言库函数

使用C语言功能强大的函数,我们需要包含头文件 #include<math.h>. 1)取两个数的较大值或较小值函数: double a = 9.9; double b = 6.6; printf("%1.1lf\n", fmax(a, b)); // 取两个数的较大值 printf("%1.1lf\n", fmin(a, b)); // 取两个数的较小值运行结果: a = 9.9 b = 6.6 2)四舍五入问题和向下取整函数: double num…

动手学习Pytorch(7)--LeNet

Convolutional Neural Networks 使用全连接层的局限性: 图像在同一列邻近的像素在这个向量中可能相距较远.它们构成的模式可能难以被模型识别. 对于大尺寸的输入图像,使用全连接层容易导致模型过大. 使用卷积层的优势: 卷积层保留输入形状. 卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算,从而避免参数尺寸过大. LeNet 模型 LeNet分为卷积层块和全连接层块两个部分.下面我们分别介绍这两个模块. 卷积层块里的基本单位是卷积层后接平均池化层:卷积层用来识别图…

动手学习pytorch——（2）softmax和分类模型

内容太多,捡重要的讲. 在分类问题中,通常用离散的数值表示类别,这里存在两个问题.1.输出值的范围不确定,很难判断值的意义.2.真实标签是离散值,这些离散值与不确定的范围的输出值之间的误差难以衡量. softmax运算符解决了这两个问题.它把输出值变成了值为正且和为1的概率分布. 对于一个分类问题,假设有a个特征,b个样本,c个输出,单层的全连接网络,那么有a*b个w(权重),c个b(偏差). 为了提升计算效率,常对小批量数据做矢量计算.softmax回归的矢量计算表达式如下. 计算loss用交…

分别基于TensorFlow、PyTorch、Keras的深度学习动手练习项目

×下面资源个人全都跑了一遍,不会出现仅是字符而无法运行的状况,运行环境: Geoffrey Hinton在多次访谈中讲到深度学习研究人员不要仅仅只停留在理论上,要多编程.个人在学习中也体会到单单的看理论到头来还是一头雾水,只有不断和编程结合,才能检验自己是否掌握了这门知识.但是作为初学者应先以跑通理论为第一要义,所以可以使用有关框架,降低入门难度,避免重复造轮子. 一.TensorFlow 资源地址: 资源介绍: 资源目录: 二.PyTorch 资源地址: 资源介绍: 这个资源为深度学习研究人员…