【PyTorch深度学习】学习笔记之PyTorch与深度学习

第1章 PyTorch与深度学习

深度学习的应用

• 接近人类水平的图像分类
• 接近人类水平的语音识别
• 机器翻译
• 自动驾驶汽车
• Siri、Google语音和Alexa在最近几年更加准确
• 日本农民的黄瓜智能分拣
• 肺癌检测
• 准确度高于人类的语言翻译
• 读懂图片中的图像含义

现今深度学习应用中最受欢迎的技术和出现的时间点

技术	年份
神经网络	1943
反向传播	20世纪60年代初期
卷积神经网络	1979
循环神经网络	1980
长短期记忆网络	1997

深度学习过去的叫法

20世纪70年代叫控制论（cybernetics），20世纪80年代称之为联结主义（connectionism），现在称为深度学习或者神经网络

深度学习现在流行起来的原因

• 硬件可用性
• 数据和算法
• 深度学习框架

硬件可用性

图形处理单元（Graphic Processing Unit，GPU）在完成数百万甚至数十亿的参数上的大规模数学运算（如矩阵乘法）时可以搞出几个数量级。
GPU内存，NVIDIA的1080ti大概有11GB的内存，价格在700美元左右
各种云服务，如AWS，Google Cloud，Floyd（这家公司提供转为深度学习优化的GPU机器）

数据和算法

文本、图片、视频和音频数据
在计算机视觉领域，ImageNet竞赛在提供1000种类别中的140万图片的数据集方面发挥了巨大作用

过去比赛中一些成功的算法有VGG、ResNet、Inception、DenseNet，现在这些算法已在行业中得到应用，用于解决各种计算机视觉问题

其他一些流行的数据集：

• MNIST
• COCO数据集
• CIFAR
• The Street View House Numbers
• PASCAL VOC
• Wikipedia dump
• 20 Newsgroups
• Penn Treebank
• Kaggle

各种不同算法的发展：
批规一化、激活函数、跳跃式连接（skip connection）、长短期记忆网络（LSTM）、dropout等

深度学习框架

早期，需要具备C++和CUDA的专业知识来实现深度学习算法
现在，随着深度学习框架的开源，只需具备脚本语言知识（如Python）即可
行业中流行的深度学习框架有：TensorFlow、Caffe2、Keras、Theano、PyTorch、Chainer、DyNet、MXNet和CNTK

PyTorch以及其他大多数深度学习框架，主要用于两个方面：

• 用GPU加速过的运算替代与NumPy类似的运算；
• 构建深度神经网络

PyTorch易用简单，不同于其他大多数流行的使用静态计算图的深度学习矿机，PyTorch使用动态计算，因此在构建复杂架构时可以有更高的灵活性。

PyTorch大量使用了Python概念，例如类、结构和条件循环，允许用户以纯面向对象的方式构建深度学习算法。

由于PyTorch最初主要为研究目的而构建，因此不建议用于哪些对延迟要求非常高的生产环境。然而，随着名为Open Neural NetWork Exchange（ONNX）的新项目的出现，这种情况正在发生改变，该项目重点是将在PyTorch上开发的模型部署到适用于生产的Caffe2这样的平台上。该项目得到了Facebook和微软的支持。