读《Deep Learning Tutorial》(台湾大学 李宏毅 深度学习教学ppt)后杂记
原ppt下载:pan.baidu.com/s/1nv54p9R,密码:3mty
需深入实践并理解的重要概念:
Deep Learning:
- SoftMax Fuction(输出层归一化函数,与sigmoid相似的激活函数,用于解决分类问题(分类大于2时;sigmoid解决二分类问题))
1)
2)每个neuron的softmax输出:,其中:
DNN(Deep Neural Networks):
- MSE(Means Square Error,均方误差) / CE(Cross Entropy,交叉熵)
- Use to minimum total costs for softmax layer. CE is better.
- MSE minimum:
- CE minimum:
- Mini-batch & batch_size(decides how many examples in a mini-batch) & epoch(周期)
- batch:样本训练中,将完整数据分为等量的多个batch(批次),每次输入一个batch而不是完整样本进行训练
- epoch:周期被定义为向前和向后传播中所有batch的单次训练迭代
- mini-batch has better performance than original gradient descent
- Vanishing Gradient Problem(梯度消失问题)
- ReLU(Rectified Linear Unit,线性纠正单元)
- As an activative function, used when the number of layers is quite large.
- 对于大于0的所有输入来说,它都有一个不变的导数值;常数导数值有助于网络训练进行得更快,常用于多层隐藏层
- Special cases of MaxOut:
- Learnable activation function
- Adaptive learning rate(学习率:每次迭代中cost function中最小化的量。简单来说,我们下降到cost function的最小值的速率是学习率)
- Use a large rate first, then change to a small one
- Momentum(动量原理)
- Use the optimizer Adam(Advanced Adagrad Momentum)
- Overfitting Problem(过拟合问题)
- Use early stopping
- Weight Decay(训练时用p%的dropout,测试时对权值做(1-p%)的调整后再获得输出)
- Dropout(训练的过程舍弃神经元)
- Will change structure of networks while training. better than MaxOut
CNN(Convolutional Neural Networks):
- Image recognization suits to use CNN because of 3 important properties:
1) Patterns are much smaller than the whole image
2) The same patterns appear in different regions
3) Subsampling pixels does not change the object
- filter & channel
- stride(step)
- zero-padding
- max-pooling
- flattern
- less parameters because of sharing weights
读《Deep Learning Tutorial》(台湾大学 李宏毅 深度学习教学ppt)后杂记的更多相关文章
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1
3.Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2
3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.3
3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.3 http://blog.csdn.net/sunbow0 ...
- Deep Learning 教程(斯坦福深度学习研究团队)
http://www.zhizihua.com/blog/post/602.html 说明:本教程将阐述无监督特征学习和深度学习的主要观点.通过学习,你也将实现多个功能学习/深度学习算法,能看到它们为 ...
- #Deep Learning回顾#之基于深度学习的目标检测(阅读小结)
原文链接:https://www.52ml.net/20287.html 这篇博文主要讲了深度学习在目标检测中的发展. 博文首先介绍了传统的目标检测算法过程: 传统的目标检测一般使用滑动窗口的框架,主 ...
- 【Deep Learning读书笔记】深度学习中的概率论
本文首发自公众号:RAIS,期待你的关注. 前言 本系列文章为 <Deep Learning> 读书笔记,可以参看原书一起阅读,效果更佳. 概率论 机器学习中,往往需要大量处理不确定量,或 ...
- 【deep learning】斯坦福CS231n—深度学习与计算机视觉(资料汇总)
官网 链接:CS231n: Convolutional Neural Networks for Visual Recognition Notes: 链接:http://cs231n.github.io ...
- 深度学习材料:从感知机到深度网络A Deep Learning Tutorial: From Perceptrons to Deep Networks
In recent years, there’s been a resurgence in the field of Artificial Intelligence. It’s spread beyo ...
- Deep Learning Tutorial - Classifying MNIST digits using Logistic Regression
Deep Learning Tutorial 由 Montreal大学的LISA实验室所作,基于Theano的深度学习材料.Theano是一个python库,使得写深度模型更容易些,也可以在GPU上训 ...
随机推荐
- 帆软认证BI工程师FCBA-部分题目
1.安装32位系统的FineBI,最多只能支持2G内存. 正确 错误 2.Spider数据引擎中适合内存化的表通常为数据量小且更新频率较低的表. 正确 错误 3.Spider数据引擎支持跨数据源进行数 ...
- poj1847 Tram(最短路dijkstra)
描述: Tram network in Zagreb consists of a number of intersections and rails connecting some of them. ...
- docker环境下elasticsearch安装ik和拼音分词
elasticsearch拼音分词地址:https://github.com/medcl/elasticsearch-analysis-pinyin/releases 在elasticsearch下面 ...
- [原创]全新IFPGA-Cable----支持Xilinx/Altera/Lattice JTAG和UART
Xilinx 平台:ISE 14.7/Vivado 2014.4+: Lattice 平台:Diamond软件自动识别,免驱动: Altera 平台:安装相关插件,支持: 串 ...
- oracle数据库学习
trunc(number[,decimals])--number 待做截取处理的数值:decimals 指明需保留小数点后面的位数 CREATE PUBLIC DATABASE LINK Co ...
- selenium笔记(1)
selenium笔记(1) 一.关闭页面:1.driver.close() 关闭当前页面2.driver.quit() 退出整个浏览器 二.定位元素:1.find_element_by_id: 根据i ...
- C++构造函数和析构函数的调用顺序
1.构造函数的调用顺序 基类构造函数.对象成员构造函数.派生类本身的构造函数 2.析构函数的调用顺序 派生类本身的析构函数.对象成员析构函数.基类析构函数(与构造顺序正好相反) 3.特例 局部对象,在 ...
- haproxy5-ssl
配置实例: https://andyleonard.com/2011/02/01/haproxy-and-keepalived-example-configuration 配置haproxy支持htt ...
- Codeforces 258D Little Elephant and Broken Sorting (看题解) 概率dp
Little Elephant and Broken Sorting 怎么感觉这个状态好难想到啊.. dp[ i ][ j ]表示第 i 个数字比第 j 个数字大的概率.转移好像比较显然. #incl ...
- css边框动画
<div class="button">hover me to change</div> .button{ width:200px; height:60px ...