原ppt下载:pan.baidu.com/s/1nv54p9R,密码:3mty

需深入实践并理解的重要概念:

Deep Learning:

  • SoftMax Fuction(输出层归一化函数,与sigmoid相似的激活函数,用于解决分类问题(分类大于2时;sigmoid解决二分类问题))

1)

2)每个neuron的softmax输出:,其中:

DNN(Deep Neural Networks):

  • MSE(Means Square Error,均方误差) / CE(Cross Entropy,交叉熵)

- Use to minimum total costs for softmax layer. CE is better.

- MSE minimum:

- CE minimum:

  • Mini-batch & batch_size(decides how many examples in a mini-batch) & epoch(周期)

- batch:样本训练中,将完整数据分为等量的多个batch(批次),每次输入一个batch而不是完整样本进行训练

- epoch:周期被定义为向前和向后传播中所有batch的单次训练迭代

- mini-batch has better performance than original gradient descent

  • Vanishing Gradient Problem(梯度消失问题)
  • ReLU(Rectified Linear Unit,线性纠正单元)

- As an activative function, used when the number of layers is quite large.

- 对于大于0的所有输入来说,它都有一个不变的导数值;常数导数值有助于网络训练进行得更快,常用于多层隐藏层

- Special cases of MaxOut:

  • Learnable activation function
  • Adaptive learning rate(学习率:每次迭代中cost function中最小化的量。简单来说,我们下降到cost function的最小值的速率是学习率)

- Use a large rate first, then change to a small one

  • Momentum(动量原理)

- Use the optimizer Adam(Advanced Adagrad Momentum)

  • Overfitting Problem(过拟合问题)

- Use early stopping

  • Weight Decay(训练时用p%的dropout,测试时对权值做(1-p%)的调整后再获得输出)
  • Dropout(训练的过程舍弃神经元)

- Will change structure of networks while training. better than MaxOut

CNN(Convolutional Neural Networks):

  • Image recognization suits to use CNN because of 3 important properties:

1) Patterns are much smaller than the whole image

2) The same patterns appear in different regions

3) Subsampling pixels does not change the object

  • filter & channel
  • stride(step)
  • zero-padding
  • max-pooling
  • flattern
  • less parameters because of sharing weights

读《Deep Learning Tutorial》(台湾大学 李宏毅 深度学习教学ppt)后杂记的更多相关文章

  1. Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1

    3.Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 ...

  2. Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2

    3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 ...

  3. Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.3

    3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.3 http://blog.csdn.net/sunbow0 ...

  4. Deep Learning 教程(斯坦福深度学习研究团队)

    http://www.zhizihua.com/blog/post/602.html 说明:本教程将阐述无监督特征学习和深度学习的主要观点.通过学习,你也将实现多个功能学习/深度学习算法,能看到它们为 ...

  5. #Deep Learning回顾#之基于深度学习的目标检测(阅读小结)

    原文链接:https://www.52ml.net/20287.html 这篇博文主要讲了深度学习在目标检测中的发展. 博文首先介绍了传统的目标检测算法过程: 传统的目标检测一般使用滑动窗口的框架,主 ...

  6. 【Deep Learning读书笔记】深度学习中的概率论

    本文首发自公众号:RAIS,期待你的关注. 前言 本系列文章为 <Deep Learning> 读书笔记,可以参看原书一起阅读,效果更佳. 概率论 机器学习中,往往需要大量处理不确定量,或 ...

  7. 【deep learning】斯坦福CS231n—深度学习与计算机视觉(资料汇总)

    官网 链接:CS231n: Convolutional Neural Networks for Visual Recognition Notes: 链接:http://cs231n.github.io ...

  8. 深度学习材料:从感知机到深度网络A Deep Learning Tutorial: From Perceptrons to Deep Networks

    In recent years, there’s been a resurgence in the field of Artificial Intelligence. It’s spread beyo ...

  9. Deep Learning Tutorial - Classifying MNIST digits using Logistic Regression

    Deep Learning Tutorial 由 Montreal大学的LISA实验室所作,基于Theano的深度学习材料.Theano是一个python库,使得写深度模型更容易些,也可以在GPU上训 ...

随机推荐

  1. 帆软认证BI工程师FCBA-部分题目

    1.安装32位系统的FineBI,最多只能支持2G内存. 正确 错误 2.Spider数据引擎中适合内存化的表通常为数据量小且更新频率较低的表. 正确 错误 3.Spider数据引擎支持跨数据源进行数 ...

  2. poj1847 Tram(最短路dijkstra)

    描述: Tram network in Zagreb consists of a number of intersections and rails connecting some of them. ...

  3. docker环境下elasticsearch安装ik和拼音分词

    elasticsearch拼音分词地址:https://github.com/medcl/elasticsearch-analysis-pinyin/releases 在elasticsearch下面 ...

  4. [原创]全新IFPGA-Cable----支持Xilinx/Altera/Lattice JTAG和UART

    Xilinx   平台:ISE 14.7/Vivado 2014.4+: Lattice 平台:Diamond软件自动识别,免驱动: Altera  平台:安装相关插件,支持: 串           ...

  5. oracle数据库学习

    trunc(number[,decimals])--number 待做截取处理的数值:decimals 指明需保留小数点后面的位数     CREATE PUBLIC DATABASE LINK Co ...

  6. selenium笔记(1)

    selenium笔记(1) 一.关闭页面:1.driver.close() 关闭当前页面2.driver.quit() 退出整个浏览器 二.定位元素:1.find_element_by_id: 根据i ...

  7. C++构造函数和析构函数的调用顺序

    1.构造函数的调用顺序 基类构造函数.对象成员构造函数.派生类本身的构造函数 2.析构函数的调用顺序 派生类本身的析构函数.对象成员析构函数.基类析构函数(与构造顺序正好相反) 3.特例 局部对象,在 ...

  8. haproxy5-ssl

    配置实例: https://andyleonard.com/2011/02/01/haproxy-and-keepalived-example-configuration 配置haproxy支持htt ...

  9. Codeforces 258D Little Elephant and Broken Sorting (看题解) 概率dp

    Little Elephant and Broken Sorting 怎么感觉这个状态好难想到啊.. dp[ i ][ j ]表示第 i 个数字比第 j 个数字大的概率.转移好像比较显然. #incl ...

  10. css边框动画

    <div class="button">hover me to change</div> .button{ width:200px; height:60px ...