读《Deep Learning Tutorial》(台湾大学 李宏毅 深度学习教学ppt)后杂记
原ppt下载:pan.baidu.com/s/1nv54p9R,密码:3mty
需深入实践并理解的重要概念:
Deep Learning:
- SoftMax Fuction(输出层归一化函数,与sigmoid相似的激活函数,用于解决分类问题(分类大于2时;sigmoid解决二分类问题))
1)
2)每个neuron的softmax输出:,其中:
DNN(Deep Neural Networks):
- MSE(Means Square Error,均方误差) / CE(Cross Entropy,交叉熵)
- Use to minimum total costs for softmax layer. CE is better.
- MSE minimum:
- CE minimum:
- Mini-batch & batch_size(decides how many examples in a mini-batch) & epoch(周期)
- batch:样本训练中,将完整数据分为等量的多个batch(批次),每次输入一个batch而不是完整样本进行训练
- epoch:周期被定义为向前和向后传播中所有batch的单次训练迭代
- mini-batch has better performance than original gradient descent
- Vanishing Gradient Problem(梯度消失问题)
- ReLU(Rectified Linear Unit,线性纠正单元)
- As an activative function, used when the number of layers is quite large.
- 对于大于0的所有输入来说,它都有一个不变的导数值;常数导数值有助于网络训练进行得更快,常用于多层隐藏层
- Special cases of MaxOut:
- Learnable activation function
- Adaptive learning rate(学习率:每次迭代中cost function中最小化的量。简单来说,我们下降到cost function的最小值的速率是学习率)
- Use a large rate first, then change to a small one
- Momentum(动量原理)
- Use the optimizer Adam(Advanced Adagrad Momentum)
- Overfitting Problem(过拟合问题)
- Use early stopping
- Weight Decay(训练时用p%的dropout,测试时对权值做(1-p%)的调整后再获得输出)
- Dropout(训练的过程舍弃神经元)
- Will change structure of networks while training. better than MaxOut
CNN(Convolutional Neural Networks):
- Image recognization suits to use CNN because of 3 important properties:
1) Patterns are much smaller than the whole image
2) The same patterns appear in different regions
3) Subsampling pixels does not change the object
- filter & channel
- stride(step)
- zero-padding
- max-pooling
- flattern
- less parameters because of sharing weights
读《Deep Learning Tutorial》(台湾大学 李宏毅 深度学习教学ppt)后杂记的更多相关文章
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1
3.Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.1 http://blog.csdn.net/sunbow0 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.2
3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.2 http://blog.csdn.net/sunbow0 ...
- Spark MLlib Deep Learning Convolution Neural Network (深度学习-卷积神经网络)3.3
3.Spark MLlib Deep Learning Convolution Neural Network(深度学习-卷积神经网络)3.3 http://blog.csdn.net/sunbow0 ...
- Deep Learning 教程(斯坦福深度学习研究团队)
http://www.zhizihua.com/blog/post/602.html 说明:本教程将阐述无监督特征学习和深度学习的主要观点.通过学习,你也将实现多个功能学习/深度学习算法,能看到它们为 ...
- #Deep Learning回顾#之基于深度学习的目标检测(阅读小结)
原文链接:https://www.52ml.net/20287.html 这篇博文主要讲了深度学习在目标检测中的发展. 博文首先介绍了传统的目标检测算法过程: 传统的目标检测一般使用滑动窗口的框架,主 ...
- 【Deep Learning读书笔记】深度学习中的概率论
本文首发自公众号:RAIS,期待你的关注. 前言 本系列文章为 <Deep Learning> 读书笔记,可以参看原书一起阅读,效果更佳. 概率论 机器学习中,往往需要大量处理不确定量,或 ...
- 【deep learning】斯坦福CS231n—深度学习与计算机视觉(资料汇总)
官网 链接:CS231n: Convolutional Neural Networks for Visual Recognition Notes: 链接:http://cs231n.github.io ...
- 深度学习材料:从感知机到深度网络A Deep Learning Tutorial: From Perceptrons to Deep Networks
In recent years, there’s been a resurgence in the field of Artificial Intelligence. It’s spread beyo ...
- Deep Learning Tutorial - Classifying MNIST digits using Logistic Regression
Deep Learning Tutorial 由 Montreal大学的LISA实验室所作,基于Theano的深度学习材料.Theano是一个python库,使得写深度模型更容易些,也可以在GPU上训 ...
随机推荐
- Docker----与Asp.net core 的完美结合,在docker容器中创建Asp.Net Core 项目
在腾讯云上买了一个小容量的服务器,搭建一个docker环境后,可以尝试做一些单系统做起来很麻烦的东西.譬如说,你在windows OS或UbuntuOS中,突然想玩CentOS了,你可以选择将电脑再装 ...
- Django—常用功能
索引 一.静态文件 二.中间件 三.Admin站点 3.1 列表页选项 3.2 编辑页选项 3.3 重写模板 四.上传图片 4.1 在管理页面admin中上传图片 4.2 自定义form表单中上传图片 ...
- SSM框架中写sql在xml文件中
第一种(用Mapper.xml映射文件中定义了操作数据库sql) 注意点: 1.#{}与${} #{}表示一个占位符,使用占位符可以防止sql注入, ${}通过${}可以将parameterType传 ...
- Linux基础-命令
命令格式:command [-options] [paramter] command: 命令名,相应功能英文单词或缩写 options: 选项,对命进行控制,也可省略 paramter:传送给命令的 ...
- Cocos坐标之convertToNodeSpace、convertToWorldSpace、convertToNodeSpaceAR、convertToWorldSpaceAR区别和用法
convertToNodeSpace.convertToWorldSpace.convertToNodeSpaceAR.convertToWorldSpaceAR,在他们的下一层看到下面的注释: /* ...
- zabbix-tomcat监控
安装tomcat 1安装jdk # yum install lrzsz -y #tar xvf jdk # ln -sv /usr/local/src/jdk1..0_79/ /usr/local/j ...
- UOJ#440. 【NOIP2018】填数游戏 动态规划
原文链接www.cnblogs.com/zhouzhendong/p/UOJ440.html 前言 菜鸡选手到省选了才做联赛题. 题解 首先我们分析一下性质: 1. 假如一个格子是 0,那么它的右上角 ...
- redis对string进行的相关操作
redis对string类型操作的相关命令以及如何在python使用这些命令 redis对string类型操作的命令: 命令 语法 概述 返回值 Redis SET 命令 set key value ...
- ViewState 和字段属性的差异
ViewState是一个字典对象,将控件状态或对象值散列为字符串并在页面中保存为一个或多个隐藏域... PostBack之后字段的值就被清空了而ViewState还在,但ViewState为了保持值需 ...
- 构建npm包出现"找不到node_modules"的问题
目录结构 解决方案 先在微信开发者工具->详细->使用npm 1.cd到\WeChatProject\miniprogram文件夹 2.npm init 3.npm install 4.n ...