Cs231n课堂内容记录-Lecture 3 最优化
Lecture 4 最优化
课程内容记录:
(上)https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit
(下)https://zhuanlan.zhihu.com/p/21387326?refer=intelligentunit
1.代码注释:
numpy.random.randn():
numpy.random.randn(d0,d1,…,dn):rand函数返回一个或一组样本,具有标准正态分布。。dn对应每个维度,函数返回值为指定维度的array。
具体用法参见:https://blog.csdn.net/u012149181/article/details/78913167
float("inf"): 正无穷。
2.关于梯度:
数值梯度是利用有限差分法代入一个具体的较小值,利用公式求得对应的梯度,这个梯度值是近似的,近似程度取决于你的较小值的大小。它的优点是代码容易实现。解析梯度是利用微分直接求解梯度,优点是精确求解,解析速度快,但是有时候会出错。在debug的时候,为了检验公式的正确性,数值梯度往往是一个很好的工具,由于计算速度很慢,你可能需要适当减少参数的数量,这是一个非常好的调试策略。
注:学习率是一个很重要的超参数,在训练网络时往往是第一个需要检查的超参数,关于模型大小和正则化强度的检查往往在其之后进行。
注:交互网页项目网址(很好用,就不加以说明了):
http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/
3.深度神经网络之前:
将像素直接输入线性分类器不是一个明智的选择,因为这样的模型无法分辨多模态等图片的特征,且总由背景等像素占比多的区域决定分类结果。在深度神经网络大规模运用之前,常用的方式是计算图片各种特征代表(feature representation),例如一些与图片形象特征有关的数值构成特征向量,然后将不同的特征向量合在一起,得到图像的特征表述,再将这些特征表述传入线性分类器。这种模型可以得到图片的转换特征(比如得到颜色频数直方图,或者边缘方向直方图),将某些原本线性不可分的图片特征变为线性可分的,从而可以有线性分类器进行分类。如今的深度学习网络主要的区别就是网络可以利用卷积层等结构自行学习特征,不再需要人工提取输入特征。
Cs231n课堂内容记录-Lecture 3 最优化的更多相关文章
- Cs231n课堂内容记录-Lecture 4-Part2 神经网络
Lecture 7 神经网络二 课程内容记录:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit 1.协方差矩阵: 协方差(Cova ...
- Cs231n课堂内容记录-Lecture 4-Part1 反向传播及神经网络
反向传播 课程内容记录:https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit 雅克比矩阵(Jacobian matrix) 参见ht ...
- Cs231n课堂内容记录-Lecture 6 神经网络训练
Lecture 6 Training Neural Networks 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentun ...
- Cs231n课堂内容记录-Lecture 8 深度学习框架
Lecture 8 Deep Learning Software 课堂笔记参见:https://blog.csdn.net/u012554092/article/details/78159316 今 ...
- Cs231n课堂内容记录-Lecture 7 神经网络训练2
Lecture 7 Training Neural Networks 2 课堂笔记参见:https://zhuanlan.zhihu.com/p/21560667?refer=intelligent ...
- Cs231n课堂内容记录-Lecture 5 卷积神经网络介绍
Lecture 5 CNN 课堂笔记参见:https://zhuanlan.zhihu.com/p/22038289?refer=intelligentunit 不错的总结笔记:https://blo ...
- Cs231n课堂内容记录-Lecture 9 深度学习模型
Lecture 9 CNN Architectures 参见:https://blog.csdn.net/qq_29176963/article/details/82882080#GoogleNet_ ...
- Cs231n课堂内容记录-Lecture2-Part2 线性分类
Lecture 3 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit (中)https://zhuanlan. ...
- Cs231n课堂内容记录-Lecture2-Part1 图像分类
Lecture 2 课程内容记录:(上)https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunit (下)https://zhuanlan. ...
随机推荐
- MyBatis源码解析(十)——Type类型模块之类型处理器TypeHandler
原创作品,可以转载,但是请标注出处地址:http://www.cnblogs.com/V1haoge/p/6715063.html 1.回顾 之前的两篇分别解析了类型别名注册器和类型处理器注册器,此二 ...
- MySQL抓包工具:MySQL Sniffer【转】
本文来自:https://github.com/Qihoo360/mysql-sniffer 简介 MySQL Sniffer 是一个基于 MySQL 协议的抓包工具,实时抓取 MySQLServer ...
- MySQL系列详解四:MySQL事务-技术流ken
MySQL 事务 MySQL 事务主要用于处理操作量大,复杂度高的数据.比如说,在人员管理系统中,你删除一个人员,你即需要删除人员的基本资料,也要删除和该人员相关的信息,如信箱,文章等等,这样,这些数 ...
- iOS-CoreData详解与使用
上面已经说完了SQLite和FMDB以及两者的区别,本篇将讲述iOS中另一个存储方式,CoreData的使用.通读下来大约10分钟,后续还会根据项目中问题,不断更新. 一.预备知识 在了解CoreDa ...
- Java高并发 -- 并发扩展
Java高并发 -- 并发扩展 主要是学习慕课网实战视频<Java并发编程入门与高并发面试>的笔记 死锁 死锁是指两个或两个以上的事务在执行过程中,因争夺锁资源而造成的一种互相等待的现象, ...
- awk、nawk、mawk、gawk的简答介绍
awk 是一种编程语言,用于在linux/unix下对文本和数据进行处理.数据可以来自标准输入.一个或多个文件,或其它命令的输出(即管道).它支持用户自定义函数和 动态正则表达式等先进功能,是linu ...
- 理解Promise的3种姿势
译者按: 对于Promise,也许你会用了,却并不理解:也许你理解了,却只可意会不可言传.这篇博客将从3个简单的视角理解Promise,应该对你有所帮助. 原文: Three ways of unde ...
- node(http, url)
一.http 模块 http.js const http = require('http'); const hostname = '127.0.0.1'; const port = 3000; con ...
- nginx 转将http跳转到https
#websoceket 使用map map $http_upgrade $connection_upgrade { default upgrade; '' close; } upstream abc. ...
- node+pm2+express+mysql+sequelize来搭建网站和写接口
前面的话:在这里已经提到了安装node的方法,node是自带npm的.我在技术中会用es6去编写,然后下面会分别介绍node.pm2.express.mysql.sequelize.有少部分是摘抄大佬 ...