线性分类器的基本模型: f = Wx Loss Function and Optimization 1. LossFunction 衡量在当前的模型(参数矩阵W)的效果好坏 Multiclass SVM Loss: Hinge Loss 样本 \(i\) 的损失:\(L_i = \sum_{j \neq y_i} \max(0, s_j-s_{y_i}+1)\), \(y_i\) 是样本 \(i\) 的正确标签. 损失取值范围是0~正无穷 当网络初始化的时候,参数随机初始化为比较小的值,输出 即…

目录 training Neural Network Activation function sigmoid ReLU Preprocessing Batch Normalization 权重初始化 Weight Initialization 交叉验证 Cross Validation 参数更新方法 Parameter Update SGD SGD+momentum Adagrad RMSprop Adam 改善过拟合 Overfiting 模型集成 Model ensemble 正则化 Reg…

目录 Introduction to Neural Networks BP Nerual Network Convolutional Neural Network Introduction to Neural Networks BP 梯度反向传播BackPropagation,是神经网络中的重要算法,主要思想是: 计算网络的输出与期望输出之间的误差 将误差从网络的输出层回传,沿着网络逐层传递,传递的是损失值相对当前层里参数的梯度 当每一层都接收到该层的参数梯度时,沿着梯度方向更新参数 用更新后的…

http://blog.csdn.net/dinosoft/article/details/51813615 前言 对于深度学习,新手我推荐先看UFLDL,不做assignment的话,一两个晚上就可以看完.毕竟卷积.池化啥的并不是什么特别玄的东西.课程简明扼要,一针见血,把最基础.最重要的点都点出来 了. cs231n这个是一个完整的课程,内容就多了点,虽然说课程是computer vision的,但80%还是深度学习的内容.图像的工作暂时用不上,我就先略过了. 突然发现这两个课程都是斯坦福的…

译者注:本文翻译自斯坦福CS231n课程笔记ConvNet notes,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客和猴子翻译完成,堃堃和李艺颖进行校对修改. 原文如下 内容列表: 结构概述 用来构建卷积神经网络的各种层 卷积层 汇聚层 归一化层 全连接层 将全连接层转化成卷积层 卷积神经网络的结构 层的排列规律 层的尺寸设置规律 案例学习(LeNet / AlexNet / ZFNet / GoogLeNet / VGGNet) 计算上的考量 拓展资源 卷积神经网络(C…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记image classification notes,由课程教师Andrej Karpathy授权进行翻译.本篇教程由杜客翻译完成.ShiqingFan对译文进行了仔细校对,提出了大量修改建议,态度严谨,帮助甚多.巩子嘉对几处术语使用和翻译优化也提出了很好的建议.张欣等亦有帮助. 原文如下 这是一篇介绍性教程,面向非计算机视觉领域的同学.教程将向同学们介绍图像分类问题和数据驱动方法.下面是内容列表: 图像分类.数据驱动方法和流程 Neare…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Neural Nets notes 3,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,堃堃和巩子嘉进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 梯度检查 合理性(Sanity)检查 检查学习过程 损失函数 训练集与验证集准确率 权重:更新比例 每层的激活数据与梯度分布 可视化 译者注:上篇翻译截止处 参数更新 一阶(随机梯度下降)方法,动量方法,Nesterov动量方法 学习率退火 二阶方…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Neural Nets notes 2,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,堃堃进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 设置数据和模型 数据预处理 权重初始化 批量归一化(Batch Normalization) 正则化(L2/L1/Maxnorm/Dropout) 损失函数 小结 设置数据和模型 在上一节中介绍了神经元的模型,它在计算内积后进行非线性激活函数计算,神经网络…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Backprop Note,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,堃堃和巩子嘉进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下: 内容列表: 简介 简单表达式和理解梯度 复合表达式,链式法则,反向传播 直观理解反向传播 模块:Sigmoid例子 反向传播实践:分段计算 回传流中的模式 用户向量化操作的梯度 小结 简介 目标:本节将帮助读者对反向传播形成直观而专业的理解.反向传播是利用链式法则递归计…

译者注:本文智能单元首发,译自斯坦福CS231n课程笔记Optimization Note,课程教师Andrej Karpathy授权翻译.本篇教程由杜客翻译完成,堃堃和李艺颖进行校对修改.译文含公式和代码,建议PC端阅读. 原文如下 内容列表: 简介 损失函数可视化 最优化 策略#1:随机搜索 策略#2:随机局部搜索 策略#3:跟随梯度 译者注:上篇截止处 梯度计算 使用有限差值进行数值计算 微分计算梯度 梯度下降 小结 简介 在上一节中,我们介绍了图像分类任务中的两个关键部分: 基于参数的评…