K-近邻与交叉验证 1 选取超参数的正确方法是:将原始训练集分为训练集和验证集,我们在验证集上尝试不同的超参数,最后保留表现最好的那个. 2 如果训练数据量不够,使用交叉验证法,它能帮助我们在选取最优超参数的时候减少噪音. 3 一旦找到最优的超参数,就让算法以该参数在测试集跑且只跑一次,并根据测试结果评价算法. 4 最近邻分类器能够在CIFAR-10上得到将近40%的准确率.该算法简单易实现,但需要存储所有训练数据,并且在测试时过于消耗计算能力. 5 最后,我们知道了仅仅使用L1和L2范数来进行…

边界填充(padding):卷积过程中,越靠近图片中间位置的像素点越容易被卷积计算多次,越靠近边缘的像素点被卷积计算的次数越少,填充就是为了使原来边缘像素点的位置变得相对靠近中部,而我们又不想让填充的数据影响到我们的计算结果,故填充值选择均用0来填充. 池化层不需要参数.只是对特征图进行压缩操作,以减少计算量:池化几乎不用平均池化,多用最大池化操作,对于最大池化,多选择特征图种每个小区域最大的那个值保留下来,因值最大,对应的信息也越重要,故最应将其保留.…

基本概念理解: 一个epoch:当前所有数据都跑(迭代)了一遍: 那么两个epoch,就是把所有数据跑了两遍,三个epoch就是把所有数据跑了三遍,以此类推. batch_size:每次迭代多少个数据:(batch_size称作批处理, 它的作用可以理解为每次训练100个数据(在这里假设将其设置为100),找到最适合的优化方向,确保不偏离最优那个的方向) epoch 和 batch_size 的关系:一个epoch值除以batch_size=迭代次数. 例如: 有50000个数据,那么一个epo…

Week 1 Quiz - Practical aspects of deep learning(第一周测验 - 深度学习的实践) \1. If you have 10,000,000 examples, how would you split the train/dev/test set? (如果你有 10,000,000 个样本,你会如何划分训练/开发/测试集?) [ ]98% train . 1% dev . 1% test(训练集占 98% , 开发集占 1% , 测试集占 1%) 答案…

Predicting effects of noncoding variants with deep learning–based sequence model PDF Interpreting noncoding variants- 非常好的学习资料 这篇文章的第一个亮点就是直接从序列开始分析,第二就是使用深度学习获得了很好的预测效果. This is, to our knowledge, the first approach for prioritization of functional…

常用的deep learning frameworks 基本转自:http://www.codeceo.com/article/10-open-source-framework.html 1. Caffe 基于C++开发 2. Theano 大部分代码是使用CYthon开发的,主页有很详细的教程,在github上有Theano的软件包,另外还有一份pdf的tutorial 基于theano派生了许多的深度学习python软件包:Keras(documents).Lasagne(documents…

之前的[笔记] 基于nvidia/cuda的深度学习基础镜像构建流程已经Out了,以这篇为准. 基于NVidia官方的nvidia/cuda image,构建适用于Deep Learning的基础image. 思路就是先把常用的东西都塞进去,build成image,此后使用时想装哪个框架就装. 为了体验重装系统的乐趣,所以采用慢慢来比较快的步骤,而不是通过Dockerfile来build. 环境信息 已经安装了Docker CE和NVIDIA Container Toolkit,具体流程参考这里…

<深度学习基础> 卷积神经网络,循环神经网络,LSTM与GRU,梯度消失与梯度爆炸,激活函数,防止过拟合的方法,dropout,batch normalization,各类经典的网络结构,各类优化方法 1.卷积神经网络工作原理的直观解释 https://www.zhihu.com/question/39022858 简单来说,在一定意义上,训练CNN就是在训练每一个卷积层的滤波器.让这些滤波器组对特定的模式有高的激活能力,以达到CNN网络的分类/检测等目的. 2.卷积神经网络的复杂度分析 ht…

Dropout是过去几年非常流行的正则化技术,可有效防止过拟合的发生.但从深度学习的发展趋势看,Batch Normalizaton(简称BN)正在逐步取代Dropout技术,特别是在卷积层.本文将首先引入Dropout的原理和实现,然后观察现代深度模型Dropout的使用情况,并与BN进行实验比对,从原理和实测上来说明Dropout已是过去式,大家应尽可能使用BN技术. 一.Dropout原理 根据wikipedia定义,dropout是指在神经网络中丢弃掉一些隐藏或可见单元.通常来说,是在神…

在统计学中,损失函数是一种衡量损失和错误(这种损失与“错误地”估计有关,如费用或者设备的损失)程度的函数.假设某样本的实际输出为a,而预计的输出为y,则y与a之间存在偏差,深度学习的目的即是通过不断地训练迭代,使得a越来越接近y,即 a - y →0,而训练的本质就是寻找损失函数最小值的过程. 常见的损失函数为两种,一种是均方差函数,另一种是交叉熵函数.对于深度学习而言,交叉熵函数要优于均方差函数,原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训…