转自:http://www.airghc.top/2016/11/10/Dection-DDos/ 最近研究了一篇论文,关于检测DDos攻击,使用了深度学习中 栈式自编码的算法,现在简要介绍一下内容论文下载 讨论班讲解pdf-by airghc ppt DDOS: Distributed Denial of Service(分布式拒绝服务)Purpose:disrupting transactions and access to databasesThe attack on the applic…

机器学习的面试题中经常会被问到交叉熵(cross entropy)和最大似然估计(MLE)或者KL散度有什么关系,查了一些资料发现优化这3个东西其实是等价的. 熵和交叉熵 提到交叉熵就需要了解下信息论中熵的定义.信息论认为: 确定的事件没有信息,随机事件包含最多的信息. 事件信息的定义为:\(I(x)=-log(P(x))\):而熵就是描述信息量:\(H(x)=E_{x\sim P}[I(x)]\),也就是\(H(x)=E_{x\sim P}[-log(P(x))]=-\Sigma_xP(x)l…

详解深度学习中的Normalization,BN/LN/WN 讲得是相当之透彻清晰了 深度神经网络模型训练之难众所周知,其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 大法自 2015 年由Google 提出之后,就成为深度学习必备之神器.自 BN 之后, Layer Norm / Weight Norm / Cosine Norm 等也横空出世.本文从 Normalization 的背景讲起,用一个公式概括 Normalization 的基本思…

一.命令式编程(imperative)和符号式编程(symblic) 命令式: import numpy as np a = np.ones(10) b = np.ones(10) * 2 c = b * a d = c + 1 当程序执行到 c=b∗a时,代码开始做对应的数值计算. 符号式编程于此不同,需要先给出一个函数的定义(可能十分复杂).当我们定义这个函数时,并不会做真正的数值计算.这类函数的定义中使用数值占位符.当给定真正的输入后,才会对这个函数进行编译计算. 符号式编程: 上面的例子…

Batch Normlization(BN) 为什么要进行 BN 防止深度神经网络,每一层得参数更新会导致上层的输入数据发生变化,通过层层叠加,高层的输入分布变化会十分剧烈,这就使得高层需要不断去重新适应底层的参数更新.为了训好模型,我们需要非常谨慎地去设定学习率.初始化权重.以及尽可能细致的参数更新策略. 另外对一些激活函数具有饱和区,比如 sigmoid 函数的输入较大和较小,此时的梯度很小,这会导致权重更新十分缓慢.又比如下图的 tanh 函数: 如果输入的数值没有 BN 那么数据可能在两…

在深度学习中,当数据量不够大时候,常常采用下面4中方法: 1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation 2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. 通过在Loss Function 后面加上正则项可以抑制过拟合的产生. 缺点是引入了一个需要手动调整的hyper-parameter. 详见 https://www.wikiwand.c…

深度学习中优化操作: dropout l1, l2正则化 momentum normalization 1.为什么Normalization?     深度神经网络模型的训练为什么会很困难?其中一个重要的原因是,深度神经网络涉及到很多层的叠加,而每一层的参数更新会导致上层的输入数据分布发生变化,通过层层叠加,高层的输入分布变化会非常剧烈,这就使得高层需要不断去重新适应底层的参数更新.为了训好模型,我们需要非常谨慎地去设定学习率.初始化权重.以及尽可能细致的参数更新策略. 对于每一层网络得到输出向…

现在有空整理一下关于深度学习中怎么加入dropout方法来防止测试过程的过拟合现象. 首先了解一下dropout的实现原理: 这些理论的解释在百度上有很多.... 这里重点记录一下怎么实现这一技术 参考别人的博客,主要http://www.cnblogs.com/dupuleng/articles/4340293.html 讲解一下用Matlab中的深度学习工具箱怎么实现dropout 首先要载入工具包.DeepLearn Toolbox是一个非常有用的matlab deep learning工…

5.4.1 关于深度学习中的batch_size 举个例子: 例如,假设您有1050个训练样本,并且您希望设置batch_size等于100.该算法从训练数据集中获取前100个样本(从第1到第100个)并训练网络.接下来,它需要第二个100个样本(从第101到第200)并再次训练网络.我们可以继续执行此过程,直到我们通过网络传播所有样本.最后一组样本可能会出现问题.在我们的例子中,我们使用了1050,它不能被100整除,没有余数.最简单的解决方案是获取最终的50个样本并训练网络. 最终目的:  …

1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象. 在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高:但是在测试数据上损失函数比较大,预测准确率较低. 过拟合是很多机器学习的通病.如果模型过拟合,那么得到的模型几乎不能用.为了解决过拟合问题,一般会采用模型集成的方法,即训练多个模型进行组合.此时,训练模型费时就成为一个很大的问题,不仅…