均方误差(Mean Square Error,MSE)和平均绝对误差(Mean Absolute Error,MAE) 是回归中最常用的两个损失函数,但是其各有优缺点.为了避免MAE和MSE各自的优缺点,在Faster R-CNN和SSD中使用\(\text{Smooth} L_1\)损失函数,当误差在\([-1,1]\) 之间时,\(\text{Smooth} L_1\)损失函数近似于MSE,能够快速的收敛:在其他的区间则近似于MAE,其导数为\(\pm1\),不会对离群值敏感. 本文再介绍几…
回归损失函数:L1,L2,Huber,Log-Cosh,Quantile Loss 2019-06-04 20:09:34 clover_my 阅读数 430更多 分类专栏: 阅读笔记   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/clover_my/article/details/90777964 回归损失函数:L1,L2,Huber,Log-Cosh,Quantile Loss…
前情提要—— 网上关于目标检测框架——faster r_cnn有太多太好的博文,这是我在组会讲述faster r_cnn这一框架时被人问到的一个点,当时没答上来,于是会下好好百度和搜索一下研究了一下这个问题. 先看faster r_cnn的对bounding_box的回归损失函数: 百度百科的解释是:对于边框的预测是一个回归问题.通常可以选择平方损失函数(L2损失):f(x)=x^2.但这个损失对于比较大的误差的惩罚很高.我们可以采用稍微缓和一点绝对损失函数(L1损失):f(x)=|x|,它是随…
Introduction 一.Scikit-learning 广义线性模型 From: http://sklearn.lzjqsdd.com/modules/linear_model.html#ordinary-least-squares # 需要明白以下全部内容,花些时间. 只涉及上述常见的.个人相关的算法. Ref: https://www.youtube.com/watch?v=ipb2MhSRGdw 二.方法进化简史 1.1 松弛求解 到 最小二乘 基本上都是解不存在的超定方程组.因此,…
机器学习中几乎都可以看到损失函数后面会添加一个额外项,常用的额外项一般有两种,一般英文称作ℓ1ℓ1-norm和ℓ2ℓ2-norm,中文称作L1正则化和L2正则化,或者L1范数和L2范数. L1正则化和L2正则化可以看做是损失函数的惩罚项.所谓『惩罚』是指对损失函数中的某些参数做一些限制.对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归).下图是Python中Lasso回归的损失函数,式中加号后面一项α||w||1α||w||1即为L1正则…
认识 L1, L2 从效果上来看, 正则化通过, 对ML的算法的任意修改, 达到减少泛化错误, 但不减少训练误差的方式的统称 训练误差 这个就损失函数什么的, 很好理解. 泛化错误 假设 我们知道 预测值 和 真实值 之前的 "误差" , 这就是泛化错误 跟训练数据没关系, 就是在用模型预测的时候, 给预测值 "加" 是一个项来修正模型 类似于 给 模型的预测值, 加上了一个 "修正项" 损失函数 = Loss + 正则化项 举个线性回归的栗子…
搞过机器学习的同学都知道,L1正则就是绝对值的方式,而L2正则是平方和的形式.L1能产生稀疏的特征,这对大规模的机器学习灰常灰常重要.但是L1的求解过程,实在是太过蛋疼.所以即使L1能产生稀疏特征,不到万不得已,我们也还是宁可用L2正则,因为L2正则计算起来方便得多... 正则化项不应该以正则化的表面意思去理解,应该翻译为规则化才对! 一般回归分析中回归ww表示特征的系数,从上式可以看到正则化项是对系数做了处理(限制).L1正则化和L2正则化的说明如下: L1正则化是指权值向量ww中各个元素的绝…
前言 L1.L2在机器学习方向有两种含义:一是L1范数.L2范数的损失函数,二是L1.L2正则化 L1范数.L2范数损失函数 L1范数损失函数: L2范数损失函数: L1.L2分别对应损失函数中的绝对值损失函数和平方损失函数 区别: 分析: robust: 与L2相比,L1受异常点影响比较小,因此稳健 stable: 如果仅一个点,L1就是一个直线,L2是二次,对于直线来说是多解,因此不稳定,而二次函数只有一个极小值点 L1.L2正则化 为什么出现正则化? 正则化的根本原因是 输入样本的丰度不够…
感知机.logistic回归 损失函数对比探讨 感知机 假如数据集是线性可分的,感知机学习的目标是求得一个能够将正负样本完全分开的分隔超平面 \(wx+b=0\) .其学习策略为,定义(经验)损失函数并将损失函数最小化.通常,定义损失函数的策略是:==误分类点到分隔超平面的总距离==.[李航,2.2节] 如果没有误分点,则损失函数值是0. 感知机学习算法若采用不用的初始值或选取不同的误分类点,得到的分隔超平面可不同. logistic回归(对数几率回归): 逻辑回归和感知机一样,定义一个决策面(…
LASSO回归与L1正则化 西瓜书 2018年04月23日 19:29:57 BIT_666 阅读数 2968更多 分类专栏: 机器学习 机器学习数学原理 西瓜书   版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/BIT_666/article/details/80051737 1.结构风险与经验风险 在支持向量机部分,我们接触到松弛变量,正则化因子以及最优化函数,在朴素贝叶斯分类,决策…