损失函数:度量模型一次预测的好坏 经验函数:度量模型平均意义下的预测好坏 输出预测值F(x)与实际值Y可能不一致也可能一致,损失函数(Loss function)可以度量一次预测,记作L(Y,F(x)),常用的的损失函数有以下几种: 1,0-1损失函数 2,平方损失函数 3,绝对损失函数 4,对数损失函数或者对数似然损失函数 损失函数数值越小,模型就越好. 给定一个训练数据集: 那么关于这个数据集的平均损失称为:经验风险或者经验损失: 期望风险是模型关于联合分布的期望损失,经验风险估计期望风险往…

激活函数 各激活函数曲线对比 常用激活函数: tf.sigmoid() tf.tanh() tf.nn.relu() tf.nn.softplus() tf.nn.softmax() tf.nn.dropout() tf.nn.elu() import numpy as np import matplotlib.pyplot as plt from scipy.misc import derivative def sigmoid(x): y = 1 / (1 + np.exp(-x)) retu…

系列博客,原文在笔者所维护的github上:https://aka.ms/beginnerAI, 点击star加星不要吝啬,星越多笔者越努力. 第3章 损失函数 3.0 损失函数概论 3.0.1 概念 在各种材料中经常看到的中英文词汇有:误差,偏差,Error,Cost,Loss,损失,代价......意思都差不多,在本书中,使用"损失函数"和"Loss Function"这两个词汇,具体的损失函数符号用J来表示,误差值用loss表示. "损失"…

技术背景 损失函数是机器学习中直接决定训练结果好坏的一个模块,该函数用于定义计算出来的结果或者是神经网络给出的推测结论与正确结果的偏差程度,偏差的越多,就表明对应的参数越差.而损失函数的另一个重要性在于会影响到优化函数的收敛性,如果损失函数的指数定义的太高,稍有参数波动就导致结果的巨大波动的话,那么训练和优化就很难收敛.一般我们常用的损失函数是MSE(均方误差)和MAE(平均标准差)等.那么这里我们尝试在MindSpore中去自定义一些损失函数,可用于适应自己的特殊场景. MindSpore内置…

Alink漫谈(十) :线性回归实现 之 数据预处理 目录 Alink漫谈(十) :线性回归实现 之 数据预处理 0x00 摘要 0x01 概念 1.1 线性回归 1.2 优化模型 1.3 损失函数&目标函数 1.4 最小二乘法 0x02 示例代码 0x03 整体概述 0x04 基础功能 4.1 损失函数 4.1.1 导数和偏导数 4.1.2 方向导数 4.1.3 Hessian矩阵 4.1.4 平方损失函数 in Alink 4.2 目标函数 4.2.1 梯度 4.2.2 梯度下降法 4.2.…

这篇文章来自我今天碰到的一个问题,一个朋友问我使用map和hash_map的效率问题,虽然我也了解一些,但是我不敢直接告诉朋友,因为我怕我说错了,通过我查询一些帖子,我这里做一个总结!内容分别来自alvin_lee ,codeproject,codeguru.baidu等等! 先看看alvin_lee 朋友做的解析,我觉得还是很正确的,从算法角度阐述了他们之间的问题! 实际上这个问题不光C++会遇到,其他所有语言的标准容器的实现及选择上都是要考虑的.做应用程序你可能觉得影响不大,但是写算法或者核…

在上一篇博客<TensorFlow之DNN(一):构建“裸机版”全连接神经网络>中,我整理了一个用TensorFlow实现的简单全连接神经网络模型,没有运用加速技巧(小批量梯度下降不算哦)和正则化方法,通过减小batch size,也算得到了一个还可以的结果. 那个网络只有两层,而且MINIST数据集的样本量并不算太大.如果神经网络的隐藏层非常多,每层神经元的数量巨大,样本数量也巨大时,可能出现三个问题: 一是梯度消失和梯度爆炸问题,导致反向传播算法难以进行下去: 二是在如此庞大的网络中进行训…

文章转自:https://zhuanlan.zhihu.com/p/31426458 经过R-CNN和Fast RCNN的积淀,Ross B. Girshick在2016年提出了新的Faster RCNN,在结构上,Faster RCNN已经将特征抽取(feature extraction),proposal提取,bounding box regression(rect refine),classification都整合在了一个网络中,使得综合性能有较大提高,在检测速度方面尤为明显. 图1 Fa…

0 背景 在这之前大家在训练GAN的时候,使用的loss函数都是sigmoid_cross_entropy_loss函数,然而xudon mao等人发现当使用伪造样本去更新生成器(且此时伪造样本也被判别器判为对的时候)会导致梯度消失的问题.虽然此时伪造样本仍然离真实样本分布距离还挺远.也就是之前的损失函数虽然可以判别是真假,可是对于人肉眼来说,还是违和感太强了,也就是生成的图像质量骗得过机器,却骗不过人. 图0.1 两种损失函数的不同行为 上图中加号表示假样本,圈表示真样本,五角星表示用于更新生…

神经网络中使用激活函数来加入非线性因素,提高模型的表达能力. ReLU(Rectified Linear Unit,修正线性单元) 形式如下: \[ \begin{equation} f(x)= \begin{cases} 0, & {x\leq 0} \\\\ x, & {x\gt 0} \end{cases} \end{equation} \] ReLU公式近似推导:: \[ \begin{align} f(x) &=\sum_{i=1}^{\inf}\sigma(x-i+0.…