tensflow 不仅支持经典的损失函数,还可以优化任意的自定义损失函数. 预测商品销量时,如果预测值比真实销量大,商家损失的是生产商品的成本:如果预测值比真实值小,损失的则是商品的利润. 比如如果一个商品的成本是1元,但利润是10元,那么少预测一个就少赚9元:而多预测一个才亏1元,为了最大化利润预期,需要将损失函数和利润直接联系起来.注意损失函数 定义的是损失,所以要将利润最大化,定义的损失函数应该刻成本或者代价.下面给出了一个当预测多于真实值和预测少于真实值时有不同损失系数和损失函数: im…

这个自定义损失函数的背景:(一般回归用的损失函数是MSE, 但要看实际遇到的情况而有所改变) 我们现在想要做一个回归,来预估某个商品的销量,现在我们知道,一件商品的成本是1元,售价是10元. 如果我们用均方差来算的话,如果预估多一个,则损失一块钱,预估少一个,则损失9元钱(少赚的). 显然,我宁愿预估多了,也不想预估少了. 所以,我们就自己定义一个损失函数,用来分段地看,当yhat 比 y大时怎么样,当yhat比y小时怎么样. (yhat沿用吴恩达课堂中的叫法)   import tensorf…

TensorFlow笔记-06-神经网络优化-损失函数,自定义损失函数,交叉熵 神经元模型:用数学公式比表示为:f(Σi xi*wi + b), f为激活函数 神经网络 是以神经元为基本单位构成的 激活函数:引入非线性激活因素,提高模型的表达能力 常用的激活函数有relu.sigmoid.tanh等 (1)激活函数relu:在Tensorflow中,用tf.nn.relu()表示 (2)激活函数sigmoid:在Tensorflow中,用tf.nn.sigmoid()表示 (3)激活函数tanh…

git: https://github.com/linyi0604/MachineLearning/tree/master/07_tensorflow/ import tensorflow as tf from numpy.random import RandomState ''' 模拟一个回归案例 自定义一个损失函数为: 当真实值y_更大的时候 loss = a(y_ - y) 当预测值y更大的时候 loss = b(y - y_) loss_less = 10 loss_more = 1 l…

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/limiyudianzi/article/details/80697711 我主要分三篇文章给大家介绍tensorflow的损失函数,本篇为tensorflow自定义损失函数.  (一)tensorflow内置的四个损失函数  (二)其他损失函数  (三)自定义损失函数 自定义损失函数是损失函数章节的结尾,学习自定义损失函数,对于提高分类…

Keras的核心原则是逐步揭示复杂性,可以在保持相应的高级便利性的同时,对操作细节进行更多控制.当我们要自定义fit中的训练算法时,可以重写模型中的train_step方法,然后调用fit来训练模型. 这里以tensorflow2官网中的例子来说明: import numpy as np import tensorflow as tf from tensorflow import keras x = np.random.random((1000, 32)) y = np.random.rando…

import tensorflow as tf from numpy.random import RandomState batch_size = 8 x = tf.placeholder(tf.float32, shape=(None, 2), name="x-input") y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input') w1= tf.Variable(tf.random_normal([2, 1],…

http://lazycoderx.com/2016/10/09/keras%E4%BF%9D%E5%AD%98%E6%A8%A1%E5%9E%8B%E6%97%B6%E4%BD%BF%E7%94%A8%E8%87%AA%E5%AE%9A%E4%B9%89%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/ http://www.voidcn.com/blog/zjm750617105/article/p-5954719.html…

import os import tab import tensorflow as tf from numpy.random import RandomState print "hello tensorflow 4.1" batch_size = 8 x = tf.placeholder(tf.float32,shape=(None,2),name='x-input') y_ = tf.placeholder(tf.float32,shape=(None,1),name='y-inpu…

转自:https://blog.csdn.net/dss_dssssd/article/details/82977170 https://blog.csdn.net/dss_dssssd/article/details/82980222 https://blog.csdn.net/dss_dssssd/article/details/84103834 下面是使用squential来自定义网络层的例子: 自定义损失函数:…

技术背景 损失函数是机器学习中直接决定训练结果好坏的一个模块,该函数用于定义计算出来的结果或者是神经网络给出的推测结论与正确结果的偏差程度,偏差的越多,就表明对应的参数越差.而损失函数的另一个重要性在于会影响到优化函数的收敛性,如果损失函数的指数定义的太高,稍有参数波动就导致结果的巨大波动的话,那么训练和优化就很难收敛.一般我们常用的损失函数是MSE(均方误差)和MAE(平均标准差)等.那么这里我们尝试在MindSpore中去自定义一些损失函数,可用于适应自己的特殊场景. MindSpore内置…

正好在参加携程的比赛,用的xgboost的算法,但携程比赛的测评函数比较奇怪,不是传统的那些,而是取precision≥0.97的情况下,recall的最大值.那无疑这个测评函数是要自己写的(官方没给),可是我怎么把它放进xgboost里呢?这样我设置silent=1时,我每一步都能看到train和eval上的结果. 起初以为在param里定义了就行,但屡屡报错,后来终于找到了方法. 首先是metric的写法(直接拿携程比赛那个来说吧): def maxRecall(preds,dtrain):…

Reference: https://blog.csdn.net/marsjhao/article/details/72630147 分类问题损失函数-交叉熵(crossentropy) 交叉熵描述的是两个概率分布之间的距离,分类中广泛使用的损失函数,公式如下 在网络中可以通过Softmax回归将前向传播得到的结果变为交叉熵要求的概率分数值.Tensorflow中,Softmax回归的参数被去掉,通过一层将神经网络的输出变为一个概率分布. 代码实现 import tensorflow as tf…

https://zhpmatrix.github.io/2017/06/29/custom-xgboost/ https://www.cnblogs.com/silence-gtx/p/5812012.html https://blog.csdn.net/hfzd24/article/details/76903927 如下,自定义评估函数 maxrecall: def maxRecall(preds,dtrain): #preds是结果(概率值),dtrain是个带label的DMatrix l…

深度学习:两个重要特性:多层和非线性 线性模型:任意线性模型的组合都是线性模型,只通过线性变换任意层的全连接神经网络与单层神经网络没有区别. 激活函数:能够实现去线性化(神经元的输出通过一个非线性函数). 多层神经网络:能够解决异或问题,深度学习有组合特征提取的功能. 使用激活函数和偏置项的前向传播算法 import tensorflow as tf a = tf.nn.relu(tf.matmul(x,w1) + biases1) y = tf.nn.relu(tf.matmul(a,w2)…

1.分类问题(交叉熵): (1)模型: (2)代码1: 其中,tf.clip_by_value是将一个张量的数值限制在一个范围之内,若小于1e-10则赋值为1e-10,若大于1.0则赋值为1,这样避免出现log0这种错误或大于1的概率. reduce_mean()函数是取对一个batch的交叉熵取平均运算.reduce_mean计算之前得到的结果是一个n×m的二维矩阵[每一个样本的每一类别交叉熵],其中n为一个batch中样本数量,m为分类的类别数量.交叉熵模型中应将每行中的m个结果相加得到所有…

1.自定义层 对于简单.无状态的自定义操作,你也许可以通过 layers.core.Lambda 层来实现.但是对于那些包含了可训练权重的自定义层,你应该自己实现这种层. 这是一个 Keras2.0 中,Keras 层的骨架(如果你用的是旧的版本,请更新到新版).你只需要实现三个方法即可: build(input_shape): 这是你定义权重的地方.这个方法必须设 self.built = True,可以通过调用 super([Layer], self).build() 完成. call(x)…

1.背景 关于xgboost的原理网络上的资源很少,大多数还停留在应用层面,本文通过学习陈天奇博士的PPT 地址和xgboost导读和实战 地址,希望对xgboost原理进行深入理解. 2.xgboost vs gbdt 说到xgboost,不得不说gbdt.了解gbdt可以看我这篇文章 地址,gbdt无论在理论推导还是在应用场景实践都是相当完美的,但有一个问题:第n颗树训练时,需要用到第n-1颗树的(近似)残差.从这个角度来看,gbdt比较难以实现分布式(ps:虽然难,依然是可以的,换个角度思…

在SPSS非线性回归过程中,我们讲到了损失函数按钮可以自定义损失函数,但是还有一个约束按钮没有讲到,该按钮的功能是对自 定义的损失函数的参数设定条件,这些条件通常是由逻辑表达式组成,这就使得损失函数具有一定的判断能力. 该功能的主要作用是进行分段回归,有些时候,变量间的关系并非一成不变,而是具有某种阶段性特征,如果我们对每个阶段单独 进行拟合的话,会造成参数较多,无法从整体上把握问题实质,并且样本也被分割成多个,会影响精度,而使用非线性回归的定义 约束条件,就可以使用一个模型表达式拟合各个阶段,…

一个可扩展的深度学习框架的Python实现(仿keras接口) 动机 keras是一种非常优秀的深度学习框架,其具有较好的易用性,可扩展性.keras的接口设计非常优雅,使用起来非常方便.在这里,我将仿照keras的接口,设计出可扩展的多层感知机模型,并在多维奇偶校验数据上进行测试. 本文实现的mlp的可扩展性在于:可以灵活指定神经网络的层数,每层神经元的个数,每层神经元的激活函数,以及指定神经网络的损失函数 本文将尽量使用numpy的矩阵运算用于训练网络,公式的推导过程可以参考此篇博客,细节上…

软件环境(Windows): Visual Studio Anaconda CUDA MinGW-w64 conda install -c anaconda mingw libpython CNTK TensorFlow-gpu Keras-gpu Theano MKL CuDNN 参考书籍:谢梁 , 鲁颖 , 劳虹岚.Keras快速上手:基于Python的深度学习实战 Keras 简介 Keras 这个名字来源于希腊古典史诗<奥德赛>的牛角之门(Gate of Horn):Those tha…

之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献: Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014. Kalchbrenner N, Grefenstette E, Blunsom P. A convolutional neural networ…

1. 线性模型简介 0x1:线性模型的现实意义 在一个理想的连续世界中,任何非线性的东西都可以被线性的东西来拟合(参考Taylor Expansion公式),所以理论上线性模型可以模拟物理世界中的绝大多数现象.而且因为线性模型本质上是均值预测,而大部分事物的变化都只是围绕着均值而波动,即大数定理. 事物发展的混沌的线性过程中中存在着某种必然的联结.事物的起点,过程,高潮,衰退是一个能被推演的过程.但是其中也包含了大量的偶然性因素,很难被准确的预策,只有一个大概的近似范围.但是从另一方面来说,偶然…

1. 提升方法 提升(boosting)方法是一种常用的统计学方法,在分类问题中,它通过逐轮不断改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能 0x1: 提升方法的基本思路 提升方法基于这样一种思想:对于一个复杂任务来说,将多个专家的判断进行适当(按照一定权重)的综合(例如线性组合加法模型)所得出的判断,要比其中任何一个专家单独的判断好 历史上,Kearns和Valiant首先提出了“强可学习(strongly learnable)”和“弱可学习(weekly l…

从决策树.随机森林.GBDT最终到XGBoost,每个热门算法都不是孤立存在的,而是基于一系列算法的改进与优化.决策树算法简单易懂可解释性强,但是过拟合风险很大,应用场景有限:随机森林采用Bagging采样+随机属性选择+模型集成的方法解决决策树易过拟合的风险,但是牺牲了可解释性:GBDT在随机森林的基础上融合boosting的思想建立树与树之间的联系,使森林不再是互相独立的树存在,进而成为一种有序集体决策体系:XGBoost在GBDT的基础上更进一步,将每轮迭代的目标函数中加入正则项,进一步降…

第一 基础 1. 定义变量 #定义维度为[2,3], 平均值为·1, 标准差为1,类型为float32,名称为w1的服从正态分布的变量 w1 = tf.Variable(tf.random_normal(2, 3), stddev=1, seed=1, dtype=tf.float32, name='w1') #定义维度为[2,3],平均值为1,标准差为1,类型为float32,名称为w1的服从正态分布的变量,偏离平均值超过两个标准差则重新生成 w1 = tf.Variable(tf.trunc…

  激活函数 关于激活函数的介绍请参考:激活函数 这里只是记录TF提供的激活函数 import tensorflow as tf a = tf.nn.relu( tf.matmul(x, w1) + biases1 ) y = tf.nn.relu( tf.matmul(a, w2) + biases2 ) tf.cast cast( x, dtype, name=None ) #将x的数据格式转化成dtype.例如,原来x的数据格式是bool, #那么将其转化成float以后,就能够将其转化成…

2.1 TensorFlow的主要依赖包 TensorFlow依赖的两个最主要的工具包——Protocol Buffer和Bazel. 2.1.1 Protocol Buffer Protocol Buffer是谷歌开发的处理结构化数据的工具.结构化数据指的是拥有多种属性的数据,比如: 当要将这些结构化的用户信息持久化或者进行网络传输时,就需要先将它们序列化.所谓序列化,是将结构化的数据变成数据流的格式,简单地说就是变为一个字符串.如何将结构化的数据序列化,并从序列化之后的数据流中还原出原来的结…

出处http://blog.csdn.net/a819825294 1.序 距离上一次编辑将近10个月,幸得爱可可老师(微博)推荐,访问量陡增.最近毕业论文与xgboost相关,于是重新写一下这篇文章. 关于xgboost的原理网络上的资源很少,大多数还停留在应用层面,本文通过学习陈天奇博士的PPT.论文.一些网络资源,希望对xgboost原理进行深入理解.(笔者在最后的参考文献中会给出地址) 2.xgboost vs gbdt 说到xgboost,不得不说gbdt,两者都是boosting方法…

目录 三.TensorFlow入门 1. TensorFlow计算模型--计算图 I. 计算图的概念 II. 计算图的使用 2.TensorFlow数据类型--张量 I. 张量的概念 II. 张量的使用 3.会话 4.TensorFlow实现神经网络 I. 前向传播算法 II. 神经网络参数与TensorFlow变量 III. 用TF训练神经网络 四.深层神经网络 1. 深度学习与深度神经网络 I. 线性模型的局限性 II. Activation去线性化 III. 多层网络解决异或运算 2. L…