center loss来自ECCV2016的一篇论文:A Discriminative Feature Learning Approach for Deep Face Recognition. 论文链接:http://ydwen.github.io/papers/WenECCV16.pdf 代码链接:https://github.com/davidsandberg/facenet 理论解析请参看 https://blog.csdn.net/u014380165/article/details/7

神经网络由各个部分组成 1.得分函数:在进行输出时,对于每一个类别都会输入一个得分值,使用这些得分值可以用来构造出每一个类别的概率值,也可以使用softmax构造类别的概率值,从而构造出loss值, 得分函数表示最后一层的输出结果,得分函数的维度对应着样本的个数和标签的类别数 得分结果的实例说明:一个输入样本的特征值Xi 1*4, w表示权重参数3*4,这里使用的是全连接y = w * x.T,输出结果为3*1, 这3个结果分别表示3种标签的得分值 代码说明: out = np.dot(x_ro

TensorFlow笔记-05-反向传播,搭建神经网络的八股 反向传播 反向传播: 训练模型参数,在所有参数上用梯度下降,使用神经网络模型在训练数据上的损失函数最小 损失函数:(loss) 计算得到的预测值 y 与已知答案 y_ 差距 损失函数的计算有很多方法,均方误差MSE是比较常用的方法之一 关于损失函数,会在下一篇仔细讲 均方误差: 求前向传播计算结果与已知答案之差的平方再求平均 用 Tensorflow 函数表示: loss = tf.reduce_mean(tf.square(y-y_

本文目录: 1. sigmoid function (logistic function) 2. 逻辑回归二分类模型 3. 神经网络做二分类问题 4. python实现神经网络做二分类问题 1. sigmoid unit  对于一个输入样本$X(x_1,x_2, ..., x_n)$,sigmoid单元先计算$x_1,x_2, ..., x_n$的线性组合: $z = {{\bf{w}}^T}{\bf{x}} = {w_1}{x_1} + {w_2}{x_2} + ... + {w_n}{x_n

图片来自https://towardsdatascience.com/yolo-v3-object-detection-with-keras-461d2cfccef6 数据前处理 输入的图片维数:(416, 416, 3) 输入的图片标注:$[(x_1, y_1, x_2, y_2, class{\_}index), (x_1, y_1, x_2, y_2,class{\_}index), \ldots, (x_1, y_1, x_2, y_2,class{\_}index)]$ 表示图片中标注

目录 概 主要内容 损失函数 代码 Sabour S, Frosst N, Hinton G E, et al. Dynamic Routing Between Capsules[C]. neural information processing systems, 2017: 3856-3866. 概 虽然11年就提出了capsule的概念, 但是走入人们视线的应该还是这篇文章吧. 虽然现阶段, capsule没有体现出什么优势. 不过, capsule相较于传统的CNN融入了很多先验知识, 更

前言 SSD 的全称是 Single Shot MultiBox Detector,它和 YOLO 一样,是 One-Stage 目标检测算法中的一种.由于是单阶段的算法,不需要产生所谓的候选区域,所以 SSD 可以达到很高的帧率,同时 SSD 中使用了多尺度的特征图来预测目标,所以 mAP 可以比肩甚至超过 Faster R-CNN.在这篇博客中,我们会详细地介绍 SSD 的原理,并使用 pytorch 来实现 SSD. 模型结构 VGG16 SSD 的结构如上图所示,可以看到 SSD 使用

原创文章-转载请注明出处哦.其他部分内容参见以下链接- GraphSAGE 代码解析(一) - unsupervised_train.py GraphSAGE 代码解析(二) - layers.py GraphSAGE 代码解析(三) - aggregators.py 1. 类及其继承关系 Model / \ / \ MLP GeneralizedModel / \ / \ Node2VecModel SampleAndAggregate 首先看Model, GeneralizedModel,

原创文章-转载请注明出处哦.其他部分内容参见以下链接- GraphSAGE 代码解析(一) - unsupervised_train.py GraphSAGE 代码解析(二) - layers.py GraphSAGE 代码解析(四) - models.py 1. class MeanAggregator(Layer): 该类主要用于实现 1. __init__() __init_() 用于获取并初始化成员变量 dropout, bias(False), act(ReLu), concat(Fa

原创文章-转载请注明出处哦.其他部分内容参见以下链接- GraphSAGE 代码解析(一) - unsupervised_train.py GraphSAGE 代码解析(三) - aggregators.py GraphSAGE 代码解析(四) - models.py 1 # global unique layer ID dictionary for layer name assignment 2 _LAYER_UIDS = {} 3 4 def get_layer_uid(layer_name

原创文章-转载请注明出处哦.其他部分内容参见以下链接- GraphSAGE 代码解析(二) - layers.py GraphSAGE 代码解析(三) - aggregators.py GraphSAGE 代码解析(四) - models.py GraphSAGE代码详解 example_data: 1. toy-ppi-G.json 图的信息 { directed: false graph : { {name: disjoint_union(,) } nodes: [ { test: fals

python机器学习-乳腺癌细胞挖掘(博主亲自录制视频)https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share python代码 sklearn.metrics.log_loss(y_true, y_pred, eps=1e-15, normalize=True, s

class EdgeMinibatchIterator """ This minibatch iterator iterates over batches of sampled edges or random pairs of co-occuring edges. G -- networkx graph id2idx -- dict mapping node ids to index in feature tensor placeholders -- tensorflow p

2016-05-02开始决定好好记录一切有关<数据科学家>的学习过程.记录学习笔记. ------------------------------------------------------------------------------------------------- 第一部分:14年跟百度T7师兄学了一段时间的机器学习基础知识.Java实现基础算法.复习一遍基础知识. --------------------------------------------------------

A Loss Function for Learning Region Proposals 训练RPN时,只对两种anchor给予正标签:和gt_box有着最高的IoU && IoU超过0.7.如果对于 所有的gt_box,其IoU都小于0.3,则标记为负.损失函数定义如下: 其中i为一个mini-batch中某anchor的索引,pi表示其为目标的预测概率,pi*表示gt_box(正为1,否则为0). ti和ti*分别表示预测框的位置和gt_box框的位置.Lreg如下: bound-b

xgboost入门非常经典的材料,虽然读起来比较吃力,但是会有很大的帮助: 英文原文链接:https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/ 原文地址:Complete Guide to Parameter Tuning in XGBoost (with codes in Python) 译注:文内提供的代码和运行结果有一定差异,可以从这里下

XGBoost参数调优完全指南(附Python代码):http://www.2cto.com/kf/201607/528771.html https://www.zhihu.com/question/41354392 [以下转自知乎] https://www.zhihu.com/question/45487317 为什么xgboost/gbdt在调参时为什么树的深度很少就能达到很高的精度? XGBoost除去正则和并行的优化,我觉得和传统GBDT最核心的区别是:1. 传统GBDT的每颗树学习的是

继续看yusugomori的代码,看逻辑回归.在DBN(Deep Blief Network)中,下面几层是RBM,最上层就是LR了.关于回归.二类回归.以及逻辑回归,资料就是前面转的几篇.套路就是设定目标函数(softmax损失函数),对参数求偏导数,得出权重更新公式等. LogisticRegression.h注释如下: class LogisticRegression { public: int N; // number of input samples int n_in; // numb

先来梳理一下我们之前所写的代码,原始的生成对抗网络,所要优化的目标函数为: 此目标函数可以分为两部分来看: ①固定生成器 G,优化判别器 D, 则上式可以写成如下形式: 可以转化为最小化形式: 我们编写的代码中,d_loss_real = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits = D_logits, labels = tf.ones_like(D))),由于我们判别器最后一层是 sigmoid ,所以可以看出来

1 #coding:utf-8 # 日期 2017年9月4日 环境 Python 3.5  TensorFlow 1.3 win10开发环境. import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import os # 基础的学习率 LEARNING_RATE_BASE = 0.8 # 学习率的衰减率 LEARNING_RATE_DECAY = 0.99 # 描述模型复杂度的正则化项