Deep Learning of Graph Matching 阅读笔记 CVPR2018的一篇文章,主要提出了一种利用深度神经网络实现端到端图匹配(Graph Matching)的方法. 该篇文章理论性较强,较难读懂... 论文链接 介绍这篇文章之前,需要先了解一下什么是图匹配,图匹配是干嘛的. 图匹配 图匹配简单来说就是将已有的两个图中对应的顶点关联起来实现能量函数最大.以多目标跟踪任务来说,每帧图像中的观测都可以构成一个拓扑图,希望将两帧图像中的拓扑图匹配起来以实现同一条轨迹中的观测成功匹…
1. 论文概述 论文首次将深度学习同图匹配(Graph matching)结合,设计了end-to-end网络去学习图匹配过程. 1.1 网络学习的目标(输出) 是两个图(Graph)之间的相似度矩阵. 1.2 网络的输入 拿其中的 imageNet 的鸟举例如下图,使用的是另一篇论文使用的数据集.数据特点:①鸟的姿态几乎一致②每个鸟选取15个关键点.这样就默认不同二图中相对应的点(如下图不同颜色的点)是 一 一 匹配的,即当作ground-truth.具体如何将image输入得到graph,下…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上非常大牛和机器学习专家所无私奉献的资料的.详细引用的资料请看參考文献.详细的版本号声明也參考原文献. 2)本文仅供学术交流,非商用.所以每一部分详细的參考资料并没有详细相应.假设某部分不小心侵犯了大家的利益,还望海涵,并联系博主删…
Deep Learning for NLP Deep Learning for NLP Lecture 2:Introduction to Teano enter link description here Neural Networks can be expressed as one long function of vector and matrix operations. (神经网络可以表示为一个向量和矩阵运算的长函数.) Common Frameworks(常用框架) C/C++ if…
feature study within neural network 在regression问题中,根据房子的size, #bedrooms原始特征可能演算出family size(可住家庭大小), zip code可能演算出walkable(可休闲去处),富人比例和zip code也可能决定了学区质量,这些个可住家庭大小,可休闲性,学区质量实际上对于房价预测有着至关重要的影响,但是他们都无法直接从原始数据输入获取,而是进过hidden layer学习抽象得出的特征. loss functio…
1 前言 Andrew Ng的UFLDL在2014年9月底更新了. 对于開始研究Deep Learning的童鞋们来说这真的是极大的好消息! 新的Tutorial相比旧的Tutorial添加了Convolutional Neural Network的内容.了解的童鞋都知道CNN在Computer Vision的重大影响. 而且从新编排了内容及exercises. 新的UFLDL网址为: http://ufldl.stanford.edu/tutorial/ 2 Linear Regression…
神经概率语言模型,内容分为三块:问题,模型与准则,实验结果.[此节内容未完待续...] 1,语言模型问题 语言模型问题就是给定一个语言词典包括v个单词,对一个字串做出二元推断,推断其是否符合该语言表达习惯.也就是的取值为0或者为1. 概率语言模型放松了对取值的限制,让其在0~1之间取值(语言模型 v.s 概率语言模型),而且全部的字串的概率之和为1.维基百科对于概率语言模型的解释为:是借由一个概率分布,而指派概率给字词所组成的字串.可是须要注意的是直接对进行求其概率分布是不现实的,由于理论上这样…
Softmax Regression Tutorial地址:http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/ 从本节開始,难度開始加大了.我将更具体地解释一下这个Tutorial. 1 Softmax Regression 介绍 前面我们已经知道了Logistic Regression.简单的说就推断一个样本属于1或者0.在应用中比方手的识别.那么就是推断一个图片是手还是非手.这就是非常easy的分类. 其实.我们仅…
第二章 线性代数 2.1 名词 标量(scalar).向量(vector).矩阵(matrix).张量(tensor) 2.2 矩阵和向量相乘 1. 正常矩阵乘法: 2. 向量点积: 3. Hadamard乘积(元素对应乘积) 矩阵乘法服从分配律.结合律,两个向量的点积满足交换律,利用两个向量点积的结果是标量(scalar),标量转置是自身. 2.3 单位矩阵和逆矩阵 逆矩阵一般作为理论工具使用,计算机由于精度不足,一般不使用逆矩阵. 2.4 线性相关和生成子空间 线性方程组,解的个数:0.1.…
1 Vectorization 简述 Vectorization 翻译过来就是向量化,各简单的理解就是实现矩阵计算. 为什么MATLAB叫MATLAB?大概就是Matrix Lab,最根本的差别于其它通用语言的地方就是MATLAB能够用最直观的方式实现矩阵运算.MATLAB的变量都能够是矩阵. 通过Vectorization,我们能够将代码变得极其简洁.尽管简洁带来的问题就是其它人看你代码就须要研究一番了.但不论什么让事情变得simple的事情都是值得去做的. 关于Vectorization核心…
1 Gradient Checking 说明 前面我们已经实现了Linear Regression和Logistic Regression.关键在于代价函数Cost Function和其梯度Gradient的计算. 在Gradient的计算中,我们一般採用推导出来的计算公式来进行计算. 可是我们看到,推导出来的公式是复杂的.特别到后面的神经网络,更加复杂.这就产生了一个问题,我们怎样推断我们编写的程序就是计算出正确的Gradient呢? 解决的方法就是通过数值计算的方法来估算Gradient然后…
  Motivation 作者们构建了一种用于视觉表示的对比学习简单框架 SimCLR,它不仅优于此前的所有工作,也优于最新的对比自监督学习算法, 而且结构更加简单:这个结构既不需要专门的架构,也不需要特殊的存储库. ·         由于采用了对比学习,这个框架可以作为很多视觉相关的任务的预训练模型,可以在少量标注样本的情况下,拿到比较好的结果. Discovery 在这篇论文中,研究者发现: ·         多个数据增强方法组合对于对比预测任务产生有效表示非常重要. ·        …
1. 文献信息 题目: Learning Combinatorial Embedding Networks for Deep Graph Matching(基于图嵌入的深度图匹配) 作者:上海交通大学研究团队(Runzhong Wang ,Junchi Yan,Xiaokang Yang) 期刊:ICCV 2019 注:此篇论文篇幅较长,其中涉及图匹配等问题,为方便阅读,保留了较多关键信息. 2. 背景 这篇论文聚焦于计算机视觉领域一项历久弥新的问题:图匹配问题.在计算机视觉中,图匹配旨在利用图…
本文是对文献 <Graph Neural Networks: A Review of Methods and Applications> 的内容总结,详细内容请参照原文. 引言 大量的学习任务都要求能处理包含丰富的元素间关联关系的图数据,例如物理系统建模.疾病分类以及文本和图像等非结构数据的学习等.图形神经网络(GNNs)是一种连接模型,通过图形节点之间的消息传递捕获图形的依赖性. 图(Graph)是一种对一组对象(node)及其关系(edge)进行建模的数据结构.由于图结构的强大表示能力,近…
译自:The Major Advancements in Deep Learning in 2016 建议阅读时间:10分钟 https://tryolabs.com/blog/2016/12/06/majoradvancementsdeeplearning2016/ 在过去的十多年来,深度学习一直是核心话题,2016年也不例外.本文回顾了他们认为可能会推动这个领域发展或已经对这个领域产生巨大贡献的技术.(1)无监督学习有史以来便是科研人员所面临的的主要挑战之一.由于大量产生式模型的提出,201…
目录 abstract 1. introduction 1.1 个性衡量方法 1.2 应用前景 1.3 伦理道德 2. Related works 3. Baseline methods 3.1 文本 3.2 音频 3.3 图像 3.4 多模态 4. Detailed overview 4.1 文本 4.1.1 LIWC/MRC 4.1.2 Receptiviti API 4.1.3 社交网络文本研究 4.1.4 深度神经网络应用 4.1.5 SenticNet 5 4.1.6 weighted…
14 TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS link:https://scholar.google.com.hk/scholar_url?url=https://arxiv.org/pdf/2006.10637.pdf%3Fref%3Dhttps://githubhelp.com&hl=zh-TW&sa=X&ei=oVakYtvtIo74yASQ1Jj4AQ&scisig=AAGBfm0bNv…
中文译文:深度学习.自然语言处理和表征方法 http://blog.jobbole.com/77709/ 英文原文:Deep Learning, NLP, and Representations http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/ 总结: 这篇文章中主要提到了单层神经网络,单词嵌入(word embeddings),表征这几个概念,结合具体的实例,写的是通俗易懂,在引用参考文献的位置都给出了对应的链接,一些…
Introduction 文章主要提出了 Dynamic Graph Matching(DGM)方法,以非监督的方式对多个相机的行人视频中识别出正确匹配.错误匹配的结果.本文主要思想如下图: 具体而言:方法采用迭代的方式,每次迭代生成一个二部图(bipartite),估计标签并学习区分矩阵.通过不断迭代,标签准确率提高,矩阵区分度更显著.方法加入了重新加权策略(re-weighting),提供软标签而不是硬标签,来降低标签的误差. Graph Matching for Video Re-ID (…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上非常大牛和机器学习专家所无私奉献的资料的.详细引用的资料请看參考文献.详细的版本号声明也參考原文献. 2)本文仅供学术交流,非商用.所以每一部分详细的參考资料并没有详细相应.假设某部分不小心侵犯了大家的利益,还望海涵,并联系博主删…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除.…
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0  2013-04-08   声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的参考资料并没有详细对应.如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主…
发表于2013-01-18 11:35| 8827次阅读| 来源sina微博 条评论| 作者邓侃 数据分析智能算法机器学习大数据Google 摘要:文章来自邓侃的博客.数据革命迫在眉睫. 各大公司重兵集结.虎视眈眈.Google 兵分两路.左路以 Jeff Dean 和 Andrew Ng 为首.重点突破 Deep Learning 等等算法和应用,右路军由Amit Singhal领军,目标是构建Knowledge Graph基础设施.而在攻克技术难题之后.就是动用资本和商业的强力手段.跑马圈地…
注意:论文中,很多的地方出现baseline,可以理解为参照物的意思,但是在论文中,我们还是直接将它称之为基线,也 就是对照物,参照物. 这片论文中,作者没有去做实际的实验,但是却做了一件很有意义的事,他收罗了近些年所有推荐系统中涉及到深度学习的文章 ,并将这些文章进行分类,逐一分析,然后最后给出了一个推荐系统以后的发展方向的预估. 那么通过这篇论文,我们可以较为 系统的掌握这些年,在推荐系统方面,深度学习都有那些好玩的应用,有哪些新奇的方法,下面是论文的一个粗糙翻译: 概述:   随着互联网上…
Keras 函数式编程 利用 Keras 函数式 API,你可以构建类图(graph-like)模型.在不同的输入之间共享某一层,并且还可以像使用 Python 函数一样使用 Keras 模型.Keras 回调函数和 TensorBoard 基于浏览器的可视化工具,让你可以在训练过程中监控模型 对于多输入模型.多输出模型和类图模型,只用 Keras 中的 Sequential模型类是无法实现的.这时可以使用另一种更加通用.更加灵活的使用 Keras 的方式,就是函数式API(functional…