Unsupervised deep embedding for clustering analysis 偶然发现这篇发在ICML2016的论文,它主要的关注点在于unsupervised deep embedding.据我所了解的,Unsupervised 学习是deep learning的一个难点,毕竟deep network这种非常复杂的非线性映射,暂时的未知因素太多,可能在原来的domain有clustering的特征数据经过nonlinear映射之后,就变得不再clustering了.…

Junyuan Xie, Ross B. Girshick, Ali Farhadi2015, ICML1243 Citations, 45 ReferencesCode:DownloadPaper:Download Abstract 在本文中,我们提出了 Deep Embedded Clustering(DEC),一种使用深度神经网络同时学习 feature representations 和 cluster assignments 的方法.DEC学习从数据空间到低维特征空间的映射,并在其中迭…

Problem: unsupervised clustering represent data in feature space; learn a non-linear mapping from data space X to feature space Z. Problem formulation: cluster a set of n points into k clusters, each represented by a centroid uj. Instead of clusterin…

导读: 本文为CVPR2018论文<Deep Adversarial Subspace Clustering>的阅读总结.目的是做聚类,方法是DASC=DSC(Deep Subspace Clustering)+GAN(Generative Adversarial Networks).本文从以下四个方面来对论文做个简要整理: 背景:简要介绍与本文密切相关的基础原理,DSC,GAN. 方法:介绍论文使用的方法和细节. 实验:实验结果和简要分析. 总结:论文主要特色和个人体会. 一.背景 论文方法…

2 DynGEM: Deep Embedding Method for Dynamic Graphs link:https://arxiv.org/abs/1805.11273v1 Abstract 首先这个嵌入是基于deep autoencoder的 该论文提出了三个主要优势: (1)随着时间的推移,该方法嵌入是稳定的 (2)能处理不断增长的动态图 (3)它比在动态图的每个快照上使用静态嵌入方法具有更好的运行时间 Conclusion DynGEM使用动态扩展的深度自动编码器来捕获高度非线性的…

论文地址 论文视频 左侧边栏可以导入数据,或者打开以及前保存的结果.右侧显示了所有的日志,可以轻松回到之前的状态,视图的主区域上半部分是数据,下半部分是聚类视图. INTRODUCTION 数据聚类对于处理无标签数据,高维数据是非常有效的工具.聚类算法中如何确定最好的聚类方法和参数比较困难,需要可视化系统的帮助.Clustrophile 2,这是一种用于引导聚类分析的新型交互式工具,引导用户进行基于聚类的探索性分析,调整用户反馈以改进聚类效果,并帮助快速推理群集之间的差异.为此,Clustrop…

DeepLDA 并不是把LDA模型整合到了Deep Network,而是利用LDA来指导模型的训练.从实验结果来看,使用DeepLDA模型最后投影的特征也是很discriminative 的,但是很遗憾没有看到论文是否验证了topmost 的hidden representation 是否也和softmax指导产生的representation一样的discriminative. DeepLDA和一般的deep network唯一不同是它的loss function.两者对比如下: 对于LDA,…

论文信息 论文标题:Deep Attention-guided Graph Clustering with Dual Self-supervision论文作者:Zhihao Peng, Hui Liu, Yuheng Jia, Junhui Hou论文来源:2022, arXiv论文地址:download论文代码:download 1 Introduction 当前考虑拓扑结构信息和语义信息的深度聚类方法存在的问题: 将 DAE 和 GCN 提取到的特征重要性同等看待: 忽略了不同层次的多尺度信…

文章:Deep Clustering for Unsupervised Learning of Visual Features 作者:Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze 来自于:Facebook AI Research 发表于:ECCV 2018 目录 •相关链接 •相关方法介绍 •文章出发点 •文章亮点与贡献 •方法细节 •实验结果 •分析与总结 相关链接 论文:https://arxiv.or…

生成式对抗网络GAN 1.  基本GAN 在论文<Generative Adversarial Nets>提出的GAN是最原始的框架,可以看成极大极小博弈的过程,因此称为“对抗网络”.一般包含两个部分:生成器(Generator)和判别器(Discriminator).训练的过程是无监督学习. 先总结一下训练的过程.一般而言,输入是一个一维向量z,它从先验生成.假设现在Generator生成的是图像.我们知道,无监督学习目的是学习数据集中的特征(或者说分布),假设真实的分布为,而Generat…

论文信息 Tittle:<Spectral Networks and Locally Connected Networks on Graphs> Authors:Joan Bruna.Wojciech Zaremba.Arthur Szlam.Yann LeCun Source:2014, ICLR Paper:Download Code:Download Abstract  Convolutional Neural Networks are extremely efficient archi…

导读: 本文为论文<Deep Mixture of Diverse Experts for Large-Scale Visual Recognition>的阅读总结.目的是做大规模图像分类(>1000类),方法是混合多个小深度网络实现更多类的分类.本文从以下五个方面来对论文做个简要整理: 背景:简要介绍与本文方法提出的背景和独特性. 方法:介绍论文使用的大体方法. 细节:介绍论文中方法涉及到的问题及解决方案. 实验:实验结果和简要分析. 总结:论文主要特色和个人体会. 一.背景 1.目标…

Paper Information Titlel:<Semi-Supervised Classification with Graph Convolutional Networks>Authors:Thomas Kipf, M. WellingSource:2016, ICLRPaper:Download Code:Download 致敬  Thomas Kipf 我原以为将  GCN 发扬光大的人应该是一位老先生,毕竟能将一个理论影响全世界的人必应该有很多的知识储备(主观直觉),然后我发现自…

6 Predicting Dynamic Embedding Trajectory in Temporal Interaction Networks link:https://arxiv.org/abs/1908.01207 Abstract 本文提出了一种在嵌入空间中显示建模用户/项目的未来轨迹的模型JODIE.该模型基于RNN模型,用于学习用户和项目的嵌入轨迹.JODIE可以进行未来轨迹的预测.本文还提出了 t-Batch算法,利用该方法可以创建时间相同的batch,并使训练速度提高9倍.…

初次接触Captioning的问题,第一印象就是Andrej Karpathy好聪明.主要从他的两篇文章开始入门,<Deep Fragment Embeddings for Bidirectional Image Sentence Mapping>和<Deep Visual-Semantic Alignments for Generating Image Descriptions>.基本上,第一篇文章看明白了,第二篇就容易了,研究思路其实是一样的.但确实,第二个模型的功能更强大一些…

Fast RCNN的结构: 先从这幅图解释FAST RCNN的结构.首先,FAST RCNN的输入是包含两部分,image以及region proposal(在论文中叫做region of interest,ROI).Image经过深度网络(deep network)之后得到feature map,然后可以从feature map中找到ROI在其中的投射projection得到每个patch,但论文没有提及怎么在map中寻找对应的patch,估计可以通过位置关系找到(猜想,因为deep Conv…

R-CNN总结 不总结就没有积累 R-CNN的全称是 Regions with CNN features.它的主要基础是经典的AlexNet,使用AlexNet来提取每个region特征,而不再是传统的SIFT.SURF的特征.同时,还利用了AlexNet本来的功能:分类,这时所得的分类结果相当于预分类.最后,由于每个Region是有边界的,使用SVM对其进行分类得到一个score,定位每个物体的bounding box. 预处理: 先看一看AlexNet的网络结构 可以看到,它的输入图像是一个…

文章:Deep Mutual Learning 出自CVPR2017(18年最佳学生论文) 文章链接:https://arxiv.org/abs/1706.00384 代码链接:https://github.com/YingZhangDUT/Deep-Mutual-Learning…

题目:Deep Continuous Fusion for Multi-Sensor 3D Object Detection 来自:Uber: Ming Liang Note: 没有代码,主要看思想吧,毕竟是第一篇使用RGB feature maps 融合到BEV特征中: 从以下几个方面开始简述论文 Open Problems Contributions Methods Experiments My Conclusion 1> Open Problems 联合多传感器数据能获得更好的特征表示:…

Deep Attentive Tracking via Reciprocative Learning 2018-11-14 13:30:36 Paper: https://arxiv.org/abs/1810.03851 Project page: https://ybsong00.github.io/nips18_tracking/index Code: https://github.com/shipubupt/NIPS2018 是的,我跟好多人一样,被标题中的 “Reciprocative…

Pre: It is MY first time to see quite elegant a solution to seek a subspace for a group of local features. I list two related papers for your reference: “Local Feature Discriminant Projection” and “Binary Set Embedding for Cross-Modal Retrieval”. Thi…

论文的关注点在于如何提高bounding box的定位,使用的是概率的预测形式,模型的基础是region proposal.论文提出一个locNet的深度网络,不在依赖于回归方程.论文中提到locnet可以很容易与现有的detection系统结合,但我困惑的是(1)它们的训练的方法,这点论文中没有明确的提到,而仅仅说用迭代的方法进行(2)到底两者的融合后两个网络的结构是怎样呢?可以看做一个多任务的系统,还是存在两个网络呢? 检测方法 输入的候选bounding box(使用selective s…

论文主要介绍一种多人协作的视频事件识别的方法,使用attention模型+RNN网络,最近粗浅地学习了RNN网络,它比较适合用于处理序列的存在上下文作用的数据. NCAA Basketball数据集 这个数据集是作者新构建的,一个事件4秒长度,在论文中共需识别11个事件.而且从训练集子集通过标注人物的bounding box学习了一个multibox detector,来识别所有帧中的人物bounding box. RNN模型 论文使用了RNN模型中的LSTM来处理帧序列.网络的结构如下图,其中…

论文的重点在于后面approximation部分. 在<Rank Pooling>的论文中提到,可以通过训练RankSVM获得参数向量d,来作为视频帧序列的representation.而在dynamic论文中发现,这样的参数向量d,事实上与image是同等大小的,也就是说,它本身是一张图片(假如map与image同大小而不是提取的特征向量),那么就可以把图片输入到CNN中进行计算了.如下图可以看到一些参数向量d pooling的样例 参数向量d的快速计算 把计算d的过程定义一个函数.一个近似…

这是期刊论文的版本,不是会议论文的版本.看了论文之后,只能说,太TM聪明了.膜拜~~ 视频的表示方法有很多,一般是把它看作帧的序列.论文提出一种新的方法去表示视频,用ranking function的参数编码视频的帧序列.它使用一个排序函数(ranking function)主要基于这样的假设:帧的appearance的变化与时间相关,如果帧vt+1在vt后面,则定义:此外,假设同一动作的视频帧序列,学习到的排序函数的参数,应该的大致一致的.但实际上,后面的假设并没有给出严格的证明,只能说实验的…

论文的三个贡献 (1)提出了two-stream结构的CNN,由空间和时间两个维度的网络组成. (2)使用多帧的密集光流场作为训练输入,可以提取动作的信息. (3)利用了多任务训练的方法把两个数据集联合起来. Two stream结构 视屏可以分成空间与时间两个部分,空间部分指独立帧的表面信息,关于物体.场景等:而时间部分信息指帧间的光流,携带着帧之间的运动信息.相应的,所提出的网络结构由两个深度网络组成,分别处理时间与空间的维度. 可以看到,每个深度网络都会输出一个softmax层,最后会通过…

YOLO的一大特点就是快,在处理上可以达到完全的实时.原因在于它整个检测方法非常的简洁,使用回归的方法,直接在原图上进行目标检测与定位. 多任务检测: 网络把目标检测与定位统一到一个深度网络中,而且可以同时在原图上检测多个物体.步骤总结如下: (1)把图片分割成S*S个方格,假如某个物体的中点落在其中一个方格,那么这个方格就对这个物体负责.这里说的物体的中点应该是指ground truth box中的物体的中心. (2)对于每个格子,预测B个bounding box以及相应的confidence…

目的: 提升深度神经网络的性能. 一般方法带来的问题: 增加网络的深度与宽度. 带来两个问题: (1)参数增加,数据不足的情况容易导致过拟合 (2)计算资源要求高,而且在训练过程中会使得很多参数趋向于0,浪费计算资源. 解决方法: 使用稀疏连接替代稠密结构. 理论依据(Arora):一个概率分布可以用一个大的稀疏的深度神经网络表示,最优的结构的构建通过分析上层的激活状态的统计相关性,并把输出高度相关的神经元聚合.这与生物学中Hebbian法则“有些神经元响应基本一致,即同时兴奋或抑制”一致. 存…

由RCNN到FAST RCNN一个很重要的进步是实现了多任务的训练,但是仍然使用Selective Search算法来获得ROI,而FASTER RCNN就是把获得ROI的步骤使用一个深度网络RPN来实现.一个FASTER RCNN可以看作是一个RPN + FAST RCNN的组合,两者通过共享CONV LAYERS组合在一起. RPN网络 一张图片先经过CONV LAYERS得到feature map,图片的大小是任意的.然后,使用一个小的滑动网络,它与feature map的一个n*n的小窗…

3 Dynamic Network Embedding by Modeling Triadic Closure Process link:https://scholar.google.com.sg/scholar_url?url=https://ojs.aaai.org/index.php/AAAI/article/view/11257/11116&hl=zh-TW&sa=X&ei=HSiOYtaAE4a4ygS4j4ioAg&scisig=AAGBfm3pULFHq0jI…