[CVPR 2015] Simultaneous Feature Learning and Hash Coding with Deep Neural Networks [paper]

Hanjiang Lai, Yan Pan, Ye Liu, Shuicheng Yan.

1. Overcome

  • 在大多数哈希方法中,图像都用手工特征表示,这些特征不能很好得保存原始图片的语义信息。
  • 哈希方法大都分为编码量化两个过程,基于手工向量的优化结果可能难以同时兼容编码和量化的过程,从而造成子优化问题。
  • CNNH是一个two-stage的深度哈希方法,利用神经网络同时学习了哈希函数和图像特征表达。在stage 1时,CNNH得到了近似哈希编码,并在stage 2利用这些近似哈希编码来训练得到图像的特征表达,但是这些训练得到的图像特征无法反过来指导近似哈希编码的训练,以得到更好的编码。

2. Contribute

  • 提出了一种 “one-stage”的监督哈希检索方法,可以同时得到图像特征和哈希编码,并且特征信息和哈希编码可以相互改善,从而得到更好的结果。
  • 设计了一种triplet ranking loss,可以很好得保存图像语义的相似信息。

3. Algorithm

NINH方法分为三个步骤:(1)通过一个卷积网络得到中间图像特征;(2)通过divide-and-encode模块得到每张图片的哈希编码;(3)得到图像对的triplet ranking loss,再经由反向传播更新网络。

3.1 Triplet Ranking Loss and Optimization

输入为图像对\((I, I^-, I^+)\),其中\(I\)为查询图像,\(I^-\)为与\(I\)不相似的图像,\(I^+\)为与\(I\)相似的图像。这种输入形式可以更好得表达相似信息“与\(I^-\)相比,图像\(I\)与\(I^+\)更相似”。Triplet ranking hinge loss定义为:

为了便于优化,加入松弛技巧——将Hamming norm替换为L2 norm。得到新的损失函数如下:

损失函数关于\(F(I)、F(I^-)、F(I^+)\)的导数为:

因为损失函数的求导过程非常简单,因此可以容易结合进神经网络的反向传播过程中。

3.2 Shared Sub-Network with Stacked Convolution Layers

Shared Sub-Network使用相同的神经网络结构以及相同的参数得到triplet图像对中的每一张图像的特征表达。网络结构和参数如下表所示:

在该部分,一种替代的策略是对于图像\(I\)使用单独的网络结构和参数,而图像\(I^-\)和\(I^+\)使用相同的网络结构和参数。但是论文中的实验证明,对三个图像使用相同的网络结构和参数的表现会由于这种替代策略。

3.3 Divide-and-Encode Module

Divide-and-Encode(DAE)通过Shared Sub-Network得到每张图片的特征向量后,将这个向量切片成r个部分,每个部分再通过全连接层连接到一个节点,最后通过sigmoid函数转化为[0, 1]之内的值。通过上述步骤,便可以得到一张图片r比特的哈希编码。在这个过程中,因为每个哈希编码是由特征向量的子部分得到的,哈希编码之间的冗余性少,有利于图像的检索。

这个部分另一种策略简称为FC,将整个特征向量通过全连接层直接连接到r个节点,再借由sigmoid函数得到图片的哈希编码。显然这种策略下,每一位哈希编码都利用到了整个特征向量的信息,容易造成冗余。论文的实验也证明了DAE的表现会由于FC。

【Deep Hash】NINH的更多相关文章

  1. 【Deep Hash】CNNH

    [AAAI 2014] Supervised Hashing via Image Representation Learning [paper] [code] Rongkai Xia , Yan Pa ...

  2. 【POJ2185】【KMP + HASH】Milking Grid

    Description Every morning when they are milked, the Farmer John's cows form a rectangular grid that ...

  3. 【Deep Learning】一、AutoEncoder

    Deep Learning 第一战: 完成:UFLDL教程 稀疏自编码器-Exercise:Sparse Autoencoder Code: 学习到的稀疏参数W1: 参考资料: UFLDL教程 稀疏自 ...

  4. HDU 1280 前m大的数【排序 / hash】

    前m大的数 Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total Submi ...

  5. 【字符串hash】DNA

    DNA 题目描述 小X身为奆老,兴趣爱好广泛,他还非常喜欢研究DNA序列……小X进行了一项关于DNA序列研究,发现人某条染色体上的一段DNA序列中连续的k个碱基组成的碱基序列与做题的AC率有关!于是他 ...

  6. 【Deep Learning】两层CNN的MATLAB实现

    想自己动手写一个CNN很久了,论文和代码之间的差距有一个银河系那么大. 在实现两层的CNN之前,首先实现了UFLDL中与CNN有关的作业.然后参考它的代码搭建了一个一层的CNN.最后实现了一个两层的C ...

  7. codeforces #441 B Divisiblity of Differences【数学/hash】

    B. Divisiblity of Differences time limit per test 1 second memory limit per test 512 megabytes input ...

  8. Codeforces Round #454 C. Shockers【模拟/hash】

    C. Shockers time limit per test 2 seconds memory limit per test 256 megabytes input standard input o ...

  9. [BZOJ 1014] [JSOI2008] 火星人prefix 【Splay + Hash】

    题目链接:BZOJ - 1014 题目分析 求两个串的 LCP ,一种常见的方法就是 二分+Hash,对于一个二分的长度 l,如果两个串的长度为 l 的前缀的Hash相等,就认为他们相等. 这里有修改 ...

随机推荐

  1. Beta冲刺(4/5)(麻瓜制造者)

    今日已完成 邓弘立:完成了商品管理(下架)和搜索功能 符天愉:完成了后台管理员界面的登录和其他视图的载入 江郑:昨天来决定跨域执行请求,后台参考一些意见以后,操作起来没有那么容易实现,和队友交流以后本 ...

  2. 建立标准编码规则(三)-CodeFixProvider 给代码分析器增加修复建议

    给代码分析器增加修复建议 既然代码分析器,向代码编写者提出了错误或警告,那么有没有可能向代码编写者提交有效的改进建议? 相对于 DiagnosticAnalyzer,代码修复继承与 CodeFixPr ...

  3. 在CDS(Core Data Services)中使用DCL(Data Control Language)

    最近,我在玩ABAP CDS视图,并且遇到了一些权限方面的挑战.我在网上没看到有多少有关CDS开发的文档,因为它是个相当新的东西.因此,我决定写下这篇博客,也许我的想法可以帮助到一些人. 和你已经意识 ...

  4. java按行和列进行输出数据

    package debug; public class Demo9 { public static void main(String[] args) { //输出4行5列星星 //外循环控制行数 // ...

  5. phpize安装php扩展CURL

    进入php源码包curl扩展目录 cd php-/ext/curl phpize ./configure --with-php-config=/usr/local/webserver/php/bin/ ...

  6. swift语言混编--语言交互的接口

    FFI stands for Foreign Function Interface. A foreign function interface is the popular name for the ...

  7. 离线安装Cloudera Manager 5和CDH5(最新版5.9.3) 完全教程(五)数据库安装(双节点)

    一.方案选择 通过Lvs+keepalived+mysql(主主同步)实现数据库层面的高可用方案,需要两台服务器作为数据库提供业务数据的存储,应用服务器通过vip访问数据库,允许同一时间内一台数据库服 ...

  8. Oracle 中的一些重要V$ 动态性能视图,系统视图和表

    v$database:数据库的信息,如数据库名,创建时间等. v$instance 实例信息,如实例名,启动时间. v$parameter 参数信息,select * from v$parameter ...

  9. 配置Linux下vim自动缩进等功能

    从终端打开配置文件: vim ~/.vimrc 添加如下代码: set tabstop=4 set softtabstop=4 set shiftwidth=4 set autoindent set ...

  10. navicate使用小技巧

    以下效果是按住alt+按住鼠标左键,往左往右移动,即可