论文阅读之 A Convex Optimization Framework for Active Learning
A Convex Optimization Framework for Active Learning
Active learning is the problem of progressively selecting and annotating the most informative unlabeled samples, in order to obtain a high classification performance.
目前AL方法存在的问题有:
1.大部分AL算法在预训练分类器之前,都一次只选择一个样本;这就导致计算复杂且无法利用并行标注系统;
2.一次可以选择多个样本的算法,又可能存在着样本重叠覆盖的问题,或者是要求解非凸问题.
更重要的问题是,之前的AL算法是专门为特定的分类器而设计的,例如:SVM. 本文的算法可以用于任何分类器,应用范围更加广泛. 本文主要贡献:
本文在凸优化的基础上提出了一种AL框架,可以同时选择多个样本进行标注,可以和任何类型的分类器相结合,包括基于稀疏表示的分类器.利用分类器的不确定性和样本的多样性来引导选择最具有信息性的无标签数据,并且有最小的信息重叠.
文章的主要框架: 2. Dissimilarity-based Sparse Modeling Representative Selection (DSMRS)
3. Active Learning via Convex Programming we use the two principles of classifier uncertainty and sample diversity to define confidence scores for unlabeled samples. 3.1. Classifier Uncertainty (分类器的不确定性) Now, for a generic classifier, we define its confidence about the predicted label of an unlabeled sample. Consider data in L different classes. For an unlabeled sample i, we consider the probability vector p i = p i1 · · · p iL , where p ij denotes the probability that sample i belongs to class j. We define the classifier confidence score of point i as:
其中delta>1,E(.)代表熵函数(Entropy function). 对于置信度较高的样本,分类器置信度得分最低,即为1;
对于置信度较低的样本,分类器置信度得分最高,为delta.
该图片说明了选择低置信度样本的必要性和有效性.绿色的x表示标注的数据.
3.2. Sample Diversity 样本的多样性; More specifically, sample diversity states that informative points for classification are the ones that are sufficiently dissimilar from the labeled training samples (and from themselves in the batch mode setting).
该图说明了标注样本多样性的优势. 从左图可以看出,只标注离分界面最近的样本,仍然无法正确进行分类,但是选择那些跟训练样本不同的sample进行标注,则可以得到较好的分类效果. 为了结合多样性,已标注的训练结合L,对于未标注的结合u,我们定义多样性置信度得分为:
3.3. Selecting Informative Samples:
Recall that our goal is to have a batch mode active learning framework that selects multiple informative and diverse unlabled samples,with respect to
the labeled samples as well as each other, for annotation. 一个简答的算法只是选择具有最低置信度的样本,这种方法的缺点在于,当选择的未标注样本和已标注数据不同的时候,可能仍然具有很大的信息重合.这是因为置信度分数只反映了每一个未标注样本和
对应分类器及已标注数据之间的关系,而没有抓住未标注样本之间的联系.为了选择一些具有多样性的未标注数据,且具有较低的置信度.我们利用DSMRS算法. 我们提出解决如下凸优化问题:
---------------------------------------理论部分完毕--------------------------------
论文阅读之 A Convex Optimization Framework for Active Learning的更多相关文章
- 论文阅读:Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述:从传统方法到深度学习》
论文阅读:Face Recognition: From Traditional to Deep Learning Methods <人脸识别综述:从传统方法到深度学习> 一.引 ...
- 论文阅读:CNN-RNN: A Unified Framework for Multi-label Image Classification
CNN-RNN: A Unified Framework for Multi-label Image Classification Updated on 2018-08-07 22:30:41 Pap ...
- 论文阅读之: Hierarchical Object Detection with Deep Reinforcement Learning
Hierarchical Object Detection with Deep Reinforcement Learning NIPS 2016 WorkShop Paper : https://a ...
- 【论文阅读】DGCNN:Dynamic Graph CNN for Learning on Point Clouds
毕设进了图网络的坑,感觉有点难,一点点慢慢学吧,本文方法是<Rethinking Table Recognition using Graph Neural Networks>中关系建模环节 ...
- 深度学*点云语义分割:CVPR2019论文阅读
深度学*点云语义分割:CVPR2019论文阅读 Point Cloud Oversegmentation with Graph-Structured Deep Metric Learning 摘要 本 ...
- 【论文考古】分布式优化 Communication Complexity of Convex Optimization
J. N. Tsitsiklis and Z.-Q. Luo, "Communication complexity of convex optimization," Journal ...
- 论文阅读笔记 - Mesos: A Platform for Fine-Grained ResourceSharing in the Data Center
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 更多论文阅读笔记 http:/ ...
- 论文阅读:Review of Visual Saliency Detection with Comprehensive Information
这篇文章目前发表在arxiv,日期:20180309. 这是一篇针对多种综合性信息的视觉显著性检测的综述文章. 注:有些名词直接贴原文,是因为不翻译更容易理解.也不会逐字逐句都翻译,重要的肯定不会错过 ...
- 《Learning to warm up cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shifting Networks》论文阅读
<Learning to warm up cold Item Embeddings for Cold-start Recommendation with Meta Scaling and Shi ...
随机推荐
- MongoDB 聚合 (转) 仅限于C++开发
MongoDB除了基本的查询功能,还提供了很多强大的聚合工具,其中简单的可计算集合中的文档个数, 复杂的可利用MapReduce做复杂数据分析. 1.count count返回集合中的文档数量 db. ...
- ListView Optimization
ListView仅仅缓存了可视范围内的View,随后的滚动都是对这些View进行数据更新 1.static inner class ViewHolder and setTag() 2.use conv ...
- C++数据结构之Linked Stack(链式栈)
上一节用连续的方式实现栈,这种方法用一个确定大小的数组存储栈元素,因为当存储达到数组上限时会遇到麻烦. 连续实现的栈与链式实现的栈的最大不同在于,前者使用一个确定大小的数组存储每一个栈元素,后者使用带 ...
- javascript笔记5-BOM
Javascript应用的平台很多,不仅仅针对Web.在Web中使用Javascript,BOM(browser object model,浏览器对象模型)是核心. BOM提供了很多对象,用于访问浏览 ...
- 初次使用百度地图API
因为项目需要,不得不使用百度地图的API,以前从未了解过API,这不是唬人,真的,所以对百度地图API充满了恐惧,但是到后面,已经麻木了.期间遇到过很多错误,每一个都弄得头大,借博客的名义把平时遇到的 ...
- Win8远程[你的凭据不工作]的解决办法
用户名前加你的计算机名称就可以了....win8也会有这样的问题,有点匪夷所思了......
- lower_bound和upper_bound算法
参考:http://www.cnblogs.com/cobbliu/archive/2012/05/21/2512249.html ForwardIter lower_bound(ForwardIte ...
- LCA(RMQ)
; xh=; ..lx*] of longint; lt,dfn,fr,dep:..lx] of longint; f:..lx*,..xh] of longint; vis:..lx] of boo ...
- 归档 Archive、解档Unchive、 XML(一)
1 使用归档的方式保存文件 1.1 问题 归档是任何对象都可以实现的更常规的方式,可以进行归档的对象需要实现NSCoding协议,而且每个实例变量应该是基本数据类型或者是实现NSCoding协议的某个 ...
- MINIX3 内核时钟分析
MINIX3 内核时钟分析 4.1 内核时钟概要 先想想为什么 OS 需要时钟?时钟是异步的一个非常重要的标志,设想一下,如 果我们的应用程序需要在多少秒后将触发某个程序或者进程,我们该怎么做到? ...