压缩感知中的数学知识:稀疏、范数、符号arg min
转自:http://blog.csdn.net/jbb0523/article/details/40262629
1、稀疏:什么是K稀疏呢?
在压缩感知里经常提到 “K稀疏” 的概念,这个是很容易理解的:也就是对于长度为N的向量(实际上是指一个N维离散离值信号)来说,它的N个元素值只有K个是非零的,其中K<<N,这时我们称这个向量是K稀疏的或者说是严格K稀疏的;实际中要做到严格K稀疏不容易,一般来说,只要除了这K个值其它的值很小很小,我们就认为向量是稀疏的,这时区别于严格K稀疏且就叫它K稀疏吧。
为什么要谈稀疏这个问题呢?因为如果信号是稀疏的,则它是可压缩的,也就是说里面那么多零,我只记录那些非零值及它的位置就好了。
当然,现实中的信号本身一般并不是稀疏的,但经过一个变换后,在一组基上面是稀疏的,这就是信号的稀疏表示。
稀疏性是压缩感知的前提。
2、范数||x||p
常见的有l0范数、l1范数、l2范数,经常要将l0范数等价为l1范数去求解,因为l1范数求解是一个凸优化问题,而l0范数求解是一个NP难问题,这些后面慢慢再说。
l0范数指的是x中非零元素的个数,即x的稀疏度,如果x是K稀疏的,则l0范数等于K;
l1范数指的是x中所有元素模值的和
l2范数指的是x中所有元素模值平方的和 再开方,这个带公式就可以了,它代表着距离的概念
还有无穷范数,指的是x中元素模的最大值
3、符号arg min
压缩感知中常见如下表示:
s.t. 表示 受约束于,是“subject to”的缩写。
为了说明argmin的含义,可以参见Wikipedia中对argmax的解释:
argmax : In mathematics, arg max stands for the argument of the maximum, that is to say, the set of points of the given argument for which the given function attains its maximum value.
(即求当满足约束条件时,使函数达到最大值的x)
举三个例子自己体会一下就可以了:
argmin与其类似,琢磨一下就是了。
下面转一段话:(max 和 argmax的区别)
y = f(t) 是一般常见的函数式,如果給定一个t值,f(t)函数式会赋一个值給y。
y = max f(t) 代表:y 是f(t)函式所有的值中最大的output。
y = arg max f(t) 代表:y 是f(t)函式中,会产生最大output的那个参数t。
看起来很模糊,举个例子应该比较好理解:
假设有一个函式 f(t),t 的可能范围是 {0,1,2},f(t=0) = 10 ;
f(t=1) = 20 ; f(t=2) = 7,那分別对应的y如下:
y = max f(t) = 20
y= arg max f(t) = 1
这一块要好好说一说,因为这是压缩感知最基本的表示,是最常见的,但在不同的论文里面表示是不统一的:
a)焦李成,杨淑媛,刘芳,侯彪.压缩感知回顾与展望[J].电子学报,2011,39(7):1651-1662.
b)石光明,刘丹华,高大化,刘哲,林杰,王良君.压缩感知理论及其进展[J].电子学报,2009,37(5):1070-1081.
c)杨海蓉,张成,丁大为,韦穗.压缩传感理论与重构算法[J].电子学报,2011,39(1):142-148.
在压缩感知理论方面,不管是用min还是argmin(文献ab与文献c区别),不管min下面有没有变量(文献a与文献b区别),其实表达的意思都是一样的:
如果用0范数,则是求得满足后面约束条件的最稀疏的x(或θ);
如果用1范数,则是求得满足后面约束条件的元素模值和最小的x(或θ);
当然两种求法在满足一定条件下(RIP)是等价的,RIP又是另一回事了,慢慢以后再说吧。
压缩感知中的数学知识:稀疏、范数、符号arg min的更多相关文章
- 压缩感知中的lp球:p范数最优化为什么总会导致一个稀疏的解的原因
转自:彬彬有礼. 压缩感知中的lp球:p范数最优化为什么总会导致一个稀疏的解的原因 http://blog.csdn.net/jbb0523/article/details/40268943 题目: ...
- NLP中一些数学知识
1.所谓概率函数就是要在整个样本空间分配概率值,概率值总和为1 2.一个完备的概率空间应该由样本空间,概率函数和事件域这三部分组成,在统计自然语言处理中,我们的目标就是为建立的模型定义一个符合上述条件 ...
- [综] Sparse Representation 稀疏表示 压缩感知
稀疏表示 分为 2个过程:1. 获得字典(训练优化字典:直接给出字典),其中字典学习又分为2个步骤:Sparse Coding和Dictionary Update:2. 用得到超完备字典后,对测试数据 ...
- 浅谈压缩感知(二十):OMP与压缩感知
主要内容: OMP在稀疏分解与压缩感知中的异同 压缩感知通过OMP重构信号的唯一性 一.OMP在稀疏分解与压缩感知中的异同 .稀疏分解要解决的问题是在冗余字典(超完备字典)A中选出k列,用这k列的线性 ...
- 浅谈压缩感知(九):正交匹配追踪算法OMP
主要内容: OMP算法介绍 OMP的MATLAB实现 OMP中的数学知识 一.OMP算法介绍 来源:http://blog.csdn.net/scucj/article/details/7467955 ...
- 浅谈压缩感知(十六):感知矩阵之RIP
在压缩感知中,总是看到"矩阵满足RIP"之类的字眼,没错,这是一个压缩感知绕不开的术语,有限等距性质(Restricted Isometry Property, RIP). 注意: ...
- 浅谈压缩感知(十五):感知矩阵之spark常数
在压缩感知中,有一些用来评价感知矩阵(非测量矩阵)的指标,如常见的RIP等,除了RIP之外,spark常数也能够用来衡量能否成为合适的感知矩阵. 0.相关概念与符号 1.零空间条件NULL Space ...
- 压缩感知重构算法之IHT算法python实现
压缩感知重构算法之OMP算法python实现 压缩感知重构算法之CoSaMP算法python实现 压缩感知重构算法之SP算法python实现 压缩感知重构算法之IHT算法python实现 压缩感知重构 ...
- 压缩感知重构算法之SP算法python实现
压缩感知重构算法之OMP算法python实现 压缩感知重构算法之CoSaMP算法python实现 压缩感知重构算法之SP算法python实现 压缩感知重构算法之IHT算法python实现 压缩感知重构 ...
随机推荐
- easyui点击搜索的时候获取不要文本框里面的值的问题
jsp的代码 <div id="tb"> <input id="AppID" placeholder="请根据申请人ID搜索&quo ...
- 使用mysqldump备份数据库
#! /bin/shday_str=`date +%j`day=`date +%Y%m%d`days_str=`echo "$day_str % 60"|bc`cd /home/d ...
- 软件安装(JDK+MySQL+TOMCAT)
一,JDK安装 1,查看当前Linux系统是否已经安装了JDK 输入 rpm -qa | grep java 如果有: 卸载两个openJDK,输入rpm -e --nodeps 要卸载的软件 2,上 ...
- hdu 3926 hands in hands
https://vjudge.net/problem/HDU-3926 题意:有n个小朋友,他们之间手拉手,但是一只手只能拉一只手或者不拉,现在给出两个图,表示拉手关系,问这两个图是否同构.思路:一开 ...
- docker~大叔对术语的解释
回到目录 接触和使用docker已经有1年多了,起初对概念本身理解的不是很好,或者说,没有找到一本比较好的书,在自己的研究下,对docker一些基本的概念有了自己的一些认识和看法,现在分享给正在学习d ...
- lombok的简单介绍和使用方法
这是上周在群里发现有人推荐lombok,他说是神器,当时就引起了我的好奇,然后下班回来我就看了看官网介绍(菜鸟英语水平),这就是难点了,然后就是大概了解了一下,就在网上查了查相关资料,周末的时候自己试 ...
- ABAP,学习不一样的EXCEL导出----XLSX Workbench
这个工具是在查找ABAP导出EXCEL资料的时候发现,是国外的一位大牛自己开发的开源项目,体验了一番,确实很好用. 工具特点: No ABAP Programming Skills are requi ...
- 开始编写寄几的 CSS 基础库
前言 在现在的互联网业务中,前端开发人员往往需要支持比较多的项目数量.很多公司只有 1-2 名前端开发人员,这其中还不乏规模比较大的公司.这时前端同学就需要独挡一面支持整个公司上下的前端业务,项目如流 ...
- java文件上传Demo
说到文件上传我们要做到: 1.引入两个包:commons-fileupload-1.2.1.jar和commons-io-1.3.2.jar 2.将form改为上传文件模式:enctype=" ...
- jenkins+ANT+jmeter 接口测试环境搭建
目的 jmeter很早就接触了,最近又在接触项目的时候整了一下.写这篇博客主要有两个目的 1,为了给自己搭建jmeter做一个总结. 2,在部署过程中遇到过一些坑,在这分享出来,也希望能给需要的人一个 ...