Recovering Low-Rank Matrices From Few Coefficients In Any Basis
Recovering Low-Rank Matrices From Few Coefficients In Any Basis-David Gross
引
依旧是一个重构矩阵的问题,这篇论文的符号有些奇怪,注意一下。假设有一个矩阵\(\rho \in \mathbb{R}^{n \times n}\),其秩为\(r \ll n\)。有一组基\(w_a, a=1,\ldots, n^2\),是已知的。假设我们观测到的是,一组内积\(\{ (\rho, w_a) | a \in \Omega \}\),其中\((\rho, w_a) = tr(\rho^{\dagger}w_a)\),\(\rho^{\dagger}\)表示\(\rho\)的共轭转置。在这些条件下,我们是否能够从\(\{ (\rho, w_a) | a \in \Omega \}\)中恢复出\(\rho\)。
一些符号说明:
\(\|\rho\|_1\)为\(\rho\)的奇异值之和,即此为矩阵核范数。
\(\|\rho\|_2\)为\(\rho\)的F范数,而非一般符号代表的谱范数。
\(\|\rho\|\)为\(\rho\)的谱范数。
作者强调,这个问题,是可以办到的,不过其基需要满足一个coherence条件:
且\(\rho^{\dagger} = \rho\),即\(\rho\)为酉矩阵(不过作者提到,似乎\(\rho\)即便不满足此条件,也可以通过一种转化来求解)。
主要结果
作者通过求解下述问题来恢复矩阵\(\rho\):
需要指明的一点是,如果\((\rho, w_a),a \in \Omega\)中大部分为0,那么想要恢复出\(\rho\)是非常困难的(因为这意味着我们可用的信息非常少)。
定理2,3
下为定理2,其中的标准基为:\(\{e_i e_j^{\dagger}\}_{i,j=1}^n\),即仅有\(i\)行\(j\)列元素为1,其余均为0的\(n \times n\)矩阵所构成的基。
作者的结论更为一般,可以拓展到任意的基:
定理4
接下来还有定理4:
定理4针对的是一种特殊的基——Fourier-type基,介绍此的原因是,作者先证明此定理,再通过一些转换来证明定理3的。
直观解释
作者通过俩幅图,给出了一些直观的解释。
先来看(a)。我们可以将整个线性空间分成\(\Omega\)和\(\Omega^{\bot}\)。因为我们已有的信息是\(\Omega\),问题(1)中满足约束的矩阵\(\sigma\)在空间中形成一个超平面,即图中的\(A\),而我们所期望的\(\rho\)是其中的一点。
再来看(b),因为我们希望的是\(\rho\)是问题(1)的最优解,最好还是唯一的。如果真的如此,那么\(B = \{\sigma | \|\sigma\|_1 \le \|\rho\|_1\}\)这个集合只能在平面\(A\)的上方或者下方,实际上,就是平面A是\(B\)的支撑超平面,其支撑点为\(\rho\)。
当然,这个性质并没有这么容易达成,其等价于要满足:
\[
\|\rho + \Delta\|_1 \ge \|\rho\|_1
\]
对于\(A\)中任意的点\(\rho + \Delta \neq \rho\)成立。但是呢,直接证明是困难的,所以作者寻求一个对偶条件即下式:
\[
\|\rho + \Delta\|_1 > \|\rho\|_1 + (Y, \Delta),\Delta \neq 0
\]
关于某个\(Y\)成立,而且\(Y\)必须与超平面\(A\)垂直。这个\(Y\)能否找到,就是\(\rho\)能否恢复的关键。
Recovering Low-Rank Matrices From Few Coefficients In Any Basis的更多相关文章
- Generalized Low Rank Approximation of Matrices
Generalized Low Rank Approximations of Matrices JIEPING YE*jieping@cs.umn.edu Department of Computer ...
- 吴恩达机器学习笔记59-向量化:低秩矩阵分解与均值归一化(Vectorization: Low Rank Matrix Factorization & Mean Normalization)
一.向量化:低秩矩阵分解 之前我们介绍了协同过滤算法,本节介绍该算法的向量化实现,以及说说有关该算法可以做的其他事情. 举例:1.当给出一件产品时,你能否找到与之相关的其它产品.2.一位用户最近看上一 ...
- Sparse Principal Component Analysis via Regularized Low Rank Matrix Approximation(Adjusted Variance)
目录 前言 文章概述 固定\(\widetilde{\mathrm{v}}\) 固定\(\widetilde{\mathrm{u}}\) Adjusted Variance 前言 这篇文章用的也是交替 ...
- 推荐系统(recommender systems):预测电影评分--构造推荐系统的一种方法:低秩矩阵分解(low rank matrix factorization)
如上图中的predicted ratings矩阵可以分解成X与ΘT的乘积,这个叫做低秩矩阵分解. 我们先学习出product的特征参数向量,在实际应用中这些学习出来的参数向量可能比较难以理解,也很难可 ...
- 矩阵分解(rank decomposition)文章代码汇总
矩阵分解(rank decomposition)文章代码汇总 矩阵分解(rank decomposition) 本文收集了现有矩阵分解的几乎所有算法和应用,原文链接:https://sites.goo ...
- {ICIP2014}{收录论文列表}
This article come from HEREARS-L1: Learning Tuesday 10:30–12:30; Oral Session; Room: Leonard de Vinc ...
- ECCV 2014 Results (16 Jun, 2014) 结果已出
Accepted Papers Title Primary Subject Area ID 3D computer vision 93 UPnP: An optimal O(n) soluti ...
- CVPR 2017 Paper list
CVPR2017 paper list Machine Learning 1 Spotlight 1-1A Exclusivity-Consistency Regularized Multi-View ...
- <<Numerical Analysis>>笔记
2ed, by Timothy Sauer DEFINITION 1.3A solution is correct within p decimal places if the error is l ...
随机推荐
- 聊聊OSM
聊聊OSM 做路网的同学一定对OSM并不陌生,OSM是一个由英国人Steve Coast创立的一个项目,这个项目的目标是创建一个内容自由,且能让所有人编辑的世界地图.类似于维基百科的概念.和它对标的是 ...
- GC参考手册 —— GC 调优(工具篇)
JVM 在程序执行的过程中, 提供了GC行为的原生数据.那么, 我们就可以利用这些原生数据来生成各种报告.原生数据(raw data) 包括: 各个内存池的当前使用情况, 各个内存池的总容量, 每次G ...
- 声明式RESTful客户端在asp.net core中的应用
1 声明式RESTful客户端 声明式服务调用的客户端,常见有安卓的Retrofit.SpringCloud的Feign等,.net有Refit和WebApiClient,这些客户端都是以java或. ...
- 2018~第三届南宁市网络安全技术大赛~nnctf~write-up
Web 1.超简单 分值:100 类型:WEB 已解决 题目:超简单的web题 http://gxnnctf.gxsosec.cn:12311/ 代码审计 <?php $white_list ...
- python小技巧01递归解释内嵌
现假设有一份机器人配件名单 list[头部,躯干,肢体] 头部这个list又有鼻子眼睛嘴巴这些小零件 肢体这个list有胳膊,肩膀,手.手这个list又有3种手指 所以这个list详细写出是: lis ...
- python3 爬取boss直聘职业分类数据(未完成)
import reimport urllib.request # 爬取boss直聘职业分类数据def subRule(fileName): result = re.findall(r'<p cl ...
- IO流-输入输出的简单实例
InputStream和OutputStream 抽象类InputStream和OutputStream是IO流最底层的两个抽象类,所有输入/输出流的类都基于这两个类. 这两个类里最核心的三个方法是r ...
- 【Android】用Cubism 2制作自己的Live2D——软件的安装与破解!
前言- 上文我们简单的了解了Cubism的情况,但是Cubism 2.X安装好以后如果不进行破解只能使用Free版本,这是我们接受不了的,我们是专业的.是来学习的,怎么能不用Pro版本呢?所以话不多说 ...
- OpenCV尝试
我们来尝试,使用OpenCV来读入本地的一张图片,并使用库函数将其水平翻转.垂直翻转以及边缘提取,后将结果文件存入本地. 工具:VS2017 OpenCV4.0.1 怎么配置opencv/报错怎么办 ...
- 数据结构java(一)数组链表
链表是数据结构中最基础的内容,链表在存储结构上分成两种:数组形式储存,链式存储. 相比c语言需要的结构体,在java中由于有了面向对象编程,将指针‘藏’了起来,不需要分配内存. 所以只需要创建一个对象 ...