Recovering Low-Rank Matrices From Few Coefficients In Any Basis-David Gross

依旧是一个重构矩阵的问题,这篇论文的符号有些奇怪,注意一下。假设有一个矩阵\(\rho \in \mathbb{R}^{n \times n}\),其秩为\(r \ll n\)。有一组基\(w_a, a=1,\ldots, n^2\),是已知的。假设我们观测到的是,一组内积\(\{ (\rho, w_a) | a \in \Omega \}\),其中\((\rho, w_a) = tr(\rho^{\dagger}w_a)\),\(\rho^{\dagger}\)表示\(\rho\)的共轭转置。在这些条件下,我们是否能够从\(\{ (\rho, w_a) | a \in \Omega \}\)中恢复出\(\rho\)。

一些符号说明:
\(\|\rho\|_1\)为\(\rho\)的奇异值之和,即此为矩阵核范数。
\(\|\rho\|_2\)为\(\rho\)的F范数,而非一般符号代表的谱范数。
\(\|\rho\|\)为\(\rho\)的谱范数。

作者强调,这个问题,是可以办到的,不过其基需要满足一个coherence条件:

且\(\rho^{\dagger} = \rho\),即\(\rho\)为酉矩阵(不过作者提到,似乎\(\rho\)即便不满足此条件,也可以通过一种转化来求解)。

主要结果

作者通过求解下述问题来恢复矩阵\(\rho\):


需要指明的一点是,如果\((\rho, w_a),a \in \Omega\)中大部分为0,那么想要恢复出\(\rho\)是非常困难的(因为这意味着我们可用的信息非常少)。

定理2,3

下为定理2,其中的标准基为:\(\{e_i e_j^{\dagger}\}_{i,j=1}^n\),即仅有\(i\)行\(j\)列元素为1,其余均为0的\(n \times n\)矩阵所构成的基。

作者的结论更为一般,可以拓展到任意的基:

定理4

接下来还有定理4:

定理4针对的是一种特殊的基——Fourier-type基,介绍此的原因是,作者先证明此定理,再通过一些转换来证明定理3的。

直观解释

作者通过俩幅图,给出了一些直观的解释。

先来看(a)。我们可以将整个线性空间分成\(\Omega\)和\(\Omega^{\bot}\)。因为我们已有的信息是\(\Omega\),问题(1)中满足约束的矩阵\(\sigma\)在空间中形成一个超平面,即图中的\(A\),而我们所期望的\(\rho\)是其中的一点。

再来看(b),因为我们希望的是\(\rho\)是问题(1)的最优解,最好还是唯一的。如果真的如此,那么\(B = \{\sigma | \|\sigma\|_1 \le \|\rho\|_1\}\)这个集合只能在平面\(A\)的上方或者下方,实际上,就是平面A是\(B\)的支撑超平面,其支撑点为\(\rho\)。

当然,这个性质并没有这么容易达成,其等价于要满足:
\[
\|\rho + \Delta\|_1 \ge \|\rho\|_1
\]
对于\(A\)中任意的点\(\rho + \Delta \neq \rho\)成立。但是呢,直接证明是困难的,所以作者寻求一个对偶条件即下式:
\[
\|\rho + \Delta\|_1 > \|\rho\|_1 + (Y, \Delta),\Delta \neq 0
\]
关于某个\(Y\)成立,而且\(Y\)必须与超平面\(A\)垂直。这个\(Y\)能否找到,就是\(\rho\)能否恢复的关键。

Recovering Low-Rank Matrices From Few Coefficients In Any Basis的更多相关文章

  1. Generalized Low Rank Approximation of Matrices

    Generalized Low Rank Approximations of Matrices JIEPING YE*jieping@cs.umn.edu Department of Computer ...

  2. 吴恩达机器学习笔记59-向量化:低秩矩阵分解与均值归一化(Vectorization: Low Rank Matrix Factorization & Mean Normalization)

    一.向量化:低秩矩阵分解 之前我们介绍了协同过滤算法,本节介绍该算法的向量化实现,以及说说有关该算法可以做的其他事情. 举例:1.当给出一件产品时,你能否找到与之相关的其它产品.2.一位用户最近看上一 ...

  3. Sparse Principal Component Analysis via Regularized Low Rank Matrix Approximation(Adjusted Variance)

    目录 前言 文章概述 固定\(\widetilde{\mathrm{v}}\) 固定\(\widetilde{\mathrm{u}}\) Adjusted Variance 前言 这篇文章用的也是交替 ...

  4. 推荐系统(recommender systems):预测电影评分--构造推荐系统的一种方法:低秩矩阵分解(low rank matrix factorization)

    如上图中的predicted ratings矩阵可以分解成X与ΘT的乘积,这个叫做低秩矩阵分解. 我们先学习出product的特征参数向量,在实际应用中这些学习出来的参数向量可能比较难以理解,也很难可 ...

  5. 矩阵分解(rank decomposition)文章代码汇总

    矩阵分解(rank decomposition)文章代码汇总 矩阵分解(rank decomposition) 本文收集了现有矩阵分解的几乎所有算法和应用,原文链接:https://sites.goo ...

  6. {ICIP2014}{收录论文列表}

    This article come from HEREARS-L1: Learning Tuesday 10:30–12:30; Oral Session; Room: Leonard de Vinc ...

  7. ECCV 2014 Results (16 Jun, 2014) 结果已出

    Accepted Papers     Title Primary Subject Area ID 3D computer vision 93 UPnP: An optimal O(n) soluti ...

  8. CVPR 2017 Paper list

    CVPR2017 paper list Machine Learning 1 Spotlight 1-1A Exclusivity-Consistency Regularized Multi-View ...

  9. <<Numerical Analysis>>笔记

    2ed,  by Timothy Sauer DEFINITION 1.3A solution is correct within p decimal places if the error is l ...

随机推荐

  1. 聊聊OSM

    聊聊OSM 做路网的同学一定对OSM并不陌生,OSM是一个由英国人Steve Coast创立的一个项目,这个项目的目标是创建一个内容自由,且能让所有人编辑的世界地图.类似于维基百科的概念.和它对标的是 ...

  2. GC参考手册 —— GC 调优(工具篇)

    JVM 在程序执行的过程中, 提供了GC行为的原生数据.那么, 我们就可以利用这些原生数据来生成各种报告.原生数据(raw data) 包括: 各个内存池的当前使用情况, 各个内存池的总容量, 每次G ...

  3. 声明式RESTful客户端在asp.net core中的应用

    1 声明式RESTful客户端 声明式服务调用的客户端,常见有安卓的Retrofit.SpringCloud的Feign等,.net有Refit和WebApiClient,这些客户端都是以java或. ...

  4. 2018~第三届南宁市网络安全技术大赛~nnctf~write-up

    Web 1.超简单 分值:100 类型:WEB 已解决 题目:超简单的web题  http://gxnnctf.gxsosec.cn:12311/ 代码审计 <?php $white_list ...

  5. python小技巧01递归解释内嵌

    现假设有一份机器人配件名单 list[头部,躯干,肢体] 头部这个list又有鼻子眼睛嘴巴这些小零件 肢体这个list有胳膊,肩膀,手.手这个list又有3种手指 所以这个list详细写出是: lis ...

  6. python3 爬取boss直聘职业分类数据(未完成)

    import reimport urllib.request # 爬取boss直聘职业分类数据def subRule(fileName): result = re.findall(r'<p cl ...

  7. IO流-输入输出的简单实例

    InputStream和OutputStream 抽象类InputStream和OutputStream是IO流最底层的两个抽象类,所有输入/输出流的类都基于这两个类. 这两个类里最核心的三个方法是r ...

  8. 【Android】用Cubism 2制作自己的Live2D——软件的安装与破解!

    前言- 上文我们简单的了解了Cubism的情况,但是Cubism 2.X安装好以后如果不进行破解只能使用Free版本,这是我们接受不了的,我们是专业的.是来学习的,怎么能不用Pro版本呢?所以话不多说 ...

  9. OpenCV尝试

    我们来尝试,使用OpenCV来读入本地的一张图片,并使用库函数将其水平翻转.垂直翻转以及边缘提取,后将结果文件存入本地. 工具:VS2017  OpenCV4.0.1 怎么配置opencv/报错怎么办 ...

  10. 数据结构java(一)数组链表

    链表是数据结构中最基础的内容,链表在存储结构上分成两种:数组形式储存,链式存储. 相比c语言需要的结构体,在java中由于有了面向对象编程,将指针‘藏’了起来,不需要分配内存. 所以只需要创建一个对象 ...