Stochastic Optimization of PCA with Capped MSG
从这里回溯到此文章,这篇文章得作者是之前那篇文章的第三作者,里头提到的算法也及其相似,所以算是前者的基础吧。
Problem
这篇文章同样是关于PCA(在线或者说随机),试图寻找一个合适的\(k-\)维的子空间去压缩数据。
普通的PCA,是下面的这种形式:
但是因为这是一个非凸的问题,所以并不容易求解(特征分解然后去前k个主向量忽略,因为这时在线的或者说随机的)。
论文将这个问题进行了第一步放缩:
但是\(rankM=k\)这个条件依然不是凸的。
第二次放缩:
这一次问题和条件都是凸的了,所以这就是一个凸优化问题了。不过,作者刻意提及(3.1)的原因是,可以证明,(3.2)的最优解可以分解为(3.1)的解的凸线性组合[Warmuth, Kuzmin 2008]。
Matrix Stochastic Gradient
每一次迭代,都将进行下面的步骤:
算法(MSG)
步骤二和步骤四会在下面讲到,问题是步骤三上,我不明白为什么需要取个平均值,我感觉直接取最后一个矩阵M就可以了。
步骤二(单次迭代)
算法
每一次迭代,都会先对\(M'+U'diag(\sigma')(U')^{\top}\)进行特征分解,但是并不是直接分解,而是使用了一个技巧,姑且称之为单步SVD,这个分解方法会利用之前\(M'\)的\(U'\)的结果。
单步SVD
为了方便,我们令\(\eta = 1\)且:
上面的算法就是先进行了单步SVD,然后再进行\(project()\)。为什么要进行这个\(project()\)呢,因为新的\(M\)并不满足(3.2)的\(tr(M)=k\)的条件,所以通过\(project()\),映射到一个新的矩阵。
这个矩阵是唯一的,且满足下面的性质:
- 迹为k,同时矩阵的特征向量和原来一样
- 最大特征值不会超过1
唯一性由下面这个引理给出
\(project()\)算法
这个算法看起来复杂,但目的很单纯。
\(\sigma_1 \quad \sigma_2 \: \mathop{\uparrow}\limits^{i}\: \sigma_3\ldots\sigma_m \:\mathop{\uparrow}\limits^{j} \: \sigma_{m+1} \quad \sigma_{m+2} \quad\)
注意上面的\(m+2\)个奇异值(从小到大排列),每个\(\sigma\)对应一个代表其个数\(\kappa\)。
\(i,j\)满足(i=0,1或者j=m+2为特殊情况):
\(\sigma_{i-1} + S<0\) \(\quad \sigma_{j+1} + S\geq 1\)
\(S\)根据上面算法的式子算的,且可验证,这样的S是一定存在的。
则,进行下面操作:
小于\(\sigma_i\)的奇异值截为0,大于等于\(\sigma_{j+1}\)的奇异值截为1,
其余的保持为\(\sigma+S\)
就这么经过\(T\)步的岁月,\(M\)来到了生命的尽头,站在悬崖上,朝远处眺望,夕阳、红霞分外美丽:
“啊!我的迹是\(k\),可我的秩呢?”说罢,老泪纵横。
没错,辛苦了这么久,我们得到(3.2)的解,接下来,就需要\(Rounding(M)\)使得迹为\(k\)的\(M\)的秩变为\(k\),这个问题,在之前的论文也提到了,当时不清楚,现在,其实也不怎么清楚,但好歹有个了解,不过我保证我讲不清楚,如果真的想知道,还是看论文吧——这是一种分解方法。
\(rounding()\)
来到:Here
Randomized Online PCA Algorithms with Regret Bounds that are Logarithmic in the Dimension
由Manfred K. Warmuth 和 Dima Kuzmi在08年发表的文章。
这篇论文挑个时间再好好看看吧,先把其中一部分在这里讲一下,但可能不对。
这里就只摆上三个算法吧。大概是这个意思,有个概率向量\(\mathsf{w}\),每个分量表示舍弃该主成分的概率,但我们都知道,舍弃了一部分,就会产生误差,\(\mathbb{l}\)就表示这个损失,每个分量表示舍弃该成分的一个损失(貌似单位化了)。
每次\(\mathsf{w}\)都会更新,根据损失。
论文稍微改进了一下,就是将\(\mathsf{w}\)分解为\(\mathop{\sum}\limits_{i}p_ir_i\),每个\(r_i\)都有\(n-k\)个非零项\(\frac{1}{n-k}\),这样,算法3就是先根据\(p_i\)采样到一个分解项\(r_j\),\(r_j\)中的非零项,表示对应成分是要被舍弃的,根据损失,对\(\mathsf{w}\)进行更新,循环往复。
当然这个算法如何应用到矩阵的选择上,根据后面的描述,应该是利用SVD,然后将其中的对角序列,看成\(\mathsf{w}\)进行选择,不过具体的还没怎么看,到时候再说吧。
Stochastic Optimization of PCA with Capped MSG的更多相关文章
- TensorFlow 深度学习笔记 Stochastic Optimization
Stochastic Optimization 转载请注明作者:梦里风林 Github工程地址:https://github.com/ahangchen/GDLnotes 欢迎star,有问题可以到I ...
- Stochastic Optimization Techniques
Stochastic Optimization Techniques Neural networks are often trained stochastically, i.e. using a me ...
- ADAM : A METHOD FOR STOCHASTIC OPTIMIZATION
目录 概 主要内容 算法 选择合适的参数 一些别的优化算法 AdaMax 理论 代码 Kingma D P, Ba J. Adam: A Method for Stochastic Optimizat ...
- (转) An overview of gradient descent optimization algorithms
An overview of gradient descent optimization algorithms Table of contents: Gradient descent variants ...
- First release of mlrMBO - the toolbox for (Bayesian) Black-Box Optimization
We are happy to finally announce the first release of mlrMBO on cran after a quite long development ...
- An overview of gradient descent optimization algorithms
原文地址:An overview of gradient descent optimization algorithms An overview of gradient descent optimiz ...
- 论文翻译:2021_Decoupling magnitude and phase optimization with a two-stage deep network
论文地址:两阶段深度网络的解耦幅度和相位优化 论文代码: 引用格式:Li A, Liu W, Luo X, et al. ICASSP 2021 deep noise suppression chal ...
- 【机器学习Machine Learning】资料大全
昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machi ...
- FAQ: Machine Learning: What and How
What: 就是将统计学算法作为理论,计算机作为工具,解决问题.statistic Algorithm. How: 如何成为菜鸟一枚? http://www.quora.com/How-can-a-b ...
随机推荐
- java使用插件pagehelper在mybatis中实现分页查询
摘要: com.github.pagehelper.PageHelper是一款好用的开源免费的Mybatis第三方物理分页插件 PageHelper是国内牛人的一个开源项目,有兴趣的可以去看源码,都有 ...
- SQL SERVER数据库级的触发器
CREATE TRIGGER [Object_Change_Trigger_DDL] ON database FOR DROP_TABLE AS DECLARE @EventData AS xml; ...
- Lua不显示小数点0的部分
我的环境:Unity3D 5.3.7p4 XLua版本v2.1.6 基于Lua5.3 (https://github.com/Tencent/xLua) 在Lua中数字不区分整型或浮点型,所有都是nu ...
- 介绍一个比较了各种浏览器对于HTML5 等标准支持程度的网站
可以选择浏览器种类,版本,比较的功能 网站地址:https://caniuse.com/#comparison
- JAVA初识,JAVA是什么?
一.什么是JAVA Java是一门面向对象编程语言,不仅吸收了C++语言的各种优点,还摒弃了C++里难以理解的多继承.指针等概念,因此Java语言具有功能强大和简单易用两个特征. Java语言作为静态 ...
- CVE-2017-8464 分析
目录 CVE-2017-8464(stuxnet 3.0) 分析 0xFF 前言 0x00 分析工具 0x01 漏洞复现 1).生成一个DLL用于测试 2).构造一个恶意的lnk二进制文件 3).RU ...
- AppiumLibrary常用关键字
通过上一章节,open application关键字的使用,相信大家对手机自动化充满了兴趣,那么今天这一章节,主要介绍AppiumLibrary中常用关键字的使用. 一.实用函数 关键字 含义 实例 ...
- C# -- 随机数产生的字母金字塔
C# -- 随机数产生的字母金字塔 1. 代码实现: static void Main(string[] args) { showNpoint(); Console.ReadKey(); } priv ...
- February 28th, 2018 Week 9th Wednesday
Knowledge makes humble, ignorance makes proud. 博学使人谦逊,无知使人骄傲. Humility is not equal with being passi ...
- npm方法
1. 使用npm 下载全局包 npm install 包名字 -g 安装 npm uninstall 包名字 -g 卸载 2. 安装卸载本地的包 (在哪里执行命令就把包安装在哪个目录的node_mod ...