转载:SVD
ComputeSVD
在分布式矩阵有CoordinateMatirx,
RowMatrix, IndexedRowMatrix三种。除了CoordinateMatrix之外,IndexedRowMatrix和RowMatrix都有computeSVD方法,并且CoordinateMatrix有toIndexedRowMatrix()方法和toRowMatrix()方法可以向IndexedRowMatrix 和RowMatrix两种矩阵类型转换。
因此主要对比 IndexedRowMatrix 和 RowMatrix 两种矩阵类型的 ComputSVD 算法进行分析
关于SVD内容请参看维基百科,和一篇很棒的博文:《机器学习中的数学》进行了解。 一 算法描述: def computeSVD
( k: Int, computeU: Boolean = false, rCond: Double = 1e-9):
IndexedRowMatrix 返回类型:
SingularValueDecomposition[IndexedRowMatrix, Matrix]
RowMatrix 返回类型:
SingularValueDecomposition[RowMatrix, Matrix] U is a RowMatrix of size m x k that satisfies U' * U = eye(k),
S is a Vector of size k, holding the singular values in descending order,
V is a Matrix of size n x k that satisfies V' * V = eye(k).
k
number of leading singular values to keep (0 < k <= n). It might return less than k if there are
numerically zero singular values or there are not enough Ritz values converged before the
maximum number of Arnoldi update iterations is reached.
computeU whether to compute U rCoud the reciprocal condition number. All singular values smaller than rCond * sigma(0) are treated as zero,
where sigma(0) is the largest singular value. return SingularValueDecomposition(U, s, V). U = null if computeU = false. 二 选择例子:
构建一个4×5的矩阵M:
-
- 矩阵的形式为svdM.txt :
- 1 0 0 0 2
0 0 3 0 0
0 0 0 0 0
0 4 0 0 0
M矩阵的奇异值分解后奇异矩阵s应为:
4 0 0 0 0
0 3 0 0 0
0 0 √5 0 0
0 0 0 0 0
我们将通过ComputeSVD函数进行验证.
三 构造矩阵,运行算法并验证结果:
<一> 构造RowMatrix矩阵:M
scala> val M = new RowMatrix(sc.textFile("hdfs:///usr/matrix/svdM.txt").map(_.split(' '))
.map(_.map(_.toDouble)).map(_.toArray)
.map(line => Vectors.dense(line)))
M: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix
<二> 调用算法
scala> val svd = M.computeSVD(4, true)
svd: SingularValueDecomposition[RowMatrix,Matrix]
可以看到svd是一个SingularValueDecomposition类型的对像,内部包含一个RowMatrix和一个Matrix用算法,并且此处的RowMatrix就是左奇异向量U,Matrix就是右奇异向量V.
<三> 验证结果
SingularValueDecomposition类API如下:
矩阵M的左奇异向量U:
scala> scala> val U = svd.U
U: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix
scala> U.rows.foreach(println)
[0.0 ,0.0 , -0.9999999999999999 , -1.4901161193847656E-8]
[0.0 ,1.0 ,0.0 ,0.0]
[0.0 ,0.0 ,0.0 ,0.0]
[-1.0 ,0.0 ,0.0 ,0.0]
矩阵M的奇异值s:
scala> val s = svd.s
s: org.apache.spark.mllib.linalg.Vector = [4.0,3.0,2.23606797749979,1.4092648163485167E-8]
矩阵M的右奇异向量V:
scala> val V = svd.V
V: org.apache.spark.mllib.linalg.Matrix =
0.0 0.0 -0.44721359549995787 0.8944271909999159
-1.0 0.0 0.0 0.0
0.0 1.0 0.0 0.0
0.0 0.0 0.0 0.0
0.0 0.0 -0.8944271909999159 -0.447213595499958
转载:SVD的更多相关文章
- 转载:奇异值分解(SVD) --- 线性变换几何意义(下)
本文转载自他人: PS:一直以来对SVD分解似懂非懂,此文为译文,原文以细致的分析+大量的可视化图形演示了SVD的几何意义.能在有限的篇幅把这个问题讲解的如此清晰,实属不易.原文举了一个简单的图像处理 ...
- 转载:奇异值分解(SVD) --- 线性变换几何意义(上)
本文转载自他人: PS:一直以来对SVD分解似懂非懂,此文为译文,原文以细致的分析+大量的可视化图形演示了SVD的几何意义.能在有限的篇幅把这个问题讲解的如此清晰,实属不易.原文举了一个简单的图像处理 ...
- 奇异值分解(SVD)原理详解及推导(转载)
转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有 ...
- 奇异值分解(SVD)原理详解及推导 (转载)
转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有 ...
- SVD分解的理解[转载]
http://www.bfcat.com/index.php/2012/03/svd-tutorial/ SVD分解(奇异值分解),本应是本科生就掌握的方法,然而却经常被忽视.实际上,SVD分解不但很 ...
- 【转载】奇异值分解(SVD)计算过程示例
原文链接:奇异值分解(SVD)的计算方法 奇异值分解是线性代数中一种重要的矩阵分解方法,这篇文章通过一个具体的例子来说明如何对一个矩阵A进行奇异值分解. 首先,对于一个m*n的矩阵,如果存在正交矩阵U ...
- 奇异值分解(SVD) --- 几何意义 (转载)
PS:一直以来对SVD分解似懂非懂,此文为译文,原文以细致的分析+大量的可视化图形演示了SVD的几何意义.能在有限的篇幅把 这个问题讲解的如此清晰,实属不易.原文举了一个简单的图像处理问题,简单形象, ...
- 奇异值分解(SVD)原理与在降维中的应用
奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域.是 ...
- 数值分析之奇异值分解(SVD)篇
在很多线性代数问题中,如果我们首先思考若做SVD,情况将会怎样,那么问题可能会得到更好的理解[1]. --Lloyd N. ...
随机推荐
- java之mybatis之动态sql
1. if 判读条件是否满足,满足将会把 sql 语句加上. <select id="findUser" parameterType="Map" resu ...
- spring加载多个配置文件如何配置
为应用指定多个配置文件: 多个配置文件的关系: 并列 包含 并列关系 即有多个配置文件,需要同时加载这多个配置文件: 可以使用可变参数,数组和统配符进行加载: 可变参数 String config1 ...
- win 修改notebook路径
开始发现 notebook 默认的路径是 C:\Users\Administrator 需要修改 将目标中的%USERPROFILE% 直接删掉了
- Web网站实现Google登录
一.打开谷歌控制台:https://console.developers.google.com/apis 二.点击创建凭据,如下图,填写项目地址等 三.创建好客户端ID和秘钥后,填写对应的项目网址和登 ...
- Dockerfile 基本命令
1. 前言 Dockerfile 是用来构建自定义 Docker 镜像的文本文档.我们通过docker build 命令用于从Dockerfile 文件构建镜像.如果你要构建自定义镜像,Dockerf ...
- Firebird 事务隔离级别
各种RDBMS事务隔离都差不多,Firebird 中大致分为3类: CONCURRENCY.READ_COMMITTED.CONSISTENCY. 在提供的数据库驱动里可设置的事务隔离级别大致如下3类 ...
- 【等待事件】等待事件系列(3+4)--System IO(控制文件)+日志类等待
[等待事件]等待事件系列(3+4)--System IO(控制文件)+日志类等待 1 BLOG文档结构图 2 前言部分 2.1 导读和注意事项 各位技术爱好者,看完本文后,你可 ...
- 【书评:Oracle查询优化改写】第三章
[书评:Oracle查询优化改写]第三章 BLOG文档结构图 导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① 隐含参数 ...
- Linux 用户账号与权限管理
在Linux中,如何管理用户.管理权限?请看下文,谢谢配合. 用户.组概述 用户分类 超级用户:root,人为交互最高权限用户,system为最高权限用户. 普通用户:通过管理管理员创建,权限受到一定 ...
- 自动化运维-Ansible-playbook
Ansible Playbook https://ansible-tran.readthedocs.io/en/latest/docs/playbooks_intro.html Ansible中文网址 ...