ComputeSVD



      
在分布式矩阵有CoordinateMatirx,
RowMatrix, IndexedRowMatrix三种。除了CoordinateMatrix之外,IndexedRowMatrix和RowMatrix都有computeSVD方法,并且CoordinateMatrix有toIndexedRowMatrix()方法和toRowMatrix()方法可以向IndexedRowMatrix 和RowMatrix两种矩阵类型转换。

   因此主要对比 IndexedRowMatrix 和 RowMatrix 两种矩阵类型的 ComputSVD 算法进行分析
   关于SVD内容请参看维基百科,和一篇很棒的博文:《机器学习中的数学》进行了解。 一 算法描述:            def   computeSVD

( k: Int, computeU: Boolean = false, rCond: Double = 1e-9):         
                       

IndexedRowMatrix  返回类型: 
SingularValueDecomposition[IndexedRowMatrix, Matrix]
                       
RowMatrix 
              返回类型: 
SingularValueDecomposition[RowMatrix, Matrix] 
                 U                is a RowMatrix of size m x k that satisfies U' * U = eye(k),

                
S                  is a Vector of size k, holding the singular values in descending order,

                
V                  is a Matrix of size n x k that satisfies V' * V = eye(k).

              
k 
               number of leading singular values to keep (0 < k <= n). It might return less than k if there are
                                    numerically zero singular values or there are not enough Ritz values converged before the
                                    maximum number of Arnoldi update iterations is reached.

                
computeU   whether to compute U                  rCoud         the reciprocal condition number. All singular values smaller than rCond * sigma(0) are treated as zero,
                                    where sigma(0) is the largest singular value.
                 return         SingularValueDecomposition(U, s, V). U = null if computeU = false. 二 选择例子:

构建一个4×5的矩阵M:

      
矩阵的形式为svdM.txt :
                        1  0  0  0  2
                        0  0  3  0  0
                        0  0  0  0  0
                        0  4  0  0  0

M矩阵的奇异值分解后奇异矩阵s应为:

               4  0  0  0  0
                           0  3  0  0  0
                           0  0
√5 0  0
                           0  0  0  0  0

我们将通过ComputeSVD函数进行验证.

三 构造矩阵,运行算法并验证结果:   

<一> 构造RowMatrix矩阵:M
 
        scala> val M = new RowMatrix(sc.textFile("hdfs:///usr/matrix/svdM.txt").map(_.split(' '))
                                                 .map(_.map(_.toDouble)).map(_.toArray)
                                                 .map(line => Vectors.dense(line)))
        M: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix

<二> 调用算法
         scala> val svd = M.computeSVD(4, true)
         svd: SingularValueDecomposition[RowMatrix,Matrix]
        
可以看到svd是一个SingularValueDecomposition类型的对像,内部包含一个RowMatrix和一个Matrix用算法,并且此处的RowMatrix就是左奇异向量U,Matrix就是右奇异向量V.

<三> 验证结果

SingularValueDecomposition类API如下:
        

矩阵M的左奇异向量U:
        scala> scala> val U = svd.U
                   U: org.apache.spark.mllib.linalg.distributed.RowMatrix = org.apache.spark.mllib.linalg.distributed.RowMatrix
         scala> U.rows.foreach(println)
                    [0.0 ,0.0 ,  -0.9999999999999999 ,  -1.4901161193847656E-8]
                    [0.0 ,1.0 ,0.0 ,0.0]
                    [0.0 ,0.0 ,0.0 ,0.0]
                   [-1.0 ,0.0 ,0.0 ,0.0]

矩阵M的奇异值s:
         scala> val s = svd.s
                   s:  org.apache.spark.mllib.linalg.Vector = [4.0,3.0,2.23606797749979,1.4092648163485167E-8]

矩阵M的右奇异向量V:
         scala> val V = svd.V
                    V: org.apache.spark.mllib.linalg.Matrix =
                    0.0    0.0    -0.44721359549995787     0.8944271909999159
                    -1.0   0.0    0.0    0.0
                    0.0    1.0    0.0    0.0
                    0.0    0.0    0.0    0.0
                    0.0    0.0   -0.8944271909999159       -0.447213595499958

转载:SVD的更多相关文章

  1. 转载:奇异值分解(SVD) --- 线性变换几何意义(下)

    本文转载自他人: PS:一直以来对SVD分解似懂非懂,此文为译文,原文以细致的分析+大量的可视化图形演示了SVD的几何意义.能在有限的篇幅把这个问题讲解的如此清晰,实属不易.原文举了一个简单的图像处理 ...

  2. 转载:奇异值分解(SVD) --- 线性变换几何意义(上)

    本文转载自他人: PS:一直以来对SVD分解似懂非懂,此文为译文,原文以细致的分析+大量的可视化图形演示了SVD的几何意义.能在有限的篇幅把这个问题讲解的如此清晰,实属不易.原文举了一个简单的图像处理 ...

  3. 奇异值分解(SVD)原理详解及推导(转载)

    转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有 ...

  4. 奇异值分解(SVD)原理详解及推导 (转载)

    转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有 ...

  5. SVD分解的理解[转载]

    http://www.bfcat.com/index.php/2012/03/svd-tutorial/ SVD分解(奇异值分解),本应是本科生就掌握的方法,然而却经常被忽视.实际上,SVD分解不但很 ...

  6. 【转载】奇异值分解(SVD)计算过程示例

    原文链接:奇异值分解(SVD)的计算方法 奇异值分解是线性代数中一种重要的矩阵分解方法,这篇文章通过一个具体的例子来说明如何对一个矩阵A进行奇异值分解. 首先,对于一个m*n的矩阵,如果存在正交矩阵U ...

  7. 奇异值分解(SVD) --- 几何意义 (转载)

    PS:一直以来对SVD分解似懂非懂,此文为译文,原文以细致的分析+大量的可视化图形演示了SVD的几何意义.能在有限的篇幅把 这个问题讲解的如此清晰,实属不易.原文举了一个简单的图像处理问题,简单形象, ...

  8. 奇异值分解(SVD)原理与在降维中的应用

    奇异值分解(Singular Value Decomposition,以下简称SVD)是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域.是 ...

  9. 数值分析之奇异值分解(SVD)篇

    在很多线性代数问题中,如果我们首先思考若做SVD,情况将会怎样,那么问题可能会得到更好的理解[1].                                       --Lloyd N. ...

随机推荐

  1. java之mybatis之动态sql

    1. if 判读条件是否满足,满足将会把 sql 语句加上. <select id="findUser" parameterType="Map" resu ...

  2. spring加载多个配置文件如何配置

    为应用指定多个配置文件: 多个配置文件的关系: 并列 包含 并列关系 即有多个配置文件,需要同时加载这多个配置文件: 可以使用可变参数,数组和统配符进行加载: 可变参数 String config1 ...

  3. win 修改notebook路径

    开始发现 notebook 默认的路径是 C:\Users\Administrator 需要修改 将目标中的%USERPROFILE% 直接删掉了

  4. Web网站实现Google登录

    一.打开谷歌控制台:https://console.developers.google.com/apis 二.点击创建凭据,如下图,填写项目地址等 三.创建好客户端ID和秘钥后,填写对应的项目网址和登 ...

  5. Dockerfile 基本命令

    1. 前言 Dockerfile 是用来构建自定义 Docker 镜像的文本文档.我们通过docker build 命令用于从Dockerfile 文件构建镜像.如果你要构建自定义镜像,Dockerf ...

  6. Firebird 事务隔离级别

    各种RDBMS事务隔离都差不多,Firebird 中大致分为3类: CONCURRENCY.READ_COMMITTED.CONSISTENCY. 在提供的数据库驱动里可设置的事务隔离级别大致如下3类 ...

  7. 【等待事件】等待事件系列(3+4)--System IO(控制文件)+日志类等待

     [等待事件]等待事件系列(3+4)--System IO(控制文件)+日志类等待   1  BLOG文档结构图     2  前言部分   2.1  导读和注意事项 各位技术爱好者,看完本文后,你可 ...

  8. 【书评:Oracle查询优化改写】第三章

    [书评:Oracle查询优化改写]第三章 BLOG文档结构图       导读 各位技术爱好者,看完本文后,你可以掌握如下的技能,也可以学到一些其它你所不知道的知识,~O(∩_∩)O~: ① 隐含参数 ...

  9. Linux 用户账号与权限管理

    在Linux中,如何管理用户.管理权限?请看下文,谢谢配合. 用户.组概述 用户分类 超级用户:root,人为交互最高权限用户,system为最高权限用户. 普通用户:通过管理管理员创建,权限受到一定 ...

  10. 自动化运维-Ansible-playbook

    Ansible Playbook https://ansible-tran.readthedocs.io/en/latest/docs/playbooks_intro.html Ansible中文网址 ...