1、特征值分解

主要还是调包:

from numpy.linalg import eig

特征值分解:  A = P*B*PT  当然也可以写成 A = QT*B*Q  其中B为对角元为A的特征值的对角矩阵,P=QT

首先A得对称正定,然后才能在实数域上分解,

>>> A = np.random.randint(-10,10,(4,4))
>>> A
array([[ 6, 9, -10, -1],
[ 5, 9, 5, -5],
[ -8, 7, -4, 4],
[ -1, -9, 0, 6]]) >>> C = np.dot(A.T, A)
>>> C
array([[126, 52, -3, -69],
[ 52, 292, -73, -80],
[ -3, -73, 141, -31],
[-69, -80, -31, 78]]) >>> vals, vecs = eig(C)
>>> vals
array([357.33597086, 174.10172008, 8.84429957, 96.71800949])
>>> vecs
array([[-0.28738314, -0.51589436, -0.38221983, -0.71075449],
[-0.87487263, 0.12873861, -0.24968051, 0.39456798],
[ 0.2572149 , -0.69304313, -0.33950158, 0.58161018],
[ 0.29300052, 0.48679627, -0.82237845, -0.02955945]])

故使用时应先将特征值转换为矩阵:

>>> Lambda = np.diag(vals)
>>> Lambda
array([[357.33597086, 0. , 0. , 0. ],
[ 0. , 174.10172008, 0. , 0. ],
[ 0. , 0. , 8.84429957, 0. ],
[ 0. , 0. , 0. , 96.71800949]]) >>> np.dot(np.dot(vecs, Lambda), vecs.T) # 与C=A.T*A相等
array([[126., 52., -3., -69.],
[ 52., 292., -73., -80.],
[ -3., -73., 141., -31.],
[-69., -80., -31., 78.]]) >>> np.dot(np.dot(vecs.T, Lambda), vecs)
array([[171.65817919, 45.58778569, 53.20435074, 13.37512137],
[ 45.58778569, 125.15670964, 28.22684299, 134.91290105],
[ 53.20435074, 28.22684299, 129.48789571, 80.5284382 ],
[ 13.37512137, 134.91290105, 80.5284382 , 210.69721545]])

故验证了使用np中的eig分解为A=P*B*PT 而不是A=QT*B*Q,其中P=vecs,

即 C = vecs * np.diag(vals) * vecs.T # 这里简写*为矩阵乘法

然后再来看使用np中的eig分解出来的vec中行向量是特征向量还是列向量是特征向量,只需验证:A*vecs[0] = vals[0]*vecs[0]

>>> np.dot(C, vecs[0])
array([-12.84806258, -80.82266859, 6.66283128, 17.51094927])
>>> vals[0]*vecs[0]
array([-102.69233303, -184.34761071, -136.58089252, -253.97814676]) >>> np.dot(C, vecs[:,0])
array([-102.69233303, -312.62346098, 91.91213634, 104.69962583])
>>> vals[0]*vecs[:, 0]
array([-102.69233303, -312.62346098, 91.91213634, 104.69962583])

后者两个是相等的,故使用np中的eig分解出的vecs的列向量是特征向量。

然后我们可以验证P是单位正交矩阵:

>>> np.dot(vecs.T, vecs)
array([[ 1.00000000e+00, -7.13175042e-17, -2.45525952e-18,
2.75965773e-16],
[-7.13175042e-17, 1.00000000e+00, 2.49530948e-17,
-5.58839097e-16],
[-2.45525952e-18, 2.49530948e-17, 1.00000000e+00,
-7.85564967e-17],
[ 2.75965773e-16, -5.58839097e-16, -7.85564967e-17,
1.00000000e+00]]) >>> np.dot(vecs, vecs.T)
array([[ 1.00000000e+00, 2.97888865e-16, -2.68317972e-16,
1.69020590e-16],
[ 2.97888865e-16, 1.00000000e+00, -4.40952204e-18,
-6.24188690e-17],
[-2.68317972e-16, -4.40952204e-18, 1.00000000e+00,
-1.13726775e-17],
[ 1.69020590e-16, -6.24188690e-17, -1.13726775e-17,
1.00000000e+00]]) # 可以看到除对角元外其他都是非常小的数

PT*P = P*PT = E , PT=P-1。事实上,在求解P的过程中就使用了施密特正交化过程。

另一方面,我们从数学角度来看:

首先补充一些数学知识:可以看我另一篇文章:矩阵知识

A = P*B*P-1  ,其中B为对角元素为A的特征值的对角阵,P的列向量为特征值对应的特征向量(因为B每行乘以P每列)

2、奇异值分解

还是调包:

from numpy.linalg import svd

设任意矩阵A是m*n矩阵

奇异值分解:A = U*Σ*VT , 其中U为满足UTU=E的m阶(m*m)酉矩阵,Σ为对角线上为奇异值σi 其他元素为0的广义m*n对角阵,V为满足VTV=E的n阶(n*n)酉矩阵

a = np.random.randint(-10,10,(4, 3)).astype(float)

'''
array([[ -9., 3., -7.],
[ 4., -8., -1.],
[ -1., 6., -9.],
[ -4., -10., 2.]])
''' In [53]: u, s, vh = np.linalg.svd(a) # 这里vh为V的转置 In [55]: u.shape, s.shape, vh.shape
Out[55]: ((4, 4), (3,), (3, 3)) '''
In [63]: u
Out[63]:
array([[-0.53815289, 0.67354057, -0.13816841, -0.48748749],
[ 0.40133556, 0.1687729 , 0.78900752, -0.43348888],
[-0.59291924, 0.04174708, 0.59180987, 0.54448603],
[ 0.44471115, 0.71841213, -0.09020922, 0.52723647]]) In [64]: s
Out[64]: array([16.86106528, 11.07993065, 7.13719934]) In [65]: vh
Out[65]:
array([[ 0.31212695, -0.760911 , 0.56885078],
[-0.74929793, -0.56527432, -0.3449892 ],
[ 0.58406282, -0.31855829, -0.74658639]])
''' In [56]: np.allclose(a, np.dot(u[:, :3] * s, vh))
Out[56]: True # 将s转化为奇异值矩阵
In [60]: smat[:3, :3] = np.diag(s) In [61]: smat
Out[61]:
array([[16.86106528, 0. , 0. ],
[ 0. , 11.07993065, 0. ],
[ 0. , 0. , 7.13719934],
[ 0. , 0. , 0. ]]) # 验证分解的正确性
In [62]: np.allclose(a, np.dot(u, np.dot(smat, vh)))
Out[62]: True

讲一下numpy的矩阵特征值分解与奇异值分解的更多相关文章

  1. 数学基础系列(六)----特征值分解和奇异值分解(SVD)

    一.介绍 特征值和奇异值在大部分人的印象中,往往是停留在纯粹的数学计算中.而且线性代数或者矩阵论里面,也很少讲任何跟特征值与奇异值有关的应用背景. 奇异值分解是一个有着很明显的物理意义的一种方法,它可 ...

  2. 特征值分解,奇异值分解(SVD)

    特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法.两者有着很紧密的关系,我在接下来会谈到,特征值分解和奇异值分解的目的都是一样,就是提取出一个矩阵最重要的特征. 1. 特征值: 如果说一个向 ...

  3. matlab特征值分解和奇异值分解

    特征值分解 函数 eig 格式 d = eig(A)         %求矩阵A的特征值d,以向量形式存放d. d = eig(A,B)       %A.B为方阵,求广义特征值d,以向量形式存放d. ...

  4. 特征值分解与奇异值分解(SVD)

    1.使用QR分解获取特征值和特征向量 将矩阵A进行QR分解,得到正规正交矩阵Q与上三角形矩阵R.由上可知Ak为相似矩阵,当k增加时,Ak收敛到上三角矩阵,特征值为对角项. 2.奇异值分解(SVD) 其 ...

  5. 【ML】从特征分解,奇异值分解到主成分分析

    1.理解特征值,特征向量 一个对角阵\(A\),用它做变换时,自然坐标系的坐标轴不会发生旋转变化,而只会发生伸缩,且伸缩的比例就是\(A\)中对角线对应的数值大小. 对于普通矩阵\(A\)来说,是不是 ...

  6. 基于numpy实现矩阵计算器

    要求 制作一个Python的矩阵计算器: ① 程序提供任意两矩阵的加.乘法运算:方阵的行列式计算.逆矩阵计算.特征分解:任意矩阵的转置等计算功能,可自行添加功能 ② 从控制台通过键盘获取数据并完成以上 ...

  7. 【SVD、特征值分解、PCA关系】

    一.SVD    1.含义: 把矩阵分解为缩放矩阵+旋转矩阵+特征向量矩阵. A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量的空间,并对每个方向进行了一定的缩放,缩放因子就是各 ...

  8. numpy创建矩阵常用方法

    numpy创建矩阵常用方法 arange+reshape in: n = np.arange(0, 30, 2)# start at 0 count up by 2, stop before 30 n ...

  9. Python numpy中矩阵的用法总结

    关于Python Numpy库基础知识请参考博文:https://www.cnblogs.com/wj-1314/p/9722794.html Python矩阵的基本用法 mat()函数将目标数据的类 ...

随机推荐

  1. PHP归档phar性能測试

    PHP自从5.3后新增PHAR归档,Phar 归档的概念来自 Java™ 技术的 JAR 归档,它同意使用单个文件打包应用程序.这个文件里包括运行应用程序所需的全部东西.该文件不同于单个可运行文件,后 ...

  2. MySQL 参数

    I see a lot of people filtering replication with binlog-do-db, binlog-ignore-db, replicate-do-db, an ...

  3. 元类 metaclass

    metaclass 类由Type创建 对象由创建 MetaClass作用 用来指定当前类由谁来创建(默认type创建). MetaClass 会被继承,如果父类指定了元类,那么子类也是由这个元类创建 ...

  4. android 带CheckBox对话框

    package com.example.dialog4; import android.os.Bundle;import android.app.Activity;import android.app ...

  5. git安装教程(windows安装)

    git下载地址 https://git-scm.com/download/win 选择安装的组件,推荐全选 Additional icons 附加图标 ​ On the Desktop 在桌面上 Wi ...

  6. 新式转型操作符[条款9] --《C++必知必会》

    在旧式转型(cast)下面隐藏着一些见不得人的.鬼鬼祟祟的东西.他们的语法形式使其在一段代码中通常很难引起人们的注意,但它们可能会搞一些可怕的破坏活动,就好比你冷不丁被一个恶棍猛击一拳似的.让我们阐明 ...

  7. 利用trigger同步Oracle数据库

    oracle不同数据库之间进行同步数据时,可以用触发器来实现,但需要数据库A访问数据库B,那么可以通过创建数据连接来实现,代码如下: CREATE DATABASE LINK dblink_test ...

  8. Java开发者必备十大学习网站

    作为开发者来说,必备的除了对编码的热情还要有自己的一套技巧,另外不可缺少的就是平时学习的网站.以下本人收集的Java开发者必备的网站,这些网站可以提供信息,以及一些很棒的讲座, 还能解答一般问题.面试 ...

  9. IDEA 程序直接运行分析

    今天用IDEA运行SpringBoot程序,启动时始终报错说读取不到datasource的url配置. 分析代码的resources目录,是有配置文件的,配置也是正常的.如下图: 后来经人指点,是因为 ...

  10. SVN文件版本太旧问题解决

    错误信息如下: E155036: The working copy at '/Users/...' is too old (format 10) to work with client version ...