用 GSL 求解超定方程组及矩阵的奇异值分解(SVD)
用 GSL 求解超定方程组及矩阵的奇异值分解(SVD)
最近在学习高动态图像（HDR）合成的算法，其中需要求解一个超定方程组，因此花了点时间研究了一下如何用 GSL 来解决这个问题。
GSL 里是有最小二乘法拟合（Least-Squares Fitting）的相关算法，这些算法的声明在 gsl_fit.h 中，所以直接用 GSL 提供的 gsl_fit_linear 函数就能解决这个问题。不过我想顺便多学习一些有关 SVD 的知识。所以就没直接使用 gsl_fit_linear 函数。
SVD 分解的一些基本概念
关于 SVD 有两篇不错的科普文：
- A Singularly Valuable Decomposition: The SVD of a Matrix
- We Recommend a Singular Value Decomposition
建议大家找来读读，这两篇文章似乎都已经有人翻译成中文了。
所谓 SVD，就是把一个矩阵 Am×n 分解为三个特殊矩阵 Um×n、Sn×n、Vn×n 的乘积。
上面式子中的 T 表示矩阵的转置。分解之后的这三个矩阵还要满足些特殊条件，其中 Um×n 和 Vn×n 是正交矩阵，也就是满足：
矩阵 S 是对角矩阵，只有主对角线上的元素非 0。
因为矩阵 Um×n、Sn×n、Vn×n 的都具有很好的性质，所以这样的分解可以更好的帮助我们了解原始矩阵 A 的性质。
举例来说，如果矩阵 A 是个满秩方阵，那么 A 是可逆的。A 的逆可以写为:
这里 V 和 U 因为是正交矩阵，所以 V−1=VT， U−1=UT。S 是对角矩阵，求逆也很简单，就是把主对角线上每个元素取个倒数而已。
GSL 中的相关函数
gsl 中提供了好几个函数来计算 SVD：
- gsl_linalg_SV_decomp 这个是最基本的，使用 Golub-Reinsch SVD 算法，一般我们用这个就够了。
- gsl_linalg_SV_decomp_mod 这个是改进后的 Golub-Reinsch SVD 算法，当 M≫N 时比 Golub-Reinsch SVD 算法要快。
- gsl_linalg_SV_decomp_jacobi 这个算法用到了 Jacobi 正交化，号称计算结果比 Golub-Reinsch SVD 算法要更准确。
除此之外，还有个 gsl_linalg_SV_solve 函数。这个就是利用 SVD 的结果来求解线性代数方程组的。
把这几个函数组合一下就可以合成一个求解线性代数方程组 A⋅x=b的函数了。
下面是函数代码：
void linearSolve_SVD(const gsl_matrix * A, const gsl_vector * b, gsl_vector * x)
{
int rows = A->size1;
int cols = A->size2;
gsl_vector * work = gsl_vector_alloc (cols);
gsl_vector * S = gsl_vector_alloc (cols);
gsl_matrix * U = gsl_matrix_alloc(rows, cols);;
gsl_matrix * V = gsl_matrix_alloc(cols, cols);
gsl_matrix_memcpy (U, A); // 为了不破坏 A 中原始的数据，这里全都拷贝到 U 中
gsl_linalg_SV_decomp( U, V, S, work );
gsl_linalg_SV_solve ( U, V, S, b, x );
gsl_vector_free(work);
gsl_vector_free(S);
gsl_matrix_free(V);
gsl_matrix_free(U);
}当 A 是满秩方阵时，计算出来的 x 就是我们一般意义上的方程的解。
下面举一个具体的例子：
下面是测试代码：
void test1()
{
double a_data[] = {1.4, 2.1, 2.1, 7.4, 9.6,
1.6, 1.5, 1.1, 0.7, 5.0,
3.8, 8.0, 9.6, 5.4, 8.8,
4.6, 8.2, 8.4, 0.4, 8.0,
2.6, 2.9, 0.1, 9.9, 7.7};
gsl_matrix_view A = gsl_matrix_view_array (a_data, 5, 5);
double b_data[] = {1.1, 1.6, 4.7, 9.1, 0.1};
gsl_vector_view b = gsl_vector_view_array (b_data, 5);
gsl_vector * x = gsl_vector_alloc (5);
linearSolve_SVD(&A.matrix, &b.vector, x);
gsl_vector_fprintf (stdout, x, "%f");
qDebug() << "";
gsl_vector * bb = gsl_vector_alloc (5);
gsl_blas_dgemv (CblasNoTrans, 1, &A.matrix, x, 0, bb);
gsl_vector_fprintf (stdout, bb, "%f");
}输出结果如下：
-5.208566
5.736694
-2.537472
-1.029814
0.968151
1.100000
1.600000
4.700000
9.100000
0.100000
可以看出计算结果还是很准确的。
当 A 的行数大于列数时求得的是最小二乘意义下的解，也就是 ||A⋅x−b||2 最小的解。下面给个例子：
测试代码如下：
void test3()
{
double a_data[] = {2, 4,
3, -5,
1, 2};
gsl_matrix_view A = gsl_matrix_view_array (a_data, 3, 2);
double b_data[] = {11, 3, 6};
gsl_vector_view b = gsl_vector_view_array (b_data, 3);
gsl_vector * x = gsl_vector_alloc (2);
linearSolve_SVD(&A.matrix, &b.vector, x);
gsl_vector_fprintf (stdout, x, "%f");
qDebug() << "";
gsl_vector * bb = gsl_vector_alloc (3);
gsl_blas_dgemv (CblasNoTrans, 1, &A.matrix, x, 0, bb);
gsl_vector_fprintf (stdout, bb, "%f");
}计算结果如下：
3.090909
1.254545
11.200000
3.000000
5.600000
如果 A 不满秩，那么 x 是不唯一的。这时算出来的其中一个解。 下面给个例子：
方程很简单，口算就可以出结果，这个方程的解是：
下面用我们的代码计算一下。
void test4()
{
double a_data[] = {1, 2,
2, 4};
gsl_matrix_view A = gsl_matrix_view_array (a_data, 2, 2);
double b_data[] = {3, 6};
gsl_vector_view b = gsl_vector_view_array (b_data, 2);
gsl_vector * x = gsl_vector_alloc (2);
linearSolve_SVD(&A.matrix, &b.vector, x);
gsl_vector_fprintf (stdout, x, "%f");
qDebug() << "";
gsl_vector * bb = gsl_vector_alloc (2);
gsl_blas_dgemv (CblasNoTrans, 1, &A.matrix, x, 0, bb);
gsl_vector_fprintf (stdout, bb, "%f");
}结果是：
-3.400000
3.200000
3.000000
6.000000
可以验算，(−3.4,3.2)T 确实是方程的一个解。其实用 SVD 我们可以求出方程的全部解的，但是我们需要 S 和 V 的值，所以上面的 linearSolve_SVD 函数就不够用了。
下面我们将 SVD 相关的功能封装成一个类，以方便我们提取 S 和 V 的值。
另外，当我们一个 A 有多组 x 需要求解时，也只需要计算一次 SVD 分解，用下面的类能减少很多计算量。
头文件如下：
#ifndef GSLSINGULARVALUEDECOMPOSITION_H
#define GSLSINGULARVALUEDECOMPOSITION_H
#include <gsl/gsl_matrix.h>
#include <gsl/gsl_vector.h>
#include <gsl/gsl_blas.h>
#include <gsl/gsl_linalg.h>
#include <gsl/gsl_errno.h>
void linearSolve_SVD(const gsl_matrix * A, const gsl_vector * b, gsl_vector * x);
class GslSVD
{
public:
GslSVD();
~GslSVD();
int SV_decomp(const gsl_matrix * A);
int SV_decomp_mod(const gsl_matrix * A);
int SV_decomp_jacobi (gsl_matrix * A);
int SV_solve(const gsl_vector *b, gsl_vector *x);
gsl_vector * getVectorS();
gsl_matrix * getMatrixU();
gsl_matrix * getMatrixV();
int trimVectorS(double abseps);
private:
gsl_vector * S;
gsl_matrix * U;
gsl_matrix * V;
void alloc_suv(int rows, int cols);
};
#endif // GSLSINGULARVALUEDECOMPOSITION_H
cpp 文件如下:
#include "gsl_SVD.h"
void linearSolve_SVD(const gsl_matrix * A, const gsl_vector * b, gsl_vector * x)
{
int rows = A->size1;
int cols = A->size2;
gsl_vector * work = gsl_vector_alloc (cols);
gsl_vector * S = gsl_vector_alloc (cols);
gsl_matrix * U = gsl_matrix_alloc(rows, cols);;
gsl_matrix * V = gsl_matrix_alloc(cols, cols);
gsl_matrix_memcpy (U, A); // 为了不破坏 A 中原始的数据，这里全都拷贝到 U 中
gsl_linalg_SV_decomp( U, V, S, work );
gsl_linalg_SV_solve ( U, V, S, b, x );
gsl_vector_free(work);
gsl_vector_free(S);
gsl_matrix_free(V);
gsl_matrix_free(U);
}
int GslSVD::trimVectorS(double abseps)
{
int count = 0;
for(int i = 0; i < S->size; i++)
{
if(fabs(gsl_vector_get(S, i)) < abseps)
{
count ++;
gsl_vector_set(S, i, 0);
}
}
return count;
}
gsl_vector * GslSVD::getVectorS()
{
if(S == NULL) return NULL;
gsl_vector * s = gsl_vector_alloc(S->size);
gsl_vector_memcpy(s, S);
return s;
}
gsl_matrix * GslSVD::getMatrixU()
{
if(U == NULL) return NULL;
gsl_matrix * u = gsl_matrix_alloc(U->size1, U->size2);
gsl_matrix_memcpy(u, U);
return u;
}
gsl_matrix * GslSVD::getMatrixV()
{
if(V == NULL) return NULL;
gsl_matrix * v = gsl_matrix_alloc(V->size1, V->size2);
gsl_matrix_memcpy(v, V);
return v;
}
GslSVD::GslSVD()
{
S = NULL;
U = NULL;
V = NULL;
}
void GslSVD::alloc_suv(int rows, int cols)
{
if( S != NULL )
{
gsl_vector_free(S);
gsl_matrix_free(U);
gsl_matrix_free(V);
}
S = gsl_vector_alloc (cols);
U = gsl_matrix_alloc(rows, cols);
V = gsl_matrix_alloc(cols, cols);
}
int GslSVD::SV_decomp(const gsl_matrix * A)
{
int rows = A->size1;
int cols = A->size2;
gsl_vector * work = gsl_vector_alloc (cols);
alloc_suv(rows, cols);
gsl_matrix_memcpy (U, A); // 为了不破坏 A 中原始的数据，这里全都拷贝到 U 中
int ret = gsl_linalg_SV_decomp( U, V, S, work );
gsl_vector_free(work);
return ret;
}
int GslSVD::SV_decomp_mod(const gsl_matrix * A)
{
int rows = A->size1;
int cols = A->size2;
gsl_vector * work = gsl_vector_alloc (cols);
gsl_matrix *X = gsl_matrix_alloc(cols, cols);
alloc_suv(rows, cols);
gsl_matrix_memcpy (U, A); // 为了不破坏 A 中原始的数据，这里全都拷贝到 U 中
int ret = gsl_linalg_SV_decomp_mod( U, X, V, S, work );
gsl_matrix_free(X);
gsl_vector_free(work);
return ret;
}
int GslSVD::SV_decomp_jacobi (gsl_matrix * A)
{
int rows = A->size1;
int cols = A->size2;
alloc_suv(rows, cols);
gsl_matrix_memcpy (U, A); // 为了不破坏 A 中原始的数据，这里全都拷贝到 U 中
int ret = gsl_linalg_SV_decomp_jacobi( U, V, S );
return ret;
}
int GslSVD::SV_solve(const gsl_vector *b, gsl_vector *x)
{
if(U != NULL)
{
return gsl_linalg_SV_solve (U, V, S, b, x);
}
return -1;
}
GslSVD::~GslSVD()
{
if(S != NULL)
{
gsl_vector_free(S);
gsl_matrix_free(V);
gsl_matrix_free(U);
}
}下面用这个类来计算一下刚才的问题：
void test5()
{
double a_data[] = {1, 2,
2, 4};
gsl_matrix_view A = gsl_matrix_view_array (a_data, 2, 2);
GslSVD svd;
svd.SV_decomp(&A.matrix);
puts("S = ");
gsl_vector_fprintf (stdout, svd.getVectorS(), "%f");
puts("\nV = ");
gsl_matrix_fprintf (stdout, svd.getMatrixV(), "%f");
double b_data[] = {3, 6};
gsl_vector_view b = gsl_vector_view_array (b_data, 2);
gsl_vector * x = gsl_vector_alloc (2);
svd.SV_solve(b, x);
puts("\nx = ");
gsl_vector_fprintf (stdout, x, "%f");
}结果如下：
S =
5.000000
0.000000
V =
-0.447214
-0.894427
-0.894427
0.447214
x =
-3.400000
3.200000
我们注意到 S 的第二个元素是 0，这表明 V 的对应列（第二列）是方程解的自由向量。所以我们方程的解可以写为：
大家可以验证一下，这个解是正确的。
另外，我写的类中还提供了一个 trimVectorS(double abseps) 函数，利用这个函数，可以将 S 所有小于 abseps 的项直接替换为 0。之所以提供了这个函数，是因为由于计算误差等的影响，S 中一些本应该是 0 的项可能计算出的结果不是 0。用这个函数就可以解决这个问题。还有些矩阵，条件数很大，方程呈现病态，用这个函数也能解决些问题。
好了，就先写这么多。希望对大家有用。
用 GSL 求解超定方程组及矩阵的奇异值分解(SVD)的更多相关文章
- 用 GSL 求解超定方程组及矩阵的奇异值分解(SVD) 2
接上一篇... 下面我们将 SVD 相关的功能封装成一个类,以方便我们提取 S 和 V 的值. 另外,当我们一个 A 有多组 x 需要求解时,也只需要计算一次 SVD 分解,用下面的类能减少很多计算量 ...
- Python最小二乘法解非线性超定方程组
求解非线性超定方程组,网上搜到的大多是线性方程组的最小二乘解法,对于非线性方程组无济于事. 这里分享一种方法:SciPy库的scipy.optimize.leastsq函数. import numpy ...
- 小游戏 Lights Out (关灯) 的求解 —— 异或方程组
Author : Evensgn Blog Link : http://www.cnblogs.com/JoeFan/ Article Link : http://www.cnblogs.com/J ...
- 高斯消元法求解异或方程组： cojs.tk 539.//BZOJ 1770 牛棚的灯
高斯消元求解异或方程组: 比较不错的一篇文章:http://blog.sina.com.cn/s/blog_51cea4040100g7hl.html cojs.tk 539. 牛棚的灯 ★★☆ ...
- 【poj1830-开关问题】高斯消元求解异或方程组
第一道高斯消元题目~ 题目:有N个相同的开关,每个开关都与某些开关有着联系,每当你打开或者关闭某个开关的时候,其他的与此开关相关联的开关也会相应地发生变化,即这些相联系的开关的状态如果原来为开就变为关 ...
- 机器学习降维方法概括， LASSO参数缩减、主成分分析PCA、小波分析、线性判别LDA、拉普拉斯映射、深度学习SparseAutoEncoder、矩阵奇异值分解SVD、LLE局部线性嵌入、Isomap等距映射
机器学习降维方法概括 版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/u014772862/article/details/52335970 最近 ...
- 矩阵奇异值分解(SVD)及其应用
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用(好文) [简化数据]奇异值分解(SVD) <数学之美> 第15章 矩阵运算和文本处理中的两个分类问题
- 矩阵的奇异值分解（SVD）（理论）
矩阵的奇异值分解(Singular Value Decomposition,SVD)是数值计算中的精彩之处,在其它数学领域和机器学习领域得到了广泛的应用,如矩阵的广义逆,主分成分析(PCA),自然语言 ...
- 奇异值分解(SVD)和最小二乘解在解齐次线性超定方程中的应用
奇异值分解,是在A不为方阵时的对特征值分解的一种拓展.奇异值和特征值的重要意义相似,都是为了提取出矩阵的主要特征. 对于齐次线性方程 A*X =0;当A的秩大于列数时,就需要求解最小二乘解,在||X| ...
随机推荐
- HDU 1079 Calendar Game （博弈论-sg）
版权声明:欢迎关注我的博客,本文为博主[炒饭君]原创文章.未经博主同意不得转载 https://blog.csdn.net/a1061747415/article/details/32336485 C ...
- webpack中使用babel处理es6语法
index.js const arr = [ new Promise(()=>{}), new Promise(()=>{}) ]; arr.map(item => { consol ...
- Owin+ASP.NET Identity浅析系列（三）框架结构分析
在今天,读书有时是件“麻烦”事.它需要你付出时间,付出精力,还要付出一份心境.--仅以<Owin+ASP.NET Identity浅析系列>来祭奠那逝去的…… 前两篇博客仅仅说了下功能如何 ...
- MRC 和 ARC 混编
在targets的build phases选项下Compile Sources下选择要不使用arc编译的文件,双击它,输入 -fno-objc-arc 即可 MRC工程中也可以使用ARC的类.方法 ...
- 阅读AuTO利用深度强化学习自动优化数据中心流量工程(一)
目录 问题 解决方法 模型选择 框架构建 Sigcomm'18 AuTO: Scaling Deep Reinforcement Learning for Datacenter-Scale Autom ...
- 为何.NET Core控制台项目发布后是一个dll文件，而不是exe文件？
项目中有一个.NET Core控制台项目叫ConsoleCoreApp,写好代码后准备发布: 结果发布后生成的是一个dll文件...为不是一个exe的可执行文件: 后来了解到.NET Core的项目分 ...
- Android开发之自己定义TabHost文字及背景(源码分享)
使用TabHost 能够在一个屏幕间进行不同版面的切换,而系统自带的tabhost界面较为朴素,我们应该怎样进行自己定义改动优化呢 MainActivity的源码 package com.dream. ...
- Android签名生成和互转
原文链接:http://blog.votzone.com/2018/05/05/android_signature.html Android 的签名有两种方式,一种使用jdk 提供的jarsign ...
- Oracle11g 行列转换函数PIVOT and UNPIVOT
作为Oracle开发工程师,推荐大伙看看 PIVOT and UNPIVOT Operators in Oracle Database 11g Release 1 This article shows ...
- quartz定时任务时间表达式说明
quartz定时任务时间表达式说明 这些星号由左到右按顺序代表 : * * * * * * * 格式: [秒] [分] [小时] [日] [月 ...