RLS自适应滤波器中用矩阵求逆引理来避免求逆运算

　　在RLS自适应滤波器的实现过程中，难免不涉及矩阵的求逆运算。而求逆操作双是非常耗时的，一个很自然的想法就是尽可能的避免直接对矩阵进行求逆运算。那么，在RLS自适应滤波器的实现中，有没有一种方法能避免直接求逆运算呢？答案当然是用的：使用矩阵求逆引理来避免对矩阵进行直接求逆。

　　这里先对矩阵求逆引理做下介绍，也叫做Woodbury矩阵恒等式（或者称做Sherman–Morrison formula，这里统一称矩阵求逆引理）在线性代数中：

\[{\left( {A + UCV} \right)^{ - 1}} = {A^{ - 1}} - {A^{ - 1}}U{\left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)^{ - 1}}V{A^{ - 1}}\]

其中，A、C必须是可逆方阵，U、V可以是方阵也可以不是方阵。先不忙着记公式，这个不是最重要的，首先要弄明白的是，矩阵求逆引理的写成这个样子，它要解决的是什么样的问题，其思想是什么？

　　矩阵求逆引理要解决的问题是：已知一个高维矩阵A的逆矩阵，当A矩阵产生了一个非常小的变化（维数远低于A或者低于A）时，能不能根据已知的A的逆矩阵，求产生微小变化后的矩阵的逆。

　　现在我们知道当然是可以的，这里的微小变化，指的就是恒等式中的矩阵UCV。

　　知道了矩阵求逆引理解决的是什么样的问题，主要思想后，感觉还是有点不得足，最好能证明一下，好让自己有个“底”，同时满足下好奇心。知其然同时又知其所以然，有什么不好！这里只对其中一种证明方法做下详细的介绍，以方便理解，考虑以下方程组：

\[\left\{ {\begin{array}{*{20}{c}}
{AX + UY = I} \\
{VX - {C^{ - 1}}Y = 0} \\
\end{array}} \right.\]

及其矩阵形式

\[\left[ {\begin{array}{*{20}{c}}
A & U \\
V & { - {C^{ - 1}}} \\
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
X \\
Y \\
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
I \\
0 \\
\end{array}} \right]\]

根据第2个方程可知：$Y = CVX$，代入第1个方程得到$X = {A^{ - 1}}(I - UY)$，再将X的表达式代回第二个方程，得到

\[{C^{ - 1}}Y = V{A^{ - 1}}(I - UY) = V{A^{ - 1}} - V{A^{ - 1}}UY\]

将$V{A^{ - 1}}$与${C^{ - 1}}Y$交换等式两边位置

\[V{A^{ - 1}} = {C^{ - 1}}Y + V{A^{ - 1}}UY = \left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)Y\]

可得到Y的表达式$Y = {\left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)^{ - 1}}V{A^{ - 1}}$，这里将Y再次第1个方程$AX + UY = I$，得到

\[\begin{array}{l}
AX + U{\left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)^{ - 1}}V{A^{ - 1}} = I \\
AX = I - U{\left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)^{ - 1}}V{A^{ - 1}} \\
X = {A^{ - 1}}\left[ {I - U{{\left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)}^{ - 1}}V{A^{ - 1}}} \right] \\
X = {A^{ - 1}} - {A^{ - 1}}U{\left( {{C^{ - 1}} + V{A^{ - 1}}U} \right)^{ - 1}}V{A^{ - 1}} \\
\end{array}\]

　　关于其它证明部分，建议可以参考wiki中对Woodbury矩阵恒等式的介绍，里面有好几种不同的证明方法（直接证明、代数证明、矩阵分块推导、LDU分解推导），写的都非常好，建议喜欢追根究底的朋友认真看下。

　　另外，矩阵求逆引理更通用的是二项式反转定理（Binomial inverse theorem），很多的变种都可以视为二项式反转定理的特殊情况，这些变种icoolmedia还没有整理完毕，先不一一说明了。

　　下面就用矩阵求逆引理来解决RLS滤波器中的求逆问题，这里假定读者有最小二乘法的基础，首先给出更新滤波器输入向量相关矩阵的公式和矩阵求逆引理的表达式（下面的推导过程来自于Simon Haykin《自适应滤波器原理》第10章的学习）。

\[{\bf{\Phi }}(n) = \lambda {\bf{\Phi }}(n - 1) + {\bf{u}}(n){{\bf{u}}^{\bf{H}}}(n)\]

\[{{\bf{A}}^{ - 1}} = {\bf{B}} - {\bf{BC}}{\left( {{\bf{D}} + {{\bf{C}}^{\bf{H}}}{\bf{BC}}} \right)^{ - 1}}{{\bf{C}}^{\bf{H}}}{\bf{B}}\]

　　可以看到，上面的矩阵求逆引理与本文开始里介绍的不同，这也是一个求逆引理的变种。不多做介绍，先记下来就好，后面另在博客中详述吧。如果设：${\bf{A}} = \Phi (n)$，${{\bf{B}}^{ - 1}} = \lambda \Phi (n - 1)$，${\bf{C}} = {\bf{u}}(n)$，${\bf{D}} = 1$。对波器输入向量相关矩阵迭代更新公式应用矩阵求逆引理公式，可得

\[{{\bf{\Phi }}^{ - 1}}(n) = {\lambda ^{ - 1}}{{\bf{\Phi }}^{ - 1}}(n - 1) - \frac{{{\lambda ^{ - 2}}{{\bf{\Phi }}^{ - 1}}(n - 1){\bf{u}}(n){{\bf{u}}^{\bf{H}}}(n){{\bf{\Phi }}^{ - 1}}(n - 1)}}{{1 + {\lambda ^{ - 1}}{{\bf{u}}^{\bf{H}}}(n){{\bf{\Phi }}^{ - 1}}(n - 1){\bf{u}}(n)}}\]

　　如果设

\[{\bf{P}}(n) = {{\bf{\Phi }}^{ - 1}}(n)\]

\[{\bf{k}}(n) = \frac{{{\lambda ^{ - 1}}{\bf{P}}(n){\bf{u}}(n)}}{{1 + {\lambda ^{ - 1}}{{\bf{u}}^{\bf{H}}}(n){{\bf{\Phi }}^{ - 1}}(n - 1){\bf{u}}(n)}}\]

　　这里对增益k(n)做如下变换，得到其简化形式：

\[\begin{array}{l}
{\bf{k}}(n) = {\lambda ^{ - 1}}{\bf{P}}(n - 1){\bf{u}}(n) - {\lambda ^{ - 1}}{\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{P}}(n - 1){\bf{u}}(n) \\
= \left[ {{\lambda ^{ - 1}}{\bf{P}}(n - 1) - {\lambda ^{ - 1}}{\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{P}}(n - 1)} \right]{\bf{u}}(n) \\
= {\bf{P}}(n){\bf{u}}(n) \\
\end{array}\]

　　或者也可以表示为：${\bf{k}}(n) = {\Phi ^{ - 1}}(n - 1){\bf{u}}(n)$。由线性最小二乘估计可知，滤波器的系数估计表示为：${{\bf{\hat w}}(n) = {\Phi ^{ - 1}}(n){\bf{z}}(n)}$，把增益k(n)代入，得到

\[\begin{array}{l}
{\bf{\hat w}}(n) = {\Phi ^{ - 1}}(n){\bf{z}}(n) = {\bf{P}}(n){\bf{z}}(n) = \lambda {\bf{P}}(n){\bf{z}}(n - 1) + {\bf{P}}(n){\bf{u}}(n){d^*}(n) \\
= \lambda \left[ {{\lambda ^{ - 1}}{\bf{P}}(n - 1) - {\lambda ^{ - 1}}{\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{P}}(n - 1)} \right]{\bf{z}}(n - 1) + {\bf{P}}(n){\bf{u}}(n){d^*}(n) \\
= {\bf{P}}(n - 1){\bf{z}}(n - 1) - {\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{P}}(n - 1){\bf{z}}(n - 1) + {\bf{P}}(n){\bf{u}}(n){d^*}(n) \\
= {\Phi ^{ - 1}}(n - 1){\bf{z}}(n - 1) - {\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\Phi ^{ - 1}}(n - 1){\bf{z}}(n - 1) + {\bf{P}}(n){\bf{u}}(n){d^*}(n) \\
= {\bf{\hat w}}(n - 1) - {\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{\hat w}}(n - 1) + {\bf{P}}(n){\bf{u}}(n){d^*}(n) \\
= {\bf{\hat w}}(n - 1) + \left[ {{\bf{k}}(n){d^*}(n) - {\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{\hat w}}(n - 1)} \right] \\
= {\bf{\hat w}}(n - 1) + {\bf{k}}(n)\left[ {{d^*}(n) - {{\bf{u}}^{\bf{H}}}(n){\bf{\hat w}}(n - 1)} \right] \\
= {\bf{\hat w}}(n - 1) + {\bf{k}}(n)\xi (n) \\
\end{array}\]

　　这就是递归最小二乘（RLS）滤波器的系数更新公式，可以看到，这个过程，并没有对输入向量相关矩阵进行直接求逆，避免了直接求逆运算带来的复杂性。还有最后一个问题没有解决。P的初始化问题，这里简单给出来：${\bf{\hat w}}(n) = 0$，${\bf{P}}(0) = {\delta ^{ - 1}}{\bf{I}}$ 。这里$\delta $是正则化参数，是为了在求解反问题或者最优化问题时解决不适定性，增加抗绕动能力时引入的，这里不做详细介绍。下面总结下递归最小二乘法的实现步骤。

\[{\bf{k}}(n) = \frac{{{\lambda ^{ - 1}}{\bf{P}}(n){\bf{u}}(n)}}{{1 + {\lambda ^{ - 1}}{{\bf{u}}^{\bf{H}}}(n){\Phi ^{ - 1}}(n - 1){\bf{u}}(n)}}\]

\[\begin{array}{l}
\xi (n) = {d^*}(n) - {{\bf{u}}^{\bf{H}}}(n){\bf{\hat w}}(n - 1) \\
{\bf{\hat w}}(n) = {\bf{\hat w}}(n - 1) + {\bf{k}}(n)\xi (n) \\
{\bf{P}}(n) = {\lambda ^{ - 1}}{\bf{P}}(n - 1) - {\lambda ^{ - 1}}{\bf{k}}(n){{\bf{u}}^{\bf{H}}}(n){\bf{P}}(n - 1) \\
\end{array}\]

　　终于推导完毕，以上步骤的实现代码及工程可以在博文下面的QQ交流群的群文件中找到（TestRLS_using the matrix inversion lemma.rar）。本人水平有限，如以上证明和推导过程及代码如有错误之误，还请大家及时给予批评指正。