structured sparsity model

Data representation往往基于如下最小化问题：

        （1）

其中X是观测到的数据的特征矩阵，D是字典，Z是字典上的描述。约束项和使得字典dictionary和描述code具有一定结构性。当D给定时，确定Z的过程叫做representation persuit。当D和Z同时未知时，确定D就是dictionary learning的问题。

稀疏表示，通常对Z做约束，使得Z中的每一列只能取少量的非0系数。其中最简单的约束项就是

       （2）

这时问题就变成了LASSO，见本文式（3）。K-means + Hard-VQ则是一种更严格的稀疏编码，相比L1-norm的约束，Hard-VQ引入了严重的重建误差，所以效果会比较差。这是介绍ScSPM和LLC时候的内容了，这里简单重复一下。

LASSO被LLC改进的一个很重要原因，就是缺少smooth，其潜在的原因便是Z中的非0元素缺少结构信息（unstructured sparse coding）。所以，带结构性的稀疏模型被提出。我们将字典D中的每一个码字称为dictionary atoms。令表示为D中一些码字的集合，并将所有这类集合定义为G，即。G中每一个group可以overlap也可以不overlap（这就对应于不同的group sparse model）。而约束项可以表示为：

      （3）

其中Zr是Z的子向量（只取了group中的元素）。可以看出，对每一个group内部，利用了L2-norm。由于l2-norm本身不小于0，故group之间其实是L1-norm。这样的约束造成了group选择特性，即group成组地取0或不取0。这样仍然不够完美，因为group之间不能满足稀疏性。于是就有方法提出，在（3）式之后再加（2）式作为约束，以保证group内的稀疏性。（于是structure就体现在group当中。）同时可以看出当且各，（3）就退化成了lasso。

Hierarchical Sparse Coding，认为非0的系数之间存在层次结构，即group与group之间要么不overlap，如果overlap则一个group必会包含另一个group。一种典型的层次结构就是tree结构。

Overlapping group sparse coding，则将约束relax，即允许group之间相互overlap。这个模型在genetic data的描述中十分有效。

今晚先写到这里吧。