Structure preserving unsupervised feature selection

Abstract

• 使用自表示模型提取特征间的关系，结构保留约束来保持数据的局部流形结构；

1  Introduction

• Contributions：

（1）提出基于自表示模型的特征选择；

（2）一个结构保留约束添加到目标函数来保留数据的局部流形结构，所以模型同时局部结构学习和特征选择；

（3）一个有效的交替迭代算法被提出，收敛性能被证明；

（4）实验结果表明算法的优越性。

2  Related work

• 无监督特征选择算法有三种：filter, wrapper, embedded；

• 还有一类是基于自表示的方法，常被用来解决子空间聚类问题：

自表示模型能够探索数据间的关系；

3  Our model

3.1  Problem formulation

• 特征的线性表示优化问题可以表示为：

其矩阵形式为：

考虑到真实应用场景的噪声问题，Frobenius norm 在很多任务中是被用来处理数据噪声的，于是问题改写为：

其等价于：

其中第一项是残差项。而 L21-norm 正则化能更好保证 W 的行稀疏性，于是变为：

• 局部结构保留项：

• 模型变为：

4  Experiments

5  Conclusion

我们基于自表示模型提出了无监督特征选择模型。它不仅能探索特征间的关系，还能处理数据的噪声。因此，我们的模型不仅能进行局部结构学习，也能同时进行特征选择。