最近在看<Spark for Data Science>这本书,阅读到<Machine Learning>这一节的时候被稀疏矩阵的存储格式CSC给弄的晕头转向的.所以专门写一篇文章记录一下我对这种格式的理解. 目的 Compressed Sparse Column Format (CSC)的目的是为了压缩矩阵,减少矩阵存储所占用的空间.这很好理解,手法无法就是通过增加一些"元信息"来描述矩阵中的非零元素存储的位置(基于列),然后结合非零元素的值来表示矩阵.这样在…

see Spare Matrix wikipedia item, and scipy's documentation on different choices of sparse matrix type sparse matrix storage, only store non-zero entries. there're multiple possible data structures for this, and can be divided into 2 groups support ef…

csv 文件是文本文件类型,但是打开csv 文件后(默认使用本地已经安装的excel 来打开excel 文件),默认显示出来的是general 类型(column data format)的数据, 这样就有一个问题:如果csv 文件中单元格里存储的是这样的数据:00012345,那么在excel 中现实的确是:12345. 当然,如果使用 TXT来打开csv 文件的话,是可以正常现实出来"00012345" 的. 所以需求就是如何将csv文件中中的数据导出到excel 中(因为exce…

https://docs.microsoft.com/en-us/sharepoint/dev/declarative-customization/column-formatting . { "$schema": "https://developer.microsoft.com/json-schemas/sp/column-formatting.schema.json", "elmType": "div", "deb…

在图片压缩格式 报这个Warning的时候,意思是该图片必须要采用2的幂次方大小才能使用该格式. POT: Power of Two. 采取方式是在advanced里边,把Non Power of 2 设置一下.或者原图采用幂次方大小.…

▶ 图片参考[http://www.bu.edu/pasi/files/2011/01/NathanBell1-10-1000.pdf] ▶ 各种系数矩阵的数据结构 ● MAT,原始矩阵数据 typedef struct // 顺序格式 { int row; // 行数 int col; // 列数 int count; // 非零元个数(用于转换,不用于计算) format *data; // 元素的值 } MAT; ●  Compressed Sparse Row(CSR),由非零值向量,各…

那些零元素数目远远多于非零元素数目,并且非零元素的分布没有规律的矩阵称为稀疏矩阵(sparse matrix). 不同类型的矩阵有不同的压缩方式,比如对角矩阵只存储对角元素即可.要想充分压缩,就要找到数据的特点. 压缩算法也有很多种,如:音频压缩算法.视频压缩算法.通用压缩算法.不同压缩算法有不同的使用领域,一般专用领域的压缩算法效率高于通用压缩算法.因为专用领域压缩算法抓住了数据的特点. 本文主要介绍scipy提供的八种稀疏矩阵存储格式. 坐标存储 Coordinate Format (COO…

http://cloga.info/2014/01/19/sklearn_text_feature_extraction/ 文本特征提取 词袋(Bag of Words)表征 文本分析是机器学习算法的主要应用领域.但是,文本分析的原始数据无法直接丢给算法,这些原始数据是一组符号,因为大多数算法期望的输入是固定长度的数值特征向量而不是不同长度的文本文件.为了解决这个问题,scikit-learn提供了一些实用工具可以用最常见的方式从文本内容中抽取数值特征,比如说: 标记(tokenizing)文本…

http://blog.csdn.net/pipisorry/article/details/41957763 文本特征提取 词袋(Bag of Words)表征 文本分析是机器学习算法的主要应用领域. 可是,文本分析的原始数据无法直接丢给算法.这些原始数据是一组符号,由于大多数算法期望的输入是固定长度的数值特征向量而不是不同长度的文本文件.为了解决问题,scikit-learn提供了一些有用工具能够用最常见的方式从文本内容中抽取数值特征,比方说: 标记(tokenizing)文本以及为每个可能…

对于一个矩阵而言,若数值为零的元素远远多于非零元素的个数,且非零元素分布没有规律时,这样的矩阵被称作稀疏矩阵:与之相反,若非零元素数目占据绝大多数时,这样的矩阵被称作稠密矩阵. 稀疏矩阵在工程应用中经常被使用,尤其是在通信编码和机器学习中.若编码矩阵或特征表达矩阵是稀疏矩阵时,其计算速度会大大提升.对于机器学习而言,稀疏矩阵应用非常广,比如在数据特征表示.自然语言处理等领域.用稀疏表示和工作在计算上代价很高,需要专门处理稀疏矩阵的表示和操作等,但是这些操作可以大幅提升性能. Python中的稀疏…