相似文本文档分析之SimHash算法

【相似文本文档分析之SimHash算法】的更多相关文章

相似文本文档分析之SimHash算法

Simhash算法: Simhash算法由Google的Charikar提出,是将一篇文档转化为n位的签名,通过比较签名的相似度来计算原文档的相似度.签名越相近,则文档越相近.因此,整个过程就不会涉及到原文档文本内容的两两比较,就不需要存储这些海量文档的内容. simhash算法的输入是一个向量,输出是一个 f 位的签名值.为了陈述方便,假设输入的是一个文档的特征集合,每个特征有一定的权重.比如特征可以是文档中的词,其权重可以是这个词出现的次数. simhash 算法如下:1,将一个 f 维的向…

c#读取文本文档实践4-读入到list泛型集合计算后写入新文档

商品数量单价英语 66 100语文 66 80数学 66 100化学 66 40物理 66 60 上面截图是要处理的文本文档内容,目的是计算出总价并加在最后一列. 这一篇与上一篇比较类似,目的相同,不同之处为读入到了list中,list泛型集合可以当作可变长数组使用.通过StreamReader创建一个流sr,然后通过一个while循环将读得的每行数据放入字符串类型的list中,之后对每个list分割,并返回一个字符串数组,这个字符串数组就可以通过转化为double来计算了,计算完成后可以通…

c#读取文本文档实践3-写入到文本本文档

首先通过File.ReadAllLines()方法读入文本文档中内容并返回字符串数组contents,这样每行数据就成为了这个字符串数组contents的一个元素,再利用split()方法将每一个元素以空格或制表符分割,返回字符串数组,这样一行数据又被返回了3个字符串放入字符串数组中,通过Convert.ToDouble()方法将其转化为double类型并计算.创建一个StringBuilder数据类型将每行的字符串添加进去,转换为string后,最后用File.WriteAllText方法写入…

c#读取文本文档实践2-计算商品价格

商品数量单价英语 66 100语文 66 80数学 66 100化学 66 40物理 66 60 上面是文本文档中读入的数据. using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.IO; using System.Diagnostics;//Stopwatch所在命名空间 namespace 书名总价格计算 { class Program { st…

c#读取文本文档实践1-File.ReadAllLines()

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.IO; namespace 书名总价格计算 { class Program { static void Main(string[] args) { string path = @"C:\Users\Administrator\Desktop\书名总价格计算.txt"; string[] co…

c#读写文本文档-1-用file类

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.IO; namespace txtread { class Program { static void Main(string[] args) { // //File 优点:命令简单,可以读各种类型,但是耗内存,因为是以下子全读入内存了 //读 // //Create Delete Copy Move…