最早看数学之美的时候,书中就提到了这个算法,当时没有做过相关地工作,没什么具体的印象.一年前转岗时面试时别人提到了这个算法,知道了simhash可以用来解决网页等海量数据的去重问题,很高效. 然后自己大概实现了一下这个算法的python版本,试了一下,感觉还不错,mark下吧 # coding=utf-8 import os single_bits = {} for x in xrange(32): single_bits[x] = 1 << x print single_bits def s…

2年前在学习图像算法的时候看到一个文档倾斜矫正的算法. 也就是说能将一些文档图像进行旋转矫正, 当然这个算法一般用于一些文档扫描软件做后处理 或者用于ocr 文字识别做前处理. 相关的关键词: 抗倾斜 反倾斜  Deskew 等等. 最简单算法实现思路,采用 霍夫变换(Hough Transform)进行直线检测, 当然也可以用霍夫变换检测圆. 在倾斜矫正算法中,自然就是检测直线. 通过对检测出来的直线进行角度判断, 一般取 认可度最高的几条直线进行计算, 最后求取均衡后的角度值. 进行图像角度…

前言: 前面几章已经很详细的讲解了如何创建索引器对索引进行增删查(没有更新操作).如何管理索引目录以及如何使用分词器,上一章讲解了如何生成索引字段和创建索引文档,并把创建的索引文档保存到索引目录,到这里我们已经知道如何建立索引,那么本章将会详解如何搜索索引目录中的索引文档索以及如何创建索引搜索器和六种文档搜索器(搜索器)的实现. luncene5.5.3集合jar包下载地址:http://download.csdn.net/detail/eguid_1/9677589 一.创建索引搜索器 索引搜…

Sub 在选定文档最后加入一句话() '遍历文件 Dim MyDialog As FileDialog On Error Resume Next Application.ScreenUpdating = False Set MyDialog = Application.FileDialog(msoFileDialogFilePicker) With MyDialog ' .InitialFileName = "C:\" .Filters.Clear '清除所有文件筛选器中的项目 .Fi…

由于种种原因(看这一章间隔的时间太长,弄不清动态规划.分治.递归是什么关系),导致这章内容看了三遍才基本看懂动态规划是什么.动态规划适合解决可分阶段的组合优化问题,但它又不同于贪心算法,动态规划所解决的问题的各个阶段是相互关联的,一个阶段的选择会影响其它阶段的选择.动态规划有两个优点:一是可以排除一些解,另一个是可以帮助我们系统化的解决问题,使问题变得清晰. 下面就说一下我对动态规划.分治.递归这三者的理解.分治算法是将原问题分解成两个较小的问题,而动态规划是将问题分成不同的阶段(步骤),当然,…

分治策略有一种“大事化小,小事化了”的境界,它的思想是将原问题分解成两个子问题,两个子问题的性质和原问题相同,因此这两个子问题可以再用分治策略求解,最终将两个子问题的解合并成原问题的解.有时,我们会有这样的疑惑:分治策略是将原问题分解成子问题,子问题又用分治策略求解,那分治策略到底是什么?这种感觉就像听到有人说“因为我说我没有做错事,所以我没有做错事”一样,让我们不知道他“没有做错事”的真正原因是什么. 对于上面的困惑,我本科的老师告诫过我们:“对于分治策略,当你们想不明白的时候只需记住两点:一…

计算机中许多问题的解空间可以用一棵树来表示,最优解就在树中的一个分支上,因此,我们在解这类问题时可以采用树搜索策略,最经典的问题包括0/1背包问题.旅行商问题.哈密顿回路问题,还有8数码问题(就是我们小时候常玩的方格拼图游戏). 在建立这颗树(解空间)时,我们用到的方法根据搜索的次序不同可以分为广度优先搜索.深度优先搜索和最佳优先搜索.打个比方来说明一下它们之间的不同.我准备找王二麻子办点事,怎么找到他呢?如果是广度优先搜索,我会先找我所有的朋友,如果这些朋友当中没有王二麻子这个人,再找我所有朋…

本文环境: python3.5 ubuntu 16.04 第三方库: jieba 文件寄于github: https://github.com/w392807287/angelo_tools.git simhash介绍 没多久就要写毕业论文了,据说需要查重,对文档重复判定还挺好奇的所以看了下相关的东西.发现simhash比较好用,实现简单. 顾名思义 simhash是一种hash算法,以前在我印象中hash算法是将一个对象映射成一个hash值,一般只要求当两个对象完全相同时才有相同的hash值,…

转:http://blog.csdn.net/duck_genuine/article/details/6053430   目录(?)[+]   Lucene主要有两种文档模型:Document和Field,一个Document可能包含若干个Field. 每一个Field有不同的策略: 1.被索引 or not,将该字段(Field)经过分析(Analyisi)后,加入索引中,并不是原文 . 2.如果被索引,可选择是否保存“term vector”(向量),用于相似检索. 3.可选择是否存储(s…

在日常生活中,用户会经常碰到很多复杂的规章制度.规则条款.比如:乘坐飞机时,能不能带宠物上飞机,3岁小朋友是否需要买票等.在工作中,也会面对公司多样的规定制度和报销政策.比如:商业保险理赔需要什么材料,工作几年可以排队办理?这些情况下,经常需要各种查询确定或者检索规章制度文件或说明,才能回复并解决用户的疑问.基于这类常见的业务场景,百度大脑UNIT3.0正式推出了对话式文档问答能力,更快速.低成本的搭建智能对话系统. 对话式文档问答是UNIT提供的一项创新技术,利用这项创新技术,开发者无需梳理意…