【算法记事本#NLP-1】最大匹配算法分词
#NLP-1 最大匹配算法(MM)
最大匹配算法(Maximum Matching)被用于对一个文段进行词语划分(Word Segmentation)。
注意
这是词元化(Tokenization)算法
此方法不适用于无分隔符的字母语言(e.g.:德语、使用假名替代汉字的日语、被取消分词符的英文等)
但是对汉语这类无词间分隔符但不依赖字母的语言效果拔群
输入输出
input1(文段P)
input2(单词表W)
processor(MM)
output(词元表T)
input1--输入-->processor
input2--输入-->processor
processor--输出-->output
算法内容
人话版本(自然描述)
输入:文段\(\small P\),单词表\(\small W\)
过程:对于给定的\(\small P\)和\(\small W\):
- 令指针\(\small i\)从\(\small P\)的起点开始
- 每当找到最长匹配于\(\small i\)引领文段的单词\(\small w\),则将\(\small w\)加入词元分析表\(\small T\)(一个顺序表结构)中
- \(\small i\)向后移动\(\small w\)长度个位置
- 回到2,直至\(\small i\)无法向后移动为止
输出:词元分析表\(\small T\)
说明
最长匹配??
这个概念用定义去描述其实很不容易理解,这里直接上例子,比如,有一个字符串
The quick brown fox jumps over a lazy dog
现在给出这么几个字符串:Th
、The
、The slow
、The quick brown fox jumps over a lazy dog and a little duck
、quick brown
注意,最长匹配的前提是能匹配得上,此外还要求是端点匹配
先看Th
,很明显,尽管Th
不能完美的匹配上原有字符串,但却是原字符串的子串(Substring),也就是说它能够完美的和原字符串的局部相匹配,而且是从起始位置相匹配,可以暂时认为是原字符串的最长匹配。
再看The
,和Th
一样,其整体能够匹配上原字符串的部分,而且也是从起始位置匹配,因此也可能是最长匹配,这样一来Th
和The
都能匹配上原字符串,但是
一个字符串在一个给定的字符串集合中只能找到一个最长匹配,而且是尽可能长的那个
考虑到The
比Th
长,因此The
替掉了Th
成为了目前的最长匹配
接下来看看The slow
,截止到The
都能匹配到原字符串上,但接下来的s
却无法匹配原字符串,尽管匹配部分的长度比The
还长,但很遗憾,The slow
只能认为是不匹配。
The quick brown fox jumps over a lazy dog and a little duck
也是同理,别看它甚至是原字符串的延长串(也就是原字符串是它的子串),但后面多出来的部分匹配不回去,所以也只能认为是不匹配。
原字符串是大爷!!
最后再看看quick brown
,当然这也是原字符串的子串,而且匹配长度为11,甚至比The
的匹配性还强,但是也很遗憾,这并不是从起点匹配的,所以这个无法认为匹配
于是我们得到了结论:
在上述给出的5个字符串中,最长匹配为
The
当然,这都是目前的最长匹配,如果我们继续给出The quick
、The quick brown
、……这个结果还是会跟着变化的,因为:
理论上,从所有字符串构成的全集寻找某一字符串的最长匹配,其结果只能是该字符串本身
为什么对汉语效果拔群??
这里先说对英语吧……
因为是做词元化工作,所以这里暂时无视英语中的空格分隔符。
We are talking about weather.
↓ 移除所有分词符
Wearetalkingaboutweather.
当然,我们要对下面的内容做分词,按说分词工作做完后其分割结果应该和移除之前是一样的:We|are|talking|about|weather|.
但如果采用MM算法使用一个标准词库进行匹配,就会是下面这样:
首先从
W
开始,从词库中寻找从W
开始能够最长匹配的字符串,然后非常巧,我们在词典中找到了……Wear
!!
……
于是,我们先不管后面能不能分出来,反正分完肯定是这样子:Wear|...|...
。
很明显这种分法是不行的。
这里面的原因就在于:英语一共就26个字母,随便找若干个字母凑成一个单词的概率还是很大的,特别是移除分隔符后出现大量辅音字母+若干元音字母的情况。
而且,英语中词汇的长度方差很大,短的只有一个字母,长的可以10多个,极端情况下也有40多个的甚至更多,很多短单词会成为一些长单词的子串(we
之于wear
等),而移除分隔符后两个原本独立的子串被拼合成一个更长的单词也不是什么新鲜事。
一种极端情况:
origin("Hear the voice")
obfuscated("Hearthevoice")
mm("Heart|he|voice")
origin--移除分隔符-->obfuscated
obfuscated--MM算法分割-->mm
但是汉语就不一样了,就以GB2312里面的6700多个汉字想随便挑出来几个字就凑巧拼出一个词语还是很困难的,而且词语长度的方差很低,不考虑诗句和歇后语的话,常用的词语和成语绝大多数为2~4个字,较长一些的8个字(比较少),这种情况下即使没有分隔符,两个独立的词语能够被混淆成一个的几率还是比较小的,比如:
一只穿云箭,千军万马来相见
一只|穿云|箭|,|千军万马|来|相见
基本上分割的完全正确,而且即使把标点符号都去掉,也不太影响其分割的结果,斯坦福大学也给出了这样的评价:
Doesn’t generally work in English!
But works astonishingly well in Chinese!
不过其实说到底,这种算法比较依赖于词典(事实上很多词元化算法都挺依赖词典),如果词典编写的不够好,那么即使是汉语其词元化的质量也不尽如人意(特别是汉语需要足够完善的词汇库,其工作量是相当庞大的)。
【算法记事本#NLP-1】最大匹配算法分词的更多相关文章
- seg:NLP之正向最大匹配分词
已迁移到我新博客,阅读体验更佳seg:NLP之正向最大匹配分词 完整代码实现放在我的github上:click me 一.任务要求 实现一个基于词典与规则的汉语自动分词系统. 二.技术路线 采用正向最 ...
- 常用算法3 - 字符串查找/模式匹配算法(BF & KMP算法)
相信我们都有在linux下查找文本内容的经历,比如当我们使用vim查找文本文件中的某个字或者某段话时,Linux很快做出反应并给出相应结果,特别方便快捷! 那么,我们有木有想过linux是如何在浩如烟 ...
- NLP自然语言处理中英文分词工具集锦与基本使用介绍
一.中文分词工具 (1)Jieba (2)snowNLP分词工具 (3)thulac分词工具 (4)pynlpir 分词工具 (5)StanfordCoreNLP分词工具 1.from stanfor ...
- 【算法】串的模式匹配算法(KMP)
串的模式匹配算法 问题: 求子串位置的定位函数如何写? int index(SString S,SString T,int pos); 给定串S,子串T,问T在 ...
- 使用织梦开源的分词算法库编写的YII获取分词扩展
在编辑文章中,很多时候都需要自动根据文章内容获取关键字的功能,因此,本文主要是说明如何在yii中使用织梦开源的分词算法编写一个独立的扩展,可以在不同的模块中使用,步骤如下: 1 到这里下载其他朋友整理 ...
- NLP舞动之中文分词浅析(一)
一.简介 针对现有中文分词在垂直领域应用时,存在准确率不高的问题,本文对其进行了简要分析,对中文分词面临的分词歧义及未登录词等难点进行了介绍,最后对当前中文分词实现的算法原理(基于词表. ...
- KMP算法(改进的模式匹配算法)——next函数
KMP算法简介 KMP算法是在基础的模式匹配算法的基础上进行改进得到的算法,改进之处在于:每当匹配过程中出现相比较的字符不相等时,不需要回退主串的字符位置指针,而是利用已经得到的部分匹配结果将模式串向 ...
- KMP算法(改进后的字符串匹配算法)
转载:http://blog.csdn.net/liu88010988/article/details/50789960 kmp算法完成的任务是:给定两个字符串O和f,长度分别为n和m,判断f是否在O ...
- SQL的循环嵌套算法:NLP算法和BNLP算法
MySQL的JOIN(二):JOIN原理 表连接算法 Nested Loop Join(NLJ)算法: 首先介绍一种基础算法:NLJ,嵌套循环算法.循环外层是驱动表,循坏内层是被驱动表.驱动表会驱动被 ...
随机推荐
- bat文件设置ip自动和静态ip切换
下载地址:https://i.cnblogs.com/Files.aspx win10系统: @echo off cd /d %~dp0 %1 start "" mshta vbs ...
- Z变换解差分方程的思考
问题描述 今日碰到一道差分方程的题目,如下 [ y(n + 2) - cfrac{7}{10}y(n + 1) + cfrac{1}{10}y(n) = 7x(n+2) -2 x(n + 1) ] 已 ...
- 吴裕雄--天生自然C语言开发:文件读写
#include <stdio.h> int main() { FILE *fp = NULL; fp = fopen("/tmp/test.txt", "w ...
- G - Green-Red Tree Gym - 102190G
题目链接:http://codeforces.com/gym/102190/attachments 题解:我们先将前5个点分别涂上红色或者绿色,使得这两棵树在5个点中都是连通,并不存在自环(建边方式不 ...
- HTTP Status 400,400 (Bad Request)
400 (Bad Request) 点击添加按钮转跳没反应,控制台没报错,然后在Chrome上检查发现报错了 百度了一下,发现http Status 400这个错误大多是因为,jsp的form表单提交 ...
- 03 - CDH 6.3.x 安装
CDH 6.3.x 离线安装 环境 CDH 6.3.1 CentOS 7 官方文档 修改主机名,配置host文件 # 根据个人需要修改主机名称 hostnamectl set-hostname nod ...
- struts2 标签s:select在table中单行显示
<table class="query_form_table"> <tr> <th>用户 ...
- synchronized互斥锁实例解析
目录 synchronized互斥锁实例解析 1.互斥锁基础使用:防止多个线程同时访问对象的synchronized方法. 1.1.多个线程调用同一个方法 1.2.多个线程多个锁,升级为类锁 2.线程 ...
- Java IO: 字节和字符数组
原文链接 作者: Jakob Jenkov 译者:homesick 内容列表 从InputStream或者Reader中读入数组 从OutputStream或者Writer中写数组 在java中 ...
- 吴裕雄--天生自然HTML学习笔记:HTML 链接
HTML 链接 HTML 使用超级链接与网络上的另一个文档相连.几乎可以在所有的网页中找到链接.点击链接可以从一张页面跳转到另一张页面. HTML 超链接(链接) HTML使用标签 <a> ...