Readability Assessment for Text Simplification -paper

https://pdfs.semanticscholar.org/e43a/3c3c032cf3c70875c4193f8f8818531857b2.pdf

1、introduction
在Brazil： the National Indicator of Functional Literacy(INAF) 在2001年之后自动计算人口的文化水平，分为illiterate、rudimentary、basic、advanced
1920-1980年间就一共有200个firmulas来评估英文可读性。
Portuguese 的唯一工具就是 the Flesch Reading Ease index。
本文关注与可读性评估方法来辅助写作工具中的文本简化过程，工具名称是 SIMPLIFICA。这个工具是 part of the PorSimples project。和之前的工作不一样的是，这个工具不根据linear grade levels去对文本难度建模，而是将文本映射到INFA定义的文化水平的三个等级: rudimentary, basic or advanced. 而且，使用了更广泛的特征集合，不同的学习技巧、目标语言是新的、应用是新的。
我们重点关注以下几个研究问题：
1、给定训练材料，检测葡萄牙语文本复杂度是可能的吗（根据INAF等级）
2、对这个问题建模的最好方法是什么，哪些特征是相关的
我们对nominal, ordinal and interval名词、序数词和基于间隔进行试验，探索了Coh-Metrix 2.0 （2004年)提出的认知激励的特征而且适应葡萄牙语，伴随了一系列新特征，包括句法特征来捕捉简化操作和ngram语言模型特征。

2 Text Simplication in Porsimples
text simplification(TS)
我们提出了两类简化类型：natural和strong
建立了简化文本的语料，两类都有

2.1 the rule-based simplification system
简化操作和句法现象的关系在基于规则的句法简化系统当中会体现 (Candido Jr. et al., 2009).
简化操作：sentence splitting, changing particular discourse markers by simpler ones, transforming passive into active voice, inverting the order of clauses, converting to subject-verb-object order, relocating long adverbial phrases

2.2 the SIMPLIFICA tool
基于规则的简化系统是SIMPLICATION的一部分它是自动写作工具用来简化原始文本---网页工具。

3、readability assessment
2008，定义了文本质量的度量方法
2005,2007，作为把英语作为第二语言的学习者、
2009，有学习能力缺陷的人
2007，理解能力有问题的
传统指标Flesch-Kincaid Level score tend来预测文本难度
Miltsakali and Troutt (2007; 2008) ，提出自动工具评估Web文本阅读难度，目标人群是青少年和低文化水平成年人。
使用机器学习，评估德语可读性的自动工具，使用类似 Flesch Reading Ease的可读性分数。

4、a tool for readability assessment
和别的工作不同的是：
i、使用cognitively-motivated metrics的特征集合，提供对文本复杂度的更好的解释的附加特征。
ii、新的受众：不同文化水平
iii、对非线性数据scales的不同的统计模型：INAF定义的文本水平
iv、关注于新的应用：使用可读性评估
v、目标语言是葡萄牙语

4.1 features for assessing readability
3组特征：
第一组包含认知驱动的特征 ，来源于the Coh-Metrix-PORT tool
第二组特征包含反应特殊句法结构的
第三组特征包含来源于ngram语言模型的特征，考虑到了unigram、bigrams和trigrams概率和复杂度。
基本特征包括简单计数，不要求任何语言工具或另外的计算资源。

Coh-Metrix-Port
coh-metrix工具来计算和英文本文理解的相关的计算特征。
该工具中用到了以下特征：
1）每句话的单词
2）同位语的概率
3）从句的概率
4）Flesch index
5）主要动词前的words
6）每篇文章的句子
7）关系从句的概率
8）每个单词的syllables音节
9）Number of positive additive connectives
10）Number of negative causal connectives

使用了三个类型的机器学习算法：标准分类器、计数（排序）分类器和回归分类器。
分类器使用了是Weka工具（SMO）的svm的排序、分类和回归工具。使用SMO算法，rbf核用于回归。

5 实验
语料：。。
特征分析：计算特征和期望文化水平的绝对pearson距离
实验中：将不同类特征、三种分类器都分别对比了，使用了F-measures，Pearson相关系数和MAE
回归模型中，RGB核是最好的。
所有的特征都考虑的效果对所有模型的所有特征集合来说都是最好的，不同特征组合的各自性能各不相同。
当把每个特征独立看待时，句法特征和coh-metrix-port得到了最好的相关系数，但是语言模型最差。
线性分类器是最简单的模型，达到了最高的F-measure，相关系数也是能和其他模型想比拟的。