Information retrieval (IR class2)

1.  解析文档一般要分析哪些方面？

　 - 首先分析文档的格式，是docx，html，xml，pdf...

　 - 其次分析文档的语言，是英语，汉语，日语，德语...

　 - 使用的什么字符集，ASCII编码，或者是UFT-8，或者....

2.  什么是Tokenization Process？

　　对于汉字，需要“分词”，比如把：“我们” ->  “我” “们”

　　而英文中，这个操作很简单，仅仅是空格而已：we are student -> "we" "are" "student". 然而，有时也会出现问题，比如“don't" 该如何分词？？

3.  什么是stopword？

　　英文里，常出现的词语，类似 you, I, and, a, 之类的

4.  什么是Normalization ？　　

　　把所有词还原成一种形式。 包括 stemming 和 lemmatization 。

　　stemming（词干）：去掉后缀（suffix），例如，police ,  policy , police  可以变成同一个 stem : polic

　　lemmatization（此行还原） 例如，复数 -> 单数，动词过去式/单三式 -> 原形之类的。

5.  Porter's algorithm ?

　　用来还原词干的一个算法，一个经典的规则：

　　　　- sses     ->     ss

　　　　  - ies       ->       i

　　　　  - ational  ->     ate

　　　　  - tional    ->    tion　

其实，正规化有很多方法，也有很多标准，stemming和 lemmatization也有很多不同的实现方法与规则。

6.   如何加速posting list的查找？

　　 skip pointer ，工作机制不太明白，继续学习中

8.   遇到词组的情况怎么解决？

　　答：目前主要有三种解决方法： 1⃣️二词法：就是把两个字组合作为一个词，例如，stanford university作为一个词，进行inverted index。 如果是多个词的词组，就用AND连接biword。问题：列出所有的两分词，不太可能，耗费的存储空间太大。空间复杂度太高

　　　　　　　　　　　　　　　　2⃣️位置索引法：在inverted index的基础上，不仅记录文档，还另外记录该词出现在文档中的哪个位置。然后将starnford和university进行AND操作后，对比出现在同一个文档中的位置，是否相邻，如果是，则判断1，反之为0。 缺点是匹配耗费的时间太多，时间复杂度太高

　　　　　　　　　　　　　　　　3⃣️ 二分-位置索引法：将两种方法结合起来。没有细究。

9.  遇到通配符(wild-card queries)的情况怎么解决？

　　　比如：用户想要输入 rotate， 但是不知道怎么拼写，就输入了 rote* 或者 *tate

　　　三种方法：1⃣️。 使用树的方法： 对于后面省略的，使用B+树的查找，匹配后缀。 对于前面省略的，使用树的翻顺序，匹配前缀

　　　　　　　　2⃣️。 使用permuterm index(我称之为排列索引):  例子详见参考：https://people.eng.unimelb.edu.au/tcohn/comp90042/l3.pdf

　　　　　　　　　例如 ro*te  ->     te $ ro  : $ 意思是 以ro为开头，以te为结尾

　　　　　　　  3⃣️。 使用n-gram index .

10. 什么是 POST （part of speech tage）

　　翻译成中文，简单来说就是， 词性/词类标注。

　　例如， I played basketball in the park.

　　　　　noun :   basketball, park.

　　　　   verb :   play

在nlp处理时， I ， in， the 都可以直接归类于 “stop word”里面。

　以及，为了方便大家记住常用的英文缩写，我把参考链接粘贴到这里（参考: https://zhidao.baidu.com/question/170228690）。

　　　　Abbr (abbreviation) : 省略语

　　　　ie (which is to say)   ： 即

　　　　etc

　　　　prep  介词

　　　　conj 连接词

11. 另外， 对于POST，有很多专业术语，可以参考https://cs.nyu.edu/grishman/jet/guide/PennPOS.html

CC(coordinating conjunction ): 衔接连词

　　  CD（cardinal number）： 基数词

　　  PRP （personal pronoun）：代词

　　  VBZ（Verb，3drperson singular present）：动词单三式

　　  NNS （noun，plural）：名词复数

　　  IN （prepostion or subordinating conjunction）：介词或从属连词

　　  DT（determiner）：限定词

　　  NN（noun，singular or mass）：名词单数