NLPP-02-Exercises

《PYTHON自然语言处理》第2章

内容简介：各种文本语料库。

古腾堡项目 www.gutenberg.org

OLAC元数据格式档 http://www.language-archives.org/

语料库邮件列表 http://clu.uni.no/corpora/sub.html

ETHNOLOGUE 世界完整语言清单 http://www.ethnologue.com/

SIL 语言项目http://www.sil.org/

2.8 练习

1.

 >>> phrase = ['abstruse']
 >>> type(phrase)
 <type 'list'>
 >>> phrase + ['bb']
 ['abstruse', 'bb']
 >>> phrase + ['bb'] * 3
 ['abstruse', 'bb', 'bb', 'bb']
 >>> (phrase + ['bb']) * 3
 ['abstruse', 'bb', 'abstruse', 'bb', 'abstruse', 'bb']
 >>> tmp = (phrase + ['bb']) * 3
 >>> tmp[-3:]
 ['bb', 'abstruse', 'bb']
 >>> sorted(tmp)
 ['abstruse', 'abstruse', 'abstruse', 'bb', 'bb', 'bb']
 >>> tmp[-1]
 'bb'

Ex1 Code

2.

 >>> import nltk
 >>> nltk.corpus.gutenberg.fileids()
 ['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', 'bible-kjv.txt', 'blake-poems.txt', 'bryant-stories.txt', 'burgess-busterbrown.txt', 'carroll-alice.txt', 'chesterton-ball.txt', 'chesterton-brown.txt', 'chesterton-thursday.txt', 'edgeworth-parents.txt', 'melville-moby_dick.txt', 'milton-paradise.txt', 'shakespeare-caesar.txt', 'shakespeare-hamlet.txt', 'shakespeare-macbeth.txt', 'whitman-leaves.txt']
 >>> per = nltk.corpus.gutenberg.words('austen-persuasion.txt')
 >>> len(per)
 98171
 >>> len(set(per))
 6132
 ## 区别
 >>> len(set((s.lower() for s  in per if s.isalpha())))
 5739
 ##
 >>> from __future__ import division
 >>> len(per) / len(set(per))
 16.00962165688193
 >>> type(per)
 <class 'nltk.corpus.reader.util.StreamBackedCorpusView'>
 >>> per[20:30]
 ['was', 'a', 'man', 'who', ',', 'for', 'his', 'own', 'amusement', ',']

3

from nltk.corpus import brown
brown.categories()
['adventure', 'belles_lettres', 'editorial', 'fiction', 'government', 'hobbies', 'humor', 'learned', 'lore', 'mystery', 'news', 'religion', 'reviews', 'romance', 'science_fiction']
b = brown.words(categories='humor')
print ' '.join(b[:50])

w = nltk.corpus.webtext.words('pirates.txt')
print ' '.join(w[:50])

4

  modals = ['men', 'women', 'people']

  cfd = nltk.ConditionalFreqDist(
         (target,fileid[:4])
         for fileid in state_union.fileids()
         for w in state_union.words(fileid)
         for target in modals
         if w.lower().startswith(target))
  cfd.plot()

8

 names = nltk.corpus.names

  cfd = nltk.ConditionalFreqDist(
          (fileid, name[0])
          for fileid in names.fileids()
          for name in names.words(fileid))

  cfd.plot

图显示，首字母H和W在男名中比女名中更常用。

9.

用词典过滤文本语料的内容。

# 函数定义
# myproc.py
from __future__ import division
import nltk
from nltk.corpus import stopwords

def content_fraction(text):
    """calculate words fractioin without stop words"""
    stopwords = nltk.corpus.stopwords.words('english')
    content = [w for w in text if w.lower() not in stopwords]
    return len(content) / len(set(content))

# 命令行
from nltk.book import *
from myproc iimport *
 content_fraction(text1)
8.06865891513653
 content_fraction(text2)
11.399421789409617

可以看出，去掉停用词后，<<Moby Dick>>词汇比<<Sense and Sensibility>>更丰富。（注，不去停用词，统计结果同样支持这个结论。）

疑问：如何考察文体（genre）差异？ 文体上分，二者都是小说，再具体点，一个是恐怖（惊悚）小说，一个是言情（浪漫）小说。

如果有分类语料库，如BROWN，直接提供了类型。

若如TEXT1,TEXT2等TEXT词链表，如何能根据词汇统计得出“文体”的结论呢？分类语料库是如何进行文本分类的，依据是什么？搞清楚这两点，大约可以仿BROWN分类方法，将这道题目做出来了。

尝试，发现Moby dick应是写whale的， S&S应是写人的。

探查一个词在两个文本中的词义，如下。

 text1.concordance('monstrous')
 text2.concordance('monstrous')

 text1.similar('monstrous')
 text2.similar('monstrous')

 #还可以
 text1.common_contexts("'monstrous'", "abundant")
 text2.common_contexts("'monstrous'", "very")

用WordNet考察monstrous词义，会发现该词意义很单一，没有小说中那么丰富的变化。定义就是"abnormally large"。

这个意义更接近现在的词义。是否因为写于1811的S&S比写于1851年的MB在语言用法方面与现代距离更远呢？

 >>> from nltk.corpus import wordnet as wn
 >>> wn.synsets('monstrous')
 [Synset('monstrous.s.01'), Synset('atrocious.s.01'), Synset('grotesque.s.01')]
 >>> wn.synset('monstrous.s.01').lemma_names
 ['monstrous']
 >>> wn.synset('atrocious.s.01').lemma_names
 ['atrocious', 'flagitious', 'grievous', 'monstrous']
 >>> wn.synset('grotesque.s.01').lemma_names
 ['grotesque', 'monstrous']
 >>> wn.synset('monstrous.s.01').definition
 'abnormally large'
 >>> wn.synset('monstrous.s.01').examples
 []
 >>> wn.synset('monstrous.s.01').lemmas
 [Lemma('monstrous.s.01.monstrous')]

=====结束分割线=====

（待续……)