NLP-python 自然语言处理01

  # -*- coding: utf-8 -*-
 """
 Created on Wed Sep  6 22:21:09 2017

 @author: Administrator
 """
 import nltk
 from nltk.book import *
 # 搜搜单词
 text1.concordance("monstrous")  # 查找关键词

 #搜搜相似词
 text1.similar('monstrous')

 # 搜搜共同的上下文
 text2.common_contexts(['monstrous', 'very'])

 # 词汇的分布
 text4.dispersion_plot(['moustrous','very'])

 # 词汇的长度
 len(text3)

 # 重复词密度
 len(text3)/len(set(text3))

 #关键词密度
 text3.count('smote')
 100*text4.count('a')/len(text4)

 def lexical_diversity(text):
     return len(text) / len(set(text))

 def percentage(count, total):
     return 100 * count /total

 sent1=['Call', 'me', 'Ishmael', '.']

 # 获取文本词索引,注意索引的长度，从零开始
 text3[172]

 text3.index('love')

 # 频率分布情况,对常用词语的判断
 # 简单统计， 频率分布
 fdist1 = FreqDist(text1)

 vocabulary1 = fdist1.keys()
 fdist1['whale']
 fdist1.plot(50, cumulative=True)

 # 低频词
 fdist1.hapaxes()

 # 细粒度的词选择
 V = set(text1)
 long_words = [w for w in V if len(w) >15]
 sorted(long_words)

 # 词频加词的长度同时决定
 fdist5 = FreqDist(text5)
 sorted([w for w in set(text5) if len(w) > 7 and fdist5[w] > 7])

 # 常用词语搭配,双元词搭配
 from nltk.util import bigrams
 list(bigrams(['more', 'is', 'said', 'than', 'done']))

 # 常用的双元词搭配
 text4.collocations()

 # 文本中每个词的长度
 [len(w) for w in text1]

 # 各个长度词的分布,输出是一个字典
 fdist = FreqDist([len(w) for w in text1])

 fdist.keys()    # 索引值
 fdist.items()
 fdist.max()    # 词汇出现最多的那个词的索引

 fdist[3]     # 索引值为3的位置