NLTK和jieba这两个python的自然语言包(HMM,rnn,sigmoid

HMM（Hidden Markov Model，隐马尔可夫模型） CRF（Conditional Random Field，条件随机场），

RNN深度学习算法（Recurrent Neural Networks，循环神经网络）。输入条件连续 LSTM（Long Short Term Memory）则绕开了这些问题依然可以从语料中学习到长期依赖关系，输入条件不连续是用， 核心是实现了  dL(t)dh(t)和  dL(t+1)ds(t)反向递归计算。

sigmoid函数，该函数输出0到1之间的值

NLTK和jieba这两个python的自然语言包，前者，我主要是对分词后的数据进行分析； 而后者，我主要用于对文章进行分词！

part.1 包的安装

pip install nltk pip install jieba

一条文本分析的漫漫长路就此开始！

part.2 怎么使用

从这里开始，我根据着自己写的类来对这两个包进行一些简单的讲解。

2.1 引用

# coding=utf-8 # -*- coding: cp936 -*- import jieba import jieba.posseg as pseg import codecs import re import os import time import string from nltk.probability import FreqDist open=codecs.open

2.2 自定义词典和停用词的引入

自定义词典是我们在分词的时候避免把我们需要的词组分成小词而导入的，而停用词，则是我们在分词过程中，将对我们分词过程中的干扰词排除在外的词典。

#jieba 分词可以将我们的自定义词典导入，格式 “词” “词性” “词频” jieba.load_userdict('data/userdict.txt')

#定义一个keyword类 class keyword(object):     def Chinese_Stopwords(self):          #导入停用词库         stopword=[]         cfp=open('data/stopWord.txt','r+','utf-8')   #停用词的txt文件         for line in cfp:             for word in line.split():                 stopword.append(word)         cfp.close()         return stopword

2.3 分词和挑选

先来讲讲分词，分词可以说是中文文章分析的第一步，中文不像英文，每个单词之间有空格隔开，我们首先需要对文章进行分词，也就是把长长的文本切割成单个的词，而后才能对这些词进行后续的操作。

def Word_cut_list(self,word_str):         #利用正则表达式去掉一些一些标点符号之类的符号。         word_str = re.sub(r'\s+', ' ', word_str)  # trans 多空格 to空格         word_str = re.sub(r'\n+', ' ', word_str)  # trans 换行 to空格         word_str = re.sub(r'\t+', ' ', word_str)  # trans Tab to空格         word_str = re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——；！，”。《》，。：“？、~@#￥%……&*（）1234567①②③④)]+".\                           decode("utf8"), "".decode("utf8"), word_str)

wordlist = list(jieba.cut(word_str))#jieba.cut  把字符串切割成词并添加至一个列表         wordlist_N = []         chinese_stopwords=self.Chinese_Stopwords()         for word in wordlist:             if word not in chinese_stopwords:#词语的清洗：去停用词                 if word != '\r\n'  and word!=' ' and word != '\u3000'.decode('unicode_escape') \                         and word!='\xa0'.decode('unicode_escape'):#词语的清洗：去全角空格                     wordlist_N.append(word)         return wordlist_N

什么叫挑选呢？ 其实在我们进行中文文本的分析时，不是每个词都有用的。那什么样的词就能表述出文章意思呢？ 比如：名词！ 那怎么把名词提取出来呢？