自然语言处理 -->计算机数据 ,计算机可以处理vector,matrix 向量矩阵。

NLTK 自然语言处理库,自带语料,词性分析,分类,分词等功能。

简单版的wrapper,比如textblob。

import nltk
nltk.download() #可以下载语料库等。
#自带的语料库
from nltk.corpus import brown
brown.categories()
len(brown.sents()) # 多少句话
len(brown.words()) # 多少个单词

一 简单的文本预处理流水线

1.分词 Tokenize    长句子分成有意义的小部件。

sentence = "hello word"
nltk.word_tokenize(sentence)

nltk的分词对于中文是无效的,因为英文是词语按照空格键分开的,而中文单个字分开是无效的,比如今天天气不错,要分成 今天/天气/不错/!

中文有两种 1 启发式 Heuristic ,就是比如最长词,字典作为词库,有今天,没有今天天这么长的,所以今天为一个词。

     2 机器学习/统计方法:HMM,CRF。(coreNLP ,斯坦福)

      中文分词 结巴。

分完词之后再调用nltk。

社交网络语音的分词,会员表情符号,url,#话题,@某人 需要正则表达式来预处理。

2 nltk.pos_tag(text)  #text为分词完的list,part of speech 在这句话中的部分,adj adv,det(the,a这种)

3 stemming 词干提取 如walking 到walk

lemmatize(postag)词形归一 #会根据词性,把is am are 归一成be went 归一成go 这种

4  stop words(停止词),   he,the这些没有意义的词,直接删掉。

from nltk.corpus import stopwords
[word for word in word_list if word not in stopwords.words('english')]

插入图片1 流程

插入图片2 life is like a box of chocolate

二  向量化

nltk在nlp的经典应用1情感分析 2 文本相似度 3 文本分类(用的最多,如新闻分类)

1.情感分析:

  最简单的 sentiment dictionary

字典中单词的正负性,如 like 1分 good 2分 bad -2 分 terrible -3 分。  一句话所有的词打分,相加看正负。

sentimen_dictionary = {}
for line in open('*.txt'):
  word,score = line.split('\t')
  sentiment_dictionary[word] = int(score)
total_score = sum(sentiment_dictionary.get(word,0) for word in words) #字典中有则score,没有的Word则0分。
#有的人骂的比较黑装粉,需要配上ML
from nltk.classify import NaiveBayesClassifier
# 随手的简单训练集
s1 = 'this is a good book'
s2 = 'this is a awesome book'
s3 = 'this is a bad book'
s4 = 'this is a terrible book'
def preprocess(s):
 #句子处理,这里是用split(),把每个单词都分开,没有用到tokenize,因为例子比较简单。
return {word : True for word in s.lower().split()}        
#{fname,fval} 这里用true是最简单的存储形式,fval 每个文本单词对应的值,高级的可以用word2vec来得到fval。
#训练 this is terrible good awesome bad book 这样一次单词长列(1,1,0,1,0,0,1)如s1对应的向量 training_data = [ [preprocess(s1),'pos'],
[preprocess(s1),'pos'],
[preprocess(s1),'neg'],
[preprocess(s1),'neg']]
model = NaiveBayesClassifier.train(training_data)
print(model.classify(preprocess('this is a good book')))  

2.文本相似性

 把文本变成相同长度的向量,通过余弦相似度求相似性。

  nltk中FreqDist统计文字出现的频率

3.文本分类

    TF-IDF

    TF,Term Frequency,一个term在一个文档中出现的有多频繁。

    TF(t) = t出现在文档中的次数/文档中的term总数

    IDF :Inverse Document Frequency,衡量一个term有多重要,如 is the 这些不重要

    把罕见的权值农高。

    IDF(t) = log e (文档总数/含有t的文档总数)

    TF-IDF = TF×IDF

from nltk.text import TextCollection
# 首首先, 把所有的文文档放到TextCollection类中。
# 这个类会自自动帮你断句句, 做统计, 做计算
corpus = TextCollection(['this is sentence one',
'this is sentence two',
'this is sentence three'])
# 直接就能算出tfidf
# (term: 一一句句话中的某个term, text: 这句句话)
print(corpus.tf_idf('this', 'this is sentence four'))
# 0.444342
# 同理理, 怎么得到一一个标准大大小小的vector来表示所有的句句子子?
# 对于每个新句句子子
new_sentence = 'this is sentence five'
# 遍历一一遍所有的vocabulary中的词:
for word in standard_vocab:
print(corpus.tf_idf(word, new_sentence))
# 我们会得到一一个巨⻓长(=所有vocab⻓长度)的向量量

   

Python文本处理nltk基础的更多相关文章

  1. 使用Python中的NLTK和spaCy删除停用词与文本标准化

    概述 了解如何在Python中删除停用词与文本标准化,这些是自然语言处理的基本技术 探索不同的方法来删除停用词,以及讨论文本标准化技术,如词干化(stemming)和词形还原(lemmatizatio ...

  2. 《NLTK基础教程》译者序

    购买<NLTK基础教程> 说来也凑巧,在我签下这本书的翻译合同时,这个世界好像还不知道AlphaGo的存在.而在我完成这本书的翻译之时,Master已经对人类顶级高手连胜60局了.至少从媒 ...

  3. python 3.x 爬虫基础---常用第三方库(requests,BeautifulSoup4,selenium,lxml )

    python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 python 3.x 爬虫基础---常用第三方库 ...

  4. Python运维开发基础08-文件基础【转】

    一,文件的其他打开模式 "+"表示可以同时读写某个文件: r+,可读写文件(可读:可写:可追加) w+,写读(不常用) a+,同a(不常用 "U"表示在读取时, ...

  5. Python运维开发基础04-语法基础【转】

    上节作业回顾(讲解+温习90分钟) #!/usr/bin/env python3 # -*- coding:utf-8 -*- # author:Mr.chen # 仅用列表+循环实现“简单的购物车程 ...

  6. python 3.x 爬虫基础---Requersts,BeautifulSoup4(bs4)

    python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 python 3.x 爬虫基础---Requer ...

  7. Python服务器开发 -- 网络基础

    Python服务器开发 -- 网络基础   网络由下往上分为物理层.数据链路层.网络层.传输层.会话层.表示层和应用层.HTTP是高层协议,而TCP/IP是个协议集,包过许多的子协议.... 网络由下 ...

  8. python 文本相似度计算

    参考:python文本相似度计算 原始语料格式:一个文件,一篇文章. #!/usr/bin/env python # -*- coding: UTF-8 -*- import jieba from g ...

  9. 算是休息了这么长时间吧!准备学习下python文本处理了,哪位大大有好书推荐的说下!

    算是休息了这么长时间吧!准备学习下python文本处理了,哪位大大有好书推荐的说下!

随机推荐

  1. 织梦cms常用标签

    dedecms简介:织梦内容管理系统(DedeCms) 以简单.实用.开源而闻名,是国内知名的PHP开源网站管理系统,也是使用用户较多的PHP类CMS系统,在经历多年的发展,目前的版本无论在功能,还是 ...

  2. Json map

    1. 返回数据形式 Class returnMsg{ boolean success; String   msg; String   errorMsg; } 2.问题 当msg中的数据由对象 或 集合 ...

  3. 【项目管理】图解GitHub基本操作

    一.注册并登陆到github网站 1.1.打开github网站首页(https://github.com/) 1.2.注册一个自己的github账号 创建账户后再验证自己的邮箱,然后就可以登陆到git ...

  4. 八皇后算法的另一种实现(c#版本)

    八皇后: 八皇后问题,是一个古老而著名的问题,是回溯算法的典型案例.该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出:在8×8格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于 ...

  5. Dynamics CRM 之ADFS 使用 WID 和代理的联合服务器场

    为此部署拓扑 Active Directory 联合身份验证服务 (AD FS) 等同于联合服务器场与 Windows 内部数据库 (WID) 拓扑中,但它将代理服务器计算机添加到外围网络,以支持外部 ...

  6. DevExpress免费公开课,讲解即将发布的16.2新版功能

    先报名后听课,开课时间12月底 报名地址:http://training.evget.com/open/detail/5115[适合人群]覆盖全领域,尤其适合课程适用人群:软件开发人员.企业中的数据分 ...

  7. Android 手机卫士--导航界面2

    本文地址:http://www.cnblogs.com/wuyudong/p/5947504.html,转载请注明出处. 在之前的文章中,实现了导航界面1布局编写与相关的逻辑代码,如下图所示: 点击“ ...

  8. 用collectionview实现瀑布流-转(后面附demo,供参考)

    算法总体思路 先说一下总体上的思路.既然图片的大小.位置各不一样,我们很自然地会想到需要算出每个item的frame,然后把这些frame赋值给当前item的UICollectionViewLayou ...

  9. block为什么用copy以及如何解决循环引用

    在完成项目期间,不可避免的会使用到block,因为block有着比delegate和notification可读性更高,而且看起来代码也会很简洁.于是在目前的项目中大量的使用block. 之前给大家介 ...

  10. [Erlang 0126] 我们读过的Erlang论文

    我在Erlang Resources 豆瓣小站上发起了一个征集活动 [链接] ,"[征集] 我们读过的Erlang论文",希望大家来参加.发起这样一个活动的目的是因为Erlang相 ...