1.简单例子引入 2.先验概率 3.后验概率 4.最小错误率决策 5.最小风险贝叶斯决策 1. 贝叶斯公式 2简单例子 正常情况下,我们可以快速的将街上的人分成男和女两类.这里街上的人就是我们观测到的样本,将每一个人分成男.女两类就是我们做决策的过程.上面的问题就是一个分类问题. 分类可以看作是一种决策,即我们根据观测对样本做出应归属哪一类的决策. 假定我手里握着一枚硬币,让你猜是多少钱的硬币,这其实就可以看作一个分类决策的问题:你需要从各种可能的硬币中做出一个决策.硬币假设面值有1角.5角.1…

Reuters数据集下载速度慢,可以在我的repo库中找到下载,下载后放到~/.keras/datasets/目录下,即可正常运行. 构建神经网络将路透社新闻分类,一共有46个类别.因为有多个类别,属于多分类问题,而每条数据只属于一个类别,所以是单标签多分类问题:如果每条数据可以被分到多个类别中,那问题则属于多标签多分类问题. 完整代码 欢迎Fork.Star 路透社数据集 Reuters数据集发布在1986年,一系列短新闻及对应话题的数据集:是文本分类问题最常用的小数据集.和IMDB.MNIS…

1.朴素贝叶斯实现新闻分类的步骤 (1)提供文本文件,即数据集下载 (2)准备数据 将数据集划分为训练集和测试集:使用jieba模块进行分词,词频统计,停用词过滤,文本特征提取,将文本数据向量化 停用词文本stopwords_cn.txt下载 jieba模块学习:https://github.com/fxsjy/jieba :    https://www.oschina.net/p/jieba (3)分析数据:使用matplotlib模块分析 (4)训练算法:使用sklearn.naive_b…

1.map做一个标签的数字替换 2.vec = CountVectorizer(lowercase=False, max_features=4000)  # 从sklean.extract_feature.text 导入,根据词频做一个数字的映射,max_feature表示的是最大的特征数 需要先使用vec.fit ,再使用vec.transform 才有效 3. vec = TfidfVectorizer(lowercase=False, max_features=4000)  # 从skle…

原始的github可以参考这里: https://github.com/FudanNLP/nlpcc2017_news_headline_categorization 我的经验文章可以参考这里: https://www.cnblogs.com/charlesblc/p/8204587.html…

# -*- coding: UTF-8 -*- import jieba import os import random from sklearn.naive_bayes import MultinomialNB from matplotlib import pyplot as plt def TextProcessing(folder_path, test_size=0.2): """ 处理路径下的所有文本,并划分训练集和测试集,在训练集上,生成无重复词语集并按出现次数从大…

一.简介 本文主要是要利用百度提供的NLP接口对搜狐的新闻做分类,百度对NLP接口有提供免费的额度可以拿来练习,主要是利用了NLP里面有个文章分类的功能,可以顺便测试看看百度NLP分类做的准不准.详细功能与使用方式可以上(http://ai.baidu.com/tech/nlp/topictagger)观看. 二.建立爬虫 首先要先写一个可以快速爬取所有文章内容的爬虫程序,关于爬虫的原理可以看我之前写的介绍(https://www.cnblogs.com/yenpaul/p/9968015.ht…

想要做个新闻文本识别分类的项目,就先写了个爬取百度新闻的爬虫. 环境:win7 32 bit python3.4 若干第三方库 可以实现的功能:定期按照百度新闻的分类抓取新闻的标题,所属类别及文本内容,并自动存入数据库(MySQL),同时发邮件到自己邮箱提醒. 缺陷:因新闻来源不同,网页编码不同,会出现少量的乱码现象:存入数据库未添加自动去重功能(自己手动去重其实也并不难,所以没去研究这个) STEP1: creat_dbtable.py链接数据库创建表(也可直接通过操作MySQL) # -*-…

在本教程的前两篇文章中,笔者分别向大家介绍了使用jQuery Mobile框架如何去设计手机新闻浏览器,其中实现了一个WEB版本的新闻浏览器,在本教程的最后一篇中,将讲解如何将已实现的web版本的新闻浏览器迁移到Android手机中去,注意的是,本文希望读者拥有一点基础的Android知识. 迁移到Android应用中去 在Android应用中,将会使用index.html作为界面的布局,我们将编写一个Android的Activity类将index.html整合到android应用中去. 修改i…

在上一篇文章中,已经讨论了程序的结构和页面的布局,并简单介绍了一些jQuery Mobile的使用技巧.在本篇文章中,笔者将继续完成我们web应用的新闻浏览器的设计. 程序的启动 我们现在来研究一下程序的启动.当程序启动的时候,展示给用户的是新闻分类列表的页面,为了让每次这个新闻分类页面不为空,我们需要记下用户之前选择了 哪些感兴趣的分类.为了实现这个目的,我们通过使用jQuery的一个插件DST.js plugin去把用户每次选择的新闻分类都保存在HTML5的localStorage中.如果用…