machine learning for hacker记录(3) 贝叶斯分类器

本章主要介绍了分类算法里面的一种最基本的分类器：朴素贝叶斯算法（NB），算法性能正如英文缩写的一样，很NB，尤其在垃圾邮件检测领域，关于贝叶斯的网上资料也很多，这里推荐那篇刘未鹏写的http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/，作者深入浅出的概述了贝叶斯背后的思想跟应用领域，关于其理论方面可以参考斯坦福大学NG的machine learning cs299的讲义，关于代码实现可以参考一些开源的包或者自己动手写（之前，闲来无事写了一个基于MRjob的MapReduce版本），关于成熟开源工具包可以参考scikit,orange,weka,mahout,tm等。

言归正传，本章是结合R语言在垃圾邮件检测上的应用，整章大部分篇幅在特征提取那块，如何提取邮件正文，并结合R的tm(text mining)工具包，抽取特征，计算各种先验概率，最后通过贝叶斯法则导出P(y|x)的条件概率，尽管现实很多数据并不满足该算法所要求的特征是相互独立的硬性条件，但这不妨碍NB的NB性能。

最后看一下书中给出的2个结果

　表1

邮件类型	分类正常邮件的比例	分类垃圾邮件的比例
易识别正常邮件	0.78	0.22
不易识别正常邮件	0.73	0.27
垃圾邮件	0.15	0.85

表2

邮件类型	分类正常邮件的比例	分类垃圾邮件的比例
易识别正常邮件	0.90	0.10
不易识别正常邮件	0.82	0.18
垃圾邮件	0.18	0.82

表1的结果是假定类别先验概率比例是 垃圾邮件/正常邮件=0.5/0.5,而表2是 垃圾邮件/正常邮件=0.2/0.8。

可以看出表2的误判率低于表1，但是漏判率也要高于表1，这存在一个权衡，到底关注误判率的低还是漏判率的低，或者二者的折中，这让我想起了之前做的一个关于游戏用户流失预警项目，当时我一个劲提高识别率而忽略了误判率，其实这会对误判的那些正常用户造成很大的骚扰，所以做项目还是要紧密结合业务场景。在垃圾邮件这个场景下，误判率高的意味着会更可能的把正常邮件当做垃圾邮件而删除，这会影响用户体验，漏判率高意味着识别算法的性能低下，类似的矛盾很多，如机器学习里面的bais/variance,计算机算法里面的时间复杂度/空间复杂度等。

在垃圾邮件这个场景下，误判率比漏判率可能更为重要一点，如果一封对用户很重要的邮件被系统判定spam的话，那么给用户带来的体验伤害比一封垃圾邮件带来的骚扰更深刻。当然现在的邮箱系统功能丰富，加入了各种其他的非邮件正文的特征，比如发件人的IP地址等等，识别率已经达到了99%+了，也添加了跟用户的交互功能，可以让用户标示哪些是垃圾邮件，定制一个个性化邮件过滤系统。