2013.5.8 - KDD第二十天

下午去上刘杨老师的机器学习课，今天讲的＂朴素被噎死＂，他本想当场举个例子，结果读了好半天才吧关系都拼凑上，他说明天给我们带来个精彩的，回去之后夜里把朴素贝叶斯自己又脑补了一下，发现贝叶斯原理（后验）就是个很简单的因果现象。

 

正常的因果现象是，给你一个起因，可能会有不同的结果，而每种结果的概率是P(果|因)。

 

而所谓的＂后验过程＂就是当你看到结果是这样的时候，问最可能是哪种原因造成现在这个结果。

 

这
里我想到了一年前理学院的王勇老师给他们学上讲课的时候用过的一个例子：说你是某工厂的厂长，一共有甲、乙、丙三个车间，都生产相同的零件。事情是这样

的，今天国家领导过来视察，临走的时候从集装箱的一堆零件随手拿了一个，结果发现竟然是一件不合格品。然后领导很尴尬，后果很严重。厂长决心惩治一下，但
是那个箱子里的零件是三个车间的产品等比例混合而成的，说不清是哪个车间造的，这怎么办呢？该罚那个车间的主任呢？

 

然后他就把三个车间的历史纪录找出来，然后把每个车间的正常差品率都算出开了，甲车间差频率0.1%，乙车间0.2%，丙车间0.3%。然后发现丙车间的次品率最高，那天的那个次品最有可能使他们车间做出来的，然后果断罚丙车间主任。

 

这

个过程就叫做＂事发之后来验＂既＂后验＂，我是这样理解的。这就是朴素贝叶斯，有好近几个原因都会导致你现在看到的这个结果，而每种原因导致这个相同的结
果的肯能性（概率）都不一样，那到底我该认为哪个原因造成的呢？就是选哪个最有可能带来这个结果的那个原因。也就是使P(果|因i)最大的那个因，既
argmaxP(果|因i)。

 

最大似然估计也是这个意思，但运行的层面不同，他不是根根据X来估计Y，而是根据X和Y来估计模型是什么样的，他是对整个模型（的参数）的后验过程，但本质上都是想通过结果找原因的过程。

 

而明天例会上宏博师兄要讲的EM大法，故事的背景就是这个最大似然估计，所以坐等。