下午去上刘杨老师的机器学习课,今天讲的＂朴素被噎死＂,他本想当场举个例子,结果读了好半天才吧关系都拼凑上,他说明天给我们带来个精彩的,回去之后夜里把朴素贝叶斯自己又脑补了一下,发现贝叶斯原理(后验)就是个很简单的因果现象.   正常的因果现象是,给你一个起因,可能会有不同的结果,而每种结果的概率是P(果|因).   而所谓的＂后验过程＂就是当你看到结果是这样的时候,问最可能是哪种原因造成现在这个结果.   这 里我想到了一年前理学院的王勇老师给他们学上讲课的时候用过的一个例子:说你是某工厂的厂长…

今天收到中秋的邮件.KDD结果出来了,Zhongqiu Wang & Jingwen Huang 15th/561.  …

实验室例会,上到一半之后发现今天下午第二节课是Android,上次两节Android都没跟中秋碰头,这次又不能碰头了,然 后就赶紧给中秋发了个短信,说我在开会,晚上约个时间再谈.正好也称这一下午加一晚上的时间把那三篇论文温习一遍,然后把CRF.MRF再看看,不过果然 还是没于看懂,晚上吃完饭回来打算找学长问,不过学长吃饭去了还没有回来,就自己看那篇综述.   等学 瑞吉师兄回来之后就跟师兄到会议室讨MRF还有这个题目.其实之前对MRF一直存在误解,这是主要障碍,以前一直以为每个节点都代表一种la…

今天上午把昨天的想法给中秋发过去了,然后我就开始科普随机森林: 随机森林是一种比较新的机器学习模型.经典的机器学习模型是神经网络,有半个多世纪的历史了.神经网络预测精确,但是计算量很大.上世纪八十年代Breiman等人发明分类树的算法(年Breiman把分类树组合成随机森林(Breiman 2001a),即在变量(列)的使用和数据(行)的使用上进行随机化,生成很多分类树,再汇总分类树的结果.随机森林在运算量没有显著提高的前提下提高了预测精度.随机森林对多元公线性不敏感,结果对缺失数据和非平衡的数…

早上来实验室,本来打算向秦师兄要文献的,不过秦师兄上午不在,所以就没有联系他.于是就开始调试郑茂的代码,发现原来那个itoa函数不是标准库里面 的,所以可能只有windows上可以用.然后我就在打电脑上变异了一下果然就是可以.不过运行结果最有一行有一个大大的ERROR,还在调试中. 下午开例会的时候,上面汇报工作,我就在下面想KDD怎么用CoAuthor,一般开会的时候灵感特别丰富,于是果然就有了一个点子.大概是这样的:   首 先样例程序那个最后一个特征粒度不够,我可以细化这个特征,就用社会挖…

今天上午在图书馆写FIrst集,真心没写出来,算法是昨天找好的,不过实现的话还是需要很大的代码量,然后就打算用郑茂或者韩冰的代码了. 晚上图书馆快关门的时候开始思考KDD的问题, 我一开始打算给中秋发邮件来着,因为我开始觉得他给我的Co-Author好像跟“与当前文章合作的Co-Authro的历来合作的文章总数”那个SQL特征没什么改进,大概就是一样的,只不过可能粒度小. 不过在发邮件之前我还是有打算再调研调研,于是就上网搜了一下社会计算.DBscan...没什么头绪. 晚上回寝室之后,继续到自…

今天晚上郭宇航师兄从外面回来问我那天找他什么事,然后我们就开始讨论KDD的第一个题目,其实第一个题目跟郭师兄的课题不太相关,本来想问他关于语义消 岐的那道题(第二道),不过第二题的内容我给忘了,然后我们就开始讨论第一道题,第一道题的内容说清楚了,然后师兄要看一下示例代码,但是关键的地 方,SQL语句抽出来的特征分别代表什么被我忘记了,非常尴尬.讨论的结果大概是这样的: 可以test驱动那种,但是别太过火,容易过拟合,当前榜上排前几名都已靖97%的那几个队有可能就已经过拟合了,因为他们尝试的次数太…

其实昨天KDD就开始了,不过今天算是我跟KDD的第一天.   昨天夜里就短信跟中秋聊了一会儿,然后中秋说他一天都在弄数据库,连不上怒了.然后我跟他说明天我来.于是今天就在图书馆弄KDD,数据是用数据库存储的而 不是文件,数据库用的PostgreSQL,然后就在Linux上搭建PostgreSQL,没什么问题.就是最后在载入样例数据备份的时候数据一直下载 不下来,然后就到中秋哪里拿数据.   在中秋那里看了一下他的错误,其实没解决,我的感觉还是他的安装包的问题,貌似PostgreSQL对Windo…

看完睡不觉得世间有点虚度,然后就构思了一下带带回儿去找中秋要跟她说的事情,大概就是这样的:   我 打算用paper来计算人与人之间的距离,比如说我跟郑茂和写过一篇文章,然后郑茂根韩冰和写过一篇文章,这样我跟韩冰的距离比较近,这样如果我在一篇文 章中跟其他两个id有名称歧义的话而且其中韩冰又是其中一个无歧义作者,那没看我这个id跟韩冰这么近,肯定是我写的文章.   晚 上八点多快九点的时候给中求发短信,然后他说现在可以过去,我就过去了.过去之后我跟她说了这个想法没他说有问题,具体问题就是我是我们…

昨天下午的时候中秋给我发短信＂待会儿上课吧?上课讨论下?＂,然后我回复＂嗯,好的.＂然后上课的时候中秋说那个方案也许不太好执行,因为他后来看数据了,数据库里面这种＂可以从从协同作者进行判断＂的例子并不多.所以不能只靠那个.   然后今天早上还 在床上没起来,就接到了瑞吉师兄打来的电话,才发现今天我们约好一起写NER的,结果被我忘了,是在非常囧.然后就跑过去了,然后找出之前写好的 代码,过一会儿师兄就过来了,跟我一起看代码,师兄的意思是在上面直接该,不过我的想法是还是重写吧,我说用状态机重写,因为…