PGM:图模型学习概述
http://blog.csdn.net/pipisorry/article/details/52571640
动机
前面我们讨论的问题出发点是给定一个图模型。如在独立性和推理讨论中,假定模型——结构及参数——是输入的一部分。
查询一个模型的方法
手工搭建网络
利用一组从希望建模的那个分布中生成的样本来学习相对于总体的分布模型
模型学习
这里首先描述学习模型时的目标集合和由这些目标所导致的不同评价指标。然后讨论如何将学习的问题视为一个优化问题以及由该问题的设计引发的问题。最后,对于不同类型的学习任务,给出详细的分类并讨论它们的一些计算后果。
学习目标和评价
[机器学习模型的评价 ]
优化学习
{数值准则——损失函数意味着学习任务应该视为一个优化问题}
优化问题:
经验风险与过拟合
经验分布:用数据D来定义经验分布
事件A在数据D上的经验分布的定义:
所有事件加起来就形成了整个经验分布
经验损失作为真实损失的替代导致的不良后果
防止过拟合
模型选择:偏倚-方差的折中
限制模型类:降低过拟合
专栏:16.A 用于设计和评价机器学习过程的基本实验性条款
抵抗测试、交叉验证、k-折交叉验证、拟合优度、PAC界
判别式与生成式训练
生成式训练和判别式训练的应用场景和折中
生成式训练:朴素贝叶斯(马尔可夫);判别式训练:logistic回归模型。
大多数便于贝叶斯网学习的计算性质在判别式训练中都不能使用。
生成式训练更适用于数据量有限(或者稀疏)的数据学习;判别式训练更适用于大数据集的模型学习。
判别式模型的一个相关的好处是它们可以利用一个独立性假设被明显违反的、非常丰富的特征集。这些丰富的特征通常可以极大地改善分类的准确性。
相反,生成式模型的优点。通常能够为领域提供更自然的解释,并且更善于处理缺失值和无标签的数据。
模型的的合适选择取决于应用,并且不同训练方法的组合往往可能是最好的选择。
学习任务
模型限制
数据的可观测性
缺失数据
隐变量
网络中的隐变量的包含可以极大地简化结构,并且降低所学网络的复杂性。甚至某个变量集上的一个稀疏模型也可以在其变量的一个子集上诱导出大量的依赖关系。
学习任务的分类
。。。
from: http://blog.csdn.net/pipisorry/article/details/52571640
ref:
PGM:图模型学习概述的更多相关文章
- 知识图谱-生物信息学-医学顶刊论文(Briefings in Bioinformatics-2021):生物信息学中的图表示学习:趋势、方法和应用
4.(2021.6.24)Briefings-生物信息学中的图表示学习:趋势.方法和应用 论文标题: Graph representation learning in bioinformatics: ...
- 机器学习&数据挖掘笔记_21(PGM练习五:图模型的近似推理)
前言: 这次练习完成的是图模型的近似推理,参考的内容是coursera课程:Probabilistic Graphical Models . 上次实验PGM练习四:图模型的精确推理 中介绍的是图模型的 ...
- 机器学习&数据挖掘笔记_20(PGM练习四:图模型的精确推理)
前言: 这次实验完成的是图模型的精确推理.exact inference分为2种,求边缘概率和求MAP,分别对应sum-product和max-sum算法.这次实验涉及到的知识点很多,不仅需要熟悉图模 ...
- PGM:部分有向模型之条件随机场与链图模型
http://blog.csdn.net/pipisorry/article/details/52529287 贝叶斯网与马尔可夫网 [PGM:无向图模型:马尔可夫网]中例3.8和例4.8显示,贝叶斯 ...
- NLP —— 图模型(一)隐马尔可夫模型(Hidden Markov model,HMM)
本文简单整理了以下内容: (一)贝叶斯网(Bayesian networks,有向图模型)简单回顾 (二)隐马尔可夫模型(Hidden Markov model,HMM) 写着写着还是写成了很规整的样 ...
- NLP —— 图模型(二)条件随机场(Conditional random field,CRF)
本文简单整理了以下内容: (一)马尔可夫随机场(Markov random field,无向图模型)简单回顾 (二)条件随机场(Conditional random field,CRF) 这篇写的非常 ...
- 深度学习概述教程--Deep Learning Overview
引言 深度学习,即Deep Learning,是一种学习算法(Learning algorithm),亦是人工智能领域的一个重要分支.从快速发展到实际应用,短短几年时间里, ...
- LDA( Latent Dirichlet Allocation)主题模型 学习报告
1 问题描述 LDA由Blei, David M..Ng, Andrew Y..Jordan于2003年提出,是一种主题模型,它可以将文档集中每篇文档的主题以概率分布的形式给出,从而通过分析一 ...
- GAN︱生成模型学习笔记(运行机制、NLP结合难点、应用案例、相关Paper)
我对GAN"生成对抗网络"(Generative Adversarial Networks)的看法: 前几天在公开课听了新加坡国立大学[机器学习与视觉实验室]负责人冯佳时博士在[硬 ...
随机推荐
- mysql乱码配置
1.进入mysql show variables like "char%" 2.在/etc/mysql/my.cnf中增加以下内容 [client] default-c ...
- VINS 估计器之检查视差
为什么检查视差 VINS里为了控制优化计算量,在实时情况下,只对当前帧之前某一部分帧进行优化,而不是全部历史帧.局部优化帧的数量就是窗口大小.为了维持窗口大小,需要去除旧的帧添加新的帧,也就是边缘化 ...
- 原生nodejs在线聊天系统
前端自动化由来已久,最近为了编写自己的自动化工具,本人开始详细学习node,为了检验学习成果,决定编写一个类似于webqq的聊天系统.以下是该系统具有的模块. 登录模块(自动登录) 聊天模块(私聊,群 ...
- PyCharm 2018 永久激活
PyCharm是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试.语法高亮.Project管理.代码跳转.智能提示.自动完成.单元测试.版本控制. ...
- codeforces 815C Karen and Supermarket
On the way home, Karen decided to stop by the supermarket to buy some groceries. She needs to buy a ...
- [51nod1239欧拉函数之和]
来自FallDream的博客,未经允许,请勿转载,谢谢 --------------------------------------------- 给定n,求$S(n)=\sum_{i=1}^{n}\ ...
- Union和Union All 的区别
Union和Union All 的区别: Union 是对结果集进行并集操作,不包括重复行,同时进行默认规则的排序: Union All,对两个结果集进行并集操作,包括重复行,不进行排序: Inter ...
- 解决ansible首次连接host服务器需验证问题
问题描述: [root@iZm5e79rtwsq2hm57teyk5Z ansible]# ansible aofeng -f 5 -m ping 47.93.18.191 | FAILED! =&g ...
- JSON概述
错误理解: 一直以为JSON就是对象,拥有跟js对象类似的特征:{key:value}形式, 以至于在自己的思维定式中就出现了一种很可怕的情景:居然不知道怎么去解释习以为常的json是 ...
- 初识Redis系列之一:简单介绍
一:Redis是什么? Redis全称:REmote DIctionary Server(Redis) .Redis是一个由Salvatore Sanfilippo写的key-value存储系统,AN ...