概率分布之间的推导关系 | Univariate Distribution Relationships

Univariate Distribution Relationships

APPL: A Probability Programming Language

Maplesoft- Software for Mathematics, Online Learning, Engineering

也有国内大神的解读：一张图的故事——概率分布之间的关系（上）

知乎上也有人做了高度的总结：

人们希望能从随机的现象中，找到规律。于是，概率分布模型就出现了。每设计一个概率分布模型，都要在精确性和普适性之间做折中。我们既希望一个模型能准确表达随机现象，也希望这个模型能适用于更多的场景。gamma, gaussian 都是经过这样的折中后，具有数学美的模型。比如，gaussian 模型，是已知二阶统计量的最大墒模型。它的概率分布可以完全由二阶统计量标准。这个特点让很多intractable的贝叶斯估计有了close-form的解。再说gamma 模型，首先它的支持域在第一象限，就能表征一些和能量有关的随机量，比如说一个随机变量的方差。gamma分布是gaussian的conjugate 分布，能够和gaussian一起完成很多有close form的推断任务。从这个角度，gamma分布的设计也是有数学上tractability 的考虑的。只要满足概率论的三大公理，谁都可以建立概率分布模型。但不是所有人都能想出像gaussian, gamma这样既有数学上简洁，又有工程上的普适性的分布。

作者：Leo Cheng
链接：https://www.zhihu.com/question/32250763/answer/55340855
来源：知乎

---

科普一下这段话中的概念：

统计量：样本观测值的函数，不依赖未知参数，比如样本的均值和方差。

二阶统计量：幾個重要簡單的機率概念 – 1st and 2nd order statistics p = E(X)  —> first order statistics。“方差”这样的统计量，是指随机变量的二阶函数。

高阶统计量：阶数大于二阶的统计量,主要有高阶矩、高阶累积量和高阶累积量谱。

i.i.d (independent and identically distributed)：独立同分布 iid

最大熵模型：一步一步理解最大熵模型。最大熵原理认为，学习概率模型时，在所有可能的概率模型中，熵最大的模型是最好的模型。

Closed form expression：闭合解。不是有解或者没解。比如我们常见的一元二次方程就有闭合解、解析解。而However, there are quinticequations without closed-form solutions using elementary functions, such as x⁵ − x + 1 = 0.

conjugate 分布：共轭分布，已经有篇文章详解了（copy了），核心就是让贝叶斯的先验分布和后验分布形成链条（同分布）。

概率公理：三公理，又称柯尔莫果洛夫公理。任一事件的概率都可以用到区间上的一个实数来表示。整体样本集合中的某个基本事件发生的概率为1。不相交子集的并的事件集合的概率为那些子集的概率的和。