bernoulli, multinoulli distributions 讲解

bernoulli, multinoulli distributions 讲解

 

常用概率分布-Bernoulli 分布 & Multinoulli 分布

转自：迭代自己-19常用概率分布

Bernoulli 分布

Bernoulli 分布 (Bernoulli distribution) 是单个二值随机变量的分布。它由单个参数 \(\phi \in[0,1]\) 控制， \(\phi\) 给出了随机变量等于 \(1\) 的概率。

一般的使用场景也补充下。

它具有如下的一些性质。

\[P(\mathrm{x}=1)=\phi \\P(\mathrm{x}=0)=1-\phi \\P(\mathrm{x}=x)=\phi^{x}(1-\phi)^{1-x}
\]

上面这个没怎么明白。

\[\mathbb{E}_{\mathbf{x}}[\mathrm{x}]=\phi\\\operatorname{Var}_{\mathrm{x}}(\mathrm{x})=\phi(1-\phi)
\]

 

Multinoulli 分布

Multinoulli 分布 (multinoulli distribution) 或者范畴分布 (categorical distribution) 是指在具有 \(k\) 个不同状态的单个离散型随机变量上的分布，其中 \(k\) 是一个有限值。Multinoulli 分布由向量 \(p \in[0,1]^{k-1}\) 参数化，其中每一个分量 \(p_i\) 表示第 \(i\) 个状态的概率。嗯，是的。最后的第 \(k\) 个状态的概率可以通过 \(1-\mathbf{1}^{\top} \boldsymbol{p}\) 给出。这个是为啥？注意我们必须限制 \(\mathbf{1}^{\top} \boldsymbol{p} \leq 1\) 。没怎么明白前面这个式子。 Multinoulli 分布经常用来表示对象分类的分布，所以我们很少假设状态 \(1\) 具有数值 \(1\) 之类的。因此，我们通常不需要去计算 Multinoulli 分布的随机变量的期望和方差。嗯。

Bernoulli 分布和 Multinoulli 分布足够用来描述在它们领域内的任意分布。它们能够描述这些分布，不是因为它们特别强大，而是因为它们的领域很简单。它们可以对那些能够将所有的状态进行枚举的离散型随机变量进行建模。当处理的是连续型随机变量时，会有不可数无限多的状态，所以任何通过少量参数描述的概率分布都必须在分布上加以严格的限制。没有很明白。