exponential family distribution（指数族分布）

1. exponential family

给定参数 η，关于 x 的指数族分布定义为如下的形式：

p(x∣∣η)=h(x)g(η)exp{ηTu(x)}

其中 x 可以为标量也可以为矢量，可以为离散也可是连续。其中 η 被称为分布的自然系数（natural parameters），

g(η)∫h(x)exp{ηTu(x)}dx=1

2. 以指数分布的眼光看其他分布

• 伯努利分布（Bernoulli Distribution，也叫 0-1 分布）：

  伯努利分布的基本形式为（其中 μ 为事件可能发生的概率，x 的取值为 0 或 1）：

  p(x∣∣μ)=μx(1−μ)1−x

  我们将其化为指数分布的形式：

  p(x∣∣μ)=Bern(x∣∣μ)==eln(μx(1−μ)1−x)(1−μ)exp{xln(μ1−μ)}

  将其与指数族的基本形式相对照，现指定 η=ln(μ1−μ)，因此 μ 是关于 η 的函数，不妨设 μ=σ(η)，则可得 ：

  μ=σ(η)=11+e−η

  这就是 logistic sigmoid 函数；