Probability theory

1.Probability mass functions (pmf) and Probability density functions (pdf)

pmf 和 pdf 类似，但不同之处在于所适用的分布类型

PMF -> <font color='green'>discrete distributions</font>, while pdf -> <font color='green'>continuous distributions</font>

例如：

pmf: if P(X=5) = 0.2,则随机变量等于5时的概率是0.2
（pmf非负且sum等于1）

但是pdf就不能这么说了，因为pdf定义在point上，而他的Probability却定义在积分上，即：$$\int_A^Bf(x)dx \quad \textrm{and} \quad X\in [A,B] $$
若$A=B$则积分为0，给定点的"概率"永远是0。
因为我们只要确保积分后的结果是合法的概率值就可以，所以pdf可以大于1（离散分布就不可以了），但是pdf必须非负且积分区间是$(-\infty, +\infty)$

2.Cumulative Distribution Funtions

CDF是累积分布函数
$F(c) = P(X<c);\textrm{F is the CDF}$
离散分布：
$F(c) = \sum_{-\infty}^c p(c)$
连续分布：
$F(c) = \int_{-\infty}^c f(x)dx$

3.likelihood function

在统计学中，Likelihood function似然函数是一个带参数的统计模型函数，所谓统计模型statistical model就是$(S,P)$,其中S是可能的观测结果集合，例如，样本空间，P则是基于S的概率分布，也就是S中事件发生的概率。似然函数可以用来做参数估计，在英语单词中likelihood和probability可近似使用，非正式语境下为同义词。但在统计学上是有差别的。

probability:给定参数，描述事件结果的函数。e.g.如果一个硬币抛十次，每次正面朝上的probability是多少？

likelihood:给定结果，描述带参数的函数。e.g.如果一个硬币抛了十次，有十次正面朝上，likelihood是什么？

定义：

$$\ell(\theta|x) = P(x|\theta)$$

解释：The likelihood of a set of parameter values, θ, given outcomes x, is equal to theprobability of those observed outcomes given those parameter values.

似然函数依据变量是离散的还是连续的可分为如下：

Discrete probability distribution:$\ell(\theta|x) = p_{\theta}(x)=P_{\theta}(X=x)$

Continuous probability distribution:$\ell(\theta|x)=f_\theta(x)$

这里面需要注意到是似然函数是参数$\theta$的函数，x是常量，大写的$X$是随机“变量”，小写的$x$是常量(给定的值)。可以这样理解，在现有模型下，x是一次实验的观测结果。对于$f(x|\theta)$，如果把它看成x固定，则是一个pdf，如果把他看成x固定，则是likelihood function.但不能理解成条件概率，因为$\theta$不是随机变量，只是参数。所以大多情况下，会写成$P(X=x;\theta)$以作区别。

总结：PMF and PDF are almost the same, but one is for discrete distributions and one is for continuous distributions. CDF are different, but are the sum/integral of PMF/PDF and tell us **the probability that X is less than a certain value**.

参考资料:https://www.quora.com/What-is-the-relationship-between-the-probability-mass-density-and-cumulative-distribution-functions