【概率论】3-7:多变量分布(Multivariate Distributions Part II）

title: 【概率论】3-7:多变量分布(Multivariate Distributions Part II）

categories:

Mathematic
Probability

keywords:
Conditional Distributions
条件分布
Bayes’ Theorem
贝叶斯理论
Histograms
直方图
Law of total Probability
全概率公式

toc: true

date: 2018-03-15 09:20:38

Abstract: 本文继续上文的内容，讲解多变量分布的条件分布，全概率公式和贝叶斯公式。提出直方图的概念。

Keywords: Conditional Distributions，Law of Total Probability，Bayes’ Theorem，Histograms

开篇废话

向往自由的人更懂得约束自己，约束自己的行为，自由自己的思想，而我们现在周围的人更多的是反过来的，约束自己的思想，告诉自己不许瞎想，但是自由自己的行为，想干嘛干嘛，毕竟改革开放的红利使得大部分人从温饱过渡到有车有房还可以随意出门旅游看看世界了，而思维思想，包括知识，还停留在改革开放之前，这就导致了很诡异的一系列行为–有钱没文化。

本文继续上文，将前面的内容扩展至多变量的联合分布，最后引出关于直方图的一些知识。

Conditional Distributions

条件概率，是3.6中讲解的内容，我们反复的强调所有概率都是条件概率，所有分布也都是条件分布，所以与其说条件概率（分布）与一般的概率（分布）行为一致，不如说所有的所有的行为都是在条件概率的基础上进行的，只是我们省略了某些必然达成的条件。

假设 nnn 个随机变量 X1,…,XnX_1,\dots,X_nX1,…,Xn 有一个连续的联合分布，其联合分布式p.d.f. 是 fff 并且 f0f_0f0 定义了其中 k<nk < nk<n 个随机变量的边缘分布有 f0(x1,…,xn)>0f_0(x_1,\dots,x_n) > 0f0(x1,…,xn)>0 那么条件分布，当条件 X1=x1,…Xn=xnX_1=x_1,\dots X_n=x_nX1=x1,…Xn=xn 给定时 (xk+1,…,xn)(x_{k+1},\dots,x_n)(xk+1,…,xn) 的p.d.f.是：

gk+1,…,xn(xk+1,…,xn∣x1,…,xk)=f(x1,…,xn)f0(x1,…,xk)
g_{k+1,\dots,x_n}(x_{k+1},\dots,x_{n}|x_1,\dots,x_k)=\frac{f(x_1,\dots ,x_n)}{f_0(x_1,\dots,x_k)}
gk+1,…,xn(xk+1,…,xn∣x1,…,xk)=f0(x1,…,xk)f(x1,…,xn)

Definition 3.3.7 Conditional p.f. or p.d.f. Suppose that the random vector X⃗=(X1,…,Xn)\vec{X}=(X_1,\dots,X_n)X=(X1,…,Xn) is divided into two subvectors Y⃗\vec{Y}Y and Z⃗\vec{Z}Z ,where Y⃗\vec{Y}Y is a k-dimensional random vector comprising kkk of the nnn random variables in X⃗\vec{X}X and Z⃗\vec{Z}Z is an (n−k)(n-k)(n−k)-dimensional random vector comprising the other n−kn-kn−k random variables in X⃗\vec{X}X .Suppose also that the nnn-dimensional joint p.f. or p.d.f. of (Y⃗,Z⃗)(\vec{Y},\vec{Z})(Y,Z) is fff and that the marginal (n−k)(n-k)(n−k)-dimensional joint p.f. ,p.d.f. or p.f./p.d.f. of Z⃗\vec{Z}Z is f2f_2f2 .Then for every given point z∈Rn−kz\in\mathbb{R}^{n-k}z∈Rn−k such that f2(z)>0f_2(z)>0f2(z)>0 ,the conditional kkk-dimensional p.f. p.d.f.or p.f./p.d.f. g1g_1g1 of Y⃗\vec{Y}Y given Z⃗=z⃗\vec{Z}=\vec{z}Z=z is defined as follows:

g1(y⃗∣z⃗)=f(y⃗,z⃗)f2(z⃗) for y⃗∈Rk
g_1(\vec{y}|\vec{z})=\frac{f(\vec{y},\vec{z})}{f_2(\vec{z})} \text{ for }\vec{y}\in \mathbb{R}^k
g1(y∣z)=f2(z)f(y,z) for y∈Rk

这就是完整的定义，抄一遍下来还真写了不少字，但是整个思路很清晰，首先就是把多变量形成向量的形式，再把向量拆成两个小的空间当然上面这个定义的公式也可以写成：

f(y⃗,z⃗)=g1(y⃗∣z⃗)f2(z⃗)
f(\vec{y},\vec{z})=g_1(\vec{y}|\vec{z}) f_2(\vec{z})
f(y,z)=g1(y∣z)f2(z)

写成乘法原理的形式，解决分母是0的尴尬局面。也可以看出，通过条件分布和边缘分布得到联合分布的方法是正确的（乘法原理的正确性）。

以上为节选内容，完整原文地址：https://www.face2ai.com/Math-Probability-3-7-Multivariate-Distributions-P2转载请标明出处