SciTech-BigDataAIML-Statistical Model-Bayes Inference-数据/事实 ∩ 假设: 政治经济、社会和科学分析

SciTech-BigDataAIML-Statistical Model

Bayes Inference-数据/事实 ∩ 假设

\(\large \begin{array}{rl} \\
P(H|D) &=\dfrac{P(H)×P(D|H)}{P(D)} \\
H :& Hypothesis or Belief and Judgement \\
D :& Data/Reality \\
P(D \bigcap H): & probability \text{ of the } connection \text{ between }D\text{ and }H \\
\end{array}\)

注意点:

0.社会的政治经济斗争, 本质影响"数据/信念";

大多数数据/信念, 是社会现实的表现, 本质是各种力量斗争.

运用好统计概率可以科学的发现与总结事实幕后的客观规律,

更好指导经济、政治、科学研究以及社会生活方方面面。

1. 真科学能通过历史、现在和未来检验.
   
   而这些都是理论(书文字, 语音视频)、经历(事实经验)、人(理解与运用)等
   
   多方面的统一。

2. 每一个人都有其信念, 而且每个信念的"客观度"(科学度)不同.
   
   人信念都有"主观", 由每个人"自我立场/关系/利益/"影响判断.

   • 为透过"人们"的"主观", 由事实/数据, 挖掘幕后科学规律时:
     
     对重大事件成立"专案组",组织一群人有"计划"的,
     
     对每一条"数据/事实"进行 筛选, 分析,检验(含交叉).
     
     例如：侦破大案要案, 与审计重大财务案, 就是这种方法。
   • 有一组数据/事实\(\large \{D_1,D_2,... D_m\}\)由专案处理, 并且可能会动态增减,
     
     专案组得到一组假设$\large {H_1,H_2,...H_n}$, 并且可能动态增减.
   • 但是在每一阶段可视为$\large m \(条数据/事实, 与\)\large k \(人的专案组 作出\)\large n \(种假设:
     则\)\large {D_1,D_2, \cdots, D_m} \times {H_1,H_2, \cdots, H_n}\(的 每一个元素\)\large P(D_i|H_j)$

3. P(D)是数据或事实; 而不称"证据",
   
   称"数据"体现"客观科学的研究态度"。
   
   因为数据经过检验修正, 才可能称为"证据".

4. H 是Hypothesis(假设 或 信念).
   
   \(\large P(HID)=( P(H)×P(D|H) ) / P(D)\)
   
   注意:

   • 因为 \(\large P(D|H) \leq 1 \text{ and }P(H|D) \leq 1\)
     • \(\large P(D \bigcap H) = P(H) \times P(D|H) \bm{ < P(H) }\)
     • \(\large P(D \bigcap H) = P(D) \times P(H|D) \bm{ < P(D) }\)
   • \(\large P(D)\) 表示数据/事实原本的概率,
     
     用"Freq.","Theoritical"或"Subjective"得出

Types of Bayes Inference

1.同一数据D, 不同假设: H1和H2,

则可只对比 Bayes公式 右式的"分子" P(H)×P(D|H),

即 P(H1)×P(D|H1) 与 P(H2)×P(D|H2),

每一种H的先验概率 与其 对数据解释能力.

或每一种H与D同时发生的概率。

是因为：P(D∩H) = P(H)×P(D|H)

1. 不同数据D1和D2, 同一假设H
2. 不同数据D1和D2, 不同假设H1和H2
3. 多份数据{Di}, 多份假设{Hi}

Bayes Theorem

\(\large \begin{array}{rl} \\
P(H|D) &=\dfrac{P(H)×P(D|H)}{P(D)} \\
H :& Hypothesis or Belief and Judgement \\
D :& Data/Reality \\
P(D \bigcap H): & probability \text{ of the } connection \text{ between }D\text{ and }H \\
\end{array}\)

• P(H): 先验概率,
  
  看到数据前, "我们认为"假设发生的概率

  "我们"对Hypothesis(假设)的主观概率

• P(D|H): 似然,
  
  如果Hypothesis为真,得到现有数据的概率

  Hypothesis(信念)解释数据的能力

• P(H|D): 后验概率,
  
  给定数据,"我们认为"Hypothesis发生概率

• One Example:
  
  D = 窗外有光,天空有碟状飞行物;
  
  H = 天空出现一个UFO

  1. 观察数据(称数据而非证据, 客观事实):
     
     收集数据点,
     
     D1 = 窗外有光,天空有碟状飞行物;

  2. 提出假设:
     
     H1 = 天空出现一个UFO
     
     以 H 成立为条件, P(D1|H1) >> P(D1)
     
     表示一个假设/信念 解释数据的能力

  3. 更新信念: 需要Bayes公式

     • P(H1): 对一个信念H的先验概率
     • P(D|1H1): 信念/假设 解释数据 的能力/概率
     • P(D1∩H1): 信念/假设与数据/证据同时发生
     • P(D1∩H1) / P(D1):
       
       表示用P(D1)归一化后，
       
       得到P(H1|D1)的后验概率

  4. 持续收集数据/事实
     
     列出Data为行, Hypothesises为列的矩阵, 用矩阵分析每对(D,H)二维坐标的概率
     
     注意(D1|H1), P(D2|H2),...,P(Dn|Hn) 即对角线上坐标,
     
     因为每一步的\(\large H_{i}\), 都是基于之前已有的所有数据集\(\large D_{i-1}\)和假设\(\large H_{i-1}\),
     
     所以可以构造出 对角线上坐标的概率 普遍比其他的坐标的 概率高.
     
     甚至可以构造出特殊的“对角矩阵”。

  5. 例如:
     
     H2 = 有人在窗外拍电影
     
     D2 = 有电线吊碟状物, 有摄影人员和灯光组
     
     P(D2|H2) >> P(D2|H1)
     
     而且当新的数据出现时,
     
     新假设比最初假设, 解释能力或可信度更强；
     
     于是大多数人们, 会根据更多数据改变信念.
     
     但这种行为，是不是“客观科学”？
     
     假设,

     • 1条评论评价一个商品 "5分", 少数人认为可信;
     • 1000条评论评价同一个商品"5分", 更多人认为可信;
     • 是不是这个"商品"就真的"5分"？
       
       这与"从众效应"有什么不同？
     • 事实上一些商家通过"刷评论"或"信用"提高"点击和购买率"推高营业额。
       
       但这不是"Bayes公式"的问题, Bayes Theorem本身没问题。
       
       而是 少数商家通过"欺诈"操控"客户"的"Subjective"主观认知。
     • 怎么，找出每一个商品的"客观评价"？
     • 同时，这给我们一个启示：科学本身是经过历史检验和证明的，
       
       但是“社会人”运用科学, 有不同的"认知","立场"及"利益"等多方面因素.
       
       科学就是我们政治经济与社会斗争的强大武器之一。
     • 当然，还有教科书上的"Statistic Swindle"和Schemes经典案例。

  6. 在以上Bayes公式, 如果 P(D)(右式分母)不易计算,
     
     但我们可以通过对比分子上的项, 就是 先验概率 和 似然概率 的乘积,
     
     来比较哪一个信念(假设)更更有可信度。然后, 一步步根据数据更新信念。

  7. 于是人们会根据更多的"数据", 综合判断, 更新这一系列信念的"概率"；