Cost Function Summary

Mean Square Error

\[cost(t,o)=\frac{1}{n}\sum\limits_{i=1}^n{(o-t)^2}\]

Binary Cross-Entropy

用于计算 target 和 output 之间的binary 交叉熵。\[cost(t,o)=-{[t\ln(o) + (1-t)\ln (1-o)]}\]

也可以写作:

\[cost(t,o)=\left\{\begin{array}{*{20}{l}}
{\ln o, ~~~~~~t=1,}\\ {\ln (1-o), t=0} \end{array}\right.\]

只不过上面的是一个分段函数，计算的时候不方便。

Categorical Cross-Entropy

度量两个分布之间的距离，记为 $H(p,q)$。

\[H(p,q)=-\sum\limits_x{p(x)\log (q(x))}\]

其中 $p$是 真实分布, $p=[p_1,p_2\cdots,p_n]$. $q$ 是近似分布,$q=[q_1,q_2\cdots,q_n]$.

当两个概率分布完全相同时，即:

\[p(x)=q(x),x=1,2,\cdots,n\]

其相对熵为0。