Conjugate Function

共轭函数

共轭函数的定义：

设函数f:Rn→R，定义函数f∗:Rn→R为：

f∗(y)=sup(<y,x>−f(x))  x∈D

此函数称为函数f的共轭函数。即函数yx和函数f(x)之间差值的上确界。

如下图所示：

假设y=2时，yTx的图像是xy那条虚线，而定义式右边的部分是求x等于多少时yTx - f(x)的值最大，在上图中我们可以一眼看出，在“和xy平行且是f(x)切线的那个点”处两函数的差值最大，假设差值是10，于是我们就求出yTx - f(x)的共轭函数的一个点，即f*(2) = 10，就这样把y扩展到这个定义域范围内后就得到了整个共轭函数。

假设有函数f(x) = xTQx/2，其中Q是可逆的对称阵，算它的共轭函数，根据定义就是求：g(x, y) = yTx - xTQx/2 的上确界。

于是将g(x, y)对x求偏导：

g’(x,y) = (yTx)’ - (xTQx/2)’

因为xTQx对x求偏导的结果是2Qx，所以上式继续推导为：

=y - Qx

另偏导等于0，得：

x= Q-1y

因为是求偏导，所以得到的是上确界，于是把上式代入g(x, y)后就得f(x)的共轭函数：

f*(y)= (yTQ-1y)/2

负熵函数： f(x)=xlog(x)， x∈R+,f(0)=0，共轭函数 
f∗(y)=supyx−xlog(x), 在y=log(x)+1取最大值，即x=ey−1，因此,f∗(y)=ey−1.

http://blog.csdn.net/raby_gyl/article/details/53178467