矩阵微分（matrix derivatives）

关于矩阵求导，得到的导数则是矩阵形式；关于矢量求导，得到的导数则是矢量形式；关于标量求导，得到的仍是标量形式。也即关于谁求导，得到的导数形式便和谁的维度信息一致。

fx = f(x)
grad = np.zeros_like(x)

共存在 6 种形式的矩阵导数：

1. 关于向量的导数

• 标量对向量求导，

  ∂xTa∂x=∂aTx∂x=a

  简单证明如下：

∂xTa∂x=[∂(α1x1+α2x2+⋯)∂xi]=a

2. 关于矩阵的导数

• 标量关于矩阵的导数：

  ∂aTXb∂X=[∑ijaibjxij∂xji]=abT
  ∂aTXTb∂X=[∑ijaibjxji∂xji]=baT

3. 关于标量的求导

• 矩阵关于标量的求导：

  ∂X∂Xij=Jij

  Jij 指的是在 (i, j) 处元素为 1，其他处为 0 的矩阵；