Gini 系数与熵的关系

首先来看二者的基本定义：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪H(X)=−∑k=1KpklnpkGini(X)=∑k=1Kpk(1−pk)

将 f(x)=−lnx 在 x=1 处进行一阶泰勒展开（忽略高阶无穷小）：

f(x)===f(x0)+f′(x0)(x−x0)+o(⋅)f(1)+f′(1)(x−1)+o(⋅)1−x

因此，熵可近似转化为：

H(X)=−∑k=1Kpklnpk=∑k=1Kpk(−lnpk)≃∑k=1Kpk(1−pk)=Gini(X)