paper 38 ：entropy

图像熵计算

真是为了一个简单的基础概念弄的心力交瘁，请教了一下师姐，但是并没有真的理解，师弟我太笨呀~~所以，我又查熵的中文含义和相关的出处！共勉吧~~

1.信息熵：

利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。一条信息的信息量和它的不确定性有着直接的关系。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：

信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。信息熵一般用符号H表示，单位是比特。变量的不确定性越大，熵也就越大。

2.图像熵：

2.1.一元灰度熵

图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：

其中Pi是某个灰度在该图像中出现的概率，可由灰度直方图获得。

2.2.二维熵

图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示邻域灰度均值(0 <= j <= 255)：

上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j)为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：

构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。

3.源码

[plain] view plaincopy

1. 1.求一元灰度熵
2. %方法一
3. [M,N]=size(im);
4. temp=zeros(1,256);
5. %对图像的灰度值在[0,255]上做统计
6. for m=1:M;
7. for  n=1:N;
8. if im(m,n)==0;
9. i=1;
10. else
11. i=im(m,n);
12. end
13. temp(i)=temp(i)+1;
14. end
15. end
16. temp=temp./(M*N);
17. %由熵的定义做计算
18. result=0;
19. for  i=1:length(temp)
20. if temp(i)==0;
21. result=result;
22. else
23. result=result-temp(i)*log2(temp(i));
24. end
25. end
26. %方法二
27. %求熵值entropy
28. im=rgb2gray(imread('mubiao.bmp'));
29. [count,x]=imhist(im);
30. total=sum(count);
31. entropy=0;
32. for i=1:256
33. p(i)=count(i)/total;
34. if p(i)~=0
35. logp(i)=log2(p(i));
36. entropele=-p(i)*logp(i);
37. entropy=entropy+entropele;
38. end
39. end
40. 2.求二维熵
41. %随机生成图像
42. A=floor(rand(8,8).*255);
43. [M,N]=size(A);
44. temp=zeros(1,256);
45. %对图像的灰度值在[0,255]上做统计
46. for m=1:M;
47. for  n=1:N;
48. if A(m,n)==0;
49. i=1;
50. else
51. i=A(m,n);
52. end
53. temp(i)=temp(i)+1;
54. end
55. end
56. temp=temp./(M*N);
57. %由熵的定义做计算
58. result=0;
59. for  i=1:length(temp)
60. if temp(i)==0;
61. result=result;
62. else
63. result=result-temp(i)*log2(temp(i));
64. end
65. end
66. 3.计算联合熵
67. %随机生成图像
68. A=floor(rand(8,8).*255);
69. B=floor(rand(8,8).*255);
70. [M,N]=size(A);
71. temp=zeros(256,256);
72. %对图像的灰度值成对地做统计
73. for m=1:M;
74. for n=1:N;
75. if  A(m,n)==0;
76. i=1;
77. else
78. i=A(m,n);
79. end
80. if B(m,n)==0;
81. j=1;
82. else
83. j=B(m,n);
84. end
85. temp(i,j)=temp(i,j)+1;
86. end
87. end
88. temp=temp./(M*N);
89. %由熵的定义做计算
90. result=0;
91. for  i=1:size(temp,1)
92. for j=1:size(temp,2)
93. if temp(i,j)==0;
94. result=result;
95. else
96. result=result-temp(i,j)*log2(temp(i,j));
97. end
98. end
99. end

4.Matlab的计算熵的函数

Matlab中的这2个函数分别是计算熵的，entropy计算全局熵，entropyfilt计算局部熵

给定一个灰度图I， entropy(I)的计算方法是，将I直方图化到0-255的bin中，L1规范化，再用 –sum(p*log2(p))来计算整理熵，即

Curhist = Hist(I， 0:255);

Curhist = curhist / sum(curhist);

E = -sum(curhist .* log2(curhist));

entropyfilt选取以各像素点为中心的的n*n(默认n=9)的区域进行熵计算，计算方法同上。该方法可以表示纹理

调用方法如下：

E = entropy(I)

J = entropyfilt(I)
J = entropyfilt(I,NHOOD)

参考来源：

http://www.zhizhihu.com/html/y2010/1367.html