神经进化学的简介和一个简单的CPPN(Compositional Pattern Producing Networks)DEMO

近期迷上神经进化(Neuroevolution)这个方向，感觉是Deep Learning之后的一个非常不错的研究领域。

该领域的一个主导就是仿照人的遗传机制来进化网络參数与结构。注意，连网络结构都能够进化。就是不像是传统的神经网络，结构是预定义好的。

近期这个领域研究的比較多的是 弗罗里达大学的Stanley教授，基本的贡献有NEAT，HyperNEAT以及Novelty Search。有兴趣的能够去google之。

NEAT与HyperNEAT都是一种indirect coding算法，目的在更新神经网络的拓扑结构以及參数，而Novelty Search是指引NEAT与HyperNEAT怎样更新的一个算法。

当中NEAT，HyperNEAT与神经网络的关系是这种：

我们用于决策与分类的神经网络（ANN）的參数是被一个叫做Compositional Pattern Producing Networks（CPPN）的网络来决定。而CPPN的拓扑结构由NEAT与HyperNEAT算法进行进化。Novelty Search则指导NEAT与HyperNEAT算法的优化。

CPPN网络跟传统的神经网络差点儿相同。仅仅只是激活函数比較特别，更为丰富，并且网络结构没有层的概念，输入是坐标值x, y,详细能够參考2009年提出HyperNEAT的那篇文章第5页的figure 2.

以下是一个很easy的CPPN的demo，用Matlab写的

clear;clc
wid = 32;
hei = 32;
map = zeros(hei, wid);

for h = 1 : hei
    for w = 1 : wid
        %map(h, w) = sin((h^2 + w^2)*pi/100) ;%+ exp(((h-hei/2)^2 + (w-wid/2)^2)/8000) + h + w;
        %map(h, w) = exp(((h-hei/2)^2 + (w-wid/2)^2)/8000);
        map(h, w) = sin((h^2 + w^2)*pi/100) + exp(((h-hei/2)^2 + (w-wid/2)^2)/800);
    end
end

map = map - min(map(:));
map = 255 * map / max(map(:));
imshow(uint8(map))

能够从代码看出，输入是坐标值。而网络结构非常easy：就是一个高斯函数+正弦函数。最后形成的map图为

更为复杂的CPPN生成的图像能够參见  http://picbreeder.org/