nnet3的代码分析

nnet3/nnet-common.h

定义了Index，(n, t, x)三元组，表示第n个batch中第t帧。

并声明了关于Index或Cindex的一些读写操作。

 
 

nnet3/nnet-nnet.h

声明了NetworkNode（主要包含其类型以及索引信息）

声明了Nnet（nnet3网络类）

private:

//网络中的组件名列表

std::vector<std::string> component_names_;

//网络中实际的组件指针列表，同一组件可能出现多次

std::vector<Component*> components_;

//网络中结点名列表，即：inputs、components以及outputs

//同一组件名会出现两次：foo-input和foo

//因为foo-input有其自己的NetworkNode索引

std::vector<std::string> node_names_;

//网络中实际的结点指针列表

std::vector<NetworkNode> nodes_;

以及关于以上数据成员的实用函数。

 
 

nnet3/nnet-component-itf.h

Component的itf（interface，接口）

class Component

主要包含以下函数：

Propagate //正向传播

Backprop //反向传播

StoreStats //储存平均激活值、非线性函数微分平均值

ZeroStats //stats清零

GetInputIndexes //只适用于非简单组件

IsComputable //只适用于非简单组件

ReorderIndexes //只适用于非简单组件

以及实用函数

class RandomComponent: public Component

随机数生成的组件

class UpdatableComponent: public Component

参数扰动率

学习率

学习率因子

实际学习率（实际学习率=学习率*学习率因子）

冻结自然梯度更新

每个minibatch最大参数变换率（NnetTrainer以L2正则化的形式使用）

标准L2正则化参数

的设定、修改、查询

class NonlinearComponent: public Component

由于该类不修改特征维数，因子该类是sigmoid、softmax、ReLU的基类

该类

储存激活平均值

储存训练中的微分

负责模型初始化

负责IO

nnet3/nnet-simple-component.h

class PnormComponent: public Component

p-norm的公式：

对维数为intput_dim的输入进行降维，输出维数为output_dim

其Propagate与Backprop函数十分简单，具体关于p-norm单元的实现位于

kaldi::CuMatrixBase::GroupPnorm

Kaldi::CuMatrixBase::DiffGroupPnorm

class DropoutComponent : public RandomComponent

DropoutComponent组件对输入以dropout比例随机置零，而梯度只在非零的输入处进行反向传播。通常只在训练期间使用此组件，但不在测试时间使用

Dropout: A Simple Way to Prevent Neural Networks from Overfitting"

 
 

Propogate()

//初始化一个元素取值范围为[0,1]的向量y

const_cast<CuRand<BaseFloat>&>(random_generator_).RandUniform(out);

out->Add(-dropout);

out->ApplyHeaviside();

out->MulElements(in);

 
 

通过设置dropout_per_frame_，可以以帧的元素为单位dropout：

[[0,1,1,1],[1,0,1,1],[1,1,0,1],[1,1,1,0],[1,1,1,0]]

或帧为单位进行随机丢弃：

[[1,1,1,1],[0,0,0,0],[0,0,0,0],[1,1,1,1],[0,0,0,0]]

class ElementwiseProductComponent: public Component

点乘组件，用于降维

维输入向量

(0.7,0.5,1.0,0.2,0.9,0.0,0.3,0.1,0.6,0.8)

假设输出维数为5，则10/5=2，两两相乘：

(0.7*0.5,1.0*0.2,0.9*0.0,0.3*0.1,0.6*0.8)

结果为

(0.35,0.20,0.0,0.03,0.48)

class SigmoidComponent: public NonlinearComponent

 
 

class TanhComponent: public NonlinearComponent

 
 

class RectifiedLinearComponent: public NonlinearComponent

 
 

class AffineComponent: public UpdatableComponent

 
 

class BlockAffineComponent : public UpdatableComponent

 
 

class RepeatedAffineComponent: public UpdatableComponent

 
 

class NaturalGradientRepeatedAffineComponent: public RepeatedAffineComponent

 
 

class SoftmaxComponent: public NonlinearComponent

Softmax损失函数（归一化指数函数）：

其中o是输出向量

Backprop()

对于softmax函数的微分，令：

该函数的雅可比矩阵为：

令输出向量微分为e，输入向量微分为d，有：

 
 

nnet3/nnet-computation.h

负责实际的计算。

声明了ComputationRequest、CommandType、NnetComputation等类。

struct ComputationRequest

//计算需要的输入

std::vector<IoSpecification> inputs;

//计算预期的输出

std::vector<IoSpecification> outputs;

以及关于以上数据成员的实用函数

enum CommandType

神经网络计算类型，如：

kPropagate

kBackprop

kAllocMatrix

struct NnetComputation

编译后的神经网络具体计算特定步骤

给定Nnet与ComputationRequest后

就可编译得到该结构体

数据成员包括：

（子）矩阵信息及其索引（使用索引而不存储实际的矩阵）

矩阵

计算类型（CommandType）

计算所依赖的输入输出Index

nnet3/nnet-analyze.h

检测计算是否能有效进行。

主要的类：

class ComputationAnalysis

private:

const NnetComputation &computation_;

const Analyzer &analyzer_;

ComputationVariables variables;

std::vector<CommandAttributes> command_attributes;

std::vector<std::vector<Access> > variable_accesses;

std::vector<MatrixAccesses> matrix_accesses;

成员函数：

访问索引s的第一个非初始化指令

访问索引s的第一个指令

访问索引s的最后一个指令

访问索引s的最后一个写指令

访问索引s的无效指令

访问矩阵索引m的第一个非初始化指令

访问矩阵索引m的最后一个指令

class ComputationChecker

与ComputationAnalysis类似

主要检测：

维数一致性检测

未定义变量读取检测

读写冲突检测（是否是写完再读）

矩阵访问有效性检测

矩阵压缩检测

nnet3/nnet-example.h

struct NnetIo

std::vector<Index> indexes;

GeneralMatrix features;

特征（以及后验）的读写

struct NnetExample

//minibatch结构体

std::vector<NnetIo> io;

及其实用函数

以及一些关于NnetExample的比较、哈希等函数