ASLP Kaldi

ASLP(Audio, Speech and Language Processing Group，音频、语音和语言处理组)位于西北工业大学，隶属于陕西省语音和图像信息处理重点实验室（SAIIP）。 ASLP小组成立于1995年。ASLP小组的使命是促进音频，语音和语言处理学科内的广泛学科的跨学科研究和教育。目前，ASLP集团的研究范围包括人机语音通信，语音和音频信号处理，视听处理，多媒体内容分析和检索。 在2011年，该组由三位正教授，一位副教授，四位兼职教授和三十多位博士和硕士生组成......

ASLP官网：

http://www.npu-aslp.org

ASLP Kaldi Github：

https://github.com/robin1001/kaldi-aslp/blob/master/README.md

 
 

ASLP Kaldi是对Kaldi的增强，增强的功能有：

nnet增强

• Batch正则化
• 标准LSTM、BLSTM without projection
• 延迟（Latency）控制BLSTM
• Warp CTC以及Eesen版本的CTC
• Skip training & decode
• 图网络（如多输入、多输出、add与拼接）
• 行卷积
• GRU
• FSMN

语音端点检测（VAD）

在线识别

并行化增强

BSP（Bulk synchronous parallel，整体同步并行计算模型），又名大同步模型或BSP模型，由哈佛大学Viliant和牛津大学Bill McColl提出。

 
 

BSP的创始人是英国著名的计算机科学家Valiant，他希望像冯·诺伊曼体系结构那样，架起计算机程序语言和体系结构间的桥梁，故又称作桥模型(Bridge Model)。该模型使用了三个属性描述：模块(Components)、选路器（Router）和同步路障器执行时间L。

 
 

ASGD（Averaged Stochastic Gradient Descent）平均随机梯度下降

EASGD（Elastic Averaging Stochastic Gradient Descent，弹性平均梯度下降）

BMUF（Blockwise Model-Update Filtering）

https://www.microsoft.com/en-us/research/publication/scalable-training-deep-learning-machines-incremental-block-training-intra-block-parallel-optimization-blockwise-model-update-filtering/

陈凯，ICASSP 2016

小时的Switchboard-I任务和1860小时"Switchboard+Fisher"）的大词汇量连续语音识别训练。我们在LSTM任务上实现了几乎线性的加速，而在DNN任务上实现了64个GPU卡，与在单个GPU上运行传统的基于mini-batch的SGD训练相比，识别精度不变。

 
 

借助盖房子这一比喻，关键点在于如何有效地整合工人的成果。每一个阶段工人完成工作之后，都需要将工作反馈给工头，依据反馈生成新的工作模型，然后工人依照新的工作模型，对新数据进行处理。然后不断迭代。但在这一过程中会涉及到沟通成本和有效整合的问题。

 
 

每一个工人给工头提交工作成果后，工头需要进行整合更新。如果工头缺乏大局观，只进行简单整合（Model Averaging），结果就不好。文中创造性地在整个流程中增加了一个模型更新滤波的步骤。在Model Averaging中，每一轮迭代只利用当前获得的信息更新模型，历史更新信息却被忽略了。因此，研究员们提出将每一轮模型更新的信息收集起来，以史为鉴，结合当前信息进行学习，这样一来能够保证每一轮的更新更为平滑，不会出现巨大的波动。使用这样的滤波方法后，最终生成模型的性能也大大提升。

 
 

来自 <https://www.msra.cn/zh-cn/news/features/parallel-training-20160322>

 
 

 
 

关键词检索