神经网络图灵机(Neural Turing Machines, NTM)

近期，Google Deep Mind团队提出了一个机器学习模型，并起了一个特别高大上的名字：神经网络图灵机，我为大家翻译了这篇文章，翻译得不是特别好，有些语句没读明白，欢迎大家批评指正 

原论文出处：http://arxiv.org/pdf/1410.5401v1.pdf。

版权所有，禁止转载。

---

神经网络图灵机

Alex Graves gravesa@google.com
Greg Wayne gregwayne@google.com
Ivo Danihelka danihelka@google.com

Google DeepMind, London, UK

摘要

本文通过引入一个使用注意力程序进行交互的外部存储器（external memory）来增强神经网络的能力。新系统可以与图灵机或者冯·诺依曼体系相类比，但每个组成部分都是可微的，可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出（infer）简单的算法，如复制、排序和回忆。

1. 简介

计算机程序在执行计算任务的过程中(Von Neumann, 1945)使用了三个基本机制：初等运算（如算术操作），逻辑控制流（分支循环）和可读写的存储器。虽然在建模复杂数据方面取得了广泛的成功，现代机器学习理论却普遍忽略了对控制流和存储器的使用。

由于其对带有时间属性的数据的进行学习和复杂转换的能力，递归神经网络脱颖而出。进一步，RNN又被证明是图灵完全等价的 (Siegelmann and Sontag, 1995)，因而只要合理建模，它就可以模拟任何计算过程。但是理论上可行不代表实践中容易实现。为此，我们增强了标准递归网络的能力从而simplify the solution of algorithmic tasks。这个增强方案主要是依赖一个较大的、可寻址的存储器，而相似地，图灵机是使用一个无穷存储带来增强有穷状态机，因而，我们称这种新设备为”神经网络图灵机”。不同于图灵机的是，NTM是一个可微的计算机，能够使用梯度下降进行训练，对于学习程序来说是一个很实用的机制。

在人类识别能力中，the process that shares the most similarity to algorithmic operation is known as “working memory.”。在神经生理学中，工作记忆的运行机制尚不清楚，根据字面意思，可以理解为是信息的短期存储和基于规则的操作集合(Baddeley et al., 2009)。在计算机术语中，这些规则就是程序，存储的信息构成了这些程序的参数。既然NTM被设计用来对“快速创建的变量”应用近似的规则，所以它模仿了一个工作记忆系统。快速创建的变量(Rapidly-created variables) (Hadley, 2009) 是可以快速绑定到存储槽的数据，就像传统计算机中数字3和4被放在寄存器然后相加得到7(Minsky, 1967)。由于NTM架构使用了注意过程来对存储器进行选择性读写，所以NTM使用了另一个相似的工作记忆模型。与大多数工作记忆模型相比，我们的架构能够学习使用他的工作记忆，而不需要为符号数据引入一系列固定的程序。

本文首先对在心理学、语言学和神经科学以及人工智能和神经网络等领域与工作记忆相关的研究做一简单回顾。然后描述我们的主要工作，一个存储架构和注意力控制器，并且我们相信这个控制器可以满足简单程序的归纳(induction)和执行(execution)这类任务的性能要求。为了测试这个结构，我们设计了一些问题，并给出了详细的测试结果。最后总结这个架构的有点。

2. 基础研究

更多和更佳阅读体验，前往主站