Torch-RNN运行过程中的坑 [0]（一些基础概念）

0、Lua & LuaJIT简介

Lua 是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。

Lua 是巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）里的一个研究小组，由Roberto Ierusalimschy、Waldemar Celes 和 Luiz Henrique de Figueiredo所组成并于1993年开发，Lua在葡萄牙语里代表美丽的月亮。

Lua的特性：

轻量级: 它用标准C语言编写并以源代码形式开放，编译后仅仅一百余K，可以很方便的嵌入别的程序里。
可扩展: Lua提供了非常易于使用的扩展接口和机制：由宿主语言(通常是C或C++)提供这些功能，Lua可以使用它们，就像是本来就内置的功能一样。
其它特性:
- 支持面向过程(procedure-oriented)编程和函数式编程(functional programming)；
- 自动内存管理；只提供了一种通用类型的表（table），用它可以实现数组，哈希表，集合，对象；（此处有坑，详见文章第三节链接）
- 语言内置模式匹配；闭包(closure)；函数也可以看做一个值；提供多线程（协同进程，并非操作系统所支持的线程）支持；
- 通过闭包和table可以很方便地支持面向对象编程所需要的一些关键机制，比如数据抽象，虚函数，继承和重载等。

LuaJIT （Lua Just In Time）是采用 C 和汇编语言编写的 Lua 解释器与即时编译器。即时编译（Just-in Time）技术把 Lua 代码编译成本地机器码后交由 CPU 直接执行。

LuaJIT 2 的测评报告表明，在数值运算、循环与函数调用、协程切换、字符串操作等许多方面它的加速效果都很显著。凭借着 FFI 特性，LuaJIT 2 在那些需要频繁地调用外部 C/C++ 代码的场景，也要比标准 Lua 解释器快很多。目前 LuaJIT 2 已经支持包括 i386、x86_64、ARM、PowerPC 以及 MIPS 等多种不同的体系结构。

---------------------------------------------------------------------

为什么要说LuaJIT呢？我们要开发cocos2d游戏吗？还是要开发C底层的Mysql插件呢？。。。都不是。。。

1、Torch简介

Torch是一个由Lua语言开发的深度学习框架，很好地支持机器学习算法，优先兼容GPU（CUDA/OpenCL），官方表示“easy to use and efficient”、“amazing”来表示其碉堡了。是LuaJIT编写的，LuaJIT底层是C和CUDA~

---------------------------------------------------------------------

为什么Torch选了半天实现语言，最终选了Lua呢？可以说很重要的原因就是Lua可以很方便的集成C/C++的各种库的脚本语言。比如CUDA/OpenCL等都是C实现的。第二呢，Lua也是有自己的包管理器Luarocks，安装起来也很是“easy to use”。

2、Torch repo: RNN-Torch

当然首先得力荐 Stanford 的 Karpathy 的 char-rnn repo，开创了字符级别的RNN生成思路。这里特地再次post一次 Karpathy 的 LSTM 讲解链接《The Unreasonable Effectiveness of Recurrent Neural Networks》和另一个神 colah 的LSTM通俗讲解 Understanding LSTM Networks。

网上的汪峰作词机、奥巴马演讲稿自动生成器等都是基于这个 repo 改的。我们这次用升级版，是他的校友 Justin Johnson （neural-style 也是他写的，看来是个torch派）的优化版本，名字叫 torch-rnn ，试用 Torch7 实现，较 Lua 实现的 char-rnn 版本效率更高。

---------------------------------------------------------------------

废话不多说了，在运行中文的过程中，碰到了一些问题。具体我们分两篇文章描述：

[1] Torch-RNN运行过程中的坑 [1]（读取Lua非空table，size为0）

[2] Torch-RNN运行过程中的坑 [2]（Lua的string sub函数，读取中文失败，乱码？）

999、参考链接