ANTLR随笔（三）

ANTLR基本语法

前面已经简单介绍了ANTLR以及怎么安装和测试。

同学们应该大概清楚ANTLR的使用场景，但是对于关键步骤，怎么编写一个语法文件并没有详细介绍，这篇笔记主要详细讲解一下ANTLR的语法。

在过去的几十年内人类发明了很多种编程语言，现在还在持续增加。而ANTLR的语法就是要把任意的编程语言的语法规则通过自身的语法描述文件来定义。好消息是，这么多的编程语言，相对而言，基本的语言模式并不多。

之所以这样，其实原因也很简单。因为我们在设计编程语言时，倾向于将语言设计的和脑海中的自然语言相类似。我们期望看到有序的词法符号，也期望同词法符号的依赖关系。比如不会有任何语言出现{(})这种语法，大家会用数学符号，标识符，字符串。

总结下来，所有编程语言的语言模式可以抽象成四类：

• 序列：一列元素，类似数组里面的值
• 选择：在多种可选方案中做选择，eg：if else
• 词法符号依赖：符号是成对出现，eg：左右括号
• 嵌套结构： 自相似的语言结构，eg：编程语言中的一个语法嵌套另一个语法。

ANTLR实际就是基于以上的原则进行语法的设计，达到定义一种语法的作用。下面我们一个个详细说明一下这四种语言模式

序列

序列模式是最常见的一种模式。简单来说把一连串的词法按顺序排列就是一种序列，所有的指令也是一个序列。

然后ANTLR结合正则表达式，就可以快速的描述出多个元素的序列模式，

INT+表示一个或多个整数，INT*表示零或多个整数，INT？表示零个或一个整数。

CSV这个文件为例，CSV的语法用ANTLR描述出来就是

file : (row '\n')*; //一个‘\n’作为终止符的序列，表示文件由多行组成
row  : field (',' field)*; //一个‘,’作为分隔符的序列，文件每行由多个字段组成， 这里其实也用到了嵌套模式
field : STRING; // 假设字段都是字符串

选择

如果一个编程语言只有一种语句，就太无聊了，也做不了什么。选择模式就是表示一个地方可能支持多种有效的语句。

在ANTLR中使用｜来表达选择模式，选择模式在语法中随处可见。

上面的例子，CSV的字段肯定不一定都是字符串，那么我们应该改成

field : STRING | INT;

注意的是在ANTLR中是按顺序来匹配解析规则，所以多个｜分割的规则顺序是有意义的。

词法符号依赖

词法符号依赖最常见的用法还是定义括号的限制，规定括号必须成对出现。

还是那上面的字段举例子，比如我们要限制CSV的字段必须用“包括。那可以改成

field : ‘“’ STRING | INT ‘”’;

嵌套结构

嵌套词组是一种自相似的语言结构，即它的子词组也遵循相同的规则。表达式是一种典型的自相似语言结构，它包含多个嵌套的，以运算符分割的子表达式。类似于我们程序中的递归。

我们看一下简单wihle循环怎么定义

stat : 'while' '(' expr ')' stat //匹配wihle语句，必须开头是while
     | '{' stat* '}'             //匹配while里面的多条语句，这里的关键是stat里面的子语句也是stat词法，就形成了一个嵌套。
     ...
     ;

其实上面这种直接递归是比较难理解，一般的写法会写成间接递归

stat : 'while' '(' expr ')' stat
     | '{' block* '}'
     ...
     ;
block : '{' stat* '}'

常用语法

前面已经介绍了常用的四种语法模式，下面列一下ANTLR常用的语法标记，后面可以当作写语法文件的字典。

用法	描述
X	匹配元素
x y ... z	匹配一系列多个的元素
(...|...|...)	一个具有多个选择分支的元素
x?	匹配零或一个X元素
x*	匹配零或多个X元素
x+	匹配一或多个X元素
r : ...;	定义一个新规则r
r : ...|...|...;	定义一个多个分支的新规则r

模式名	描述
序列	x y ... z
带终止符的序列	(statement ';')*
带分隔符的序列	expr (',' expr)*
选择	field : STRING
词法符号依赖	'(' expr ')'
嵌套	expr : '(' expr ')' | ID;

JSON的语法

下面通过分析一下大家常用的json的语法来加强理解。

json
   : value
   ;
obj
   : '{' pair (',' pair)* '}'
   | '{' '}'
   ;
pair
   : STRING ':' value
   ;
arr
   : '[' value (',' value)* ']'
   | '[' ']'
   ;
value
   : STRING
   | NUMBER
   | obj
   | arr
   | 'true'
   | 'false'
   | 'null'
   ;

上面是json格式最核心的语法定义，回顾一下，这里其实用到了前面说的全部四种模式，下面一一讲解。

json
   : value
   ;

这里其实是定义了一个json的基础，json基础规则就由一个value规则组成。

value
   : STRING
   | NUMBER
   | obj
   | arr
   | 'true'
   | 'false'
   | 'null'
   ;

然后这里定义了value的规则， 可以看到这里用到了选择模式。 json的value可以是字符串，数字，true，false，null， 这四个其实是传统定义json格式“值”部分能够使用的基本类型。然后除了基本类型，value还可以是obj和arr。

arr
   : '[' value (',' value)* ']'
   | '[' ']'
   ;

arr这个规则其实就是一个json数组，它由多个value通过，分割的数组，或者是一个空数组。 这里用到了间接嵌套模式。 统通过这个规则，json的某一个值可以是另一组json格式

obj
   : '{' pair (',' pair)* '}'
   | '{' '}'
   ;
pair
   : STRING ':' value
   ;

obj是由一个json对象，它由多个pair通过，分割。或者可以是一个空的{}。然后其中的pair则是一个最基础的key-val的格式，这也是json最基础的语法。可以看出一点json定义中key必须是字符串。

这里其实就是json最核心的一些定义，大家可以回想一下json格式的规则是不是就是这样的。然后再加上一下针对不同格式的正则要求，就完成了json的ANTLR语法定义。下面附带了完整的文件，有兴趣可以自己结合之前的分享，读一下这文件。

JSON的ANTLR语法文件