第一章-Javac编译器介绍

1、Javac概述

编译器可以将编程语言的代码转换为其他形式，如Javac，将Java语言转换为虚拟机能够识别的.class文件形式。而这种将java源代码（以.java做为文件存储格式）转换为class文件格式的过程一般也称为编译器的前端。要将字节码变为机器码还需要后端编译器，如JIT编译器（Just In Time Compiler）。或者还可以通过AOT编译器直接将Java源代码编译为本地机器代码。本书涉及的主要内容就是Sun的Javac编译器。

javac1.7中没有使用像Lex、YACC这样的生成器工具，词法、语法分析与代码生成全都是手工实现的，具有简单、灵活、高效的特点

在转换的过程中自然要遵循各种各样的规范，涉及到的主要的规范有：

（1）java语法规范The Java Language Specification (JLS)

（2）虚拟机规范 The Java Virtual Machine Specification (JVMS) 所定义

（3）同时,该编译器会处理注解,这是被Pluggable Annotation Processing API (JSR 269). 所定义的. 同样,该编译器还支持 the Java Compiler API (JSR 199)

Javac将Java源代码转变为字节码的过程中涉及到词法分析、语法分析、语义分析及代码生成等阶段，如下图所示。

（1）词法分析

词法分析的主要作用就是将源码转换为Token流，如下示例。

package compile;
package->PACKAGE
compile->IDENTIFIER
;->SEMI

public class TJavac { String v = "helloworld!"; }
public->IDENTIFIER
class ->CLASS
TJavac->IDENTIFIER
{->BRACE
String->STRING
v->IDENTIFIER
=->EQ
"helloworld!"->STRINGLITERAL
;->SEMI
}->	RBRACE

可以看到，词法分析过程将Java源代码按照Java关键字、自定义关键字、符号等按顺序分解为了可识别的Token流。

（2）语法分析

将进行词法分析后形成的Token流中的Token组合成遵循Java语法规范的语法节点，形成一颗基本的语法树。如下图所示。

（3）语义分析

语义分析过程最为复杂，这个过程涉及到的细节众多，除了对代码编写者写出的代码根据JLS规范进行严格的检查外，还必须为后面的代码生成阶段准备各种数据，如符号表、标注抽象语法树节点的符号及类型等。上面例子中是否可将常量字符串"helloworld!"赋值给类型为String的变量v也是在这一阶段做校验。

（4）代码生成

将语义分析后的注解语法树转化成字节码，并将字节码写入*.class文件。

• 将java的代码块转化为符合JVM语法的命令形式，这就是字节码，然后
• 按照JVM的文件组织格式将字节码输出到*.class文件中

2、Javac源码与调试

首先需要下载openJDK源码，本书涉及的源码都是基于JDK7的，所以读者也可以到https://download.java.net/openjdk/jdk7下载源代码的zip包，下载的包为

openjdk-7-fcs-src-b147-27_jun_2011.zip

解压后在openjdk/langtools/src/share/classes/com/sun/tools路径下找到javac，在Eclipse中创建一个java项目，然后将javac的源代码复制到该项目中, 如图所示:

还需要com\sun\source包下的类。

由于tools.jar中也会包含Javac编译器的.class文件，所以为了避免API引用的混乱，这里需要将tools.jar从classpath中排除。

Java SE 6 之后自身集成了运行时编译的组件：javax.tools，存放在 tools.jar 包里，可以实现 Java 源代码编译，帮助扩展静态应用程序。该包中提供主要类可以从 Java String、StringBuffer 或其他 CharSequence 中获取源代码并进行编译。

javac源代码结构说明 用官方的一张图进行说明:

在com.sun.tools.javac下有如下几个包,现说明如下:

1. api –> 实现了JavaCompiler 和javax.tools中其他的api

2. code –> 定义了Java程序的语义元素的表示，如符号、作用域和类型，在javax.lang.model.*.中实现.

3.comp –> 编译器的主要处理阶段，如标记、流分析、“解语法糖”和擦除

4. file –> 使用java.nio.file 的api来访问本地的文件系统.

5. jvm –> 读取和写class文件,生成字节码

6. main –> 编译的主要驱动代码,提供了多样的编译步骤选项

7.model –> javax.lang.model.*. 的额外实现类

8.parser –> 读取java源文件生成语法树

9.processing –> 实现了在javax.annotation.processing.*定义的api

10.resources –> 信息本地化和版本信息的资源文件

11. tree –> 编译器的语法树的表示和实用类，实现了com.sun.source.*.中定义的api

12. util –> 工具类

参考文章：https://blog.csdn.net/qq_26000415/article/details/82254426

另外还有javac的测试用例，在openjdk\langtools\test\tools\javac下，可以导入。

4、Javac支持命令及相关实现

Javac提供了一些命令，用于编译Java源文件，如果安装且配置了Java的Path路径，可在Windows的命令行窗口中键入java -help命令查看、或者直接查看Javac源码中的枚举类OptionName，其中定义了Javac支持的所有命令。

下面简单介绍几个命令，其它相关的命令将在后续使用到时再介绍。

-help

-version

-d

-s

这些都是标准且常见的命令，还有另外一些不常用的扩展命令如-Xlint及隐藏命令如-fullversion，这些隐藏命令无法通过-help进行查看。

JavacOption接口定义了对这些命令的一些常用操作，并且通过内部枚举类OptionKind将所有命令分为三类，如下：

enum OptionKind {
        NORMAL,
        EXTENDED,
        HIDDEN,
}

JavacOption接口中定义的方法如下：

public interface JavacOption {

    OptionKind getKind();

    /** Does this option take a (separate) operand?
     *  @return true if this option takes a separate operand
     */
    boolean hasArg();

    /** Does argument string match option pattern?
     *  @param arg   the command line argument string
     *  @return true if {@code arg} matches this option
     */
    boolean matches(String arg);

    /** Process an option with an argument.
     *  @param options the accumulated set of analyzed options
     *  @param option  the option to be processed
     *  @param arg     the arg for the option to be processed
     *  @return true if an error was detected
     */
    boolean process(Options options, String option, String arg);

    /** Process the option with no argument.
     *  @param options the accumulated set of analyzed options
     *  @param option  the option to be processed
     *  @return true if an error was detected
     */
    boolean process(Options options, String option);

}

相关类对这个接口进行了实现，如下：

调用Option的getKind方法返回为NORMAL，HiddenOption为HIDDEN，XOption为EXTENDED。所有命令可通过继承这三个实现类，选择性的实现相关的方法。Javac具体的实现在RecognizedOptions类中的getAll()方法，

通过匿名类来改写实现类中方法的默认行为，如：

new Option(VERSION,"opt.version") {
            @Override
            public boolean process(Options options, String option) {
                helper.printVersion();
                return super.process(options, option);
            }
}

对version命令的process()方法进行了实现，通过调用helper对象的prinVersion()方法打印当前的JDK版本。　

每个命令对应不同的匿名类，这些匿名类最终会存储到Option数组中返回给getAll()方法的调用者。

还记得上面在实现version命令时传入的helper对象吗？这个对象的接口类型为OptionHelper，从名字也不难看出，它是用来辅助实现命令的，下面来具体看看这个接口的实现，如下代码：

public interface OptionHelper {
    void setOut(PrintWriter out);
    void error(String key, Object... args);
    void printVersion();
    void printFullVersion();
    void printHelp();
    void printXhelp();
    void addFile(File f);
    void addClassName(String s);
}　

当我们有了这样一个辅助类后就可以调用getAll()方法获取所有的命令了，Bootstrap类中定义了一个私有的recognizedOptions属性，如下：

OptionHelper optionHelper = new OptionHelper() {
        public void setOut(PrintWriter out) {
            Bootstrap.this.out = out;
        }
        public void error(String key, Object... args) {
            Bootstrap.this.error(key, args);
        }
        public void printVersion() {
            Log.printLines(out, getLocalizedString("version", ownName,  JavaCompiler.version()));
        }
        public void printFullVersion() {
            Log.printLines(out, getLocalizedString("fullVersion", ownName,  JavaCompiler.fullVersion()));
        }
        public void printHelp() {
            help();
        }
        public void printXhelp() {
            xhelp();
        }
        public void addFile(File f) {
            filenames.add(f);
        }
        public void addClassName(String s) {
            classnames.append(s);
        }
    };
    private Option[] recognizedOptions = RecognizedOptions.getJavaCompilerOptions(optionHelper);

调用getJavaCompilerOptions()方法其实也是间接调用了getAll()方法。现在我们可以传入命令-version来查看Javac是如何处理用户传递过来的命令的。

调用时最终会调用如下方法：

public int compile(String[] args,
   String[] classNames,
   Context context,
   List<JavaFileObject> fileObjects,
   Iterable<? extends Processor> processors)

这个方法传递的参数有点多，不过我们的-version命令是在数组args中，这个方法通过调用processArgs(args,classNames)方法来执行-version命令，此就去的实现逻辑也很简单，通过循环找到-version在recognizedOptions中的匿名实现类并调用process()方法，最终通过调用helper对象的printVersion()方法来实现JDK版本号的打印。