华为方舟编译器正式支持C语言：完全开源

投递人 itwriter 发布于 2020-10-14 19:08 评论(15) 有1938人阅读 原文链接

　　2019 年 8 月底，华为方舟编译器(OpenArkCompiler)正式开源，迈出了跨越性的一步。

　　一年多来，方舟编程体系陆续实现了编译器、引擎、调试器的开源，其中编译器的重点功能主要集中在 Java 应用程序静态编译上。

　　华为强调，方舟项目的目标是构建一个基于 MapleIR 的跨语言编程环境，实现跨语言的全局分析及优化。

　　比如在现有 Java 编程环境下面，开发者经常需要同时编写 Java、C语言程序，通过 JNI 相互调用，而这两种语言之间目前是不直接互通的。

　　方舟编程体系的终极愿景之一，就是要通过一致的 IR 来表述不同语言，并跨越语言进行全局优化。

　　现在，方舟编译器加入了对C语言程序的支持，当然继续开源，也是实现 Java 和C混合编译的基础。

　　未来，方舟引擎不仅要对来自 Java 语言的 IR 代码进行 JIT 编译，也会支持对C、C++语言的 IR 代码进行 JIT 编译。

　　代码链接地址：“码云”

　　1、https://gitee.com/openarkcompiler-incubator/mapleall

　　2、https://gitee.com/openarkcompiler-incubator/maple_engine

　　本次开源内容主要限于 O0 的能力范围，针对C的 O2 以上的优化留待未来进一步开源。

　　目前，方舟编译器已经支持C语言的绝大部分常用特性，暂不支持的特性有 complex 类型、packedstruct、long double、alloca out-of-scope free。

　　当前支持 aarch64 后端，并支持绝大部分 gcc_torture 用例，比如配合一款第三方合作的C前端(开源时间待定)，可以正确运行 spec2017 的所有C语言整型用例。

　　下一步，方舟社区计划在 Maple 编译器上做更多的拓宽和深耕工作。

　　广度上，一方面会尝试支持新的语言，进一步验证 Maple 基础平台的语言无关性，另一方面会增加对新后端如 RISC-V 的支持。

　　深度上，社区会尽快开源 O2 分析与优化 phase，性能对标 LLVM/GCC，同时利用统一的 Maple 表示，布局跨语言全局优化。

　　正式开源以来，方舟社区开源代码从 50K 增长到 170K，累计 6.9K Star，并孵化 5 个相关子项目。

　　方舟编译器作为方舟编程体系的重要一环，目前展现的还只是是静态编译，未来随着方舟引擎的完备，可以看到方舟编译器在各种 AOT 或者 JIT 编译时的运用，以及众多依赖于编译分析的软件分析和优化工具。

　　相关阅读

　　华为方舟编译器深入解读：已有 45 款第三方应用

　　8 月 31 日，华为方舟编译器(OpenArkCompiler)正式开源，官网已上线，源代码包、二进制包已提供下载，相关文档、演示等资料也一应俱全。

　　本次方舟编译器开源的是编译器框架部分源码，包括编译器中间表示(IR)和语言编译实现，同时搭配编译器其他二进制组件，实现 Java 程序到 aarch64 汇编指令的编译过程。

　　开发者可基于开源代码+二进制，编译构建出编译器工具链，尝试对 Java 程序进行编译。

　　社区参与者可以通过框架源码学习方舟编译器的编译器中间表达(IR)及基本的中端编译框架，熟悉方舟编译器的架构思想，并参与诸如对编译器中端优化的贡献。

　　【方舟编译器的优势】

　　按照华为的介绍，方舟编译器是为支持多种编程语言、多种芯片平台的联合编译、运行而设计的统一编程平台，包含编译器、工具链、运行时等关键部件，目前还在持续演进中，上述能力将陆续实现和开源。

　　通过多语言统一 IR 表示，方舟编译器可实现应用中多种编程语言联合编译优化提升性能，而且在支持多平台的同时，根据设备特征提供便捷的开发与部署策略提升效率。

　　华为方舟编译器提供了全新的系统及应用的编译和运行机制，从动态编译变为静态编译，就是直接将高级语言直接编译成机器码，彻底消除了虚拟机动态编译的额外开销，实现了开发和运行效率的兼容并举。

　　1、多语言联合

　　将同一应用中的不同语言代码联合编译、联合优化，消除语言间的性能“鸿沟”，降低开发者的优化成本

　　2、轻量运行时

　　通过编译器的语言实现能力和优化能力增强，应用运行时的开销更小

　　3、软硬件协同

　　编译器与芯片实现软硬件协同优化，充分发挥硬件能效，应用体验更佳

　　4、多平台支持

　　支持面向多样化的终端设备平台进行编译和运行，根据设备特征提供便捷的开发与部署策略，提高开发效率

　　【方舟编译器的架构设计】

　　当前方舟编译器支持Java/Kotlin 程序字节码的前端输入，C/C++/JS 等其它编程语言的支持还在规划中。

　　方舟编译器的中间表示(IR)转换器将前端输入转换成方舟 IR，并输送给后端的优化器，最终生成二进制文件，二进制文件与编译器运行时库文件链接生成可执行文件，在方舟的运行环境中就可执行该文件。

　　方舟编译器 IR 是支持程序编译和运行的中间程序表示。程序源代码中的任何信息对于程序分析和优化都是有帮助的，所以方舟 IR 的目标是尽可能完整详细地提供源程序的信息。

　　【方舟编译器的环境配置】

　　－ 硬件配置推荐

　　方舟编译器的硬件配置需求不高，最低只需 2GHz 双核心处理器、2GB 内存、200GB 硬盘空间，当然要获得最高效率，更高配置是强烈推荐的。

　　－ 开发环境推荐

　　需要 64 位版本的 Linux，尤其推荐Ubuntu 16.04

　　sudo apt-get -y install openjdk-8-jdk git-core gnupg flex bison gperf build-essential zip curl zlib1g-dev libc6-dev-i386 lib32ncurses5-dev x11proto-core-dev libx11-dev lib32z-dev ccache libgl1-mesa-dev libxml2-utils xsltproc unzip lib32z1-dev qemu g++-multilib gcc-multilib python3-paramiko python-paramiko python-jenkins python-requests python-xlwt libglib2.0-dev libpixman-1-dev linux-libc-dev:i386

　　sudo apt-get -y install gcc-5-aarch64-linux-gnu g++-5-aarch64-linux-gnu

　　－ Clang 编译器

　　主要用于编译方舟编译器代码。

　　下载 clang+llvm-8.0.0-x86_64-linux-gnu-ubuntu-16.04，地址：

　　http://releases.llvm.org/download.html#8.0.0

　　放置到 openarkcompiler/tools 目录，打开 openarkcompiler/build/config/BUILDCONFIG.gn 文件，将 GN_C_COMPILER、GN_CXX_COMPILER 和 GN_AR 三个变量配置为 Clang 编译器所在路径。例如：

　　GN_C_COMPILER = "${MAPLE_ROOT}/tools/clang_llvm-8.0.0-x86_64-linux-gnu-ubuntu-16.04/bin/clang"

　　GN_CXX_COMPILER = "${MAPLE_ROOT}/tools/clang_llvm-8.0.0-x86_64-linux-gnu-ubuntu-16.04/bin/clang++"

　　GN_AR = "${MAPLE_ROOT}/tools/clang_llvm-8.0.0-x86_64-linux-gnu-ubuntu-16.04/bin/llvm-ar"

　　其中${MAPLE_ROOT}为 openarkcompiler 源码根目录。

　　安装 Ninja、GN 并完成配置

　　－ Ninja、GN

　　下载 Ninja (v1.9.0) 及 GN (Linux Version) Ninja，地址：

　　https://github.com/ninja-build/ninja/releases

　　GN 下载地址：

　　https://archive.softwareheritage.org/browse/content/sha1_git:2dc0d5b26caef44f467de8120b26f8aad8b878be/raw/?filename=gn

　　将 GN 和 Ninja 可执行程序放置到 openarkcompiler/tools 目录，打开 openarkcompiler/Makefile 文件，将 GN 和 NINJA 两个变量配置为 GN 和 Ninja 可执行程序所在路径。例如：

　　GN := ${MAPLE_ROOT}/tools/gn/gn

　　NINJA := ${MAPLE_ROOT}/tools/ninja_1.9.0/ninja

　　【方舟编译器 FAQ】

　　Q1：方舟编译器开源有官方网站吗？

　　A1：

　　孵化期间，官方网站为 https://www.openarkcompiler.cn。正式毕业后的官网待定。

　　Q2：方舟编译器是一次性全部代码吗？

　　A2：

　　首次开源范围是编译器 IR (Intermediate Representation)、RC (Reference Counting)和多语言设计思想等，用于与业界、学术界沟通交流。后续将陆续开源编译器前端、后端，支持其它语言(比如 JavaScript)的编译等。

　　当前部分 Java 语言特性和 JVM 虚拟机特性的支持未包括在本次开源代码中，包括 annotation、lambda 表达式、泛型等。

　　目前仍有很多地方不完善，会在社区陆续迭代，遇到问题请在社区提交 issue。

　　Q3：通过哪些渠道可以获取方舟编译器的框架源码？

　　A3：

　　孵化期间，开发者可以通过如下代码托管网址获得相关代码和文档，供参考学习、了解方舟编译器的架构和代码。

　　华为云托管地址：

　　https://code.opensource.huaweicloud.com/HarmonyOS/OpenArkCompiler

　　开源中国码云托管地址：

　　https://gitee.com/harmonyos/OpenArkCompiler

　　Q4：方舟编译器开源路标是怎样的？

　　A4：

　　方舟编译器从 2019 年 8 月开始开源，欢迎广大的应用开发者、手机厂商、软件从业人员一起共建开源社区和生态。

　　开源计划大体上这样安排：2019 年 8 月重点开源框架部分；后续将陆续开源编译器前端、后端；支持 Jav 程序编译、JavaScript 语言应用的编译等。

　　Q5：还有哪些方式可以获取方舟编译器的相关信息？

　　A5：

　　方舟编译器有官方微信公众号：开源方舟编译器

　　Q6：方舟编译开源面向全球开发者吗？英文网站何时上线？

　　A6：

　　方舟编译器是向全球开发者进行开源，因此，官方网站和代码托管平台均面向全球开发者开放。

　　目前英文版网站正在紧张的开发及内测，计划将于 2019 年 Q4 上线。

　　Q7：方舟编译器源码托管计划是怎么的？

　　A7：

　　孵化委员会期间，方舟编译器代码是托管在华为云上面。

　　在未来走向开放治理以后，将由所挂靠机构选择的平台进行托管。如果挂靠的机构采取了X平台，就采用这个机构的代码托管模式进行托管。

　　当前代码托管的地址：

　　https://code.opensource.huaweicloud.com/HarmonyOS/OpenArkCompiler

　　所有相关信息请以方舟编译器开源官方网站发布为准。

　　Q8：方舟编译器开源使用的是什么 License？

　　A8：

　　方舟编译器采用木兰 License，由业界众多专家和公司集体共建，并非华为主导，具体好处详见专业点评：

　　开源中国：https://www.oschina.net/news/108840/mulanpsl-the-1st-opensource-license-of-china

　　开源社：https://mp.weixin.qq.com/s/1xqxxiNKhcgw4RRspAaW2A

　　InfoQ：https://www.infoq.cn/article/KrZAbAcJrxCU27vKj*JE

　　Q9： 如何确认下载包来源可靠？MD5 校验码是多少？

　　A9：

　　OpenArkCompiler-0.2-ubuntu-16.04-x86_64.tar.gz 二进制包的 MD5 码是：e7dc8b8c242f2d26429e2ad71dae3112

　　OpenArkCompiler-0.2.tar.gz 源代码包的 MD5 码是：1bf859a67c8b9a2d4080bdaf25ef6181