CodeQL(1)

前言

开始学习使用CodeQL，做一些笔记，可供参考的资料还是比较少的，一个是官方文档，但是Google翻译过来，总觉得怪怪的，另一个就是别人的一个资源整合，其中可供参考的也不是很多，大多也是官方文档翻译过来的，要不然就是你抄我，我抄你，抄来抄去，其中有些东西就变了味。

还是需要好好学英语，直接看官方一手文档不香吗？

https://codeql.github.com/docs/

先看一篇科普文章Github安全实验室：开源代码分析引擎codeql，设漏洞奖励计划 (qq.com)防止文章失效，文章重点如下：

1. GitHub启动securitylab社区计划：https://securitylab.github.com/

2. 开源了codeql：https://securitylab.github.com/tools/codeql/

3. 可以在lgtm平台(类似云平台)上直接写语句分析：https://lgtm.com

4. 开设了针对codeql的CTF比赛：https://securitylab.github.com/ctf，在Research这一栏有很多研究人员挖和分析漏洞的技术经验分享
   
   

5. GitHub成为了授权的CVE编号颁发机构（CNA），这意味着它可以发布漏洞的CVE标识符。

   赏金规则查看：https://securitylab.github.com/bounties

   从描述来看，Github还是希望安全研究员使用CodeQL进行挖掘新漏洞，并可以提交赏金。最高获得2500美元

   

除了发现漏洞有钱之外，编写CodeQL查询，如果写的够好，也可以拿钱，最高可以拿3000美元

CodeQL

Semmle公司最早独创性的开创了一种QL语言，Semmle QL，并且运行在自家LGTM平台上。

LGTM平台上存放的就是一些开源项目，用户可以选择分析的语言，编写ql语句进行程序安全性查询

2019年，GitHub（背后是微软）收购了Semmle公司，开源了CodeQL分析引擎，来看引擎的该矿图

1. 将源码通过Extractor模块进行代码信息分析&提取，构建一套自己的关系型数据库Snapshot Database。

   1. 编译型语言：Extractor观察编译器的编译过程，捕获编译器生成的AST，语义信息(名称绑定、类型信息、运算操作等)，控制流，数据流信息，外加一份源码。

   2. 解释型语言：Extractor直接分析源代码

2. Snapshot Database里面包括：源代码，关系数据

3. 接下来用户输入QL语句，经过CodeQL的工具库转换为Compiled Query，参与查询

4. 最终展示查询结果

这是大概的一个原理，其核心原理也可以在Academic publications--官方给出的Paper，说实话，看天书一样，中文的都看不懂，还想看英文的，洗洗睡吧，不说废话了

我们的关注点应该在于怎么样提炼出来某种类型的漏洞的规则，一句话,CodeQL，规则为王。

要想写规则，个人认为需要有以下几种知识：

1. 漏洞核心原理:这点不用多说

2. AST语法树:编写规则的时候，需要用到这块知识，

3. 离散数学：其中涉及到一些集合，命题等等，大学肯定学过。

4. 数据流分析：将漏洞代码抽象为数据流进行分析，这也是CodeQL核心原理之一，~~应该也不难吧(当我没说)

5. 污点分析:下面对南大的课程里边也有讲

推荐资料

数据流分析： https://www.bookstack.cn/read/CTF-All-In-One/doc-5.4_dataflow_analysis.md

北京大学 软件分析： https://www.bilibili.com/video/BV14X4y1N7nx?from=search&seid=9073392278546408847

南京大学 软件分析： https://www.bilibili.com/video/BV1b7411K7P4

静态程序分析Static Program Analysis：https://pascal-group.bitbucket.io/teaching.html

强推南京大学的课程，可以先看这个，关于课程的一些资料

https://github.com/RangerNJU/Static-Program-Analysis-Book

https://www.cs.cornell.edu/courses/cs6120/2020fa/self-guided/

https://zhuanlan.zhihu.com/p/128156349

环境搭建

管它会不会写规则，环境先搭起来看看。

环境准备

以Java为例，Java是编译型语言，所以你需要事先安装好项目编译所需的全部环境，例如：JDK、Maven

CodeQL CLI

CodeQL CLI用来创建和分析数据库。也就是分析引擎

下载CodeQL压缩包并解压

https://github.com/github/codeql-cli-binaries/releases

将CodeQL CLI的可执行文件添加到环境变量，方便灵活调用

1. 

CodeQL 标准库

包含了必须的一些标准库（内置库）和一些查询样例

https://github.com/github/codeql，下载后更改文件名为ql，此时目录结构为：

注意：CodeQL解释器会按照某个规则（会查找CodeQL CLI所在目录的兄弟目录以及其子目录）寻找CodeQL标准库的位置，若是没有找到，则需要你手动将CodeQL标准库添加到VSCode的工作区中。所以我们这里直接放在同一个文件夹下。

安装VS code插件并配置

官方提供了VSCode编写CodeQL的插件作为前端来使用Codeql

这里的路径具体到codeql.exe，windows下也可以codeql.cmd

使用

下载WebGoat

我这里以WebGoat8.1.0 为例，此版本需要Java11环境，自行配置,

创建数据库

需要已经安装Maven，因为WebGoat项目是基于Maven构建的，CodeQL在创建数据库时，会自动探测并使用对应的编译方式。

在WebGoat根目录下面执行如下命令，会自动编译并且为该项目创建一个名为webgoat-qldb的QL数据库。

codeql database create webgoat-ql -l java

因为要下载很多的依赖,生成比较慢

创建完该项目的数据库后，该项目的源码文件在后面几乎就用不到了（除非像更新QL数据库这种需求），CodeQL查询时主要使用的便是该项目的数据库文件

创建QL包

需要创建一个文件夹来存放后续编写的CodeQL脚本，CodeQL官方称这个文件夹为QL Pack。

例如名为query的文件夹，并在里面创建1个QL Pack的配置文件，名称固定为qlpack.yml；再创建一个ql后缀的文件，名称随意

在VSCode中打开这个文件夹

编写QL包的配置文件

将如下信息填入qlpack.yml文件

name: query
version: 0.0.0
libraryPathDependencies: codeql-java

第一行表示这个QL包的名称为query，必选，如果你在VSCode中同时打开多个QL包时，要保证这个name的值唯一不重复；

第二行表示这个QL包的版本号，必选；

第三行表示这个QL包的依赖，必选，codeql-java表示需要Java语言的QL标准库依赖

VSCode工作区增加CodeQL标准库

为了让CodeQL解释器能够访问标准库，我们需要将标准库所在文件夹也加入到加入工作区中。

VSCode - 文件 - 将文件夹加入工作区 - 选择在【环境搭建-CodeQL标准库】章节中存放CodeQL标准库的文件夹。

添加CodeQL数据库

在VSCode的CodeQL插件中添加之前用CodeQL创建的WebGoat的数据库。

选择webgoat-ql那个文件夹。如下是添加成功后的页面

编写一个简单查询

在webgoat-queyr.ql文件中编写如下代码，用来查找WebGoat项目中所有声明的方法

import java

from Method m
select m

然后右键点击【CodeQL: Run Query 】来执行本次查询，执行完成后在右边可以看到多出一列用来显示查询结果

点击结果里面的任意条目，可以跳到对应的文件中：