CodeQL学习笔记(4)-CodeQL for Java(程序元素)
最近在学习CodeQL,对于CodeQL就不介绍了,目前网上一搜一大把。本系列是学习CodeQL的个人学习笔记,根据个人知识库笔记修改整理而来的,分享出来共同学习。个人觉得QL的语法比较反人类,至少与目前主流的这些OOP语言相比,还是有一定难度的。与现在网上的大多数所谓CodeQL教程不同,本系列基于官方文档和情景实例,包含大量的个人理解、思考和延伸,直入主题,只切要害,几乎没有废话,并且坚持用从每一个实例中学习总结归纳,再到实例中验证。希望能给各位一点不一样的见解和思路。当然,也正是如此必定会包含一定的错误,希望各位大佬能在评论区留言指正。
CodeQL for Java
在了解一些理论性很强的内容之前,我们需要对整个知识体系有一个宏观的概念和一定的理解,后面学习的内容才会不容易迷茫,才不会不知道自己在干什么、学什么、目的是什么、有什么用。下面根据我的理解把CodeQL的逻辑和操作过程简单的描绘出来。
简单来说,我们的程序代码是由逐层嵌套而成的,例如各个package包、类、方法、表达式、变量等,这些都被称作为代码元素。而CodeQL借助了树的概念,创建了自己的一套“抽象语法树AST”概念。在这个概念体系中,它把源代码的每一个代码元素部分全部打散,按照源代码中的嵌套结构逐层形成一个树,顶层节点通常是整个代码文件(即CompilationUnit),然后按照嵌套结构逐层展开,从package到class,从class到method,逐层深入,生成了一棵自顶向下的分层结构的树,而每一个子节点就表示package、class、method、variable等代码元素,这些子节点的代码元素类型体现为整个节点的节点类型。
而对于打散源代码后生成的AST来说,使用Java原本的一些元素定义已经不再合适,因此CodeQL提供了一套类库来表示各种节点的节点类型,即对应java源码的各种元素类型。我们使用这些codeql类库去查询AST中的对应节点的对应信息。
下面给出某个Java demo的AST语法树结构
在学习完一定的内容之后发现CodeQL最难的地方是在QL for java的类库,要去根据相应的源码写出逐步匹配的过程,而在这个过程中的QL类库又非常多,较为杂乱,需要去记Java中每一种类型的数据元素对应的QL类库,这是一个相当痛苦的过程,并且这些类库也有自己的继承、包含关系,要想掌握难度很大。
基本结构
这一部分不要求对每一个方法、每一个用法都了解,只是简单的看一下整个的流程。下面用一个简单的例子跑通全流程来整体理解,只要看一个思路就可以。导入官方数据库进行测试,vscode – shift+command+p:Quick Query
1 | from MethodAccess ma |
语句 | 目的 | 细节 |
---|---|---|
import java |
导入CodeQL支持的标准库 | 每一条查询开头都会导入至少一条 |
from MethodCall ma |
定义一个变量 | 使用MethodCall 变量来查找表达式 |
where ma.getMethod().hasName("equals") and ma.getArgument(0).(StringLiteral).getValue() = "" |
约束变量,设定条件进行查找 | ma.getMethod().hasName("equals") 限制ma去查找叫做equals的方法。 ma.getArgument(0).(StringLiteral).getValue() = "" 表示参数必须是空值。 |
select ma, "This comparison to empty string is inefficient, use isEmpty() instead." |
按照格式输出查找结果select <program element>, "<alert message>" |
输出存在问题的地方 |
整个的这段代码的目的是查找java中
haha.equals("")
的部分,因为这个用法不推荐使用,更建议用haha.isEmpty()
来代替
写codeql的思维是一种迭代过程,通过比较初级的语句去定位查询到一个比较大的目标,然后根据查询出来的结果再去写一些限制条件来缩减范围,达到更精确地定位到目标的效果。
例如在上面这个例子中,事实上只有当String类型的变量去调用.equals方法才会出现问题,而我们查询出来的结果当中包含着各种类型的变量,我们需要把除了String类型的变量进行排除筛选,因此需要修改代码新增一条匹配规则:
1 | ma.getQualifier().getType() instanceof TypeString and |
目的是让找到的目标是String类型
CodeQL库
最重要的是以下五类,下面也只介绍这五类中分别最重要的内容:
- 表示程序元素(例如类和方法)的类
- 表示 AST 节点(例如语句和表达式)的类
- 表示元数据(例如注释和评论)的类
- 计算度量的类(例如圈复杂度和耦合)
- 浏览程序调用图的类
1. 程序元素
1 | // CodeQL提供的类库 |
这些类库用来表示Java中对应的代码元素,但是各个类库之间在继承关系上有一定重合(例如某两个库继承自同一个父类),但是在逻辑表达上不重合,例如Method和Constructor拥有公共父类Callable。
下面重点讲一下其中的Type类库。
Type
PrimitiveType和Reftype是Type的子类
- PrimitiveType:基础类型,包含java中的boolean, byte, char, double, float, int, long, short,此外在QL中也可以表示java中的void和null
- RefType:引用类型(非基础类型)
- Class:Java类
- Interface:Java接口
- EnumType:枚举
- Array:Java数组
- TopLevelType/TopLevelClass:编译单元顶层声明的类型/类,Type中包含Class;Type可以是类、接口、枚举、注解
- NestedType/NestedClass:嵌套在另一种类型中的类型/类
- NestedClass分为LocalClass和AnonymousCLass,分别表示声明在方法或构造函数中的类和匿名类
看下面几个例子
1 | import java |
Variable v表示取出所有的变量,PrimitiveType pt表示定义一个基础类型,v.getType() = pt表示把所有变量各自的类型是什么赋给pt,然后从中选出int类型
1 | import java |
tl.getName() 获取的是类型 tl 的名称。tl.getCompilationUnit().getName()获取包含该类型的编译单元(通常是 Java 文件)的名称。
1 | import java |
从 NestedClass 中选择一个实例,取名为 nc,即表示查询将专注于嵌套类,然后判断 nc 的某个父类型是否是 TypeObject 类型的实例
Generics(泛型)
泛型类型定义
在 Java 中,泛型类型(GenericType)可以是泛型接口(GenericInterface)或泛型类(GenericClass)
1 | GenericType |
对于如下java源码
1 | public interface Map<K, V> { |
在这个例子中,K和V是类型参数,是通过TypeVariable类来表示的。所以要想匹配K和V就要用from TypeVariable tv来匹配
泛型类型实例化
当给泛型类型提供具体的类型参数时(比如 Map<String, File>),我们称之为“参数化类型”(ParameterizedType)。这个 ParameterizedType 是一个具体的实例,与原始的泛型类型(GenericType)不同。
要从参数化类型回到对应的泛型类型,可以使用 getSourceDeclaration 谓词。例如,我们可以写一个查询来查找所有 java.util.Map 的参数化实例:
1 | import java |
- hasQualifiedName方法用于找到java.util.Map的所有实例
- getSourceDeclaration 在这里具体的效果是帮助我们从参数化类型(ParameterizedType)、通配符类型(WildcardTypeAccess)或原始类型(RawType)获取它们对应的泛型类型(GenericType)。也就是说,如果我们有一个具体的泛型实例,比如 Map<String, File>,使用 getSourceDeclaration 可以回到它的泛型类型声明 Map<K, V>。
泛型的类型边界
再例如下列java源码
1 | class StringToNumMap<N extends Number> implements Map<String, N> { |
这里N的类型被限制为Number或Number的子类,称N为“有边界的类型函数”,Number是上限。codeql中可以用getATypeBound谓词查询类型参数的边界。
下列codeql代码能查找到所有类型边界为Number的类型变量
1 | import java |
TypeVariable tv对应java中Map<K,V>中的K和V。getATypeBound()用于获取tv的类型边界
getType()用于返回边界的具体类型
hasQualifiedName用于判断返回类型是否属于java.lang.Number。
整体思路就是:先找到<>中的variable变量,然后通过它们获取到TypeBound边界,然后判断这个边界是否是Number
泛型的原始类型RawType
再看下面这段java源码
1 | Map m1 = new HashMap(); |
用下列ql语句:
1 | import java |
整体思路:拿到所有变量,取出其中类型为原始类型Raw的,然后拿他的通用类型(getSourceDeclaration方法),再判断是否叫做java.util.Map。
v是匹配变量m1和m2,然后通过getType()获取到变量类型(实例),分别对应为Map和Map<String, String>,(在当前这个具体的例子中要筛选类型为Raw原始类型的,因此后面一个被排除,因为他是ParameterizedType参数化类型),再通过getSourceDeclaration()方法获取到这些变量类型的类型源Map和Map<K, V>,最后通过hasQualifiedName方法判断是否是Map方法
上述这段代码只匹配原始类型m1,而不会匹配m2
通配符类型
1 | Map<? extends Number, ? super Float> m; |
? extends Number 表示一个上限为 Number 的通配符,而 ? super Float 表示一个下限为 Float 的通配符
在 CodeQL 中,用 WildcardTypeAccess类来表示通配符类型,可以用getUpperBound和 getLowerBound来分别获取上限和下限。
变量
- Field表示一个 Java 字段。
- LocalVariableDecl表示局部变量。
- Parameter表示方法或者构造函数的参数。