.NET实现解析字符串表达式

一、引子·功能需求

我们创建了一个 School 对象，其中包含了教师列表和学生列表。现在，我们需要计算教师平均年龄和学生平均年龄。

//创建对象
School school = new School()
{
    Name = "小菜学园",
    Teachers = new List<Teacher>()
    {
        new Teacher() {Name="波老师",Age=26},
        new Teacher() {Name="仓老师",Age=28},
        new Teacher() {Name="悠老师",Age=30},
    },
    Students=  new List<Student>()
    {
        new Student() {Name="小赵",Age=22},
        new Student() {Name="小钱",Age=23},
        new Student() {Name="小孙",Age=24},
    },
    //这两个值如何计算？
    TeachersAvgAge = "",
    StudentsAvgAge = "",
};

如果我们将计算教师平均年龄的公式交给用户定义，那么用户可能会定义一个字符串来表示：

Teachers.Sum(Age)/Teachers.Count

或者可以通过lambda来表示:

teachers.Average(teacher => teacher.Age)

此时我们就获得了字符串类型的表达式，如何进行解析呢？

二、构建字符串表达式

手动构造

这种方式是使用 Expression 类手动构建表达式，虽然不符合我们的实际需求，但是它是Dynamic.Core底层实现的方式。Expression 类的文档地址为：：https://learn.microsoft.com/zh-cn/dotnet/api/system.linq.expressions.expression?view=net-6.0

// 创建参数表达式
var teachersParam = Expression.Parameter(typeof(Teacher[]), "teachers");

// 创建变量表达式
var teacherVar = Expression.Variable(typeof(Teacher), "teacher");

// 创建 lambda 表达式
var lambdaExpr = Expression.Lambda<Func<Teacher[], double>>(
    Expression.Block(
        new[] { teacherVar }, // 定义变量
        Expression.Call(
            typeof(Enumerable),
            "Average",
            new[] { typeof(Teacher) },
            teachersParam,
            Expression.Lambda(
                Expression.Property(
                    teacherVar, // 使用变量
                    nameof(Teacher.Age)
                ),
                teacherVar // 使用变量
            )
        )
    ),
    teachersParam
);

// 编译表达式树为委托
var func = lambdaExpr.Compile();

var avgAge = func(teachers);

使用System.Linq.Dynamic.Core

System.Linq.Dynamic.Core 是一个开源库，它提供了在运行时构建和解析 Lambda 表达式树的功能。它的原理是使用 C# 语言本身的语法和类型系统来表示表达式，并通过解析和编译代码字符串来生成表达式树。

// 构造 lambda 表达式的字符串形式
string exprString = "teachers.Average(teacher => teacher.Age)";

// 解析 lambda 表达式字符串，生成表达式树
var parameter = Expression.Parameter(typeof(Teacher[]), "teachers");
var lambdaExpr = DynamicExpressionParser.ParseLambda(new[] { parameter }, typeof(double), exprString);

// 编译表达式树为委托
var func = (Func<Teacher[], double>)lambdaExpr.Compile();

// 计算教师平均年龄
var avgAge = func(teachers);

三、介绍System.Linq.Dynamic.Core

使用此动态 LINQ 库，我们可以执行以下操作：

• 通过 LINQ 提供程序进行的基于字符串的动态查询。
• 动态分析字符串以生成表达式树，例如ParseLambda和Parse方法。
• 使用CreateType方法动态创建数据类。

功能介绍

普通的功能此处不赘述，如果感兴趣，可以从下文提供文档地址去寻找使用案例。

1. 添加自定义方法类

可以通过在静态帮助程序/实用工具类中定义一些其他逻辑来扩展动态 LINQ 的分析功能。为了能够做到这一点，有几个要求：

• 该类必须是公共静态类
• 此类中的方法也需要是公共的和静态的
• 类本身需要使用属性进行注释[DynamicLinqType]

[DynamicLinqType]
public static class Utils
{
    public static int ParseAsInt(string value)
    {
        if (value == null)
        {
             return 0;
        }

        return int.Parse(value);
    }

    public static int IncrementMe(this int values)
    {
        return values + 1;
    }
}

此类有两个简单的方法：

当输入字符串为 null 时返回整数值 0，否则将字符串解析为整数

使用扩展方法递增整数值

用法：

var query = new [] { new { Value = (string) null }, new { Value = "100" } }.AsQueryable();

var result = query.Select("Utils.ParseAsInt(Value)");

除了以上添加[DynamicLinqType]属性这样的方法，我们还可以在配置中添加。

public class MyCustomTypeProvider : DefaultDynamicLinqCustomTypeProvider
{
    public override HashSet<Type> GetCustomTypes() =>
        new[] { typeof(Utils)}.ToHashSet();
}

文档地址

• 源码地址：https://github.com/zzzprojects/System.Linq.Dynamic.Core
• 文档地址：https://dynamic-linq.net/overview

使用项目

• 规则引擎RulesEngine中解析表达式的实现：https://github.com/microsoft/RulesEngine/wiki
• 自己封装了低代码中公式编辑器中公式的解析功能

四、浅析System.Linq.Dynamic.Core

System.Linq.Dynamic.Core中 DynamicExpressionParser 和 ExpressionParser 都是用于解析字符串表达式并生成 Lambda 表达式树的类，但它们之间有一些不同之处。

ExpressionParser 类支持解析任何合法的 C# 表达式，并生成对应的表达式树。这意味着您可以在表达式中使用各种运算符、方法调用、属性访问等特性。

DynamicExpressionParser 类则更加灵活和通用。它支持解析任何语言的表达式，包括动态语言和自定义 DSL（领域特定语言）

我们先看ExpressionParser这个类，它用于解析字符串表达式并生成 Lambda 表达式树。

我只抽取重要的和自己感兴趣的属性和方法。

• TextParser 类，实现算法有点类似于有限状态自动机（FSM）：https://leetcode.cn/problems/biao-shi-shu-zhi-de-zi-fu-chuan-lcof/solutions/372095/biao-shi-shu-zhi-de-zi-fu-chuan-by-leetcode-soluti/
• MethodFinder，使用了反射机制，通过调用 GetMethods() 方法获取指定类型中定义的所有方法，并根据参数数量和类型等条件检查参数是否符合特定的条件。如果参数满足了条件，则将该方法添加到结果列表中。

public class ExpressionParser
{
    //字符串解析器的配置,比如区分大小写、是否自动解析类型、自定义类型解析器等
    private readonly ParsingConfig _parsingConfig;

    //查找指定类型中的方法信息,通过反射获取MethodInfo
    private readonly MethodFinder _methodFinder;

    //用于帮助解析器识别关键字、操作符和常量值
    private readonly IKeywordsHelper _keywordsHelper;

    //解析字符串表达式中的文本,用于从字符串中读取字符、单词、数字等
    private readonly TextParser _textParser;

    //解析字符串表达式中的数字,用于将字符串转换为各种数字类型
    private readonly NumberParser _numberParser;

    //用于帮助生成和操作表达式树
    private readonly IExpressionHelper _expressionHelper;

    //用于查找指定名称的类型信息
    private readonly ITypeFinder _typeFinder;

    //用于创建类型转换器
    private readonly ITypeConverterFactory _typeConverterFactory;

    //用于存储解析器内部使用的变量和选项。这些变量和选项不应该由外部代码访问或修改
    private readonly Dictionary<string, object> _internals = new();

    //用于存储字符串表达式中使用的符号和值。例如，如果表达式包含 @0 占位符，则可以使用 _symbols["@0"] 访问其值。
    private readonly Dictionary<string, object?> _symbols;

    //表示外部传入的参数和变量。如果表达式需要引用外部的参数或变量，则应该将它们添加到 _externals 中。
    private IDictionary<string, object>? _externals;

    /// <summary>
    /// 使用TextParser将字符串解析为指定的结果类型.
    /// </summary>
    /// <param name="resultType"></param>
    /// <param name="createParameterCtor">是否创建带有相同名称的构造函数</param>
    /// <returns>Expression</returns>
    public Expression Parse(Type? resultType, bool createParameterCtor = true)
    {
        _resultType = resultType;
        _createParameterCtor = createParameterCtor;

        int exprPos = _textParser.CurrentToken.Pos;
        //解析条件运算符表达式
        Expression? expr = ParseConditionalOperator();
        //将返回的表达式提升为指定类型
        if (resultType != null)
        {
            if ((expr = _parsingConfig.ExpressionPromoter.Promote(expr, resultType, true, false)) == null)
            {
                throw ParseError(exprPos, Res.ExpressionTypeMismatch, TypeHelper.GetTypeName(resultType));
            }
        }
        //验证最后一个标记是否为 TokenId.End，否则抛出语法错误异常
        _textParser.ValidateToken(TokenId.End, Res.SyntaxError);

        return expr;
    }

    // ?: operator
    private Expression ParseConditionalOperator()
    {
        int errorPos = _textParser.CurrentToken.Pos;
        Expression expr = ParseNullCoalescingOperator();
        if (_textParser.CurrentToken.Id == TokenId.Question)
        {
           ......
        }
        return expr;
    }

    // ?? (null-coalescing) operator
    private Expression ParseNullCoalescingOperator()
    {
        Expression expr = ParseLambdaOperator();
        ......
        return expr;
    }
    // => operator - Added Support for projection operator
    private Expression ParseLambdaOperator()
    {
        Expression expr = ParseOrOperator();
        ......
        return expr;
    }

}