当前位置：首页 > news >正文

【StarRocks系列】 Trino 方言支持

news 文章来源：https://blog.csdn.net/skyyws/article/details/138507369 2024/10/22 9:31:23

我们在之前的文章中，介绍了 Doris 官方提供的两种方言转换工具，分别是 sql convertor 和方言 plugin。StarRocks 目前同样也提供了类似的方言转换功能。本文我们就一起来看一下这个功能的实现与 Doris 相比有何不同。

一、Trino 方言验证

我们可以通过如下 SQL 来验证 Trino 的方言转换在 SR 中的效果：

set enable_profile = true;
set sql_dialect = starrocks;
select BOROUGH, approx_count_distinct(ZIP_CODE) cnt from crashdata group by BOROUGH order by cnt desc;
set sql_dialect = trino;
select BOROUGH, approx_distinct("ZIP_CODE") cnt from crashdata group by BOROUGH order by cnt desc;

针对上述查询，我们在 SR 集群执行，结果如下所示：

可以看到，执行结果完全一致，说明方言转换已经生效，并且符合预期。通过 WebUI 查看提交的两条 SQL：

页面上显示的仍然是原始的 SQL 而不是改写之后的。如果在 SR 的方言下，执行 SQL2 的话，那么会直接报错，如下所示：

提示函数找不到，这也是符合预期的，因为 approx_distinct 这个函数在 SR 中是不存在的。下面我们就结合代码来看一下 SR 是如何实现这个方言转换功能的。

二、Trino AST 简介

由于 Trino 的方言支持，主要思路是将 Trino 的相关结构转换成 SR 的结构，因此这里先简单了解下 Trino 的 AST 相关结构：

后续提到的相关结构，就可以直接参考上述图片。

三、Trino Transformer 介绍

SR 在 FE 中实现了一套 transformer 可以将 Trino 的 function 转换为 SR 的 function，从而实现了方言转换的功能。

3.1 整体流程图

整个 parse 的相关流程如下所示：

上述流程可以分为如下几个步骤：

FE 启动的时候，Trino2SRFunctionCallTransformer 会通过静态方法将所有 Trino 到 SR 的函数映射注册到 TRANSFORMER_MAP 这个 map 中；
FE 调用 Trino 的 SqlParser 将 sql string 转换为 Trino 的 Statement 结构，可以参考上述的 AST 结构图；
在 trino/AstBuilder 中，将 Trino 的 Statement 转换为 SR 的 StatementBase，transformer 用于进行函数转换；
根据 sql 中的 Trino 函数名，在 Map 中进行匹配，找到对应的 FunctionCallTransformer；
在 FunctionCallTransformer 中构造 FunctionCallRewriter，最终返回至 trino/AstBuilder，完成函数的转换；
继续后续的其他操作，最终生成 SR 的 StatementBase结构，完成 parse 操作。

这里我们来一一看下对应的操作。

3.2 函数映射注册

Trino 到 SR 的函数映射注册代码位于 Trino2SRFunctionCallTransformer 中，这个类在加载的时候，会完成对应的函数映射注册，如下所示：

private static void registerAllFunctionTransformer() {registerAggregateFunctionTransformer();registerArrayFunctionTransformer();registerDateFunctionTransformer();registerStringFunctionTransformer();registerRegexpFunctionTransformer();registerJsonFunctionTransformer();registerURLFunctionTransformer();registerBitwiseFunctionTransformer();registerUnicodeFunctionTransformer();registerMapFunctionTransformer();registerBinaryFunctionTransformer();// todo: support more function transform
}

以 registerAggregateFunctionTransformer 为例，这里负责对聚合函数的映射进行注册，相关代码如下所示：

private static void registerAggregateFunctionTransformer() {// 1.approx_distinctregisterFunctionTransformer("approx_distinct", 1,"approx_count_distinct", ImmutableList.of(Expr.class));// 2. arbitraryregisterFunctionTransformer("arbitrary", 1,"any_value", ImmutableList.of(Expr.class));// 3. approx_percentileregisterFunctionTransformer("approx_percentile", 2,"percentile_approx", ImmutableList.of(Expr.class, Expr.class));

通过这个函数的映射，Trino 的 approx_distinct 函数就会被转换成 SR 的 approx_count_distinct，对应的结构体转换如下所示：

可以看到，最终在 map 中保存了 approx_distinct 这个 Trino 函数到 SR 的映射。需要注意的是，map 的 value 是一个 list，主要是为了处理参数不同的重载函数。通过 debug 可以直接查看已经注册的函数映射：

其中，PlaceholderExpr 就是用来保存 SR 函数的输入参数，主要就是 index 和参数的类型，后续用于进行匹配，最终会被替换成实际的函数参数，位于 FunctionCallRewriter 的 sourceArguments 中。

3.3 Transformer 匹配

在 FE 启动之后，Trino 的函数映射已经全部注册完成。当我们通过设置方言为 trino 之后，首先需要根据 Trino 的函数名去 map 中进行匹配，由于重载函数的存在，因此还需要比较对应的参数类型。相关的函数调用如下所示：

parse(SqlParser.java):56
--parseWithTrinoDialect(SqlParser.java):68/74
---toStatement(TrinoParserUtils.java):42
----accept(io/trino/sql/tree/Statement.java)
// 省略部分函数调用栈
-visitFunctionCall(trino/AstBuilder.java):713
--convert(Trino2SRFunctionCallTransformer.java):47
---convertRegisterFn(Trino2SRFunctionCallTransformer.java):62
----match(FunctionCallTransformer.java)

其中，match函数的参数为 List<Expr>，对应的就是 2.1 中 List<Expression> 转换后的结果，即将 Trino 的 Expression 转换为 SR 中的 Expr 结构。匹配的过程主要分为两步：

比较参数个数是否一致；
比较每一个 PlaceholderExpr 的类型，是否是实际参数类型的超类。

两个条件都满足的话，则证明这个 transformer 是相符的，则继续进行后续的转换。

3.4 函数转换

转换操作主要就是生成一个 FunctionCallRewriter 对象，相关的函数调用如下所示：

visitFunctionCall(trino/AstBuilder.java):713
-convert(Trino2SRFunctionCallTransformer.java):47
--convertRegisterFn(Trino2SRFunctionCallTransformer.java):69
---transform(FunctionCallTransformer.java):113
----ctor(FunctionCallRewriter.java)

我们通过 debug 分别对比下 Trino 和 SR 中的function call 的结构，如下所示：

可以看到，最终生成的 FunctionCallRewriter 中，已经包含了具体的参数，即 ZIP_CODE 这个列，对应的类型是 SlotRef，而 2.2 中的 PlaceholderExpr 只有类型信息，即 Expr（SlotRef是其一个子类，所以类型可以匹配上）。

四、总结

4.1 与 Doris 方言功能比较

由于 Doris 的 sql convertor 工具是借助 SqlGlot 实现的，因此与 Doris 本身关系不大。这里我们主要比较下 Doris 的方言 plugin 与 SR 的 transformer 优缺点：

方言功能	优点	缺点
SR Transformer	实现比较完善，支持各种函数转换	与SR代码耦合紧，并且仅支持Trino，扩展性一般
Doris Plugin	通过Plugin的方法与Doris代码进行了解耦，扩展性相对较好，目前支持Trino和Spark	实现比较简单，函数转换未提供，并且存在一些问题，可用性较差

4.2 思考小结

由于目前 SR 官方只支持 Trino 的方言转换，并且与源码耦合比较紧，如下所示：

// SqlParser.java
public static List<StatementBase> parse(String sql, SessionVariable sessionVariable) {if (sessionVariable.getSqlDialect().equalsIgnoreCase("trino")) {return parseWithTrinoDialect(sql, sessionVariable);} else {return parseWithStarRocksDialect(sql, sessionVariable);}
}

如果想要完整的支持一种新的方言转换，需要实现对应的 FunctionCallTransformer 和 AstBuilder，并修改上述的 if-else，总体代码开发量比较大。此外，本文的所有内容是笔者基于 StarRocks-3.3 版本分析、总结而来，如有错误，欢迎指正。

五、参考文档

sql_dialect；
[Feature] Support Trino parser on StarRocks #14830；