最近在进行旧版本的prestosqlprestodb升级相关的操作,尝试自己编译了一下,这里记录一下过程和遇到问题的处理。

因为Trino不支持windows下的编译,如果使用windows最方便的方式就是使用wsl了。

WSL中编译和调试

wsl的准备工作不累述了,升级到wsl2,使用的是ubuntu.

详见:

Windows Subsystem for Linux Installation Guide for Windows 10

工具安装

其他的过程包括安装java并设置一下JAVA_HOME(maven需要使用) ,mavengit之类。

sudo apt install openjdk-11-jdk

#如果之前有其他发行版
update-alternatives --list java wget https://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz sudo tar -xzvf apache-maven-3.6.3-bin.tar.gz -C /opt/maven

idea同理,去官网下载然后移动到对应目录即可。

(本来想通过jetbrain-toolbox安装,但不知道为什么不能显示gui界面放弃了)

配置修改

修改一下/etc/profile

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export M2_HOME=/opt/maven/apache-maven-3.6.3
export IDEA_HOME=/opt/idea/idea-IU-203.7148.57
export PATH=$M2_HOME/bin:$IDEA_HOME/bin:$PATH

xserver

为了方便xserver的配置,直接使用了mobaxterm,注意这里不用再去看网上的wsl的xserver设置,moba自己已经设置好了而且用的是和网上其他文档不同的port,自己设置了反而弹不出来。

在wsl中输入idea.sh即可弹出界面。

(这样简单设置无法使用外部的输入法,已经不支持外部剪切板(默认支持内部的复制到外部)

编译

默认的分支是最新版本的snapshot,需要切换到对应tag:

git fetch --all
git checkout tags/352

可以将wslmaven的本地仓库路径设置到外部的仓库,这样就可以复用已有的不需要完全下载新的。

编译的方式和运行就按照trino仓库即可(见trino),其中有一个文档是不需要编译的,且会比较耗时间,可以这么跳过:

mvn -pl '!docs' clean install -DskipTests

调试插件

启动命令在官网仓库中有,直接使用即可。

对于要调试的插件,将项目放入plugin目录中,默认是不会加载的,修改一下core/trino-server-main/etc/config.propertiesplugin.bundles中加入自己项目的路径即可。(这里的加载插件很多,启动会比较慢可以适当减少一些)

升级遇到的问题

迁移的方法官网给了说明:Migrating from PrestoSQL to Trino

最主要的一点是在配置文件($TRINO_HOME/etc/config.properties)中增加

protocol.v1.alternate-header-name=Presto

UDF升级过程还可以,不得不说API的兼容性还是很好的,升级包之后API都是兼容的只是修改了一下路径。

需要注意的是之前一直需要的那个io.trino.spi.Plugin文件不需要了,当前打包会自动生成,有了他反而会编译失败。

主要遇到了两个问题:@OutputFunction注解的内容解析方式改变了,新版的Trino使用了SqlBase.g4type的语法。

我们之前的形式array(row(start timestamp,end timestamp))会解析失败,在插件load的时候会挂掉(服务启动失败),因为end是一个保留字。

io.trino.sql.parser.ParsingException: line 1:35: mismatched input 'end'. Expecting: <identifier>, <type>
at io.trino.sql.parser.ErrorHandler.syntaxError(ErrorHandler.java:108)
at org.antlr.v4.runtime.ProxyErrorListener.syntaxError(ProxyErrorListener.java:41)
at org.antlr.v4.runtime.Parser.notifyErrorListeners(Parser.java:544)
at org.antlr.v4.runtime.DefaultErrorStrategy.reportUnwantedToken(DefaultErrorStrategy.java:377)
at org.antlr.v4.runtime.DefaultErrorStrategy.singleTokenDeletion(DefaultErrorStrategy.java:548)
at org.antlr.v4.runtime.DefaultErrorStrategy.sync(DefaultErrorStrategy.java:266)
at io.trino.sql.parser.SqlBaseParser.rowField(SqlBaseParser.java:11435)
at io.trino.sql.parser.SqlBaseParser.type(SqlBaseParser.java:11103)
at io.trino.sql.parser.SqlBaseParser.typeParameter(SqlBaseParser.java:11645)
at io.trino.sql.parser.SqlBaseParser.type(SqlBaseParser.java:11329)
at io.trino.sql.parser.SqlBaseParser.standaloneType(SqlBaseParser.java:404)
at io.trino.sql.parser.SqlParser.invokeParser(SqlParser.java:139)
at io.trino.sql.parser.SqlParser.createType(SqlParser.java:94)
at io.trino.sql.analyzer.TypeSignatureTranslator.parseTypeSignature(TypeSignatureTranslator.java:98)
at io.trino.operator.aggregation.AggregationImplementation$Parser.<init>(AggregationImplementation.java:315)
at io.trino.operator.aggregation.AggregationImplementation$Parser.parseImplementation(AggregationImplementation.java:357)
at io.trino.operator.aggregation.AggregationFromAnnotationsParser.parseFunctionDefinitions(AggregationFromAnnotationsParser.java:83)
at io.trino.metadata.SqlAggregationFunction.createFunctionsByAnnotations(SqlAggregationFunction.java:45)
at io.trino.metadata.FunctionExtractor.extractFunctions(FunctionExtractor.java:49)
at io.trino.server.PluginManager.installPluginInternal(PluginManager.java:203)
at io.trino.server.PluginManager.installPlugin(PluginManager.java:175)
at io.trino.server.PluginManager.loadPlugin(PluginManager.java:169)
at io.trino.server.PluginManager.loadPlugin(PluginManager.java:157)
at io.trino.server.PluginManager.loadPlugins(PluginManager.java:143)

这部分的规则是这样组成的:

type
: ROW '(' rowField (',' rowField)* ')' <- 命中这条 #rowType
... rowField
: type
| identifier type; <- 命中这条 identifier
: IDENTIFIER #unquotedIdentifier
| QUOTED_IDENTIFIER #quotedIdentifier
| nonReserved #unquotedIdentifier <- END不在这里
| BACKQUOTED_IDENTIFIER #backQuotedIdentifier
| DIGIT_IDENTIFIER #digitIdentifier
; nonReserved
// IMPORTANT: this rule must only contain tokens. Nested rules are not supported. See SqlParser.exitNonReserved
: ADD | ADMIN | ALL | ANALYZE | ANY | ARRAY | ASC | AT | AUTHORIZATION
| BERNOULLI
| CALL | CASCADE | CATALOGS | COLUMN | COLUMNS | COMMENT | COMMIT | COMMITTED | CURRENT
| DATA | DATE | DAY | DEFINER | DESC | DISTRIBUTED | DOUBLE
| EXCLUDING | EXPLAIN
... END: 'END';

修改很简单,只需要end加上转义即可,变为了array(row(start timestamp,\"end\" timestamp))

至此可以编译成功(类型挂掉的都是因为和解析不符)。

但运行使用这个UDFsql会报错,这就是另一个问题了,timestamp的类型增加了。 timestamp(3)timestamp不匹配,这个比较有意思,文档里说了timestamptimestamp(3)的别名:

#TIMESTAMP

TIMESTAMP is an alias for TIMESTAMP(3) (millisecond precision).

UDF里就是不能这么写,最后改为array(row(start timestamp(3),\"end\" timestamp(3)))

至此问题解决。

现在还在测试中,UDF这些的文档有些欠缺了,自己摸索了一下发现还不如看源码来得直接,这部分的文档缺失的也厉害,写/改UDF基本也是靠已有的例子摸索。

其他的部分都还不错,兼容性也很好,可见Trino的社区支持还是很到位的,要感谢各位大佬的努力 。

希望之后替换可以顺利吧~

Written with StackEdit.

windows(wsl)下的trino编译和升级注意事项的更多相关文章

  1. windows 7下mingw+msys编译ffmpeg

      windows 7下mingw+msys编译ffmpeg   1-->下载安装MingW,mingw-get-inst-20120426.exe  http://sourceforge.ne ...

  2. 基于TDengine-ver-1.6.4.4在windows 10下cmake+msys2编译(windows cgo 使用)

    目录 基于TDengine-ver-1.6.4.4在windows 10下cmake+msys2编译(windows cgo 使用) 背景 下载地址 仓库地址 安装部署 msys2 安装 配置环境变量 ...

  3. Windows环境下使用VS2005编译OpenSSL

    如何Windows环境下,使用VS2005编译OpenSSL,虽然这个问题在Baidu.Google上一堆,但安装中还是遇到些问题,在这里 记录下来希望能帮助大家不要在走弯路.注:我是在WinXP S ...

  4. 在Windows环境下使用MinGW编译Qt 4.8.6

    1.修改环境变量工具推荐:Rapid Environment Editor.官网:http://www.rapidee.com/ 修改前请先备份当前的环境变量.然后: (1)检查系统变量path,删除 ...

  5. OpenCV在Windows平台下的源代码编译

    OpenCV库官方站点为http://opencv.org/. 在该站点能够下载最新的OpenCV for Windows,比如当前我下载的是opencv-2.4.9.exe ,双击该文件解压到某个文 ...

  6. windows平台下安装、编译、使用mongodb C++ driver

    本博客将记录在Win8.1 ,VS2013环境下编译.配置mongodb C++ driver的流程. 1.下载预备 下载Boost:http://sourceforge.net/projects/b ...

  7. Windows 版本下 Oracle12.1.0.2 升级Oracle12.2.0.1的步骤

    oracle12.1.0.1 2013年发布的产品 2014年左右发布12.1.0.2 2016年底发布了 oracle12.2.0.1 经常有人会安装了最早的oracle版本,然后需要升级到最新的o ...

  8. Windows 10 下使用 MinGW-w64 编译 OpenCV-4.1.1

    1. 下载安装 CMake 2. 下载安装 MinGW-w64,假设安装于 X:\path\to\MinGW-w64 此处注意选择 POSIX 版本而非 Win32 版本,因为 OpenCV 调用了标 ...

  9. WINDOWS系统下MYSQL安装过程中的注意事项

    1.首先MySQL的安装方式有两种:一种是MSI安装方式,很简单就像安装Windows软件一样.另外一种就是ZIP安装方式.这种相对而言比较麻烦.新手推荐MSI安装方式. 安装方式有以下两种: MSI ...

  10. Windows Sublime Text 配置Linux子系统(WSL)下的 gcc/g++ 编译环境

    0. 简介(若已了解背景可以跳过此部分) Windows 10 Build 14316以上版本中加入了"Windows系统的Linux子系统"(Windows Subsystem ...

随机推荐

  1. 导出Excel之Epplus使用教程1(基本介绍)

    1.前言 目前Epplus的介绍中文资料很少,我也一直在摸索中使用它,以下是我在使用过程中得到的经验,写出来供大家参考.本系列共4章: 导出Excel之Epplus使用教程1(基本介绍) 导出Exce ...

  2. php访问全局变量

    函数之外声明的变量拥有 Global 作用域,只能在函数以外进行访问. 函数内部声明的变量拥有 LOCAL 作用域,只能在函数内部进行访问. PHP 同时在名为 $GLOBALS[index] 的数组 ...

  3. 1、Python django 框架下的word Excel TXT Image 等文件的上传

    1.文件上传(input标签) (1)html代码(form表单用post方法提交) <input class="btn btn-primary col-md-1" styl ...

  4. 多目录下多文件 makefile编写

    前面已经分享了单目录项下多文件的makefile的编写,现在来看看多目录下多文件makefile的编写: 在做项目时,一般文件都会分几个目录来存放:基本的是  include/  bin/ src/ ...

  5. GDB+GDBServer调试Linux应用程序

    参考:http://blog.csdn.net/shanghaiqianlun/article/details/7820401 一.gdb+gdbserver总体介绍 远程调试环境由宿主机GDB和目标 ...

  6. 【转】Android Application 对象介绍

    What is Application Application和Activity,Service一样是android框架的一个系统组件,当android程序启动时系统会创建一个 application ...

  7. VLAN学习

    IEEE于1999年颁布了标准化VLAN实现方案的 IEEE 802.1Q 协议标准草案,对带有VLAN标识的报文结构进行了统一规定. 传统的以太网数据帧在目的MAC和源MAC地址之后封装的是上层协议 ...

  8. 学习Java之前操作环境的安装及配置

    1.根据自己的系统版本下载相应版本的JDK(Java开发运行时环境) 查看自己系统版本的方法:在桌面上右键计算机(win7,win10是此电脑,XP是我的电脑),点击属性,进入到计算机属性页面以后里面 ...

  9. 学校的c++程序课程设计(简单的写法 并无太多c++的特色)

    好久没更新博客了,最近一直在忙,花了一天时间做出这个简陋版的课程设计, 为了储存,也为了更新,所以于今天更新我的博客. 我选的课程设计题目如下: 某某公司的设备管理系统 功能及要求描述: (1)公司主 ...

  10. 索引法则--少用OR,它在连接时会索引失效

    Mysql 系列文章主页 =============== 1 准备数据 1.1 建表 DROP TABLE IF EXISTS staff; CREATE TABLE IF NOT EXISTS st ...