Metabase 从 H2 迁移到 MySQL 踩坑指南
写在前面的话
首先如果你看到了这篇文章,可能你就已经指定 Metabase 是啥了,我这里还是简单的做个说明:
Metabase is the easy, open source way for everyone in your company to ask questions and learn from data。
官网是这样描述的,这是一款 BI 开源工具,能让你的数据以漂亮的图表显示出来,虽然我觉得并不是很好看,但是还是叫漂亮吧。同类的产品还有 Superset,Redash 等等。
感兴趣的可以看看官网:
也可以研究下 GITHUB:
数据迁移
故事是酱婶儿滴,公司准备搞一个这样的系统,然后交给就让我搭建了这几个出来做横向比较。当然,我就是把他运行起来,至于配置都丢给了数据组的老哥。然后这个环境就慢慢的配置越来越多。最后一拍脑门就选它了。于是不可能重新配置啊,这样就得把项目迁移到云上。
问题出现了,因为之前我是以 demo 形式搭建丢给他们的,所有数据库这些啥都是默认是,Metabase 的默认是 H2 数据库。在搞这个之前我根本不知道这是啥。然后网上找了很多导出数据的方式都特么扯皮。各种报错或者根本不能用。
问题出在哪里呢?就处在将数据导出到 MySQL 的时候,报错:Data too long xxxx
既然说到这里,那就先回顾一下我的迁移过程:
【1】首先我们先停止在运行 metabase 服务,我是直接 jar 形式运行的,kill 掉就行。
【2】此时我们可以看到默认运行的时候,在 jar 的目录下存在两个数据库的文件:
上面两个 db 文件就是用到 H2 数据库了,我们把这 3 个文件移动到其他目录备份,相当重要,不然挂了你就哭吧!!!
【3】此时我们新建一个 metabase 的库(我的是 MySQL 5.7):
CREATE DATABASE metabase default charset utf8 COLLATE utf8_general_ci;
grant all on metabase.* to 'metabase'@'%' identified by '';
【4】配置好连接数据库的环境变量,由于我们是 jar 启动的,这个服务会默认去先读取环境变量(在 /etc/profile 里面追加):
export MB_DB_TYPE=mysql
export MB_DB_DBNAME=metabase
export MB_DB_PORT=3306
export MB_DB_USER=metabase
export MB_DB_PASS=123456
export MB_DB_HOST=192.168.10.204
export MB_JETTY_PORT=8000
export MB_JETTY_HOST=0.0.0.0
我这里指定了数据库连接,已经服务启动以后监听的 IP 和端口,当然,数据库那一部分可以简写:
export MB_DB_CONNECTION_URI="mysql://192.168.10.204:3306/metabase?user=metabase&password=123456&useSSL=false"
写成 jdbc 的样式,这样我们可以指定 SSL 为 false,否则日志有点恶心。
记得让新增的环境变量生效:
source /etc/profile
【5】生效之后,我们就按照网上的方法开始同步,这也是问题开始的地方:
/opt/jdk1.8.0_45/bin/java -jar metabase.jar load-from-h2 ./metabase.db
我们 jdk 是没有配置环境变量的,所有用的是绝对路径,你们可以根据自己修改。一切就这样往美滋滋的方向发展,MySQL 里面也已经开始创建新的表了。
正当一切过的美滋滋,准备搞完就休息的时候,不幸的事情发生了:
为了方便需要的兄弟更容易检索这篇文章,我这里把错误贴出来:
Transfering 2224 instances of FieldValues...........[OK]
Transfering 721 instances of Revision......BatchUpdateException:
Message: Data truncation: Data too long for column 'object' at row 1
SQLState: 22001
Error Code: 1406
java.sql.BatchUpdateException: Data truncation: Data too long for column 'object' at row 1
提示数据过长,字段长度不够,导致数据传输报异常,传输终止。于是我在这个问题上面卡了至少两个小时,各种搜索文档,找 issue,都没有解决。可能是我英语太烂。
最后还是回归到报错本身,既然长度不够,那我加长度呗,但是我下次同步会不会又把我的表干掉重新建立呢?最终抱着试一试的态度,我去修改表的字段。
问题又来了,那这报错的表是哪一个呢?我们只知道字段啊。给大家推荐一个方法,遇到这种问题,我们完全可以把表结构导出来,然后去搜索指定的列。
最终,在 revision 表中找到了这个字段,此时再看报错:Transfering 721 instances of Revision......BatchUpdateException:,这让我们更加确定就是这个字段。
一看他的类型 text,于是我们将它改成 longtext。
再次执行之前的命令同步,后面还会有几个字段出现类似的报错,类似 report_card 这些表,只需要再度修改为 longtext 类型即可。这里就不再赘述。
【6】同步完成以后只需要启动服务即可使用以 MySQL 作为数据库的 Metabase 了。
这里附带一个我的 jar 服务启动脚本,可以方便我们管理这种单个服务:
#!/bin/bash #################################################################
# 作者:Dylan <1214966109@qq.com>
# 时间:2018-03-29
# 用途:Metabase 启动管理
#################################################################
if [ -f /etc/init.d/functions ]; then
. /etc/init.d/functions
fi #################################################################
# 定义变量
#################################################################
SERVICE_NAME='metabase'
SERVICE_PACKAGE="${SERVICE_NAME}.jar"
SERVICE_PATH='/opt/METABASE'
LOG_PATH="${SERVICE_PATH}/logs"
JAVA_CMD='/opt/jdk1.8.0_45/bin/java' #################################################################
# 判断日志目录
#################################################################
if [[ ! -d ${LOG_PATH} ]]; then
mkdir -p ${LOG_PATH}
fi #################################################################
# 定义命令
#################################################################
function START_COMMAND()
{
${JAVA_CMD} -Duser.timezone=Asia/Shanghai -Xms4g -Xmx4g -jar ${SERVICE_PATH}/${SERVICE_PACKAGE} >> ${LOG_PATH}/${SERVICE_NAME}.log &
if [[ $? -eq 0 ]]; then
action "${SERVICE_NAME} start successed" /bin/true
else
action "${SERVICE_NAME} start failed" /bin/false
fi
} function STOP_COMMAND()
{
SERVICE_PID=`ps -ef | grep "${SERVICE_PACKAGE}" | grep -v 'grep' | awk '{print $2}'`
if [[ ${SERVICE_PID} == '' ]]; then
action "${SERVICE_NAME} is not running" /bin/false
else
kill -9 ${SERVICE_PID} >/dev/null 2>&1
if [[ $? -eq 0 ]]; then
action "${SERVICE_NAME} stop successed" /bin/true
else
action "${SERVICE_NAME} stop failed" /bin/false
fi
fi
} function STATUS_COMMAND()
{
SERVICE_PID=`ps -ef | grep "${SERVICE_PACKAGE}" | grep -v 'grep' | awk '{print $2}'`
if [[ ${SERVICE_PID} == '' ]]; then
action "${SERVICE_NAME} is not running" /bin/false
else
action "${SERVICE_NAME} is running" /bin/true
fi
} #################################################################
# 定义命令
#################################################################
case "$1" in
start)
START_COMMAND
;;
stop)
STOP_COMMAND
;;
restart|reload)
STOP_COMMAND
START_COMMAND
;;
status)
STATUS_COMMAND
;;
*)
echo "Usage: $0 {start|stop|restart|status|reload}"
;;
esac
小结
H2 迁移到 MySQL 出现问题可能大多都是字段的类型导致迁移失败,另外我们在迁移的时候也可能会出现:
java.lang.IllegalArgumentException: No matching clause: :h2
这样的报错,这说明是环境变量的问题。
如果还有其它迁移问题,也可以留言或者加我 QQ 大家讨论一下,如果你觉得这个还 OK,推荐 走一波~
另外,如果你喜欢我这博客园主题,在我博客首页置顶文章有相关说明~
Metabase 从 H2 迁移到 MySQL 踩坑指南的更多相关文章
- CentOS7.4安装MySQL踩坑记录
CentOS7.4安装MySQL踩坑记录 time: 2018.3.19 CentOS7.4安装MySQL时网上的文档虽然多但是不靠谱的也多, 可能因为版本与时间的问题, 所以记录下自己踩坑的过程, ...
- Saiku数据库迁移H2迁移到Mysql(二十二)
Saiku数据库迁移H2迁移到Mysql Saiku默认使用H2数据库来存储saiku的用户与角色信息,我们可以根据角色来做saiku的权限控制,然后将角色分配给用户 ,该用户就会有对应的约束了! 由 ...
- MySql 踩坑小记
MySql 踩坑一时爽,一直踩啊一直爽... 以下记录刚踩的三个坑,emmm... 首先是远程机子上创建表错误(踩第一个坑),于是将本地机器 MySql 版本回退至和远程一致(踩第二个坑),最后在 ...
- C# -- HttpWebRequest 和 HttpWebResponse 的使用 C#编写扫雷游戏 使用IIS调试ASP.NET网站程序 WCF入门教程 ASP.Net Core开发(踩坑)指南 ASP.Net Core Razor+AdminLTE 小试牛刀 webservice创建、部署和调用 .net接收post请求并把数据转为字典格式
C# -- HttpWebRequest 和 HttpWebResponse 的使用 C# -- HttpWebRequest 和 HttpWebResponse 的使用 结合使用HttpWebReq ...
- Spring WebSocket踩坑指南
Spring WebSocket踩坑指南 本次公司项目中需要在后台与安卓App间建立一个长连接,这里采用了Spring的WebSocket,协议为Stomp. 关于Stomp协议这里就不多介绍了,网上 ...
- 树莓派4B踩坑指南 - (15)搭建在线python IDE
今天想在树莓派上自己搭一个在线的python IDE,于是找到了一篇教程--Fred913大神的从头开始制作OJ-在线IDE的搭建 自己尝试动手做了一下, 还是发现不少细节需要注意, 记录在此 如果不 ...
- 正则表达式 test 踩坑指南
正则表达式 test 踩坑指南 test 只能使用一次,第二次返回的是错误结果! reg = /edg|edge/g; /edg|edge/g reg.test(`edg`) true reg.tes ...
- Taro 开发踩坑指南 (小程序,H5, RN)
Taro 开发踩坑指南 (小程序,H5, RN) css taro 如何展示多行文本省略号 https://www.cnblogs.com/xgqfrms/p/12569057.html UI 设计稿 ...
- 小程序 & taro 踩坑指南
小程序 & taro 踩坑指南 微信开发者工具, 不支持 react bug https://github.com/NervJS/taro/issues/5042 solution just ...
随机推荐
- spring中的通配符
一.加载路径中的通配符:?(匹配单个字符),*(匹配除/外任意字符).**/(匹配任意多个目录) classpath:app-Beans.xml 说明:无通配符,必须完全匹配 classpath:Ap ...
- 【297】IDL 过程、函数&关键字参数
目录: 一.Procedure 1.1 基本说明&定义 1.2 关键字参数 二.Function 2.1 基本说明&定义 2.2 关键字参数 参考:IDL中函数中的带有关键字的参数的使 ...
- 读书笔记 Week7 2018-4-24
<程序员的自我修养> 首先来大致说一下读这本书的感觉,可以说对于我自己而言,是第一次对于编程有了个纯粹的认识,或者说的更明确一点,是对整个操作系统有了一个大致的感觉.虽然自己这一年也算是写 ...
- Spring Data JPA 参考指南 中文版
附下载地址:https://www.gitbook.com/book/ityouknow/spring-data-jpa-reference-documentation/details
- 714. Best Time to Buy and Sell Stock with Transaction Fee有交易费的买卖股票
[抄题]: Your are given an array of integers prices, for which the i-th element is the price of a given ...
- Oracle表格字段采用sequence进行自增长时,采用Dbutils进行insert或update数据时的处理技巧
// 定义插入记录的方法 public Teacher insert(String name, String gender, Double score) { // 获得连接 Connection co ...
- dpdk中log的使用方法
1 log简介 dpdk中通过log系统记录相关的日志信息,每一条日志除日志内容外,还有两个附加信息,log级别和log类型.开发人员可根据级别和类型对日志信息进行过滤,只记录必要的日志.1.1 ...
- Javascript 浅拷贝与深拷贝
在了解JS的浅拷贝与深拷贝之前,我们需要先知道什么是值传递与引用传递. 在JS中,基本类型值的拷贝是按值传递的,而引用类型值的拷贝则是按引用传递的.通过值传递的变量间不会有任何牵连,互相独立:但是引用 ...
- [Jenkins] 执行SoapUI的task,设置邮件内容为HTML+CSS
设置邮件内容:Default Content <span style="font-family:verdana;font-size:16px;color:black;font-weig ...
- 彻底修改Eclipse的默认编码
引用各位前辈经验得到彻底修改eclipse默认编码的方法. 单在eclipse里设置编码方式非常复杂且容易遗漏,全部修改后,有些代码生成模板内的${encode}变量仍为原编码方案,经过查阅许多资料得 ...