scala slick mysql 字段过多 tuple问题
原同步服务正常,因需,对方单表新增字段,超过22条
sbt assembly 编译出错
too many elements for tuple: 26, allowed: 22
scala case class 最多只支持22个构造参数
遂找解决办法
https://underscore.io/blog/posts/2016/10/11/twenty-two.html
https://github.com/slick/slick/issues/519#issuecomment-48327043
https://github.com/underscoreio/slickless/issues/16
最终应用slickless解决
部分示例
import slick.jdbc.H2Profile.api._
import shapeless.{ HList, ::, HNil, Generic }
import slickless._ case class User(id: Long, email: String) class Users(tag: Tag) extends Table[User](tag, "users") {
def id = column[Long]( "id", O.PrimaryKey, O.AutoInc )
def email = column[String]("email") def * = (id :: email :: HNil).mappedWith(Generic[User])
} lazy val users = TableQuery[Users]
基于 tupled 需要作转换
case (BYOFFSET_GET,lastid:Int) => {
println("sync start by",lastid)
val words = TableQuery[Words]
// val action=ORIGIN_DB.run(Word.filter(_.id > lastid).take(PAGE_SIZE).result)
val action=ORIGIN_DB.run(words.filter(_.id > lastid).take(PAGE_SIZE).result)
action.onComplete(data=>{
println("sync get data",data.get.length)
if (data.isSuccess){
val words=data.get.toList.map(a=>{
Word.tupled(a)
})
if (words.length>0){
Future {
println(s"Blocking next page 1s start")
TimeUnit.SECONDS.sleep(1)
println(s"Blocking next page 1s finished")
//同步时只考虑insert
if(is_just_insert){
self !(BYOFFSET_INSERT,words)
}else{
//如果会更新历史数据
self !(BYOFFSET_INSERT_UPDATE,words)
}
}
}else{
//拿到最新数据 等待5分钟
Future {
println(s"Blocking future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
}else{
Future {
println(s"Blocking table "+tablename+" future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking table "+tablename+" future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
})
}
//插入数据
case (BYOFFSET_INSERT,words:List[Word])=>{
println("insert start",words.length)
val word = TableQuery[Words]
word.++=(words.map(a=>{
Word.unapply(a).get
}))
//Word.+=(Word.unapply(words.head).get)
val insertActions = DBIO.seq(
word.++=(words.map(a=>{
Word.unapply(a).get
}))
)
DEST_DB.run(insertActions).onComplete(data=>{
if (data.isSuccess){
println("insert data result",data)
//添加成功后更新last表
val lastid=words.last.id
Sync.lastActor !(BYOFFSET_UPSERT_OFFSET,tablename,lastid)
}else{
self !(BYOFFSET_INSERT,words)
}
})
}
基于HLists/Generics 则不必
case (BYOFFSET_GET,lastid:Int) => {
println("table "+tablename+" sync start by",lastid)
val users = TableQuery[Users]
// val action=ORIGIN_DB.run(User.filter(_.id > lastid).take(PAGE_SIZE).result)
val action=ORIGIN_DB.run(users.filter(_.id > lastid).take(PAGE_SIZE).result)
action.onComplete(data=>{
println("table "+tablename+" sync get data",data.get.length)
if (data.isSuccess){
val users=data.get.toList
if (users.length>0){
Future {
println(s"Blocking table "+tablename+" next page 1s start")
TimeUnit.SECONDS.sleep(1)
println(s"Blocking table "+tablename+" next page 1s finished")
//同步时只考虑insert
if(is_just_insert){
self !(BYOFFSET_INSERT,users)
}else{
//如果会更新历史数据
self !(BYOFFSET_INSERT_UPDATE,users)
}
}
}else{
Future {
println(s"Blocking table "+tablename+" future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking table "+tablename+" future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
}else{
Future {
println(s"Blocking table "+tablename+" future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking table "+tablename+" future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
})
}
// 插入数据
case (BYOFFSET_INSERT,users:List[User])=>{
println("table "+tablename+" insert start",users.length)
val user = TableQuery[Users]
//User.+=(User.unapply(users.head).get)
val insertActions = DBIO.seq(
user++=users
)
DEST_DB.run(insertActions).onComplete(data=>{
if (data.isSuccess){
println("table "+tablename+" insert data result",data)
//添加成功后更新last表
val lastid=users.last.id
Sync.lastActor !(BYOFFSET_UPSERT_OFFSET,tablename,lastid)
}else{
self !(BYOFFSET_INSERT,users)
}
})
}
scala slick 异构表同步服务
https://github.com/cclient/ScalaMysqlSync
scala slick mysql 字段过多 tuple问题的更多相关文章
- scala slick mysql utf8mb4 支持
语言 scala sql包 slick 3.2.0 数据库 mysql https://stackoverflow.com/questions/36741141/scala-slick-jdbc ...
- Mysql字段类型与合理选择
字段类型 数值 MySQL 的数值数据类型可以大致划分为两个类别,一个是整数,另一个是浮点数或小数.许多不同的子类型对这些类别中的每一个都是可用的,每个子类型支持不同大小的数据,并且 MySQL 允许 ...
- Spark使用Java、Scala 读取mysql、json、csv数据以及写入操作
Spark使用Java读取mysql数据和保存数据到mysql 一.pom.xml 二.spark代码 2.1 Java方式 2.2 Scala方式 三.写入数据到mysql中 四.DataFrame ...
- MySQL字段之集合(set)枚举(enum)
MySQL字段之集合(set)枚举(enum) (2008-12-23 13:51:23) 标签:it 分类:MySQL 集合 SET mysql> create table jihe(f1 ...
- mysql字段varchar区分大小写utf8_bin、utf8_general_ci编码区别
mysql字段varchar区分大小写utf8_bin.utf8_general_ci编码区别 在mysql中存在着各种utf8编码格式:utf8_bin将字符串中的每一个字符用二进制数据存储,区分大 ...
- MySQL字段联合去重sql
MySQL字段联合去重sql 例如数据 id,name1,name2 1 a x 2 a y 3 b x 4 a y 5 a x 联合去重name1,name2的结果为 id,name1,name2 ...
- mysql字段默认值不生效的问题解决(上)
在项目中使用mybatis做为持久层框架,mysql数据库.项目上线前,DBA要求我们将每张数据库表中的字段都设置默认值和not null.之前项目中有一些insert语句是将表中所有字段都列出来,然 ...
- MySQL字段属性NUll的注意点
MySQL字段属性应该尽量设置为NOT NULL 除非你有一个很特别的原因去使用 NULL 值,你应该总是让你的字段保持 NOT NULL.这看起来好像有点争议,请往下看. 空值("&quo ...
- (转)MySQL字段类型详解
MySQL字段类型详解 原文:http://www.cnblogs.com/100thMountain/p/4692842.html MySQL支持大量的列类型,它可以被分为3类:数字类型.日期和时间 ...
随机推荐
- css实现高度自适应
要求.上部固定高度50px,下部分自适应剩下整个屏幕 html, body { height: 100%; margin: 0px; padding: 0px; } #main { backgroun ...
- gitee上传下载代码命令
在想要下载的文件夹下,鼠标右键,git bash 1.输入git init 进行初始化 2.git remote add origin https://gitee.com/XXXXXXXXXXXXXX ...
- Java if、switch语句,break,case,类型转换、常量、赋值比较、标识符(2)
if语句: /* if else 结构 简写格式: 变量 = (条件表达式)?表达式1:表达式2: 三元运算符: 好处:可以简化if else代码. 弊端:因为是一个运算符,所以运算完必须要有一个结果 ...
- 推荐Markdown编辑器——Inspire
推荐Markdown编辑器--Inspire Inspire是一款非常好用的编辑器,支持Markdown语法,当然,Inspire还有一些自己的语法. 本文就是在这款编辑器下编写的. 风格 像Visu ...
- CSS3 media媒体查询器的使用方法
最近几年随着响应式布局的发展,一次开发多次使用,自适应屏幕的响应式网站的需求越来越多.但是怎样使得网站能自适应屏幕呢?这里就需要提到一个css3里面新增的技术了-media媒体查询器. 那么什么是me ...
- 配置Action
配置Action 实现了Action类后,就可以在struts.xml中配置该Action类了.配置Action就是让Struts2 知道哪个Action处理哪个请求,也就是完成用户请求和Action ...
- 跨站脚本(XSS)攻击
https://blog.csdn.net/extremebingo/article/details/81176394
- python编程:从入门到实践----第六章:字典>练习
6-1 人:使用一个字典来存储一个熟人的信息,包括名.姓.年龄和居住的城市.该字典应包含键first_name .last_name .age 和city .将存储在该字典中的每项信息都打印出来. f ...
- luffy课程表的创建-支付宝API-购买服务器
课程组件 <template> <div class="course"> <Header></Header> <div cla ...
- Spring的设计理念和整体架构
1.Spring的各个子项目 Spring Framework(Core):这是我们熟知的Spring项目的核心.Spring Framework(Core)中包含了一系列Ioc容器的设计,提供了依赖 ...