原同步服务正常,因需,对方单表新增字段,超过22条

sbt assembly 编译出错

too many elements for tuple: 26, allowed: 22

scala case class 最多只支持22个构造参数

遂找解决办法

https://underscore.io/blog/posts/2016/10/11/twenty-two.html

https://github.com/slick/slick/issues/519#issuecomment-48327043

https://github.com/underscoreio/slickless/issues/16

最终应用slickless解决

部分示例

import slick.jdbc.H2Profile.api._
import shapeless.{ HList, ::, HNil, Generic }
import slickless._ case class User(id: Long, email: String) class Users(tag: Tag) extends Table[User](tag, "users") {
def id = column[Long]( "id", O.PrimaryKey, O.AutoInc )
def email = column[String]("email") def * = (id :: email :: HNil).mappedWith(Generic[User])
} lazy val users = TableQuery[Users]

 

基于 tupled 需要作转换

    case (BYOFFSET_GET,lastid:Int) => {
println("sync start by",lastid)
val words = TableQuery[Words]
// val action=ORIGIN_DB.run(Word.filter(_.id > lastid).take(PAGE_SIZE).result)
val action=ORIGIN_DB.run(words.filter(_.id > lastid).take(PAGE_SIZE).result)
action.onComplete(data=>{
println("sync get data",data.get.length)
if (data.isSuccess){
val words=data.get.toList.map(a=>{
Word.tupled(a)
})
if (words.length>0){
Future {
println(s"Blocking next page 1s start")
TimeUnit.SECONDS.sleep(1)
println(s"Blocking next page 1s finished")
//同步时只考虑insert
if(is_just_insert){
self !(BYOFFSET_INSERT,words)
}else{
//如果会更新历史数据
self !(BYOFFSET_INSERT_UPDATE,words)
}
}
}else{
//拿到最新数据 等待5分钟
Future {
println(s"Blocking future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
}else{
      Future {
       println(s"Blocking table "+tablename+" future 5m start")
       TimeUnit.MINUTES.sleep(5)
       println(s"Blocking table "+tablename+" future 5m finished")
       self !(BYOFFSET_GET,lastid)
      }
}
      })
}
//插入数据
case (BYOFFSET_INSERT,words:List[Word])=>{
println("insert start",words.length)
val word = TableQuery[Words]
word.++=(words.map(a=>{
Word.unapply(a).get
}))
//Word.+=(Word.unapply(words.head).get)
val insertActions = DBIO.seq(
word.++=(words.map(a=>{
Word.unapply(a).get
}))
)
DEST_DB.run(insertActions).onComplete(data=>{
if (data.isSuccess){
println("insert data result",data)
//添加成功后更新last表
val lastid=words.last.id
Sync.lastActor !(BYOFFSET_UPSERT_OFFSET,tablename,lastid)
}else{
self !(BYOFFSET_INSERT,words)
}
})
}

 

基于HLists/Generics 则不必

  case (BYOFFSET_GET,lastid:Int) => {
println("table "+tablename+" sync start by",lastid)
val users = TableQuery[Users]
// val action=ORIGIN_DB.run(User.filter(_.id > lastid).take(PAGE_SIZE).result)
val action=ORIGIN_DB.run(users.filter(_.id > lastid).take(PAGE_SIZE).result)
action.onComplete(data=>{
println("table "+tablename+" sync get data",data.get.length)
if (data.isSuccess){
val users=data.get.toList
if (users.length>0){
Future {
println(s"Blocking table "+tablename+" next page 1s start")
TimeUnit.SECONDS.sleep(1)
println(s"Blocking table "+tablename+" next page 1s finished")
//同步时只考虑insert
if(is_just_insert){
self !(BYOFFSET_INSERT,users)
}else{
//如果会更新历史数据
self !(BYOFFSET_INSERT_UPDATE,users)
}
}
}else{
Future {
println(s"Blocking table "+tablename+" future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking table "+tablename+" future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
}else{
Future {
println(s"Blocking table "+tablename+" future 5m start")
TimeUnit.MINUTES.sleep(5)
println(s"Blocking table "+tablename+" future 5m finished")
self !(BYOFFSET_GET,lastid)
}
}
})
}
// 插入数据
case (BYOFFSET_INSERT,users:List[User])=>{
println("table "+tablename+" insert start",users.length)
val user = TableQuery[Users]
//User.+=(User.unapply(users.head).get)
val insertActions = DBIO.seq(
user++=users
)
DEST_DB.run(insertActions).onComplete(data=>{
if (data.isSuccess){
println("table "+tablename+" insert data result",data)
//添加成功后更新last表
val lastid=users.last.id
Sync.lastActor !(BYOFFSET_UPSERT_OFFSET,tablename,lastid)
}else{
self !(BYOFFSET_INSERT,users)
}
})
}  

scala slick 异构表同步服务

https://github.com/cclient/ScalaMysqlSync

scala slick mysql 字段过多 tuple问题的更多相关文章

  1. scala slick mysql utf8mb4 支持

    语言  scala sql包  slick 3.2.0 数据库  mysql https://stackoverflow.com/questions/36741141/scala-slick-jdbc ...

  2. Mysql字段类型与合理选择

    字段类型 数值 MySQL 的数值数据类型可以大致划分为两个类别,一个是整数,另一个是浮点数或小数.许多不同的子类型对这些类别中的每一个都是可用的,每个子类型支持不同大小的数据,并且 MySQL 允许 ...

  3. Spark使用Java、Scala 读取mysql、json、csv数据以及写入操作

    Spark使用Java读取mysql数据和保存数据到mysql 一.pom.xml 二.spark代码 2.1 Java方式 2.2 Scala方式 三.写入数据到mysql中 四.DataFrame ...

  4. MySQL字段之集合(set)枚举(enum)

    MySQL字段之集合(set)枚举(enum) (2008-12-23 13:51:23) 标签:it  分类:MySQL 集合 SET mysql> create table jihe(f1 ...

  5. mysql字段varchar区分大小写utf8_bin、utf8_general_ci编码区别

    mysql字段varchar区分大小写utf8_bin.utf8_general_ci编码区别 在mysql中存在着各种utf8编码格式:utf8_bin将字符串中的每一个字符用二进制数据存储,区分大 ...

  6. MySQL字段联合去重sql

    MySQL字段联合去重sql 例如数据 id,name1,name2 1 a x 2 a y 3 b x 4 a y 5 a x 联合去重name1,name2的结果为 id,name1,name2 ...

  7. mysql字段默认值不生效的问题解决(上)

    在项目中使用mybatis做为持久层框架,mysql数据库.项目上线前,DBA要求我们将每张数据库表中的字段都设置默认值和not null.之前项目中有一些insert语句是将表中所有字段都列出来,然 ...

  8. MySQL字段属性NUll的注意点

    MySQL字段属性应该尽量设置为NOT NULL 除非你有一个很特别的原因去使用 NULL 值,你应该总是让你的字段保持 NOT NULL.这看起来好像有点争议,请往下看. 空值("&quo ...

  9. (转)MySQL字段类型详解

    MySQL字段类型详解 原文:http://www.cnblogs.com/100thMountain/p/4692842.html MySQL支持大量的列类型,它可以被分为3类:数字类型.日期和时间 ...

随机推荐

  1. css实现高度自适应

    要求.上部固定高度50px,下部分自适应剩下整个屏幕 html, body { height: 100%; margin: 0px; padding: 0px; } #main { backgroun ...

  2. gitee上传下载代码命令

    在想要下载的文件夹下,鼠标右键,git bash 1.输入git init 进行初始化 2.git remote add origin https://gitee.com/XXXXXXXXXXXXXX ...

  3. Java if、switch语句,break,case,类型转换、常量、赋值比较、标识符(2)

    if语句: /* if else 结构 简写格式: 变量 = (条件表达式)?表达式1:表达式2: 三元运算符: 好处:可以简化if else代码. 弊端:因为是一个运算符,所以运算完必须要有一个结果 ...

  4. 推荐Markdown编辑器——Inspire

    推荐Markdown编辑器--Inspire Inspire是一款非常好用的编辑器,支持Markdown语法,当然,Inspire还有一些自己的语法. 本文就是在这款编辑器下编写的. 风格 像Visu ...

  5. CSS3 media媒体查询器的使用方法

    最近几年随着响应式布局的发展,一次开发多次使用,自适应屏幕的响应式网站的需求越来越多.但是怎样使得网站能自适应屏幕呢?这里就需要提到一个css3里面新增的技术了-media媒体查询器. 那么什么是me ...

  6. 配置Action

    配置Action 实现了Action类后,就可以在struts.xml中配置该Action类了.配置Action就是让Struts2 知道哪个Action处理哪个请求,也就是完成用户请求和Action ...

  7. 跨站脚本(XSS)攻击

    https://blog.csdn.net/extremebingo/article/details/81176394

  8. python编程:从入门到实践----第六章:字典>练习

    6-1 人:使用一个字典来存储一个熟人的信息,包括名.姓.年龄和居住的城市.该字典应包含键first_name .last_name .age 和city .将存储在该字典中的每项信息都打印出来. f ...

  9. luffy课程表的创建-支付宝API-购买服务器

    课程组件 <template> <div class="course"> <Header></Header> <div cla ...

  10. Spring的设计理念和整体架构

    1.Spring的各个子项目 Spring Framework(Core):这是我们熟知的Spring项目的核心.Spring Framework(Core)中包含了一系列Ioc容器的设计,提供了依赖 ...