@PersistenceContext

EntityManager em;

从别的系统中定期同步某张表的数据,由于数据量较大,采用批量保存

JPA EntityManager的四个主要方法

① public void persist(Object entity)

persist 方法可以将实例转换为 managed( 托管 ) 状态。在调用 flush() 方法或提交事物后,实例将会被插入到数据库中。

② public void merge(Object entity)

merge 方法的主要作用是将用户对一个 detached 状态实体的修改进行归档,归档后将产生一个新的managed 状态对象。

如果Entity是新创建的,则这个方法类似于persist()这个方法。

如果Entity已经存在的,则只作为更新操作。

③ public void refresh(Object entity)

refresh 方法可以保证当前的实例与数据库中的实例的内容一致。

④ public void remove(Object entity)

 remove 方法可以将实体转换为 removed 状态,并且在调用 flush() 方法或提交事物后删除数据库中的数据。
⑤ public void flush()

将PersistenceContext的信息同步到数据库中。

当触发Flush这个动作的时候,所有的实体都将会被insert/update/remove到数据库中。

数据库不会触发Commit的操作。

⑥  public void refresh (Object entity)

Refresh的作用是从数据库中将Entity的状态进行更新操作。如果Entity和数据库中的数据不一致,将更新数据库中的数据到Entity中。

 public void clear()

分离所有当前正在被管理的实体 —— clear()
在处理大量实体的时候,如果你不把已经处理过的实体从EntityManager中分离出来,将会消耗你大量的内存。调用
EntityManager 的clear()方法后,所有正在被管理的实体将会从持久化内容中分离出来。有一点需要说明下,在事务没有
提交前(事务默认在调用堆栈的最后提交,如:方法的返回),如果调用clear()方法,之前对实体所作的任何改变将会掉
失,所以建议你在调用clear()方法之前先调用flush()方法保存更改。

  1. public void eamMaterialCodeDatabase(){
  2. String updateTimeStr = eamMaterialCodeService.getUpdateTimeStr();
  3. SQLBuilder sb = new SQLBuilder("IFSAPP.INVENTORY_PART");
  4. sb.addField("DESCRIPTION name");
  5. sb.addField("PART_NO code");
  6. sb.addField("TYPE_DESIGNATION type");
  7. sb.addWhereClause(" CONTRACT = 'RS'");
  8. sb.setWithSemicolon(false);
  9. String sql = sb.createQuery();
  10. List objects = eamJT.queryForList(sql);
  11. List<EamMaterialCode> wantToSaved = new ArrayList<EamMaterialCode>();
  12. for (Object obj : objects) {
  13. Map objs = (Map) obj;
  14. EamMaterialCode eamMaterialCode = new EamMaterialCode();
  15. eamMaterialCode.setName((String)(objs.get("name") == null ? "" : objs.get("name")));
  16. eamMaterialCode.setType((String)(objs.get("type") == null ? "" : objs.get("type")));
  17. eamMaterialCode.setCode((String)(objs.get("code") == null ? "" : objs.get("code")));
  18. eamMaterialCode.setVersion(1);
  19. EamMaterialCode eamMaterialCode2 = eamMaterialCodeService.findByCode(eamMaterialCode.getCode());
  20. if (eamMaterialCode2 == null) {
  21. wantToSaved.add(eamMaterialCode);
  22. } else {
  23. int version = eamMaterialCode2.getVersion() + 1;
  24. eamMaterialCode.setId(eamMaterialCode2.getId());
  25. BeanUtils.copyProperties(eamMaterialCode, eamMaterialCode2);
  26. eamMaterialCode2.setVersion(version);
  27. wantToSaved.add(eamMaterialCode2);
  28. }
  29. }
  30. eamMaterialCodeService.batchInsertAndUpdate(wantToSaved);
  31. }
    1. @Transactional(readOnly = false)
    2. public void batchInsertAndUpdate(List list) {
    3. int size =  list.size();
    4. for (int i = 0; i < size; i++) {
    5. BaseEntity dd = (BaseEntity) list.get(i);
    6. if (dd.isNew()) {
    7. em.persist(dd);
    8. } else {
    9. em.persist(em.merge(dd));
    10. }
    11. if (i % 1000 == 0 || i==(size-1)) { // 每1000条数据执行一次,或者最后不足1000条时执行
    12. em.flush();
    13. em.clear();
    14. }
    15. }
    16. }

使用EntityManager批量保存数据的更多相关文章

  1. springboot jpa 批量保存数据--EntityManager和 JpaRepository

    1: 项目里面使用springboo-boot-start-data-jpa操作数据库,通过源码,在repository上继承JpaRepository 可以实现保存操作,其中源码接口为: <S ...

  2. Jquery Easy UI Datagrid 上下移动批量保存数据

    DataGrid with 上下移动批量保存数据 通过前端变量保存修改数据集合,一次性提交后台执行 本想结合easyui 自带的$('#dg').datagrid('getChanges'); 方法来 ...

  3. 使用JDBC批量保存数据(JdbcDaoSupport,JdbcTemplete)

    最近做的一个项目中用到了Hibernate的,然后数据库批量插入数据的时候就使用到了hibernate的批处理,但是效率比较低,看网上说还有一些限制,要禁止二级缓存,还要多一个batch_size的配 ...

  4. Hibernate 批量保存数据

    public Boolean save(Collection<Object> os) { int batchSize = 50,i=0; Session session=this.sess ...

  5. snapde的批量文件数据过滤保存功能

    一.snapde基本介绍 Snapde,一个专门为编辑超大型数据量CSV文件而设计的单机版电子表格软件:它运行的速度非常快,反应非常灵敏. 二.snapde批量数据筛选功能 如果想要对很多文件筛选出来 ...

  6. 通过HttpClient发起Get请求,获取Json数据,然后转为java数据,然后批量保存数据库;

    Json转java所需Jar包: commons-beanutils-1.8.0.jar,commons-collections-3.2.1.jar,commons-lang-2.5.jar,comm ...

  7. 使用SpringBoot-JPA进行自定义的保存及批量保存

    更多精彩博文,欢迎访问我的个人博客 说明 SpringBoot版本:2.1.4.RELEASE java版本:1.8 文中所说JPA皆指spring-boot-starter-data-jpa 使用J ...

  8. EF批量添加数据性能慢的问题的解决方案

    //EF批量添加数据性能慢的问题的解决方案 public ActionResult BatchAdd() { using (var db = new ToneRoad.CEA.DbContext.Db ...

  9. SqlBulkCopy 批量复制数据到数据表

    使用 SqlBulkCopy 类只能向 SQL Server 表写入数据.但是,数据源不限于 SQL Server:可以使用任何数据源,只要数据可加载到 DataTable 实例或可使用 IDataR ...

随机推荐

  1. 《javascript高级程序设计》 touch事件的一个小错误

    最近一段时候都在拜读尼古拉斯大神的<javascript高级程序设计>,真的是一本好书,通俗易懂,条理比<javascript权威指南>好理解一些,当然<javascri ...

  2. DOS和批处理基本命令

    http://www.cnblogs.com/leizhao/archive/2013/03/07/2949026.html 1.rem和:: rem注释命令,该命令后的内容不被执行,但能回显 ::注 ...

  3. 8.css内容移出与精灵图

    定位的盒子居中显示 ★:margin:0 auto;  只能让标准流的盒子居中对齐. ★定位的盒子居中:先左右走父元素盒子的一半50%,在向左走子盒子的一半(margin-left:负值.) 标签包含 ...

  4. cxgrid动态创建列

    cxgrid动态创建列 procedure TFrmRuleEdit.CreateCols;varColumn: TcxGridDBColumn;begincdsPowerPrj.First;whil ...

  5. JQuery实用技巧

    1.关于页面元素的引用通过jquery的$()引用元素包括通过id.class.元素名以及元素的层级关系及dom或者xpath条件等方法,且返回的对象为jquery对象(集合对象),不能直接调用dom ...

  6. [Erlang02] 那些经历过的Erlang小坑1-10

    1. 保护式(guard)中如果出错,不会报错,只会返回false! case 1=:1 of true when not erlang:length(t) =:= 1 orelse true -&g ...

  7. Android开发教程 - 使用Data Binding(一) 介绍

    本系列目录 使用Data Binding(一)介绍 使用Data Binding(二)集成与配置 使用Data Binding(三)在Activity中的使用 使用Data Binding(四)在Fr ...

  8. for,while陈述

    今天我们来说一下for 和while循环 Python循环语句的控制结构图如下所示: for 是Python程序员使用最多的语句,for 循环用于迭代容器对象中的元素,这些对象可以是列表.元组.字典. ...

  9. mongodb初始化并使用node.js实现mongodb操作封装

    mongodb的下载只要在https://www.mongodb.com/网站就能够下载 下载后安装只用一直点next就可以,注意最好使用默认路径安装到C盘,然后在任意位置建立一个文件夹用于储存你的数 ...

  10. 坑爹的Sun JDK

    Sun的这个java.lang.Throwable 源码 设计非常糟糕,完全没有扩展性, 我在IBM 的Java JDK下,继承java.lang.Throwable重新定义了一个ExceptionW ...