使用EntityManager批量保存数据
@PersistenceContext
EntityManager em;
从别的系统中定期同步某张表的数据,由于数据量较大,采用批量保存
① public void persist(Object entity)
persist 方法可以将实例转换为 managed( 托管 ) 状态。在调用 flush() 方法或提交事物后,实例将会被插入到数据库中。
② public void merge(Object entity)
merge 方法的主要作用是将用户对一个 detached 状态实体的修改进行归档,归档后将产生一个新的managed 状态对象。
如果Entity是新创建的,则这个方法类似于persist()这个方法。
如果Entity已经存在的,则只作为更新操作。
③ public void refresh(Object entity)
refresh 方法可以保证当前的实例与数据库中的实例的内容一致。
④ public void remove(Object entity)
remove 方法可以将实体转换为 removed 状态,并且在调用 flush() 方法或提交事物后删除数据库中的数据。
⑤ public void flush()
将PersistenceContext的信息同步到数据库中。
当触发Flush这个动作的时候,所有的实体都将会被insert/update/remove到数据库中。
数据库不会触发Commit的操作。
⑥ public void refresh (Object entity)
Refresh的作用是从数据库中将Entity的状态进行更新操作。如果Entity和数据库中的数据不一致,将更新数据库中的数据到Entity中。
⑦ public void clear()
分离所有当前正在被管理的实体 —— clear()
在处理大量实体的时候,如果你不把已经处理过的实体从EntityManager中分离出来,将会消耗你大量的内存。调用
EntityManager 的clear()方法后,所有正在被管理的实体将会从持久化内容中分离出来。有一点需要说明下,在事务没有
提交前(事务默认在调用堆栈的最后提交,如:方法的返回),如果调用clear()方法,之前对实体所作的任何改变将会掉
失,所以建议你在调用clear()方法之前先调用flush()方法保存更改。
- public void eamMaterialCodeDatabase(){
- String updateTimeStr = eamMaterialCodeService.getUpdateTimeStr();
- SQLBuilder sb = new SQLBuilder("IFSAPP.INVENTORY_PART");
- sb.addField("DESCRIPTION name");
- sb.addField("PART_NO code");
- sb.addField("TYPE_DESIGNATION type");
- sb.addWhereClause(" CONTRACT = 'RS'");
- sb.setWithSemicolon(false);
- String sql = sb.createQuery();
- List objects = eamJT.queryForList(sql);
- List<EamMaterialCode> wantToSaved = new ArrayList<EamMaterialCode>();
- for (Object obj : objects) {
- Map objs = (Map) obj;
- EamMaterialCode eamMaterialCode = new EamMaterialCode();
- eamMaterialCode.setName((String)(objs.get("name") == null ? "" : objs.get("name")));
- eamMaterialCode.setType((String)(objs.get("type") == null ? "" : objs.get("type")));
- eamMaterialCode.setCode((String)(objs.get("code") == null ? "" : objs.get("code")));
- eamMaterialCode.setVersion(1);
- EamMaterialCode eamMaterialCode2 = eamMaterialCodeService.findByCode(eamMaterialCode.getCode());
- if (eamMaterialCode2 == null) {
- wantToSaved.add(eamMaterialCode);
- } else {
- int version = eamMaterialCode2.getVersion() + 1;
- eamMaterialCode.setId(eamMaterialCode2.getId());
- BeanUtils.copyProperties(eamMaterialCode, eamMaterialCode2);
- eamMaterialCode2.setVersion(version);
- wantToSaved.add(eamMaterialCode2);
- }
- }
- eamMaterialCodeService.batchInsertAndUpdate(wantToSaved);
- }
- @Transactional(readOnly = false)
- public void batchInsertAndUpdate(List list) {
- int size = list.size();
- for (int i = 0; i < size; i++) {
- BaseEntity dd = (BaseEntity) list.get(i);
- if (dd.isNew()) {
- em.persist(dd);
- } else {
- em.persist(em.merge(dd));
- }
- if (i % 1000 == 0 || i==(size-1)) { // 每1000条数据执行一次,或者最后不足1000条时执行
- em.flush();
- em.clear();
- }
- }
- }
使用EntityManager批量保存数据的更多相关文章
- springboot jpa 批量保存数据--EntityManager和 JpaRepository
1: 项目里面使用springboo-boot-start-data-jpa操作数据库,通过源码,在repository上继承JpaRepository 可以实现保存操作,其中源码接口为: <S ...
- Jquery Easy UI Datagrid 上下移动批量保存数据
DataGrid with 上下移动批量保存数据 通过前端变量保存修改数据集合,一次性提交后台执行 本想结合easyui 自带的$('#dg').datagrid('getChanges'); 方法来 ...
- 使用JDBC批量保存数据(JdbcDaoSupport,JdbcTemplete)
最近做的一个项目中用到了Hibernate的,然后数据库批量插入数据的时候就使用到了hibernate的批处理,但是效率比较低,看网上说还有一些限制,要禁止二级缓存,还要多一个batch_size的配 ...
- Hibernate 批量保存数据
public Boolean save(Collection<Object> os) { int batchSize = 50,i=0; Session session=this.sess ...
- snapde的批量文件数据过滤保存功能
一.snapde基本介绍 Snapde,一个专门为编辑超大型数据量CSV文件而设计的单机版电子表格软件:它运行的速度非常快,反应非常灵敏. 二.snapde批量数据筛选功能 如果想要对很多文件筛选出来 ...
- 通过HttpClient发起Get请求,获取Json数据,然后转为java数据,然后批量保存数据库;
Json转java所需Jar包: commons-beanutils-1.8.0.jar,commons-collections-3.2.1.jar,commons-lang-2.5.jar,comm ...
- 使用SpringBoot-JPA进行自定义的保存及批量保存
更多精彩博文,欢迎访问我的个人博客 说明 SpringBoot版本:2.1.4.RELEASE java版本:1.8 文中所说JPA皆指spring-boot-starter-data-jpa 使用J ...
- EF批量添加数据性能慢的问题的解决方案
//EF批量添加数据性能慢的问题的解决方案 public ActionResult BatchAdd() { using (var db = new ToneRoad.CEA.DbContext.Db ...
- SqlBulkCopy 批量复制数据到数据表
使用 SqlBulkCopy 类只能向 SQL Server 表写入数据.但是,数据源不限于 SQL Server:可以使用任何数据源,只要数据可加载到 DataTable 实例或可使用 IDataR ...
随机推荐
- [Phalcon-framework]2016-04-13_安装使用 Phalcon 框架
1. 获取你的 PHP Version,操作系统是 x86 还是 64bit的,以及 Compiler 是什么 VC, 你可以直接同时 phpinfo() 函数获取到,如下截图: 2. 下载对应的 ...
- FNDLOAD使用大全
FNDLOAD使用大全 Syntax FNDLOAD [username/password] 0 Y [mode] [configuration file] [target data file] ...
- iOS 应用如何完全支持 IPv6-ONLY 网络?
iOS 应用如何完全支持 IPv6-ONLY 网络?¶ 警告 您当前查看的页面是未经授权的转载! 如果当前版本排版错误,请前往查看最新版本:http://www.cnblogs.com/qin-nz/ ...
- Linux安全之SYN攻击原理及其应对措施
TCP自从1974年被发明出来之后,历经30多年发展,目前成为最重要的互联网基础协议,但TCP协议中也存在一些缺陷. SYN攻击就是利用TCP协议的缺陷,来导致系统服务停止正常的响应. SYN攻击原理 ...
- .net core 分布式配置中心
github地址 https://github.com/wangchengqun/ratel 配置文件 数据同步端口 Server: ip: 127.0.0.1 port: 7890 浏览器访问 ht ...
- ASP.NET MVC 导入Excel文件
一:view部分 <form method="post" enctype="multipart/form-data" action="/Posi ...
- 混合式应用开发之AngularJS ng-repeat数组有重复值的解决方法
使用AngularJS ng-repeat遍历数组时,遇到数组里又重复值时会报错.例如数组[1,2,3,3] 官网给了一个解决的方案 <div ng-repeat="value in ...
- MVC+Nhibernate+spring.net(一)
所用数据库是我之前所写的Nhibernate入门篇的数据库https://www.cnblogs.com/pandorabox/p/PandoraBox.html 第一步:创建一个mvc项目 第二步: ...
- Lerning Entity Framework 6 ------ Using a commandInterceptor
Sometimes, We want to check the original sql statements. creating a commandInterceptor is a good way ...
- 「PKUSC2018」最大前缀和(状压dp)
前言 考试被\(hyj\)吊着打... Solution 考虑一下如果前缀和如果在某一个位置的后面的任意一个前缀和都<=0,肯定这就是最大的. 然后这样子就考虑左右两边的状压dp,然后就好了. ...