EF大数据批量添加性能问题
前几天做一个批量发消息的功能,因为要向消息表中批量写入数据,用的EF框架的插入方法;不用不知道,一用吓一跳;就10000条数据就耗时好几分钟,对应追求用户体验的我来说这是极不能容忍的,后来改为拼接SQL,性能提高了好几倍;现在来分享一下经验:
原始的方法类似这种:
public ActionResult Add(ItemDetails entity)
{
var sw = new Stopwatch();
sw.Start();
using (db)
{
for (var i = ; i < ; i++)
{
db.ItemDetails.Add(entity);
db.SaveChanges();
}
}
sw.Stop();
var date = sw.Elapsed;
return Json(string.Format("总耗时:{0}", date));
}
来看看添加10000条数据耗时:


就10000条数据就耗时这么久,要是上百万的数据量,那简直就不能想象,再来看看优化后的:
生成SQL的方法:
public class ItemDetailBatch
{
public static string BatchAdd(ItemDetails entity)
{
SqlParameter [] paras=
{
new SqlParameter("@Item_Name",SqlDbType.VarChar,),
new SqlParameter("@Item_Price",SqlDbType.Int),
new SqlParameter("@Image_Name",SqlDbType.VarChar,),
new SqlParameter("@Description",SqlDbType.VarChar,),
new SqlParameter("@AddedBy",SqlDbType.VarChar,)
};
paras[] .Value= entity.Item_Name;
paras[].Value = entity.Item_Price;
paras[].Value = entity.Image_Name;
paras[].Value = entity.Description;
paras[].Value = entity.AddedBy;
var sb=new StringBuilder();
sb.Append("insert into ItemDetails (Item_Name,Item_Price,Image_Name,Description,AddedBy) ");
sb.AppendFormat("values ('{0}',{1},'{2}','{3}','{4}')", paras[].Value, paras[].Value, paras[].Value,paras[].Value, paras[].Value);
return sb.ToString();
}
}
Controller层调用:
public ActionResult Add(ItemDetails entity)
{
var sw = new Stopwatch();
sw.Start();
using (var db = new ShoppingDBConn())
{
var sql = new StringBuilder();
for (int i = ; i < ; i++)
{
//生成SQL
sql.Append(ItemDetailBatch.BatchAdd(entity));
}
//一次性执行SQL
db.Database.ExecuteSqlCommand(sql.ToString());
}
sw.Stop();
var date = sw.Elapsed;
return Json(string.Format("总耗时:{0}", date));
}
界面数据:

同样10000条总耗时:

EF没添加一次都要向数据库提交一次,而直接拼接SQL的方法就是减少与数据库的交互次数,一次性提交执行所有数据;
EF大数据批量添加性能问题的更多相关文章
- EF大数据批量添加性能问题(续)
		昨天在园子里发了一篇如题的文章EF大数据批量添加性能问题,就引来一大堆的吐槽,我认为知识就应该这样分享出来,不然总以为自己很了不起:再说说昨天那篇文章,很多自认为很牛逼的人都评论说把SaveChang ... 
- EF大数据批量处理----BulkInsert
		之前做项目的时候,做出来的系统的性能不太好,在框架中使用了EntityFramework,于是就在网上查资料,研究如何提高EF的性能. 在这分享一篇博客 批量操作提升EntityFramework的性 ... 
- EF大数据批量处理  EntityFrameWork下增加扩展方法
		为EF操作方法添加扩展方法 BulkInsert 大致设计方式为 通过当前DbContext 获取当前连接字符串,调用连接字符串获取当前实体的所有字段及字段属性,映射到DataTable中 在调用Sy ... 
- c#几种数据库的大数据批量插入(SqlServer、Oracle、SQLite和MySql)
		这篇文章主要介绍了c#几种数据库的大数据批量插入(SqlServer.Oracle.SQLite和MySql),需要的朋友可以了解一下. 在之前只知道SqlServer支持数据批量插入,殊不知道Ora ... 
- .net core利用MySqlBulkLoader大数据批量导入MySQL
		最近用core写了一个数据迁移小工具,从SQLServer读取数据,加工后导入MySQL,由于数据量太过庞大,数据表都过百万,常用的dapper已经无法满足.三大数据库都有自己的大数据批量导入数据的方 ... 
- C#中几种数据库的大数据批量插入
		C#语言中对SqlServer.Oracle.SQLite和MySql中的数据批量插入是支持的,不过Oracle需要使用Orace.DataAccess驱动. IProvider里有一个用于实现批量插 ... 
- C#:几种数据库的大数据批量插入
		在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解 ... 
- C#:几种数据库的大数据批量插入(转)
		在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解 ... 
- C#:几种数据库的大数据批量插入 - faib
		在之前只知道SqlServer支持数据批量插入,殊不知道Oracle.SQLite和MySql也是支持的,不过Oracle需要使用Orace.DataAccess驱动,今天就贴出几种数据库的批量插入解 ... 
随机推荐
- SIFT算法的教程及源码
			1.ubc:DAVID LOWE---SIFT算法的创始人,两篇巨经典经典的文章http://www.cs.ubc.ca/~lowe/[1] 2.cmu:YanKe---PCASIFT,总结的SIFT ... 
- Process Monitor分析某个应用行为
			1.打开Process Mointor 2.点击filter-->filter 在弹出的对话框中Architecture 下拉框,选择Process Name 填写要分析的应用程序名字. 点 ... 
- Mysql和sqlite数据库操作心得
			经过最近一段时间的实际工作发现,原来只是认为Mysql和sqlite是分别独立的,数据传输和共享或有障碍,其实这是一个误区.当我们想要将sqlite中的数据存放到mysql中,最好的方法就是利用中间文 ... 
- Linux下手工卸载11.2 RAC(非MOS的deinstall方法)
			思路来自于经典的<How to Proceed From a Failed 10g or 11.1 Oracle Clusterware (CRS) Installation (Doc ID 2 ... 
- Ubuntu  proxychains   &&  setProxy及 unsetProxy
			https://www.socks-proxy.net/ (ubuntu proxy )[ lantern -addr 0.0.0.0:8787 proxychains4 printenv http: ... 
- DrawLayout使用侧滑抽屉
			布局:fg_left_drawer <?xml version="1.0" encoding="utf-8"?> <LinearLayout ... 
- Java调用Python脚本并获取返回值
			在Java程序中有时需要调用Python的程序,这时可以使用一般的PyFunction来调用python的函数并获得返回值,但是采用这种方法有可能出现一些莫名其妙的错误,比如ImportError.在 ... 
- 整合最优雅SSM框架:SpringMVC + Spring + MyBatis 基础
			在写代码之前我们先了解一下这三个框架分别是干什么的? 相信大以前也看过不少这些概念,我这就用大白话来讲,如果之前有了解过可以跳过这一大段,直接看代码! SpringMVC:它用于web层,相当于con ... 
- [转载]ODBC数据源
			在做java数据库连接的时候遇到了点问题. 首先是创建数据源时,odbc里没有要用的驱动,因为我是64位的系统,但是安装的是32位的office..于是去C/windows/syswow64文件夹下, ... 
- Cardano(ADA), EOS, RChain(RHOC), Aeternity(AE) 都是极其好的币
			从区块链的基础知识出发,研究ETH和EOS的区别 免责声明:EOS目前还在开发中,我们对此项目的一些理解可能会改变.而且,我并不是以太坊开发者,而只是一个喜欢区块链的爱好者.请牢记这两点,请把下面的内 ... 
