IBatis.Net 下使用SqlBulkCopy 大批量导入数据 问题解决
SQLBulkCopy是继承SQLClient空间下的一个特殊类,它可以帮助我们以映射的方式把DataTable和DataReader数据大批量导入到数据库对应表中
public void Inert2DBBySqlBulkCopy(DataTable data, string tableName)
{
BaseDao basdd = new BaseDao();
using (SqlConnection conn = new SqlConnection(basdd.SqlNormMap.DataSource.ConnectionString))
{
if (conn.State != ConnectionState.Open)
conn.Open();
using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(conn))
{
sqlBulkCopy.ColumnMappings.Add(, "CarModelID");
sqlBulkCopy.ColumnMappings.Add(, "TranConfID");
sqlBulkCopy.ColumnMappings.Add(, "TranValue");
sqlBulkCopy.ColumnMappings.Add(, "CreatorID");
sqlBulkCopy.ColumnMappings.Add(, "Creator");
sqlBulkCopy.ColumnMappings.Add(, "OptDataType");
sqlBulkCopy.BatchSize = data.Rows.Count;
sqlBulkCopy.BulkCopyTimeout = ;
sqlBulkCopy.DestinationTableName = tableName;
sqlBulkCopy.WriteToServer(data);
}
if (conn.State != ConnectionState.Closed)
conn.Close();
}
}
其中要注意都是:
Table表中的字段名称,字段顺序,字段类型 必须和插入的sqlBulkCopy.ColumnMappings.Add的插入顺序是一模一样的,如下图,自定义一个Class
public class JJJModel
{
public int? CarModelID { get; set; }
public int TranConfID { get; set; }
public string TranValue { get; set; }
public int CreatorID { get; set; }
public string Creator { get; set; }
public int OptDataType { get; set; }
}
插入的时候的代码
//匹配款式Id和配置ID 拼成二维表数据
for (int i = ; i < listCarModelID.Count(); i++)
{
msindex = i;
for (int j = ; j < listTranF.Count(); j++)
{
JJJModel jj = new JJJModel();
jj.CarModelID = Convert.ToInt32(listCarModelID[i]); //款型ID
jj.TranConfID = Convert.ToInt32(listTranF[j].ToString()); //配置ID
jj.TranValue = dtCMTranConf.Rows[i][j + ].ToString().ToUpper();//值
jj.CreatorID = UserId;
jj.Creator = UserName;
jj.OptDataType = CarConst.OptDataType20;
listTranExcel.Add(jj);
}
}
异常信息:楼主刚开始写的时候也是按照上边开发,百万数据数据也是轻轻松松分分钟搞定的。可是后来,产品有提到一个要求,就是要大批量更新数据,而且也是速度很快的时间内完成。
解决SQLBulkCopy批量更新问题:
于是就想先删除 那些要插入的数据,再批量插入要更新的数据,于是乎就捋起胳膊大干一场,当然删除和批量插入肯定是同一张表(Table_A),也肯定是在同一个事务中,后来,后来竟然插入不成功,
就一直在sqlBulkCopy.WriteToServer(data);这句代码里边一直转悠,一直到sql连接超时结束调试程序。我就郁了个闷的,同样的代码怎么会出现这个问题。
后来仔细查看对比一下,原来问题是由于对同一个表(Table_A) 先删除,再批量插入的时候 都是在同一个事务中 ,因为删除的时候 就把表给lock了,当然只能插入失败了.
那怎么办呢,于是楼主就扔然 还让先删除,再插入 在同一个事务中,只是在数据做了个操作,建立一个同样和目标表(Table_A)一样的临时表(Table_Temp),在执行事务开始时候,
先把要插入的数据插入到临时表Table_Temp,然后执行存储过程,再存储过程中 删除目标表(Table_A)中的存在于临时表(Table_Temp)里边的ID条件数据.
然后再用Insert Into 目标表(Table_A) select from 临时表(Table_Temp) 的方法把临时表的数据插入到目标表(Table_A)中.这样就妥妥的完成了。
PS:存储过程中写个事务,完成不完成都要把临时表(Table_Temp)的数据清空哦 ,这个可不能忘记了
IBatis.Net 下使用SqlBulkCopy 大批量导入数据 问题解决的更多相关文章
- 意外发现的大批量导入数据SqlBulkCopy类
因为要做一个号码归属地查询小功能,因为要导入外部(文本文件)的电话归属地数据,使用的是SqlDataAdapter类,数据不多,只四万有多条,表也只有一个,phoneBook表,使用的是DataTab ...
- 大批量导入数据的SqlBulkCopy类
SqlBulkCopy 这个类用于数据库大批量的数据传递,通常用于新旧数据库之间的更新.关键的一点是,即使表结构不同,也可以通过表字段或者字段位置建立映射关系,将所需的数据导入到目标数据库. 下面代 ...
- Excel大批量导入数据到SQLServer数据库-万条只用1秒
private string ExcelToStudent() { /*---*/ var preStr = DateTime.Now.ToString("yyyyMMddHHmmssfff ...
- SqlBulkCopy 批量导入数据 转换表字段类型
在使用SqlBulkCopy导入数据时,要有一个跟数据库里面同样的DataTable 要赋值表名 要求每个列跟数据库中列同名,并且列的类型要赋值跟数据库中列的类型对应的NET类型 要求数据库中为Nul ...
- Java不写文件,LOAD DATA LOCAL INFILE大批量导入数据到MySQL的实现(转)
MySQL使用load data local infile 从文件中导入数据比insert语句要快,MySQL文档上说要快20倍左右.但是这个方法有个缺点,就是导入数据之前,必须要有文件,也就是说从文 ...
- Linux下通过txt文件导入数据到MySQL数据库
1.修改配置文件 在 /etc/my.conf 中添加 local_infile=1 2.重启MySQL >service mysqld restart 3.登录数据库 登录时添加参数 --lo ...
- 使用BCP批量导入数据
本文原创,转载请标明出处 BCP 工具的使用 The bulk copy program utility (bcp) bulk copies data between an instance of M ...
- Solr7.x学习(4)-导入数据
导入配置可参考官网:http://lucene.apache.org/solr/guide,http://lucene.apache.org/solr/guide/7_7/ 1.数据准备(MySQL8 ...
- C# SqlBulkCopy类批量导入数据
特别注意 sqlbulkcopy.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName); 插入的时候列的顺序可 ...
随机推荐
- 【EWM系列】SAP EWM Warehouse Order Creation
公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[EWM系列]SAP EWM Warehouse ...
- CSP2019 —— 今年欢笑复明年,不知退役在眼前
关于2019CSP-J/-S的一些体会 又是一年退役季,想起在群里看到大佬的一句诗,感慨万千. 今年欢笑复明年,不知退役在眼前 于是便心生文意,随便写点东西来给自己康康. 先说说这次的成绩吧.大家应该 ...
- 循环结构 :do-while
循环结构 :do-while 循环四要素: 1.初始化条件 2.循环条件 3.循环体 4.迭代条件 格式: 1.初始化条件 do{ 3.循环体 4.迭代条件 }while(2.循环条件); publi ...
- [2019杭电多校第一场][hdu6579]Operation(线性基)
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=6579 题目大意是两个操作,1个是求[l,r]区间子序列的最大异或和,另一个是在最后面添加一个数. 如果 ...
- Django forms组件的校验
引入: from django import forms 使用方法:定义规则,例: class UserForm(forms.Form): name=forms.CharField(max_lengt ...
- Angular ngTemplateOutlet
虽然我们可以通过使用 ViewContainerRef 将 ElementRef创建的视图插入指定的位置,但是仍然希望有某中快捷的方式帮我们实现. ngTemplateOutlet与ngCompone ...
- 引入maven以外的jar包
这里有2个案例,需要手动发出Maven命令包括一个 jar 到 Maven 的本地资源库. 要使用的 jar 不存在于 Maven 的中心储存库中. 您创建了一个自定义的 jar ,而另一个 Mave ...
- 搜索(DFS)---填充封闭区域
填充封闭区域 130. Surrounded Regions (Medium) For example, X X X X X O O X X X O X X O X X After running y ...
- 调用SM30数据表维护的函数
相关文章:http://www.cnblogs.com/caizjian/p/3248499.html 1.se11进去新建一个数据表 2.se55进去生产表维护 3.sm30进去维护数据表 4.se ...
- mysql导出函数或者存储过程 设置显示方式
mysql导出函数或者存储过程 mysqldump -hhostname -uusername -ppassword -ntd -R databasename > /app/backupflie ...