如果要批量复制大量的数据,用ado.net或者其他orm框架逐条读取并写入,有时会耗时太长,满足不了要求,此时SqlBulkCopy就可以出来大显身手了,相信许多人了解或使用过它. 但实际使用时,还是会遇上些问题,这里做些记录,也许能帮你避开一些“坑”. column mapping 问题 . 在设置column时候,请注意字段的大小写,特别是sql server,平时写sql语句时候可以忽略大小写,但是在这里一定要注意大小写不能错了. 如果目标表中字段比源表中的短,那么源表中有记录的实际数据长

简单使用: private void UpdateTitle(DataTable dt) { ) { using (SqlBulkCopy sbc = new SqlBulkCopy(SqlHelper.connectionString)) { sbc.BatchSize = dt.Rows.Count;//每批次操作数量 sbc.BulkCopyTimeout = ;//操作允许的超时时间 单位:秒 (超时则事务不提交) sbc.DestinationTableName = "TB_produ

服务器配置:windows 2008 ,sql server 2008, oracle 10g. 在本地和同样配置的其他服务器上同样的程序,数据200万都很快就采集过来了,但是在发布的服务器上,如果batchsize设置5000以内,可以采集数据,因为数据大,所以我们设置的batchsize=20万,这样程序在SqlBulkCopy.WriteToServer(datareader),这个位置就超时了.不知道有没有博友发现过同样的问题,都快被搞疯了.一直找不到原因.提示的错误就是:超时已过期.在

废话不多说,直接上代码 /// <summary> /// 海量数据插入方法 /// </summary> /// <param name="connectionString">目标连接字符</param> /// <param name="TableName">目标表</param> /// <param name="dt">源数据</param>

临时表:Test /****** 对象: Table [dbo].[Test] 脚本日期: 05/10/2013 11:42:07 ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO CREATE TABLE [dbo].[Test]( [ID] [int] IDENTITY(1,1) NOT NULL, [UserID] [int] NOT NULL, [UserName] [nvarchar](50) COLLATE Chines

上篇博客中介绍了批量导入数据库的方法:下面介绍一下批量导入过程的核心——SqlBulkCopy类. 下面先介绍一些原理性的东西:SQLBulkCopy类,通常用于数据库之间大批量的数据传递.即使表结构完全不同,也可以通过字段间的对应关系,将数据导进去.需要注意的是,只能导入到SQL Server数据库中.相比SQLServer的Insert语句, SqlBulkCopy 有着明显的性能优势.数据源不限于 SQL Server:可以使用任何数据源,只要数据可加载到DataTable 或可使用IDa

文章转载原地址:http://www.cnblogs.com/mobydick/archive/2011/08/28/2155983.html 最近做的项目由于之前的设计人员懒省事,不按照范式来,将一张表的扩展信息存到了一个“键-值”表中.如下图: 对于主表中的每一条信息,大约有60个“key”,也就是说主表中每插入1条记录,子表中必须要插入60条. 通过预估我们确定主表中最终的数据量大约是20万,也就是说,子表中会有20x60=1200万条记录.同样类型的“主-子”表我们一共有4对,且不说这些

1.SqlBulkCopy 简介  Microsoft SQL Server 提供一个称为 bcp 的流行的命令提示符实用工具,用于将数据从一个表移动到另一个表(表既可以在同一个服务器上,也可以在不同服务器上).SqlBulkCopy 类允许编写提供类似功能的托管代码解决方案.还有其他将数据加载到 SQL Server 表的方法(例如 INSERT 语句),但相比之下 SqlBulkCopy 提供明显的性能优势. 使用 SqlBulkCopy 类只能向 SQL Server 表写入数据.但是,数

原文:.net使用SqlBulkCopy导入数据(创建新表) .net2.0后ado.net提供了一个快速导入sqlserver的方法sqlbulkcopy.导入效率非常高.  包装了一个简单的sqlbulkcopy类,用于数据从datatable导入到sqlserver.代码如下: /// <summary> /// 将DataTable写入数据库的表中 /// </summary> /// <param name="source">数据源Data

因为要做一个号码归属地查询小功能,因为要导入外部(文本文件)的电话归属地数据,使用的是SqlDataAdapter类,数据不多,只四万有多条,表也只有一个,phoneBook表,使用的是DataTable和SqlDataAdapter,测试了三次导入,平均18秒,但是我觉得太慢了,就百度了下[SQL Server批量导入数据],发现了SqlBulkCopy这个神器,一秒内导入.       SqlBulkCopy 这个类用于数据库大批量的数据传递,通常用于新旧数据库之间的更新.关键的一点是,即使

1.简介 1.MSDN 核心方法:SqlBulkCopy.WriteToServer 将所有行从数据源复制到 SqlBulkCopy 对象的 DestinationTableName 属性指定的目标表中. 2.一句话介绍 将DataTable或DataRow中的数据直接复制到数据库中指定的表中 3.注意事项 表名.列名对大小写敏感 DataTable的架构必须和目标表保持一致(最常出的错误就是列顺序不一致) DataTable中int类型的字段如果为NULL,必须对其赋值为 DBNull.Val

创建了一个用来测试的Student表: CREATE TABLE [dbo].[Student]( [ID] [int] PRIMARY KEY NOT NULL, ) NULL, ) NULL, [Age] [int] NULL ) 一.SqlBulkCopy类 使用数据库BCP协议进行数据的批量复制,每一批的数量大约800条. /// <summary> /// 批量插入Sqlsbc /// </summary> /// <param name="dt"

/// <summary> /// 批量保存多表 /// </summary> /// <param name="dt1"></param> /// <param name="TableName"></param> /// <returns></returns> public static void SqlBatchCopy(DataTable dt, string Ta

 SqlBulkCopy 这个类用于数据库大批量的数据传递,通常用于新旧数据库之间的更新.关键的一点是,即使表结构不同,也可以通过表字段或者字段位置建立映射关系,将所需的数据导入到目标数据库. 下面代码测试了数据量为一百万条数据,几次测试耗时8秒左右. /// <summary> /// SqlBulkCopy类的使用,批量更新数据 /// </summary> public static void SqlBulkCopyDemo() { String connStr = Conf

注:转载请标明文章原始出处及作者信息http://www.cnblogs.com/z-huifei/p/7380388.html 前言 OLE DB 是微软的战略性的通向不同的数据源的低级应用程序接口.OLE DB不仅包括微软资助的标准数据接口开放数据库连通性(ODBC)的结构化查询语言(SQL)能力,还具有面向其他非SQL数据类型的通路.OLE DB的存在为用户提供了一种统一的方法来访问所有不同种类的数据源.OLE DB可以在不同的数据源中进行转换.利用OLE DB,客户端的开发人员在进行数据

最近公司需要优化导入的问题,由于之前使用的方式是生成 Insert 语句插入数据库,数据量小的时候还行,但是随着发展数据量渐渐大了,之前的方法性能就跟不上了,于是发现了 SqlBulkCopy 这个类. 使用 SqlBulkCopy 类只能向 SQL Server 表写入数据.但是,数据源不限于 SQL Server:可以使用任何数据源,只要数据可加载到 DataTable 实例或可使用 IDataReader 实例读取数据. public class Conn { private static

摘要:使用.NET相关技术向数据库中插入海量数据是经常使用操作.本文对照ADO.NET和LINQ两种技术.分别使用SqlBulkCopy()和InsertAllOnSubmit()方法进行操作. 得出结论:同样插入工作量(1w条数据)插入效率相差200倍之巨! 測试场景: 准备两个数据库TestDb和TestDb2.有表:T_Users.表结构例如以下图所看到的: SqlBulkCopy()插入方法例如以下: private static Stopwatch InsertUsingSqlBulk

导读:在做项目的时候,当实现了动态建库后,需要实现从本地服务器上获取数据,批量导入到新建库的服务器中的一个表中去.之前是用了一个SQL脚本文件实现,但那时候没能实现不同的数据库服务器,现在用了SqlBulkCopy将其实现,现在说说具体过程. 一.SQLBulkCopy 1.1,概述 Microsoft SQL Server 提供一个称为 bcp 的流行的命令提示符实用工具,用于将数据从一个表移动到另一个表(表既可以在同一个服务器上,也可以在不同服务器上). SqlBulkCopy 类允许编写提

C#中批量处理数据,有时候因为一条记录导致整个批量处理失败.这时候肯能会导致数据不全等问题,这时候我们可以使用SqlTransaction来进行事务回滚,即是要么全部成功要么全部不成功.如下代码 //测试事务回滚 public static string GetMsgBySJ() { var msg = ""; SqlConnection conn = new SqlConnection(connStr); SqlCommand cmd = conn.CreateCommand();

SQLBulkCopy是继承SQLClient空间下的一个特殊类,它可以帮助我们以映射的方式把DataTable和DataReader数据大批量导入到数据库对应表中 public void Inert2DBBySqlBulkCopy(DataTable data, string tableName) { BaseDao basdd = new BaseDao(); using (SqlConnection conn = new SqlConnection(basdd.SqlNormMap.Dat