最近用core写了一个数据迁移小工具,从SQLServer读取数据,加工后导入MySQL,由于数据量太过庞大,数据表都过百万,常用的dapper已经无法满足.三大数据库都有自己的大数据批量导入数据的方式, MSSQL有SqlBulkCopy,MYSQL有MySqlBulkLoader,Oracle有OracleBulkCopy,对应各自的驱动. 一:生成csv文件 public static class CSVEx { /// <summary> ///将DataTable转换为标准的CSV

NPOI(C#)DataTable导出execl using NPOI.HSSF.UserModel; using NPOI.SS.UserModel; using NPOI.XSSF.UserModel; using System; using NPOI.SS.Util; namespace Common { /// <summary> /// 使用NPOI操作Excel,无需Office COM组件 /// </summary> public class ExcelHelper

using NPOI.HSSF.UserModel; using NPOI.SS.UserModel; using System.Data; using System.IO; using NPOI.XSSF.UserModel; 刚刚接触Excel导入导出,感觉用NPOI蛮方便的就研究了一下,下面是Excel导入读取到DataTable中的功能 #region public DataTable ImportExcel(string filePath) { using (FileStream fi

http://www.cnblogs.com/top5/archive/2010/03/12/1684559.html --下载excel的dll http://bbs.csdn.net/topics/390271458 http://zhidao.baidu.com/link?url=c1m-oJjceP0oXP7_Hlm2EyoD9F71SVmlERMX3pPDSRgiKJxeIaoZV0xav9jxdJm04ibUB5h05k1wi8Hjl45O6q excel 导入到datatable

首先呢?要看你的电脑的office版本,我的是office 2013 .为了使用oledb程序,需要安装一个引擎.名字为AccessDatabaseEngine.exe.这里不过多介绍了哦.它的数据库连接字符串是"Provider=Microsoft.Ace.OleDb.12.0;Data Source={0};Extended Properties='Excel 12.0; HDR=Yes; IMEX=1'" 所以,我们是使用ole来读取excel的. 1 excel 的文件内容:

最近在项目中遇到插入几万.几十万.几百万的数据到MYSQL数据库,使用EF插入会发现插入速度非常慢的场景, 数据量非常大时EF插入需要几十分钟,甚至几个小时,这样子的速度肯定不是我们所期望的. 后面经过了解与研究发现MySqlBulkLoader,可以批量将数据插入到数据库并且速度上面远远优于EF. MySqlBulkLoader主要的实现方式:将需要插入的数据转成DataTable,转成一个CSV文件,将CSV文件使用批量导入的形式导入到数据库里面去. 注意: 1.数据库连接地址需要添加配置A

引言 项目中常用到将数据导入Excel,将Excel中的数据导入数据库的功能,曾经也查找过相关的内容,将曾经用过的方案总结一下. 方案一 NPOI NPOI 是 POI 项目的 .NET 版本.POI是一个开源的Java读写Excel.WORD等微软OLE2组件文档的项目.使用 NPOI 你就可以在没有安装 Office 或者相应环境的机器上对 WORD/EXCEL 文档进行读写.NPOI是构建在POI 3.x版本之上的,它可以在没有安装Office的情况下对Word/Excel文档进行读写操作

最近,应项目的需求,需要实现Excel的导入导出功能,对于Web架构的Excel导入导出功能,比较传统的实现方式是: 1)导入Excel:将Excel文件上传到服务器的某一文件夹下,然后在服务端完成Excel的读取及数据的存储: 2)导出Excel:在服务端生成需要导出的Excel,然后下载到客户端. 其中,文件的上传和下载本文不在详述,以下主要写一些DataTable或DataSet与Excel之间的相互转换. 转换方式多种多样,网上也有很多前辈分享的代码实现,本文也借鉴了前辈的诸多思路及代码

在学习DataTable知识之前,我们有必要了解下ADO.NET.以下摘自MSDN: ADO.NET 对 Microsoft SQL Server 和 XML 等数据源以及通过 OLE DB 和 XML 公开的数据源提供一致的访问.数据共享使用者应用程序可以使用 ADO.NET 来连接到这些数据源,并检索.处理和更新所包含的数据.ADO.NET 通过数据处理将数据访问分解为多个可以单独使用或一前一后使用的不连续组件.ADO.NET 包含用于连接到数据库.执行命令和检索结果的 .NET Frame

1. ExcelUtility功能:  1.将数据导出到EXCEL(支持XLS,XLSX,支持多种类型模板,支持列宽自适应)  类名:ExcelUtility. Export  2.将EXCEL数据导入到数据对象中(DataTable.Dataset,支持XLS,XLSX)  类名:ExcelUtility. Import 类库项目文件结构如下图示: 2. ExcelUtility依赖组件:  1.NPOI 操作EXCEL核心类库  2.NPOI.Extend NPOI扩展功能 

以下是NPOI导入导出EXCEL通用类,是在别人的代码上进行优化的,兼容xls与xlsx文件格式,供参考,可直接使用在WinForm项目中,由于XSSFWorkbook类型的Write方法限制,Write完成后就自动关闭流数据,所以无法很好的支持的Web模式,网上目前也未找到好的解决方案,大家如果有知道的还请告之,谢谢! 注意:若直接使用在WinForm项目中,必需先下载并在项目中引用NPOI2.0或以上版本的组件才可以正常使用,下载地址:http://npoi.codeplex.com/rel

原文地址:http://www.cnblogs.com/moss_tan_jun/archive/2010/09/20/1832131.html 得到DataTable 得到DataTable有许多方法,下面简单罗列出来: 1.2.1通过构造函数得到DataTable DataTable() 不带参数初始化DataTable 类的新实例. DataTable(string tableName) 用指定的表名初始化DataTable 类的新实例. DataTable(string tableNam

概述 NPOI 是 POI 项目的 .NET 版本.POI是一个开源的Java读写Excel.WORD等微软OLE2组件文档的项目.NPOI 可以在没有安装 Office 或者相应环境的机器上对 WORD/EXCEL 文档进行读写,包含了大部分EXCEL的特性(单元格样式.数据格式.公式等等).(复制百度百科) 表格导入导出的操作经常会碰到,最近抽空专门封装了一下. 遵循的原则: 1. 一行数据对应一个数据实体,需提供它们二者间的映射关系. 2. 支持合并单元格的导入导出(导出数据只支持竖向合并

关于NPOI NPOI是POI项目的.NET版本,是由@Tony Qu(http://tonyqus.cnblogs.com/)等大侠基于POI开发的,可以从http://npoi.codeplex.com/下载到它的最新版本.它不使用Office COM组件(Microsoft.Office.Interop.XXX.dll),不需要安装Microsoft Office,支持对Office 97-2003的文件格式,功能比较强大.更详细的说明请看官方网站. 它的以下一些特性让我相当喜欢: 支持对

最近需要频繁的使用导入导出,各么,又不想使用ms的PIA,在4.0以下,存在版本兼容的问题. 于是网上查找了很久,找到两款开源的excel组件. 1.CSharpJExcel,这是JExcel的.net版本,但是只支持到2003,也就是xls格式. 2.NPOI,这是一款国人写的开源组件,功能挺好,就是代码看着有点乱~尤其是xlsx段.优点在于demo比较详细 不管如何,先用了再说. 贴一段改过的helper类 /*****************************************

上篇博客中介绍了批量导入数据库的方法:下面介绍一下批量导入过程的核心——SqlBulkCopy类. 下面先介绍一些原理性的东西:SQLBulkCopy类,通常用于数据库之间大批量的数据传递.即使表结构完全不同,也可以通过字段间的对应关系,将数据导进去.需要注意的是,只能导入到SQL Server数据库中.相比SQLServer的Insert语句, SqlBulkCopy 有着明显的性能优势.数据源不限于 SQL Server:可以使用任何数据源,只要数据可加载到DataTable 或可使用IDa

上一篇 / 下一篇  2009-07-27 00:14:16 / 个人分类:qtp 查看( 575 ) / 评论( 0 ) / 评分( 0 / 0 ) 下面的代码可能有点乱,基本涉及到常用的datatable操作,所以个人全攻略1,是还有内容有待研究. 如果要一起研究的,复制粘贴下就可以了,只要新增一个action2.在action1上附加一个新的命名为action2 希望朋友们都一起发表下言论,我们一起研究下. Acion1: RunAction "action2", oneIter

导入excle数据 1.if (File.Exists(strFileName)) // 当文件存在时             {                 m_fileName = strFileName;             }             else             {                 throw new Exception(string.Format("文件:[{0}] 不存在!", m_fileName));            

6万笔数据瞬间导入进DB 命名空间 using NPOI.HSSF.UserModel; using NPOI.XSSF.UserModel; //Filename为文件路径 public JsonResult ConsumptionUploadcoupon(string filename) { CouponManageBLL _bll = new CouponManageBLL(); var result = new Result<string>(); result.flag = false

1.首先 导入DataTable 的插件 2.定义表结构: HTML: <table> <thead> <tr> <th>id</th> <th>任务名称</th> <th>状态</th> </tr> </thead> <tbody> </tbody> </table> JS: var myparas = "?stime=&quo

1.文件上传下载(MVC应用) 视图:form表单,编码方式为multipart/form-data <body> <div> <form action="/Demo/FileUpload" enctype="multipart/form-data" method="post"> <input id="f1" type="file" name="f1&qu