现在对数据库(以MySql为例)的操作大多会封装成一个类,如下例所示:

 namespace TESTDATABASE
{
public enum DBStatusCode { ALL_OK, MySqlExcuteErr }
public class TestDB
{
private string hostIp;
private string dbName;
private string dbUser;
private string dbPasswd;
private MySqlConnection dbConn; public TestDB()
{
this.initConn();
}
~TestDB()
{
dbConn.Dispose();
}
void initConn()
{
dbName = "testDB";
hostIp = "127.0.0.1";
dbUser = "root";
dbPasswd = "root";
string connString; // Connection string。数据库连接字符串大全:http://www.connectionstrings.com/
connString = "SERVER=" + hostIp + ";" + "DATABASE=" +
dbName + ";" + "UID=" + dbUser + ";" + "PASSWORD=" + dbPasswd + ";";
dbConn = new MySqlConnection(connString);
}
// Open connection
public void openConn()
{
if (dbConn.State == ConnectionState.Closed)
dbConn.Open();
}
// Close connection
public void closeConn()
{
if (dbConn.State == ConnectionState.Open)
dbConn.Dispose();
}
// Insert
public DBStatusCode insertTest(ItermList itemList)
{
DBStatusCode flag = DBStatusCode.ALL_OK;
openConn();
string cmdText = "insert into testTable (c1, c2, c3, c4)"
+ "VALUES (@c1, @c2, @c3, @c4)";
MySqlCommand cmd = new MySqlCommand(cmdText, dbConn);
try
{
foreach (Item item in itemList)
{
cmd.Parameters.Clear(); // it is needed
cmd.Parameters.AddWithValue("@c1", item.c1);
cmd.Parameters.AddWithValue("@c2", item.c2);
cmd.Parameters.AddWithValue("@c3", item.c3);
cmd.Parameters.AddWithValue("@c4", item.c4);
cmd.ExecuteNonQuery();
}
}
catch (Exception ex)
{
flag = DBStatusCode.MySqlExcuteErr;
}
finally
{
cmd.Dispose();
}
closeConn();
return flag;
}
}
}

  上边例子涉及到对MySql数据库的数据导入。可以看出(56~60),每循环一次,就会对数据库插入一次。当数据量比较小时,可能还看不出软件的卡顿现象;当数据量很大时,整个软件可能就会卡住几分钟了。所以,我们最好是当所有数据都准备好时,再一次性向数据库定入,以减少插入次数,以最终减少数据导入时间。而且,我们还想,在数据库插入失败的情况下还能够回滚。下边是改进的函数:

     // Insert
public DBStatusCode insertTest(ItermList itemList)
{
DBStatusCode flag = DBStatusCode.ALL_OK;
openConn();
string cmdText = "insert into testTable (c1, c2, c3, c4)"
+ "VALUES (@c1, @c2, @c3, @c4)";
MySqlCommand cmd = new MySqlCommand(cmdText, dbConn);
MySqlTransaction tx = this.dbConn.BeginTransaction();
cmd.Transaction = tx;
try
{
foreach (Item item in itemList)
{
cmd.Parameters.Clear(); // it is needed
cmd.Parameters.AddWithValue("@c1", item.c1);
cmd.Parameters.AddWithValue("@c2", item.c2);
cmd.Parameters.AddWithValue("@c3", item.c3);
cmd.Parameters.AddWithValue("@c4", item.c4);
cmd.ExecuteNonQuery();
}
tx.Commit();
}
catch (Exception ex)
{
flag = DBStatusCode.MySqlExcuteErr;
tx.Rollback();
}
finally
{
cmd.Dispose();
}
closeConn();
return flag;
}

  这里的改进可以说还只是初步的。当数据特别大时,这种方法就会出问题了。因为计算机要一次性把非常多的数据插入到数据库,有可能因为内存不足等原因而导致最终导入时间过长等。所以,在有一些情况下,我们还得分批提交(tx.Commit()),例如每1000个数据提交一次,这样就能够大大减轻计算机和数据库负担了。

  关于MySql事务介绍资料:

  MySQL 事务

  说说MySQL中的事务

  关于批量插入数据,可参考的资源还有:

  MySQL大量数据插入各种方法性能分析与比较

  在C#中完成海量数据的批量插入和更新

  [C#][SQL SERVER] 提高 Insert 效能

  .NET 批量插入数据,DataSet, SqlDataAdapter.Update

  datatable 使用SqlDataAdapter.Update批量插入更新数据

"C#":MySql批量数量导入的更多相关文章

  1. mysql批量数据导入探究

    最近工作碰到一个问题,如何将大量数据(100MB+)导入到远程的mysql server上. 尝试1: Statement执行executeBatch的方法.每次导入1000条记录.时间为12s/10 ...

  2. MySQL批量导入Excel数据

    MySQL批量导入Excel数据 1.确定需要导入数据的表名称以及字段,然后在新建的Excel表中,按照表字段正确排序:(注:(Excel文件的名称最好和数据库的名称一致,sheet表的名字最好和表名 ...

  3. MySQL批量导入Excel、txt数据

    MySQL批量导入Excel.txt数据 我想Excel是当今最大众化的批量数据管理软件了吧,所以我们会经常涉及到将Excel中数据导入到MySQL中的工作.网上有一些关于直接将Excel导入MySQ ...

  4. 文件批量加密重命名--python脚本AND mysql命令行导入数据库

    在考试中学生交上来的报告,需要进行一下文件名加密,这样阅卷老师就不知道是谁的报告了 在百度帮助下,完成了加密和解密脚本, 加密 #!/usr/bin/python # -*- coding: utf- ...

  5. 【转】MySQL批量SQL插入各种性能优化

    原文:http://mp.weixin.qq.com/s?__biz=MzA5MzY4NTQwMA==&mid=403182899&idx=1&sn=74edf28b0bd29 ...

  6. 高并发简单解决方案————redis队列缓存+mysql 批量入库(ThinkPhP)

    问题分析 问题一:要求日志最好入库:但是,直接入库mysql确实扛不住,批量入库没有问题,done.[批量入库和直接入库性能差异] 问题二:批量入库就需要有高并发的消息队列,决定采用redis lis ...

  7. 转载:【高并发简单解决方案 | 靠谱崔小拽 】redis队列缓存 + mysql 批量入库 + php离线整合

    需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中:存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮. 问题分析 思考:应用网站架构的衍化过程中,应用最新的框 ...

  8. 完美转换MySQL的字符集 Mysql 数据的导入导出,Mysql 4.1导入到4.0

    MySQL从4.1版本开始才提出字符集的概念,所以对于MySQL4.0及其以下的版本,他们的字符集都是Latin1的,所以有时候需要对mysql的字符集进行一下转换,MySQL版本的升级.降级,特别是 ...

  9. redis 队列缓存 + mysql 批量入库 + php 离线整合

    问题分析 思考:应用网站架构的衍化过程中,应用最新的框架和工具技术固然是最优选择:但是,如果能在现有的框架的基础上提出简单可依赖的解决方案,未尝不是一种提升自我的尝试. 解决: 问题一:要求日志最好入 ...

随机推荐

  1. 【完整的App项目】颖火虫笔记

    这是本人花大概一个星期开发出来的一款App,这是一款类似印象笔记的App,随时记录您的生活点滴.首先说一下自己为何要开发这款App,因为自己手机系统自带的笔记应用功能太low,界面不够漂亮,所以自己就 ...

  2. Spark Scheduler模块源码分析之DAGScheduler

    本文主要结合Spark-1.6.0的源码,对Spark中任务调度模块的执行过程进行分析.Spark Application在遇到Action操作时才会真正的提交任务并进行计算.这时Spark会根据Ac ...

  3. (一二九)获取文件的MineType、利用SSZipArchive进行压缩解压

    MineType 简介 文件在网络上以二进制流的方式传播,为了区分不同的文件类型,用MineType来标明. 为什么要获取 文件的拓展名较短,比较好记,但是MineType是很长的,比如docx拓展名 ...

  4. P2P系统,一致性哈希和DHT

    数据网格产品经常会使用P2P进行通信,借此机会系统地学习一下P2P网络和其资源搜索策略. 1 P2P网络架构 谈到P2P就涉及到一个概念:Overlay Network(覆盖网络).所谓覆盖网络是应用 ...

  5. 看见的力量 – (II) 影响地图

    本文转自台湾的李智桦老师的博客,原文地址 Impact Mapping 真是令人惊艳的可视化工具.等你看完这篇文章,你会爱上它的. 典故 继2011年6月Example of specificatio ...

  6. SSH网上商城---邮件发送

    注册网站账号的时候,都需要发送激活邮件,然后让注册的用户点击激活链接方可完成注册,不过话说回来,为什么注册的时候需要发送邮件呢?为什么不注册的时候直接激活呢?一定要收一封激活帐号的邮件?网站这样做的好 ...

  7. iOS中NSTimer的invalidate调用之后

    大熊猫猪·侯佩原创或翻译作品.欢迎转载,转载请注明出处. 如果觉得写的不好请多提意见,如果觉得不错请多多支持点赞.谢谢! hopy ;) 免责申明:本博客提供的所有翻译文章原稿均来自互联网,仅供学习交 ...

  8. 3.2、Android Studio在物理设备中运行APP

    当你构建一个Android应用时,在发布给用户之前,在物理设备上测试一下你的应用是非常必要的. 你可以使用Android设备作为运行.调试和测试应用的环境.包含在SDK中的工具让你在编译完成后在设备中 ...

  9. 5.QT中关于HTTPClient相关的操作,Json数据传输

     新建项目T12HttpClient T12HttpClient.pro SOURCES += \ main.cpp QT += network CONFIG += C++11 main.cpp ...

  10. [ExtJS5学习笔记]第二节 Sencha Cmd 学习笔记 使你的sencha cmd跑起来

    本文地址: http://blog.csdn.net/sushengmiyan/article/details/38313537 本文作者:sushengmiyan ----------------- ...