1、全部数据读取到内存,

不要使用string,而是使用stringbuilder,stringbuilder的效率非常高

2、添加到数据库

不要使用excute,而是使用事务,几百万条数据会请求数据库几百万次,而使用事务,只请求一次,速度提高几百万倍

  string file = fileDialog.FileName;//返回文件的完整路径
SqliteHelper.ExecuteNonQuery("delete from BaseData");
StreamReader sr = new StreamReader(file, Encoding.Default);
string content;
StringBuilder sql = new StringBuilder();
int count = ;
int num = ;
DateTime starttime = DateTime.Now;
var a = sr.ReadToEnd();
List<string> resultList = a.Split('.').ToList();
List<BaseData> baseDatas = new List<BaseData>();
List<string> sqlString = new List<string>();
Thread thread = new Thread(() =>
{
foreach (var item in resultList)
{
var c = item.Replace("\r\n", "");
if (string.IsNullOrEmpty(c))
continue;
List<string> str =c .Split(',').ToList(); if (str.Count() > )
{
//Console.WriteLine(content.ToString());
// sql.AppendLine($"INSERT INTO BaseData ( ProductCode,XinHao,Sku) values ('{str[0]}','{str[1]}','{str[2]}');"); sqlString.Add($"INSERT INTO BaseData ( ProductCode,XinHao,Sku) values ('{str[0]}','{str[1]}','{str[2]}');");
num++;
// baseDatas.Add(new BaseData() { ProductCode = str[0], XinHao = str[1], Sku = str[2]});
//count++;
//label1.Text = $"{count}条"; //if (num % 5000 == 0)
//{
// //count += DapperHelper<BaseData>.insertDbBatch2(baseDatas);
// //count += DapperHelper<BaseData>.ExecuteTransaction(sqlString);
// count += DapperHelper<BaseData>.insertDbBatch3(sqlString);
// sqlString.Clear();
// sql.Clear();
// num = 0;
// baseDatas.Clear(); //}
DateTime endtime = DateTime.Now;
label2.Text = $"{(endtime - starttime).TotalSeconds}秒"; }
} if (sqlString.Any())
{ // count += SqliteHelper.ExecuteNonQuery(sql.ToString());
//count += DapperHelper<BaseData>.insertDbBatch(sql.ToString());
// count += DapperHelper<BaseData>.Execute(sql.ToString(),null); ;
count += DapperHelper<BaseData>.insertDbBatch3(sqlString);
DateTime endtime = DateTime.Now;
label2.Text = $"{(endtime - starttime).TotalSeconds}分";
if (count > )
MessageBox.Show("保存成功");
else
MessageBox.Show("保存失败");
}
});
thread.Start(); }
  public static int insertDbBatch3(List<string> sqlList)
{ SQLiteConnection conn = new SQLiteConnection(connectionString);
conn.Open();
SQLiteCommand cmd = new SQLiteCommand(conn);
SQLiteTransaction trans = conn.BeginTransaction(); // <-------------------
cmd.Transaction = trans;
int cnt = ;
try
{ foreach (var sql in sqlList)
{
cmd.CommandText = sql;
cnt += cmd.ExecuteNonQuery();
} trans.Commit();
}
catch (Exception ex)
{
throw ex;
}
finally
{
if (conn.State == ConnectionState.Open)
{
conn.Close();
} }
return cnt;
}

.NET 一次读取几百条数据优化,从原来30分钟优化到30秒的更多相关文章

  1. element ui 渲染超过上百条数据时页面卡顿,更流畅的加载大量数据

    问题:element ui table渲染上百条数据,页面渲染开始出现延时 解决方案:使用pl-table 注意:设置use-virtual并给定table高度

  2. Java 线程池 +生产者消费者+MySQL读取300 万条数据

    1.1需求 数据库300 万条用户数据 ,遍历获取所有用户, 各种组合关联, 获取到一个新的json ,存到redis 上. 1.2 难点 数据库比较多, 不可能单线程查询所有的数据到内存. 1.3解 ...

  3. 极限挑战—C#+ODP 100万条数据导入Oracle数据库仅用不到1秒

    链接地址:http://www.cnblogs.com/armyfai/p/4646213.html 要:在这里我们将看到的是C#中利用ODP实现在Oracle数据库中瞬间导入百万级数据,这对快速批量 ...

  4. JAVA从文本文件(txt)读取一百万条数据保存到数据库

    Java读取大文本文件保存到数据库 1.追求效率 将文件读取到内存,效率比较高,经过测试读取1G左右的文本文件,机器内存消耗达到接近3个G,对内存消耗太大,不建议使用 2.通过调用第三方类库实现 通过 ...

  5. php使用cvs导出百万条数据,大量数据

    MySQL CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(45) NOT NULL DEFAUL ...

  6. 转: 从Mysql某一表中随机读取n条数据的SQL查询语句

    若要在i ≤ R ≤ j 这个范围得到一个随机整数R ,需要用到表达式 FLOOR(i + RAND() * (j – i + 1)).例如, 若要在7 到 12 的范围(包括7和12)内得到一个随机 ...

  7. jdbc读取百万条数据出现内存溢出的解决办法

    本人在做项目实施时,我们使用的是mysql数据库,在不到一个月的时间已经有了2千万条数据,查询的时候非常慢,就写了一个数据迁移的小项目,将这两千万条数据存放到MongoDB中看效率怎么样,再读取数据时 ...

  8. 从Mysql某一表中随机读取n条数据的SQL查询语句

    若要在i ≤ R ≤ j 这个范围得到一个随机整数R ,需要用到表达式 FLOOR(i + RAND() * (j – i + 1)).例如, 若要在7 到 12 的范围(包括7和12)内得到一个随机 ...

  9. SQL Server分页语句ROW_NUMBER,读取第4页数据,每页10条

    SQL Server分页语句ROW_NUMBER,读取第4页数据,每页10条 SELECT Id,[Title],[Content],[Image] FROM ( SELECT ROW_NUMBER( ...

随机推荐

  1. 「CH6202」黑暗城堡

    「CH6202」黑暗城堡 传送门 这道题是要让我们求以点 \(1\) 为源点的最短路树的方案数. 我们先跑一遍最短路,然后考虑类似 \(\text{Prim}\) 的过程. 当我们把点 \(x\) 加 ...

  2. 偶然遇见:Cayley定理

    看到\(purfer\)序列板子后,想到这个名词在哪见过,于是找到了一个题,还带出一个: \(T1\). 题目链接:P4430 小猴打架 开始极其懵逼,考虑过大力容斥,但还是失败了,原来是: Cayl ...

  3. 如何在Java中测试类是否是线程安全的

    通过优锐课的java核心笔记中,我们可以看到关于如何在java中测试类是否线程安全的一些知识点汇总,分享给大家学习参考. 线程安全性测试与典型的单线程测试不同.为了测试一个方法是否是线程安全的,我们需 ...

  4. IOS UIKIT_EXTERN, __attribute__((visibility ("default"))) 是啥玩意?

    问题提出 在学习IOS时候,碰到一个函数NSStringFromCGPoint (UIGeometry.h) 其原型是 UIKIT_EXTERN NSString *NSStringFromCGPoi ...

  5. SQL SERVER查询数据库所有的表名/字段

    SELECT * FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME='subject' --表名 1.利用sysobjects系统表 在这个表中,在数据 ...

  6. Mac如何升级自带的vim

    brew install vim --with-lua --with-override-system-vi brew install macvim --with-lua --with-override ...

  7. Vue.js事件处理

    Vue.js事件处理 1.v-on指令 用法如下:使用v-on:指令指定其执行的具体内容或者方法名即可. <button v-on:click='num++'>giao</butto ...

  8. kali打开networkmanager

    有时候可能在用网卡时,或者是其他情况下关闭了networkmanager,而要管理网络这个又是必须的,需要我们手动打开. 没有网络管理器是这样的: 有管理器是这样的: 不多废话了,用命令/etc/in ...

  9. synchronized和锁(ReentrantLock) 区别

    synchronized和锁(ReentrantLock) 区别 java的两种同步方式, Synchronized与ReentrantLock的区别 并发(一):理解可重入锁 可重入锁和不可重入锁 ...

  10. 用BusyBox制作Linux最小系统

    1.下载busybox-1.30.1 地址:https://busybox.net/downloads/busybox-1.30.1.tar.bz2 2.解压:tar xvf busybox-1.30 ...