老系统优化同步导入10w+Excel数据 秒级

1. 背景：老系统asp.net 2.0项目使用客户反应，某个业务每个月导入数据操作很慢，大致需要15-30分钟才会导入完毕；
2. 分析：导入慢的原因：

 .数据量过大，且采用的是同步，单个excel sheet 13万+数据；

 .导入前验证，每行某列 验证，频繁和数据库交互

 .使用很老的微软企业库进行批量插入操作，效率低下 ，插入后，又批量进行执行sql修改操作  ；

3 解决方案：

                 修改excel转table 的方案由OpenXMLHelper 转换变为 NPOI；

                  

   public class NPOIHelper
     {
         /// <summary>
         /// 将excel导入到datatable
         /// </summary>
         /// <param name="filePath">excel路径</param>
         /// <param name="isColumnName">第一行是否是列名</param>
         /// <returns>返回datatable</returns>
         public DataTable ExcelToDataTable(string filePath, bool isColumnName)
         {
             DataTable dataTable = null;
             FileStream fs = null;
             DataColumn column = null;
             DataRow dataRow = null;
             IWorkbook workbook = null;
             ISheet sheet = null;
             IRow row = null;
             ICell cell = null;
             int startRow = ;
             try
             {
                 using (fs = File.OpenRead(filePath))
                 {
                     // 2007版本
                     if (filePath.IndexOf(".xlsx") > )
                         workbook = new XSSFWorkbook(fs);
                     // 2003版本
                     else if (filePath.IndexOf(".xls") > )
                         workbook = new HSSFWorkbook(fs);

                     if (workbook != null)
                     {
                         sheet = workbook.GetSheetAt();//读取第一个sheet，当然也可以循环读取每个sheet
                         dataTable = new DataTable();
                         if (sheet != null)
                         {
                             int rowCount = sheet.LastRowNum;//总行数
                             if (rowCount > )
                             {
                                 IRow firstRow = sheet.GetRow();//第一行
                                 int cellCount = firstRow.LastCellNum;//列数

                                 //构建datatable的列
                                 if (isColumnName)
                                 {
                                     startRow = ;//如果第一行是列名，则从第二行开始读取
                                     for (int i = firstRow.FirstCellNum; i < cellCount; ++i)
                                     {
                                         cell = firstRow.GetCell(i);
                                         if (cell != null)
                                         {
                                             if (cell.StringCellValue != null)
                                             {
                                                 column = new DataColumn(cell.StringCellValue);
                                                 dataTable.Columns.Add(column);
                                             }
                                         }
                                     }
                                 }
                                 else
                                 {
                                     for (int i = firstRow.FirstCellNum; i < cellCount; ++i)
                                     {
                                         column = new DataColumn("column" + (i + ));
                                         dataTable.Columns.Add(column);
                                     }
                                 }

                                 //填充行
                                 for (int i = startRow; i <= rowCount; ++i)
                                 {
                                     row = sheet.GetRow(i);
                                     if (row == null) continue;

                                     dataRow = dataTable.NewRow();
                                     for (int j = row.FirstCellNum; j < cellCount; ++j)
                                     {
                                         cell = row.GetCell(j);
                                         if (cell == null)
                                         {
                                             dataRow[j] = "";
                                         }
                                         else
                                         {
                                             //CellType(Unknown = -1,Numeric = 0,String = 1,Formula = 2,Blank = 3,Boolean = 4,Error = 5,)
                                             switch (cell.CellType)
                                             {
                                                 case CellType.BLANK:
                                                     dataRow[j] = "";
                                                     break;
                                                 case CellType.NUMERIC:
                                                     short format = cell.CellStyle.DataFormat;
                                                     //对时间格式（2015.12.5、2015/12/5、2015-12-5等）的处理
                                                     if (format ==  || format ==  || format ==  || format == )
                                                         dataRow[j] = cell.DateCellValue;
                                                     else
                                                         dataRow[j] = cell.NumericCellValue;
                                                     break;
                                                 case CellType.STRING:
                                                     dataRow[j] = cell.StringCellValue;
                                                     break;
                                             }
                                         }
                                     }
                                     if (dataRow == null)  Logger.Write(string.Format("转换行失败，行数为：{0}", i.ToString()));
                                     dataTable.Rows.Add(dataRow);
                                 }
                             }
                             else
                             {
                                 Logger.Write(string.Format("转换datarow完毕,行数：{0}", rowCount.ToString()));
                             }
                         }
                     }
                     else
                     {
                         Logger.Write("转换workbook 为空");
                     }
                 }
                 return dataTable;
             }
             catch (Exception ex)
             {
                 Logger.Write(string.Format("转换失败,异常：{0}", ex.ToString()));
                 if (fs != null)
                 {
                     fs.Close();
                 }
                 return null;
             }
         }
     }

NPOI

去掉excel的输入验证，由于只是验证数据库是否存在该编码，所以改为由存储过程内连接过滤

                         批量插入修改为使用 SqlBulkCopy，首先创建一张临时表存储需要插入的excel数据（未过滤）

 public int CreateTempTable()
        {
            string createSql = @"
                    IF  EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[Temp_gdzc]') AND type in (N'U'))
                    delete FROM [dbo].[Temp_gdzc]
                    IF Not EXISTS (SELECT * FROM sys.objects WHERE object_id = OBJECT_ID(N'[dbo].[Temp_gdzc]') AND type in (N'U'))
                    BEGIN
                    CREATE TABLE [dbo].[Temp_gdzc](
                        [公司代码] [nvarchar](100) NULL,
                        [资产编号] [nvarchar](100) NULL,
                        [资产次级编号] [nvarchar](100) NULL,
                        [资产描述] [nvarchar](255) NULL,
                        [资产管理序列号] [nvarchar](100) NULL,
                        [资本化日期] [datetime] NULL,
                        [资产原值] [float] NULL,
                        [资产累计折旧] [float] NULL,
                        [资产净值] [float] NULL
                    )
                    end
            ";

            return BusinessRules.Common.SqlHelperBatch.ExecuteNonQuery(createSql, new SqlParameter[] { });

        }

创建临时表

 然后根据临时表 和 要插入的表的数据内关联过滤无效数据，调用存储过程使用 Insert into  select 插入；

         //调用存储过程插入明细表
                 var parameters = new List<SqlParameter>();
                 parameters.Add(new SqlParameter("@MainID", SqlDbType.BigInt, ) { Value = Mainid });
                 parameters.Add(new SqlParameter("@CloseDate", SqlDbType.DateTime) { Value = closeTemp });
                 SqlParameter outParameter = new SqlParameter("@ResultCount", SqlDbType.Int, );
                 outParameter.Direction = ParameterDirection.Output;
                 parameters.Add(outParameter);

                 var result = BusinessRules.Common.SqlHelperBatch.ExecuteNonQuery(tran, CommandType.Text, "exec P_AssetBalanceQuiry_Insert @MainID, @CloseDate,@ResultCount out", parameters.ToArray());
                 count = Convert.ToInt32(outParameter.Value == DBNull.Value ?  : outParameter.Value);

调用

存储过程如下：

CREATE PROCEDURE [dbo].[P_AssetBalanceQuiry_Insert]
 @MainID int ,
 @CloseDate datetime,
 @ResultCount int=0 output
AS
BEGIN
 INSERT INTO T_AssetBalanceQuiry
 (
  CloseDate,CompanyCode,AssetsCode,AssetsDescribtion,
  AssetsNumber,CapitalizationDate,AssetsOldValue,AssetsDepreciation,
  AssetsNetWorth,ServiceLife,AssetsType,Main_ID,AssetsCode_sub,Status
 )
 select @CloseDate,公司代码,CONVERT(decimal(18, 0), 资产编号),资产描述,
 管理序列号,资本化日期,资产原值,资产累计折旧,
 资产净值, datediff(mm,资本化日期,getdate()),AS_PrimaryNo,@MainID,资产次级编号,null
 from  dbo.Temp_gdzc
 inner join T_Asset on 资产管理序列号 = AS_MSNO;
 select @ResultCount = count(1) from T_AssetBalanceQuiry where Main_ID = @MainID;
 update T_AssetBalanceMain SET AssetsCount = @ResultCount where ID = @MainID;
END  

批量插入存储过程

最后批量修改再使用 存储过程 执行关联修改；

CREATE PROCEDURE [dbo].[P_T_UpdateA]
  @MainID int
AS
BEGIN
  UPDATE T1 SET A=C from T2
where A1= B1 AND Main_ID = @MainID
END  

批量修改

需要注意的地方则是：批量插入时，主表ID需要记录，由于是一次操作，只会有一个主表ID，所以会先插入主表，得到主表ID，再批量插入从表；

最终优化操作时间由10分钟 到5-10秒；