Asp.net并发请求导致的数据重复插入问题

前段时间工作中，有客户反应了系统中某类待办重复出现两次的情况。我核实了数据之后，分析认为是并发请求下导致的数据不一致性问题，并做了重现。其实这并不是一个需要频繁调用的功能，但是客户连续点击了两次，导致出现了并发问题。除了前端优化，这里重点探讨后台方面代码层面的处理，最终解决问题。

一、情景分析

Asp.net程序部署Web服务，是多主线程并发执行的，当多个用户请求进入同一个后台函数时，后进入的请求有可能会获取到非最新状态的数据。

结合我遇到的实际情况举个例子，假设后台函数Func1，先读取表TableA,TableB的数据，进行处理后，存入TableB中，而数据库事务执行会在函数结束前才提交。请求Req1执行Func1提交事务之前，Req2又进入Func1并读取了TableA，TableB的数据，这时Req1执行完成，这就相当于Req2拿到的已经是旧的数据，在旧的数据的基础上再做数据处理操作，结果自然不正确了。

说到这里，你可能还不能想象具体会出现什么问题，而确实这种并发情况在非幂等功能下才会导致数据错误，下面就举实例说明。

二、实例重现

现在有数据表Info，Info2，Info2的数据就是基于Info表数据产生的，两个表都有字段-证件号码IdentNo。

函数SyncWork()的功能为：

1，读取Info表和Info2表中共同的IdentNo行数据，将Info表中的其它字段同步到Info2表；

2，读取Info表中有，而Info2表中没有的IdentNo行数据，将这些数据插入Info2表。

表实体代码实现如下：

     /// <summary>
     /// 信息表
     /// </summary>
     public class Info
     {
         public int Id { get; set; }
         /// <summary>
         /// 证件号码
         /// </summary>
         public string IdentNo { get; set; }
         /// <summary>
         /// 姓名
         /// </summary>
         public string Name { get; set; }
         /// <summary>
         /// 爱好
         /// </summary>
         public string Hobby { get; set; }
         /// <summary>
         /// 备注信息
         /// </summary>
         public string Bz { get; set; }
     }

     /// <summary>
     /// 信息表2
     /// </summary>
     public class Info2
     {
         public int Id { get; set; }
         /// <summary>
         /// 证件号码
         /// </summary>
         public string IdentNo { get; set; }
         /// <summary>
         /// 姓名
         /// </summary>
         public string Name { get; set; }
         /// <summary>
         /// 爱好
         /// </summary>
         public string Hobby { get; set; }
         /// <summary>
         /// 创建时间
         /// </summary>
         public DateTime CreateTime { get; set; }
         /// <summary>
         /// 最后修改时间
         /// </summary>
         public DateTime? UpdateTime { get; set; }
         /// <summary>
         /// 评分
         /// </summary>
         public int? Score { get; set; }
     }

SyncWork()代码实现如下，代码中加入了辅助的输出信息：

         public static string SyncWork()
         {
             StringBuilder sb = new StringBuilder();
             //
             int threadId = Thread.CurrentThread.ManagedThreadId;
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}.线程Id：{threadId}");
             //
             MyDbContext db = new MyDbContext();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}.db初始化");
             //新增数据
             var dataToAdd = db.Info.Where(x => !db.Info2.Select(y => y.IdentNo).Contains(x.IdentNo))
                 .ToList();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}.获取待新增数据{dataToAdd.Count}条");
             dataToAdd.ForEach(x =>
             {
                 var info2 = new Info2
                 {
                     IdentNo = x.IdentNo,
                     Name = x.Name,
                     Hobby = x.Hobby,
                     CreateTime = DateTime.Now
                 };
                 db.Info2.Add(info2);
             });
             //更新原有数据
             var dataToEdit = db.Info.AsQueryable().Join(db.Info2.AsQueryable(), m => m.IdentNo, n => n.IdentNo,
                 (m, n) =>  new
                 {
                     info = m,
                     info2 = n
                 })
                 .ToList();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}获取待更新数据{dataToEdit.Count}条");
             dataToEdit.ForEach(x =>
             {
                 x.info2.Name = x.info.Name;
                 x.info2.Hobby = x.info.Hobby;
                 x.info2.UpdateTime = DateTime.Now;
             });
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}开始休眠5s");
             Thread.Sleep();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveBegin");
             db.SaveChanges();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveEnd");
             return sb.ToString();
         }

里边的这几行代码就是问题重现的重点了：

             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}开始休眠5s");
             Thread.Sleep();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveBegin");
             db.SaveChanges();
             sb.AppendLine($"{DateTime.Now.ToString("HH:mm:ss:fff")}dbSaveEnd");

在db提交之前，我们让此线程休眠了5s，以模仿现实中一些耗时的操作。这5s期间可能有后续的N个新请求线程进入此函数，那么这些线程获取的数据都会是同样的旧数据了。第一个执行完函数的线程，提交了更改，而后续这些线程再提交的更改，便是基于旧的数据做的更改了。

下面开始重新问题，我们执行一次请求，两表数据情况分别如下：

然后，Info表中新增了一条数据：

这时，我们再执行请求，预期结果应该将行003老虎的数据添加到Info2中，但是我们现在模拟并发，连续调用2次请求看看结果：

可以看到，居然将003老虎的数据插入了两次。这就是并发带来的副作用了。

附上两次请求的辅助输出信息：

 //Request1
 :::.线程Id：
 :::.db初始化
 :::.获取待新增数据1条
 :::.获取待更新数据2条
 :::.开始休眠5s
 :::.dbSaveBegin
 :::.dbSaveEnd
 //Request2
 :::.线程Id：
 :::.db初始化
 :::.获取待新增数据1条
 :::287.获取待更新数据2条
 :::287.开始休眠5s
 :::287.dbSaveBegin
 :::339.dbSaveEnd

三、问题解决

既然问题是并发请求导致的，而这个功能不是需要频繁调用的功能，最简便的解决方法就是，我们可以设置此功能同一时间只能由一个线程来访问，即通过lock()的方式。

最终实现代码如下：

     public class InfoSync
     {
         private static object syncObject = new object();
         public static string Sync()
         {
             lock (syncObject)
             {
                 return SyncWork();
             }
         }
         private static string SyncWork()
         {
             //...
         }
     }

同时贴出示例控制器的简单实现：

     public class DataController : Controller
     {
         // GET: Data
         public ActionResult Index()
         {
             try
             {
                 var str = InfoSync.Sync();
                 return Content(str);
             }
             catch (Exception ex)
             {
                 return Content($"程序发生错误：{ex.Message}\n内部错误：{ex.InnerException.Message}");
             }
         }
     }

四、总结

类似文中数据同步并发情况的实际应用情况还有很多，比如系统有时会需要产生编号，我们会访问数据库中这类编号的最新值，然后计算出下一个编号值，如果不处理并发情况，业务量大时可能就会出现重复编号了。

本文中，针对这类请求并发问题，通过代码锁的方式，将特定功能的并发请求执行转化为队列请求执行，从而避免了问题的发生。

当然，处理并发还有其它途径，如通过数据库锁的方式，再如分布式部署情况下，我们用代码锁的方式也会失效了，实际工作中还需要根据具体情况采用最小代价成本的处理方式。

--End