记录EntityFramework增删改产生的SQL语句
项目里遇到一个数据交换的需求,申报端和审批端的系统和数据库都不在同一个网段;甲方提供一个msmq队列;我们把申报和审批产生的变化数据用sql记录到xml报文中,通过交换xml文件再解析出sql语句来实现数据同步。
我们用的数据库是sqlserver,orm框架是EntityFramework。这就需要在每次提交增删改数据的时候都记录下操作数据库的sql。起初想用DbCommandInterceptor来拦截每个DbCommand中的CommandText,但是测试下来有个问题没能解决。业务中的数据基本都是批量提交的,而DbCommandInterceptor每次拦截到的都是单个命令,这样我就不能识别哪些CommandText是在同一个提交中产生的,这样就没法保证批量提交、事务提交中的若干条sql在交换到另外一端的时候也是批量执行的。
另一种尝试。后来在上下文对象DbContext中找到了ChangeTracker,ChangeTracker里面的Entries是一个集合数据类型,每次Commit时有变化的数据都在这个Entries里面,遍历Entries时发现有State这个字段,State的值是一种枚举类型,Detached、Unchanged、Added、Deleted、Modified增删改都在里面了,于是有了办法。每次commit数据前,遍历context.ChangeTracker.Entries(),判断每个实体的变化状态按insert,delete,update不同分别生成sql。生成sql需要反射拿到每个实体的表名,字段名,还有数据类型,在ColumnAttribute类型里面都有。
DbUtils类的重要方法说明:

核心类:
public class DbUtils
{
/// <summary>
/// 生成context里做了增删改操作的sql
/// </summary>
public List<string> CreateEditSql(DbContext context)
{
if (context == null) throw new ArgumentNullException("参数context为null");
List<string> list = new List<string>();
var ents = context.ChangeTracker.Entries();
if (ents != null)
{
foreach (var ent in ents)
{
string sql = null;
if (ent.State == EntityState.Added)
{
Type type = ent.Entity.GetType();
sql = CreateInsertSql(type, ent.Entity);
}
else if (ent.State == EntityState.Modified)
{
//如果dbcontext的ProxyCreationEnabled属性为true,则这里取到的type可能是System.Data.Entity.DynamicProxies.xxx类型的,要再取BaseType才是对应的实体的类型
//Type type = ent.Entity.GetType().BaseType;
//关闭ProxyCreationEnabled后这里取到的type就是实体本身的类型
//关闭ProxyCreationEnabled可在构造中设置Configuration.ProxyCreationEnabled = false;
Type type = ent.Entity.GetType();
sql = CreateUpdateSql(type, ent.Entity);
}
else if (ent.State == EntityState.Deleted)
{
//如果dbcontext的ProxyCreationEnabled属性为true,则这里取到的type可能是System.Data.Entity.DynamicProxies.xxx类型的,要再取BaseType才是对应的实体的类型
//Type type = ent.Entity.GetType().BaseType;
//关闭ProxyCreationEnabled后这里取到的type就是实体本身的类型
//关闭ProxyCreationEnabled可在构造中设置Configuration.ProxyCreationEnabled = false;
Type type = ent.Entity.GetType();
sql = CreateDeleteSql(type, ent.Entity);
}
if (sql.IsNotNullOrEmpty()) list.Add(sql);
}
}
return list;
} private string CreateInsertSql(Type type, object ent)
{
if (ent == null) return null;
string sql = null;
//判断正在操作的数据是不是从项目的基础类型继承的
if (typeof(BaseEntity).IsAssignableFrom(type))
{
List<AttrInfo> list = GetAttrInfos(ent);
var attrs = list.Where(l => l.AttrValue != null);
var kv = attrs.Select(a => new SqlKeyValue { FieldName = a.AttrName, FieldValue = GetSqlCodeValue(a.DbType, a.AttrValue) });
string names = kv.Select(k => k.FieldName).Aggregate((a, b) => $"{a},{b}");
string values = kv.Select(k => k.FieldValue).Aggregate((a, b) => $"{a},{b}");
sql = $"insert into {GetTableName(type)}({names}) values({values})";
}
return sql;
} private string CreateUpdateSql(Type type, object ent)
{
if (ent == null) return null;
string sql = null;
//判断正在操作的数据是不是从项目的基础类型继承的
if (typeof(BaseEntity).IsAssignableFrom(type))
{
string guid = GetPk(ent);
if (guid.IsNotNullOrEmpty())
{
List<AttrInfo> list = GetAttrInfos(ent);
var attrs = list.Where(l => !l.AttrName.Equals("Guid"));
//var kv = attrs.Select(a => new SqlKeyValue { FieldName = a.AttrName, FieldValue = GetSqlCodeValue(a.DbType, a.AttrValue) }).Select(s => $"{s.FieldName}={s.FieldValue}").Aggregate((a, b) => $"{a},{b}");
//优化,只更新不是null的属性值
var kv = attrs.Where(a => a.AttrValue != null).Select(a => new SqlKeyValue { FieldName = a.AttrName, FieldValue = GetSqlCodeValue(a.DbType, a.AttrValue) }).Select(s => $"{s.FieldName}={s.FieldValue}").Aggregate((a, b) => $"{a},{b}");
if (kv.IsNotNullOrEmpty())
sql = $"update {GetTableName(type)} set {kv} where guid = '{guid}'";
}
}
return sql;
} private string CreateDeleteSql(Type type, object ent)
{
if (ent == null) return null;
string sql = null;
//判断正在操作的数据是不是从项目的基础类型继承的
if (typeof(BaseEntity).IsAssignableFrom(type))
{
string guid = GetPk(ent);
if (guid.IsNotNullOrEmpty())
{
sql = $"delete from {GetTableName(type)} where guid = '{guid}'";
}
}
return sql;
} //根据不同数据类型拼sql的value值
private string GetSqlCodeValue(DbType dt, object value)
{
string rtn = "";
switch (dt)
{
case DbType.AnsiString: rtn = value == null ? "null" : $"'{value.ToString().Replace("'", "''")}'"; break;
case DbType.DateTime:
rtn = value == null ? "null" : $"'{Convert.ToDateTime(value).ToString("yyyy-MM-dd HH:mm:ss:fff")}'"; break;
case DbType.Int16:
case DbType.Int32:
case DbType.Int64:
case DbType.Decimal:
case DbType.Double: rtn = value == null ? "null" : value.ToString(); break;
case DbType.Boolean: rtn = value == null ? "null" : Convert.ToBoolean(value) ? "1" : "0"; break;
}
return rtn;
} /// <summary>
/// 取实体对应的表名
/// </summary>
private string GetTableName(Type t)
{
object[] objs = t.GetCustomAttributes(typeof(TableAttribute), false);
if (objs == null || objs.Count() <= 0)
{
throw new Exception($"{t.Name}未指定表名");
}
else
{
return ((TableAttribute)objs[0]).Name;
}
} /// <summary>
/// 获取实体主键值
/// </summary>
private string GetPk(object obj)
{
if (obj == null) return null;
PropertyInfo prop = obj.GetType().GetProperty("Guid");
if (prop == null) throw new Exception($"{obj.GetType()}没有主键字段");
object o = prop.GetValue(obj, null);
if (o != null) return Convert.ToString(o);
else return null;
} /// <summary>
/// 字段:名称与值的对应关系
/// </summary>
private List<AttrInfo> GetAttrInfos(object ent)
{
List<AttrInfo> list = new List<AttrInfo>();
if (ent != null)
{
DataType dtc = new DataType();
PropertyInfo[] props = ent.GetType().GetProperties();
if (props != null && props.Count() > 0)
{
//排除关联属性
props = props.Where(p => dtc.IsNormalBaseType(p.PropertyType.ToString())).ToArray();
list.AddRange(props.Select(p => new AttrInfo { AttrName = GetFieldName(p), AttrValue = p.GetValue(ent, null), DbType = dtc.PropertyTypeToDbType(p.PropertyType.ToString()) }));
}
}
return list;
} /// <summary>
/// 取属性对应的字段名,如果有Column标记就取Column标记里的字段名,否则取属性名
/// </summary>
private string GetFieldName(PropertyInfo prop)
{
string name = string.Empty;
if (prop != null)
{
var attr = prop.GetCustomAttribute<ColumnAttribute>();
if (attr != null)
{
name = attr.Name;
}
else
{
name = prop.Name;
}
}
return name;
} /// <summary>
/// 分面查询方法
/// </summary>
public IQueryable<T> GetPagedData<T>(IQueryable<T> orderQuery, int pageIndex, int pageSize)
{
int skip = (pageIndex - 1) * pageSize;
return orderQuery.Skip(skip).Take(pageSize);
}
}
辅助类:
internal class AttrInfo
{
/// <summary>
/// 数据类型
/// </summary>
public DbType DbType { get; set; } /// <summary>
/// 实体属性名
/// </summary>
public string AttrName { get; set; } /// <summary>
/// 实体属性值
/// </summary>
public object AttrValue { get; set; }
} internal class SqlKeyValue
{
public string FieldName { get; set; }
public string FieldValue { get; set; }
}
转自公众号:

记录EntityFramework增删改产生的SQL语句的更多相关文章
- 使用JDBC分别利用Statement和PreparedStatement来对MySQL数据库进行简单的增删改查以及SQL注入的原理
一.MySQL数据库的下载及安装 https://www.mysql.com/ 点击DOWNLOADS,拉到页面底部,找到MySQL Community(GPL)Downloads,点击 选择下图中的 ...
- Django项目的创建与介绍.应用的创建与介绍.启动项目.pycharm创建启动项目.生命周期.三件套.静态文件.请求及数据.配置Mysql完成数据迁移.单表ORM记录的增删改查
一.Django项目的创建与介绍 ''' 安装Django #在cmd中输入pip3 #出现这个错误Fatal error in launcher: Unable to create process ...
- mysql对库,表及记录的增删改查
破解密码 #1.关闭mysqlnet stop mysqlmysql还在运行时需要输入命令关闭,也可以手动去服务关闭 #2.重新启动mysqld --skip-grant-tables跳过权限 #3m ...
- MySQL增删改查的常用语句汇总
MySQL增删改查的常用语句汇总 以下是总结的mysql的常用语句,欢迎指正和补充~ 一.创建库,删除库,使用库 1.创建数据库:create database 库名; 2.删除数据库:drop da ...
- MySQL:记录的增删改查、单表查询、约束条件、多表查询、连表、子查询、pymysql模块、MySQL内置功能
数据操作 插入数据(记录): 用insert: 补充:插入查询结果: insert into 表名(字段1,字段2,...字段n) select (字段1,字段2,...字段n) where ...; ...
- MySQL常用增删改查等操作语句
修改数据库的字符集 mysql>use mydb mysql>alter database mydb character set utf8;创建数据库指定数据库的字符集 ...
- MySQL数据库初识、下载使用(针对库、表、记录的增删改查)
今日内容概要 数据演变史 数据库软件的本质 MySQL简介 下载与安装 基本配置 基本SQL语句 内容详细 1.数据演变史 # 1.单独的文本文件 没有固定的存放位置和格式 文件名:user.txt ...
- mysql 记录的增删改查
MySQL数据操作: DML ======================================================== 在MySQL管理软件中,可以通过SQL语句中的DML语言 ...
- mysql基本的增删改查和条件语句
增 insert into 表名(列名,列名......) values("test1",23),("test2",23),("test3" ...
- MySQL记录操作(增删改)
概览 MySQL数据操作: DML 在MySQL管理软件中,可以通过SQL语句中的DML语言来实现数据的操作,包括 使用INSERT实现数据的插入 UPDATE实现数据的更新 使用DELETE实现数据 ...
随机推荐
- Java核心技术之Date相关
import java.time.DayOfWeek; import java.time.LocalDate; import java.util.Scanner; /** * @author Suns ...
- 结构开发笔记(三):solidworks软件(二):小试牛刀,绘制一个立方体
前言 solidworks草图大师,基本的使用过程. 所有的零件基础都是从平面绘制开始,然后凸出来厚度. 本篇绘制一个简单的立方体,熟悉基本操作. 立方体绘制过程 选取一个平面绘制一个 ...
- git忽略文件夹中除了指定的文件外的其他所有文件
**/test/* !**/test/a.py
- nginx配置请求头防止点击劫持
在返回index.html配置中加入add_header X-Frame-Options DENY; location / {undefined root /data/nginx/html/dist/ ...
- OBS直播抠绿插件(Matting123)
一.产品概述 OBS直播抠绿插件(Matting123)是使用绿幕.蓝幕进行抠像的虚拟直播软件,本软件需要配合OBS30.0.0或以上版本进行使用.Matting123采用自研抠图算法,该算法已达到影 ...
- Kubernetes-3:使用kubeadm部署k8s环境及常见报错解决方法
k8s集群安装 环境说明: k8s-Master-Centos8 ip:192.168.152.53 k8s-Node1-Centos7 ip:192.168.152.253 k8s-Node2-Ce ...
- C语言指针进阶
目录 字符指针 指针数组 数组指针 数组指针的定义 &数组名VS数组名 数组指针的使用 数组参数.指针参数 一维数组传参 二维数组传参 一级指针传参 二级指针传参 一级指针 二级指针 数组指针 ...
- how to create rpm
RPM Spec 中各个字段的 pre, post, preun, postun 的用法 https://www.golinuxhub.com/2018/05/how-to-execute-scrip ...
- vue 中 elementUI el-table 实现滚动加载
vue 中 elementUI el-table 实现滚动加载 一.需求 vue 中 elementUI el-table 实现滚动加载,场景:当表格需要显示大量数据时,又想通过一页来进行展示数据. ...
- Naming Conversion & Case Style 命名规范
前言 写代码有 2 个点很重要 第一是表达 (不要词不达意) 要达到这点, 就要多参考其它人如何表达. 第二是一致性 (一样的东西就用一样的写法) 要达到这点就要建立规范 以前的笔记 命名规范 nam ...