AppBoxFuture(七): 分布式外键约束
关系数据库与NoSql其中的一个主要区别是具备完整的外键约束,虽说现在一些大厂在设计数据存储结构时禁止使用外键约束,靠业务逻辑来保证数据完整性,但考虑到是人就会犯错,为了保证关键业务数据的完整性,所以作者还是决定在存储引擎层面实现外键约束功能。
一、实现思路
由于存储引擎是分布式的,所以引用者与被引用者可能存在不同的节点上(如订单数据在节点1上,订单引用的产品数据在节点2上),这样实现外键约束的方式就会与传统关系数据库有些不一样,作者设计了如下图所示的存储结构,在RocksDB划分一个ColumnFamily存储引用索引(记录谁的某个成员引用了哪个目标),以及存储被引用者的计数器(记录哪个分区引用了我,被引用了多少次),通过分布式事务保证数据与引用索引及计数器的一致性。
根据上述设计,以下描述的逻辑可以得到保证(为了方便以下订单指引用者,产品指被引用者):
1.Insert订单
Insert时存储引擎根据实体模型元数据是否存在EntityRef成员,是则在同一事务内会向被引用者的分区自动发送AddRefCommand,该命令会锁定并判断是否存在相应的记录,如不存在则通知事务回滚。如果是同一事务内Insert产品再Insert订单,AddRefCommand会检测同一事务内是否存在被引用者记录。事务递交时原子保存引用索引与引用计数。
2.Delete产品
Delete时存储引擎先判断当前记录所有分区的引用计数值是否等于0,不等于0则通知事务回滚。
3.Update or Delete订单
如果引用的产品变更,则删除旧引用索引然后添加新引用索引;如果引用的产品设为Null或删除订单,则删除引用索引,同时通知产品分区更新引用计数。
二、并发优化
由于存储引擎的分布式事务是基于2PL实现的,如果大量不同的事务Insert订单且引用同一产品,会造成这些事务排队执行,从而导致并发性能不理想。作者做了个简单优化,允许不同事务的AddRefCommand共享锁定被引用者以提高并发性能。就上述场景作者简单测试了并发Insert带EntityRef的性能,单节点Debug模式约14000tps(I74C8G虚拟机),不带外键引用的并发Insert约28000tps。
三、简单测试
暂利用初始化时的实体Emploee及OrgUnit来做测试,OrgUnit.CreateById引用Emploee.Id。通过IDE新建一个服务模型,然后依次实现以下服务方法保存发布后将输入光标定位在需要测试的方法名称内,点击主菜单->Service->Invoke进行服务方法调用测试。
1.测试引用至不存在的目标
public async Task<string> Test1()
{
var ou = new Entities.OrgUnit();
ou.Name = "Name";
ou.CreateById = Guid.Empty; //指向不存在的目标
await EntityStore.SaveAsync(ou);
return "Done.";
}
调用此方法显示"Insert error: ForeignKeyConstraint", 即违反外键约束。
2.测试同一事务插入
public async Task<string> Test2()
{
var txn = await Transaction.BeginAsync();
try
{
//先新建并保存被引用者
var emp = new Entities.Emploee();
emp.Name = "Batch name";
emp.Account = emp.Name;
emp.Birthday = new DateTime(1977, 3, 16);
await EntityStore.SaveAsync(emp, txn);
//再新建并保存引用者
var ou = new Entities.OrgUnit();
ou.Name = "Batch ou";
ou.CreateById = emp.Id;
await EntityStore.SaveAsync(ou, txn);
await txn.CommitAsync();
}
catch (Exception ex)
{
txn.Rollback();
return $"Failed: {ex.Message}";
}
return "Done.";
}
调用此方法返回"Done.",此时可打开Emploee及OrgUnit的模型设计器内的"Data"栏验证插入的数据。
3.测试同一事务删除
public async Task<string> Delete()
{
var q1 = new TableScan<Entities.OrgUnit>();
q1.Filter(t => t.Name == "Batch ou");
var ous = await q1.ToListAsync();
var q2 = new TableScan<Entities.Emploee>();
q2.Filter(t => t.Name == "Batch name");
var emps = await q2.ToListAsync();
var txn = await Transaction.BeginAsync();
try
{
//先删除引用者, 如果注释这一行则存在外键约束导致下一行执行失败
await EntityStore.DeleteAsync(ous[0], txn);
//再删除被引用者
await EntityStore.DeleteAsync(emps[0], txn);
await txn.CommitAsync();
}
catch(Exception ex)
{
txn.Rollback();
return $"Failed: {ex.Message}";
}
return "Done.";
}
调用此方法返回"Done.",此时可打开Emploee及OrgUnit的模型设计器内的"Data"栏验证数据已被删除。
四、本篇小结
本篇主要介绍了框架集成的存储引擎如何用另类的方式实现外键约束,Github上的运行时已经更新可测试。如果您有问题或Bug报告,请留言或在Github提交Issue。
AppBoxFuture(七): 分布式外键约束的更多相关文章
- MySQL数据库--外键约束及外键使用
什么是主键.外键关系型数据库中的一条记录中有若干个属性,若其中某一个属性组(注意是组)能唯一标识一条记录,该属性组就可以成为一个主键. 比如: 学生表(学号,姓名,性别,班级) 其中每个学生的学号是唯 ...
- MySQL8.0数据库出现的问题——外码创建方式、外键约束两个引用列不兼容问题、check约束问题、用触发器代替check约束、关键字DELIMITER、删除添加索引、删除添加外键约束、和一些数据库方面的操作
一.首先先说一下我们都需要建立那些表 mysql> CREATE TABLE IF NOT EXISTS `student`( -> `sno` CHAR(8) NOT NULL, -&g ...
- mysql 外键约束备注
梳理mysql外键约束的知识点. 1.mysql外键约束只对InnoDb引擎有效: 2.创建外键约束如下: DROP TABLE IF EXISTS t_demo_product; CREATE TA ...
- 如果你发现mysql的外键约束不管用了
不知为何我机子上的mysql竟然默认关闭外键约束,导致我试了好多遍都可以插入非法值,以下语句可以开启约束 SET foreign_key_checks = 1; (0则关闭) 备忘
- Constraint6:更新外键约束(Foreign Key Constraint)的引用列
在SQL Server中,表之间存在引用关系,引用关系通过创建外键约束(Foreign Key Constraint)实现.如果一个Table中的column被其他Table引用,那么该表是参考表,或 ...
- MySql 外键约束 之CASCADE、SET NULL、RESTRICT、NO ACTION分析和作用
MySQL有两种常用的引擎类型:MyISAM和InnoDB.目前只有InnoDB引擎类型支持外键约束.InnoDB中外键约束定义的语法如下: ALTER TABLE tbl_name ADD [CON ...
- SQL Server 临时禁用和启用所有外键约束(高版本向低版本迁移数据)
--获得禁用所有外键约束的语句 select 'ALTER TABLE [' + b.name + '] NOCHECK CONSTRAINT ' + a.name +';' as 禁用约束 from ...
- SqlServer禁用启用触发器、外键约束
--禁用指定名称触发器 ALTER TABLE tbname DISABLE TRIGGER trigname --恢复指定名称触发器 ALTER TABLE tbname ENABLE TRIGGE ...
- sql查询指定表外键约束
//////////////////查询指定表外键约束select a.name as 约束名, object_name(b.parent_object_id) as 外键表, d.name as 外 ...
随机推荐
- aSmack连接server异常smack.SmackException$ ConnectionException thrown by XMPPConnection.connect();
以下是我在研究asmack4.0出现的异常 06-17 12:02:56.924: W/System.err(10622): org.jivesoftware.smack.SmackException ...
- 根据wsdl反向生成webservice服务端(3种方法)
前言 正常情况下,都是我们项目组创建一个webservice服务端,客户通过我们提供的wsdl地址生成客户端并进行访问:但是最近和一个国企做接口对接,他们却只提供给我们wsdl,需要我们根据wsdl生 ...
- MapReduce编程实战之“调试”和"调优"
本篇内容 在上一篇的"初识"环节,我们已经在本地和Hadoop集群中,成功的执行了几个MapReduce程序,对MapReduce编程,已经有了最初的理解. 在本篇文章中,我们对M ...
- Android源代码解析之(三)-->异步任务AsyncTask
转载请标明出处:一片枫叶的专栏 上一篇文章中我们解说了android中的异步消息机制. 主要解说了Handler对象的使用方式.消息的发送流程等.android的异步消息机制是android中多任务处 ...
- sed 常用命令
删除以ifeq开头的行 sed -i "/^ifeq/d" file 删除空行 sed -i '/^$/d' file
- mac下配置eclipse的maven环境
转自:http://www.cnblogs.com/yqskj/archive/2013/03/30/2990292.html 1.下载maven的bin包,解压,配置到环境变量里面去 1). 首先到 ...
- HashMap随机取值和迭代器取值的对比
一共四中方法,前两种是迭代器取值,后两种是随机取值,循环了5000万次,时间分别为:迭代器读取的速度大约是随机读取的速度的1.5倍,数据量越大,差距越明显. 另外,插入是读取的100倍左右的时间(这个 ...
- Javascript正则中的exec和match
分几种情况说明 1.假设re中不是全局的也就是不带g var str = "cat3 hat4"; var re = /\w+\d/; var ex = re.exec(str); ...
- console调试命令
一.显示信息的命令 <!DOCTYPE html> <html> <head> <title>常用console命令</title> < ...
- Java 8 新的时间日期 API
1. 概述 1.1 简介 Java 8 引入了一套全新的时间日期API,操作起来更简便.简单介绍下,LocalDate和LocalTime和LocalDateTime的使用: java.util.Da ...