(3条消息) 分布式事务架构设计实践

原文:https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651961647&idx=1&sn=8421c1da08730c47710530f976c1909d&chksm=bd2d0cf38a5a85e52f4fe48b521fbfed9c4d5cee9fcf02f4d9958ed515c88659cfee3130f67c&mpshare=1&scene=1&srcid=0419P7GWFM0sULwUxoDOG8tx&key=39212e0a19a5778744c7f60c39e2f0d4c4387b2c0ae5833e08a4a48b2eab771f112e982052943db1ecda05536837a30a6815b605e7ab1b3644ce5bea4c46489f479b7ef0c1aebe5c14a35c12236f6608&ascene=1&uin=MTc0NDg2MzA2MQ%3D%3D&devicetype=Windows+10&version=62060739&lang=zh_CN&pass_ticket=D3PdsG8%2FCf9tgui3zxjDl054CZdYQGCz7gDM6w%2FxyVdzN8%2FdYdWCp62iwDLmIexX
作者: 58沈剑


多个数据要同时操作,如何保证数据的完整性,以及一致性?
答:事务,是常见的做法。

举个栗子:
用户下了一个订单,需要修改余额表,订单表,流水表,于是会有类似的伪代码:

start transaction; CURD table t_account;  any Exception rollback; CURD table t_order;    any Exception rollback; CURD table t_flow;     any Exception rollback;commit;

如果对余额表,订单表,流水表的SQL操作全部成功,则全部提交
如果任何一个出现问题,则全部回滚事务,以保证数据的完整性以及一致性。

事务的方案会有什么潜在问题?
答: 互联网的业务特点,数据量较大,并发量较大,经常使用拆库的方式提升系统的性能。如果进行了拆库,余额、订单、流水可能分布在不同的数据库上,甚至不同的数据库实例上,此时就不能用数据库原生事务来保证数据的一致性了。

高并发易落地的分布式事务,是行业没有很好解决的难题,那怎么办呢?
答: 补偿事务是一种常见的实践。

什么是补偿事务?
答:补偿事务,是一种在业务端实施业务逆向操作事务。

举个栗子:
修改余额,事务为:

int Do_AccountT(uid, money){    start transaction;         //余额改变money这么多         CURD table t_account with money for uid;         anyException rollback return NO;    commit;    return YES;}

那么,修改余额,补偿事务可以是:

int Compensate_AccountT(uid, money){         //做一个money的反向操作         return Do_AccountT(uid, -1*money){}

同理,订单操作,事务是:Do_OrderT,新增一个订单;
订单操作,补偿事务是:Compensate_OrderT,删除一个订单。

要保证余额与订单的一致性,伪代码:

// 执行第一个事务int flag = Do_AccountT();if(flag=YES){    //第一个事务成功,则执行第二个事务    flag= Do_OrderT();    if(flag=YES){        // 第二个事务成功,则成功        return YES;    }    else{        // 第二个事务失败,执行第一个事务的补偿事务        Compensate_AccountT();    }}

补偿事务有什么缺点?

  1. 不同的业务要写不同的补偿事务,不具备通用性
  2. 没有考虑补偿事务的失败
  3. 如果业务流程很复杂,if/else会嵌套非常多层

画外音:上面的例子还只考虑了余额+订单的一致性,就有22=4个分支,如果要考虑余额+订单+流水的一致性,则会有22*2=8个if/else分支,复杂性呈指数级增长

还有其它简易一致性实践么?
答:多个数据库实例上的多个事务,要保证一致性,可以进行 “后置提交优化”

单库是用这样一个大事务保证一致性:

start transaction; CURD table t_account;  any Exception rollback; CURD table t_order;      any Exception rollback; CURD table t_flow;        any Exception rollback;commit;

拆分成了多个库后,大事务会变成三个小事务:

start transaction1;         //第一个库事务执行         CURD table t_account; any Exception rollback;         …         // 第一个库事务提交commit1;start transaction2;         //第二个库事务执行         CURD table t_order; any Exception rollback;         …// 第二个库事务提交commit2;start transaction3;         //第三个库事务执行         CURD table t_flow; any Exception rollback;         …// 第三个库事务提交commit3;

画外音:再次提醒,这三个事务发生在三个库,甚至3个不同实例的数据库上。

一个事务,分成执行与提交两个阶段:

执行(CURD)的时间很长
提交(commit)的执行很快

于是整个执行过程的时间轴如下:
第一个事务执行200ms,提交1ms;
第二个事务执行120ms,提交1ms;
第三个事务执行80ms,提交1ms;

在什么时候,会出现不一致?
答:第一个事务成功提交之后,最后一个事务成功提交之前,如果出现问题(例如服务器重启,数据库异常等),都可能导致数据不一致。

画外音:如上图,最后202ms内出现异常,会出现不一致。

什么是后置提交优化?
答: 如果改变事务执行与提交的时序,变成事务先执行,最后一起提交。

第一个事务执行200ms,第二个事务执行120ms,第三个事务执行80ms;
第一个事务提交1ms,第二个事务提交1ms,第三个事务提交1ms;

后置提交优化后,在什么时候,会出现不一致?
答: 问题的答案与之前相同,第一个事务成功提交之后,最后一个事务成功提交之前,如果出现问题(例如服务器重启,数据库异常等),都可能导致数据不一致。

画外音:如上图,最后2ms内出现异常,会出现不一致。

有什么区别和差异?
答: 串行事务方案,总执行时间是303ms,最后202ms内出现异常都可能导致不一致;
后置提交优化方案,总执行时间也是303ms,但最后2ms内出现异常才会导致不一致;
虽然没有彻底解决数据的一致性问题,但不一致出现的概率大大降低了

画外音:上面这个例子,概率降低了100倍。

后置提交优化,有什么不足?
答: 对事务吞吐量会有影响:
串行事务方案,第一个库事务提交,数据库连接就释放了;
后置提交优化方案,所有库的连接,要等到所有事务执行完才释放
这就意味着,数据库连接占用的时间增长了,系统整体的吞吐量降低了


总结

分布式事务,两种常见的实践:

  • 补偿事务
  • 后置提交优化

trx1.exec(); trx1.commit();trx2.exec(); trx2.commit();trx3.exec(); trx3.commit();

优化为:

trx1.exec(); trx2.exec(); trx3.exec();trx1.commit(); trx2.commit(); trx3.commit();

这个小小的改动(改动成本极低),不能彻底解决多库分布式事务数据一致性问题,但能大大降低数据不一致的概率,牺牲的是吞吐量。
对于一致性与吞吐量的折衷,还需要业务架构师谨慎权衡折衷。

画外音:还是那句话,一切脱离业务常见的架构设计,都是耍流氓。
思路比结论重要,希望大家有收获。

(0)

相关推荐

  • mysql中的事务隔离级别及可重复读读提交详细分析(mvcc多版本控制/undo log)

    一.事物隔离级别 读未提交(read uncommitted)是指,一个事务还没提交时,它做的变更就能被别的事务看到.通俗理解,别人改数据的事务尚未提交,我在我的事务中也能读到. 读提交(read c ...

  • MySQL(一):MySQL数据库事务与锁

    基本概念 事务是指满足ACID特性的的一组操作,可以通过Commit提交事务,也可以也可以通过Rollback进行回滚.会存在中间态和一致性状态(也是真正在数据库表中存在的状态) ACID Atomi ...

  • 微服务架构设计实践系列之九:应用架构

    微服务架构设计实践  目    次1 序言2 微服务3 软件架构设计思想4 微服务架构设计实践4.1 项目概述4.2 架构准备阶段4.3 概念架构阶段4.4 细化架构阶段4.4.1 业务架构4.4.2 ...

  • 从储值卡(会员卡)充值业务看分布式事务的设计

    公司有一项储值卡充值业务:客户在微信公众号开通储值卡服务,通过微信支付往卡里面充值,充值成功后客户可收到消息通知,并进行消费. 看起来是一项很简单的业务,最初我们储值卡团队的实现也确实很简单.我们看看 ...

  • (4条消息) (九)Fabric2.0 通道实践

    目录 2.1提取并解析通道配置 2.2 修改配置 2.2 重新编码跟提交配置 1.通道配置说明 2.更新通道 3. 总结 下面实践将基于已部署好的first-network. 1.通道配置说明 我们再 ...

  • (4条消息) (八)Fabric2.0Java SDK实践

    总目录: (0) 如何利用区块链保护知识产权 (一)HyperLedger Fabric 2.0-release测试网络部署 (二)Fabric2.0 first-network 生成配置说明 (三) ...

  • (5条消息) (四)Fabric2.0通道实践

    目录 1.1 创建通道配置文件 1.2 环境准备 1.3 创建通道tx文件 1.创建通道准备 2.创建通道 3.节点加入通道 4.验证节点加入通道 5.总结 1.创建通道准备 1.1 创建通道配置文件 ...

  • 微服务架构设计实践总结和思考

    微服务架构核心 再次强调,微服务架构核心是传统单体应用大拆小,同时拆分为小的微服务后相互之间以轻量的API接口进行通信.而这个拆分本身又分了多个方面. 开发团队的拆分 代码层的拆分,可独立构建打包 数 ...

  • 「技术贴」微服务中台技术解析之分布式事务方案和实践

    随着软件系统从单体应用迈向微服务架构以及数据库选型去中心化.异构化的趋势,传统的ACID事务在分布式系统上能否延续,如何落地,有哪些注意事项?本文将围绕分布式事务这一技术议题,介绍FreeWheel核 ...

  • (3条消息) RC吸收电路的设计

    PWM  DC/DC变换器中吸收电路的主要作用如下: 将开关管的电压.电流和功耗限制在安全工作区域(SOA)以内. 保证开关管在开.关过程中du/dt.di/dt足够小,限制开关管上的电压或电流峰值, ...

  • (12条消息) FPGA 内部详细架构你明白了吗?

    FPGA 芯片整体架构如下所示,大体按照时钟域划分的,即根据不同的工艺.器件速度和对应的时钟进行划分: FPGA 内部详细架构又细分为如下六大模块: 1.可编程输入输出单元(IOB)(Input Ou ...