朱赟的技术管理课_07_06_每个工程师都应该了解的聊聊幂等
你好,我是朱茵。
今天我分享的主题是每个工程师都应该了解的。
聊聊密等。
什么是幂等呢?简单来说,一个操作,如果多次任意执行所产生的影响,均与一次执行的影响相同,我们就称为幂等。
这样说来似乎很容易理解,但要知道,这样的定义其实是一个语义范畴。
对行为结果的定义,如何用语法和规则去确保行为能达到这个结果,往往需要很谨慎的设计和实现。
实际系统中幂等是一个极为重要的概念。
无论是在大型互联网应用,还是企业级架构中都能见到rest API被越来越多的采用,而正确的实现幂等往往是API中最难的技术点之一。
先来说说为什么重要?我来举一个简单易懂的例子吧。
比如你要处理一次电商网站收款或者付款的交易,当你给微信支付发送这个付款请求后,一个顺利的场景是不会有任何错误发生。
微信支付收到你的付款,请求处理所有转账,然后返回一个HTTP二零零消息表示交易完成。
那如果发出请求之后,有一个请求超时,你再也没有收到关于这个请求是否成功,还是失败的回执又该如何呢?这里就有很多种可能的情况。
第一,这个请求在到达微信支付端前就已经发生超时微信支付从来没有收到这样的请求。
第二,这个请求到达微信支付端,但是支付交易失败,这时发生超时微信支付收到这样的请求,但没有处理成功。
第三,这个请求到达微信支付端,并且支付交易成功,这时发生超时微信支付收到这样的请求处理成功,但是没有回执。
第四,这个请求到达微信支付端,并且支付交易成功,并且发回回执。
然而,因为网络原因,回执丢失,客户端超时,微信支付收到这样的请求处理,成功发出回执。
但是客户没有收到人们很直观的想法,也是现实中,开发者最常见的做法,就是重新提交一次支付请求。
但是这样做有一个潜在的问题,请求超时是上面的哪一种情况,会不会引发多次支付的可能性?这就涉及系统中的幂等是如何实现的了。
那么密等又该如何实现呢?我们先来看一看密等的定义,多次执行所产生的影响均与一次执行的影响相同。
简言之,你需要一个去重的机制,这往往有很多不同的实现方法。
但是有两个很关键的因素,第一个因素是密等令牌客户端和服务器端通过什么方式来识别?这实际上是同一个请求或者是同一个请求的多次尝试。
这往往需要双方有一个既定的协议,比如账单号或交易令牌。
这种在同一请求上具备唯一标识的元素,这种元素通常由客户端生成。
第二种因素是确保唯一性服务器端用什么机制去确保同一个请求一定不会被处理两次,也就是微信支付。
如何确保同一笔交易?不会因为客户端发送两次请求就被处理多次。
最常用的做法是利用数据库,比如把密等令牌所在的数据库表的列作为唯一性索引。
这样,当你试图存储两个含有同样令牌的请求时,必定有一个会报错。
注意简单的读检查并不一定成功。
因为读与读之间会有竞争条件,因此还有可能会出错。
一个系统能正确处理和实现上面的两个要素,基本就能达到了幂等的需求。
那么现实系统中常见的问题都出在哪里呢?一是密等令牌什么时候产生,怎样产生,这一点很重要。
拿上面的例子来说吧,就算微信支付可以保证每一个请求对应的支付交易一定会只被处理一次。
但是这个请求的多次重复一定要共有微信可以识别的某个标识。
假如客户端对同一笔交易多次请求产生的密等令牌并不相同。
那么无论你其余的地方多么完美,都不可能保证一个操作。
如果具有任意多次执行所产生的影响,均与一次执行的影响相同。
二十令牌有没有被误删的可能?这是上面问题的一个特殊情况。
密等令牌是由客户端生成的那如果生成的令牌在被使用后,一不小心因为数据库回滚等原因被删除了,那么客户端就不知道自己其实已经发送过一次请求,这就有可能生成一个新的账单,并产生全新的令牌,而服务端对此一无所知。
三是各种竞争条件。
我在前面讲过用数据库的读检查来确保唯一性,经常因为竞争而不生效。
其实,一个需要密等的系统中,保证唯一性的各个环节和实现,都要考虑竞争条件。
四是对请求重试的处理。
这大部分是服务器端要做的工作。
一个常见的方法是区分正在处理的请求,处理成功和处理失败的请求。
这样当客户端重试的时候,根据情况或者直接返回或者再次处理。
就好像是之前提到的微信支付的例子,微信支付服务需要知道每一笔交易的处理情况。
只有这样,当面对再次转账请求时,才能知道应该用什么方式去处理相应的请求。
五十一个系统中需要多层幂等,这是什么意思呢? A发请求给BB处理的一部分是要发送请求给另一个系统。
Cc在处理的过程中,还可能需要发送请求给另一个系统。
Dd处理完了,返回给CC,返回给BC,返回给a在这个链条中,如果ABCD中任何一个系统没有正确实现幂等,也就是出现了密等漏洞,那么一个请求还是有可能被多次执行产生,区别于一次执行的影响。
今天我和你讨论了架构设计中的幂等概念。
我们聊了什么是幂等?幂等的应用场景,如何实现一个幂等功能,以及幂等系统中容易出现的问题?现在回到文章的开头,什么是幂等一个操作?如果任意多次执行所产生的影响均与一次执行的影响相同,我们就称为幂等。
这是一个语义范畴上对行为结果的定义。
只有当你把现实中所有的细节都做对了,你才能得到想要的效果。
任何一个地方设计有漏洞,或是实现上有bug,系统都会出现这样或那样的问题。