-->

超级访谈:对话毕玄_12_06异地多活技术圈子的人见过猪跑很重要

你好,我是叶谦。

上一讲呢,我们主要复盘了容器项目t four从立项到组织到落地的整个过程。

那今天呢我们聊的主题是伊利多活,这是碧璇第一次做这么大的系统级别的架构演镜。

作为他十四年阿里职业生涯中的三大亮点之一啊,当时呢他要面对上千人,要做一场世界上完全没有参考方案的架构,大家都认为他做的很成功。

但是身为总架构师的他自己却说,这个项目我做的不是很好。

那当时他遇到了哪些问题?解法上又有哪些缺陷呢?我们开始今天的复盘,嗯,所以你做完t four之后,就是去做异地多活了吗?那当时是你主动的,还是说被动分配的?呃,对,说分配的话呢异地多活也能算。

因为当时我刚好是我转岗,嗯,一三年啊我做t货做太难了。

集团各种阻力,再加上运维侧的这个支持力度不够。

我那个时候在核心系统部证明那里,那就准备转去异地的团队。

因为我觉得如果可以在运维,就可以把t four去落地了,我就去了那边。

嗯,啊正好运维的人跟我说,现在要做异地多活,那要不你来干啊?因为异地多活,在前一年其实是失败了,失败了。

就是之前已经做过一次,那是什么原因?淘宝已经做过一次,然后蚂蚁也做过一次,也失败了。

因为技术上有很多问题没有解决掉,所以就任命了两个新的这个架构师啊,我负责全系的这个异地多活俊逸呢,他是负责蚂蚁的异地多活,我们俩各自是做一套方案就开始去落地了。

异地多活的难点呢,是因为全世界完全没有可以去参好的方案。

Google虽然有全球部署,但是广搜搜索不一样,比较简单,腾讯也有,但是腾讯的社交也是比较简单的,交易类型的网站是一家都有。

我们最早本本想想亚亚马逊果果发现他不做了。

嗯,到这里我们就很痛苦。

我们第一次开会啊,下面各方技术都问我,呃,这个方这个项目的方案是什么啊?我说这个方案现在还不知道,那等我们先摸索一下啊,下面就全得挺傻了,说还能这样啊,所以这个项目就很糟糕啊,我们花了这个左右来摸索方案到底是什么?嗯,但是一年初方案感觉还挺久的,当时你们是怎么做的?呃,做这种大的架构,一般是你首先有了一个系统全貌,然后你有了这个解决思路,你就可以去大概去知道我需要哪些人来帮我。

然后你去找这个各个领域的人嗯来告诉大伙的思路是这个你看呃系统里怎么改,能够改成这样,然后慢慢慢慢的就拼成了这样一张图。

但是异地多活,我是第一次做这么大的,刚开始确实很难。

因为你不懂一个这么大的系统,它涉及哪些地方,你又没有办法让人跟你讲。

因为涉及的人太多了,必须要你先去提一个思路,然后大家去开始探讨。

嗯,所以我们就是先有了一个大概的想法,但是这个想法多成熟肯定是不知道的,只能说先做一部分看看啊。

所以是因为你当时没有全貌嘛,可能就出现了一些问题。

因为我们不知道要改哪些。

所以说一开始就漏掉了很多第一版的这个设计方案,最后要上线了,我们才发现哦一堆要改的东西,漏改了,然后临时去做那堆的方案。

那所以主要的问题就是漏啊,漏这漏那的那花了半年多,我们是逐步的把这个方案给试出来了啊。

嗯,方案清楚了之后,后面就很简单,但是前面比较难。

如果有参考,你也有信心啊,大概也该知道会怎么做,也一切都会好好多。

那因为当时你们是这种边试边做,不会有人质疑你吗?我现在觉得跟信任有很大关系,当时做这个项目上面所有的leader是没有一个人问过我啊,也没有人去挑战我,否则就一定会有很多人挑战,那这就啥都不知道,改上线你胆子也太大了啊。

对,嗯,那会不会是有人就是别人也没有办法挑战你,因为他可能也不知道哪个方案是什么。

哎,对,所有人都没有方案,即使后面有的方案还是有人会觉得挑战你们啊,这这方法也不好,不靠谱,有没有更简单的,但是我们就比较强硬。

当时异地都和我面对的是上千人做完,我刚好是p九p十晋升你面试的候。

就有人问这些人都不向你汇报,为什么要听你的啊?我说最关键的就一点的,但我我还掌握着所有人的机器,你要机器我无给的,我我给你就就异异地机器器,我说必必须配合我做异地的方案。

当时你做做我有所谓,但是你上线肯定会出问题,反正你想逼我给同一个地方机器我是不了了啊。

对啊,你知道谁都给不了,但是这种感觉非常强硬,不会有反弹吗?业务方很多抱怨。

所以我后来跟很多人就总结说,这个项目做的不算非常好。

嗯,而且从这个团队层面来讲也不好啊,当然大家都认为很成功啊,项目组得到了很高的评价。

嗯,也能看到我因为这个被晋升了。

对,是这个项目里同样被晋升的人太少了。

当然还有一些低级别的精神,但是高级别的差不多就我一个啊,这就是最大的败笔了。

那一个项目如果对公司有非常大的价值,理论上应该有非常多的人倍精神。

这也是你在公司能够更好的做成项目很重要的方面。

因为各方都获得的利益,你想如果就你一个人获得的利益,那肯定是有问题的。

所以异地多活做的整个的过程抱怨非常大。

只是因为我们确实相对强势,而这种强势后面也会引发一些问题啊,然后加上最后你们确实也是做成了。

对,如果没做成呢,那肯定就挂了。

但即使是成了,还是会有很多人有很多的看法啊,这个我也认。

因为对于一家公司来讲,以战养兵是最重要的。

你这么大一个战斗,竟然没有培养出很多的人啊,这确实是有问题的。

我是承认的那就是没有培养出很多的人,具体是什么原因?是人才没有历练到位吗?还是说可能这个很多还是这个曝光的原因。

比如说一夜多活,对外曝光的全是我讲各种方案等等。

那后来的其他的项目,比如说统一调度啊,我们就会注意让更多的人去报光。

但哪怕一些演讲看起来好像很不技术。

但是我们觉得啊对公司来讲,这还蛮重要的。

公司应该看到更多的人才,因为这么大一个项目,总不可能是一个人就看成了,对吧?肯定是有很多人一起,但是就看这些人他有没有机会被更多的高层知道。

那说实话高级别的晋升呢,贡献很重要,但是高层会认为,那不就是他吗?那其实其他人做了什么,对吧?高层认为就因为他所以做成了,其实不是这样。

所以你这种对贡献曝光上的关注,是不是说一个项目参与的人越多就越重要?对,做非常大的项目是很重要的。

越是大项目又要把大家给团结住。

那后来在做项目啊,我就会特别的关注,参加了这个项目的核心人员,他们的情况是什么?啊,有多少人会因为这个做这个项目被晋升上去?那如果比较多呢,说明这个项目不仅有一个很好的成果,还让整个团队的人啊得到一个很好的成长。

那这就是一个非常好的项目。

哎,你想就是大家一起做了一个很大的事情,然后对公司有很大的贡献,但是只有你有成绩,下面人没有认可,那些人会很受不了。

我明明干了很多事情,那为什么最后还是没有得到认可呢?那业务方就更不爽了。

因为他觉得这又不是我主要的事情,浪费了我很多时间,我什么也没有得到,然后你们都得到了替你们打工。

那最后呢再加上光环,如果是过度的集中在你的一个人身上啊,那个人就会成为众矢之的了。

肯定是这样的,因为其他人会觉得无非是我成就了你啊,所以后来做很大的项目的时候,我们都会特别注意,不要去塑造一个神呢,这不是一件好事。

确实现在技术大会,阿里好像都会有很多人出来分享,就是你说的为了增加曝光这种对阿里有几年是高峰啊,现在可能会少一点啊,都是去站个台。

现在播多了,是为什以前对外分享啊,内部定调就是呃在中国的自由分享啊,希望跟大家交流。

因为技术很需要聊,你的想法呢可能跟别人不一样。

而而而且呢呃别人可能干过,你实际想找找的是一个干过的人,跟你聊一下,看看自己想的有没有问题。

但是后来我们只能去树立技术品牌,做品牌是是什么时候开始的?零九年零九年的时候,当时我们第一次校招啊,出去之后打击太大了。

因为在零九年我们认为啊,淘宝已经是集团最牛的一家公司了。

淘宝的人呢在阿里横着走,因为说实话其他公司的量比我们小的非常多,而且我们也接近了呃盈利,当然是觉得自己最牛的。

但是我们出去去之后才发现,根根不是这么一回事。

学生都会说,哎,淘宝是一家什么公司啊,不就是卖东西的那你们是不是专门帮人家去卖货呀?啊,他们肯定觉得雅虎啊,阿里研究院啊,b to b这些。

因为b to b是香港的上市公司啊,他们肯定觉得这几家好淘宝啊,除非是前几家我都没面过,那我再来你们这试一下啊,我们就深受打击。

所以说淘宝从零九年决定做这个技术品牌的建设,就参加了好多的技术大会啊,包括q come等等啊,都是这个目的。

这是费心提意的。

要去树立起淘宝,是整个阿里集团技术非常好的一家。

啊,那就是一开始的时候是想要去交流,然后到后来你们是只能是做品牌,那现在就是去站个台什么。

那这个变化是为什么?从这个出来交流的人,你也能看出来,阿里以前这个参加大会啊,都是相对资深的高级别的。

但是现在这个阿里高级别人都不出来了。

近几年阿里的这个风格呢,是国内都派相对年轻的有潜质的人呢练习他的这个分享表达能力。

因为我们觉得工程师要往更高层去走,你的表达能力是必须要的,毕竟你不是一个人去做,那除非都想成为多龙那样一个人守到底啊,但是在这个现代化的软件下,也很难,一个人再强也不行,所以公司肯定需要这种类型的人。

那实际上更资深的呢就都去国外了,去拜访这个顶尖的公司,顶尖的名校公司,我们只拜访google、 facebook、 IWS这些最顶的那其他的都不太贱。

那他们对我们明有兴趣,但是我们可能对他们没有兴趣。

然后学校的话我们去拜访斯坦福麻省这种规格的。

因为后来我们觉得就跟这些人聊呢,就互相才会有一定的这个交流空间。

嗯,那呃你说这个交流空间是指比如说那个想要对话上他那个背景的一些技术条件吗?因为说实话到现在为止哈,中国很多的公司去拜访google都没有交流,其实还是一个学习的状态。

包括我前几年我带队去google拜访,也还是这种就是呃我们问google技术上挑战,看他们怎么做的。

然后我们问完问他们对我们有什么问题,没有任何问题。

因为google能够从你问的问题推测出你的状况,然后没有任何兴趣跟我们聊。

嗯,而像facebook就不一样啊,就是阿里很明显以前也几乎全是我们问他问题。

但是现在facebook会问我们很多问题,技术地位已经不一样了。

嗯,那这个推断你的发展水平是是指是呃我们以前问他们很多的问题,他们会说这个问题是我们七年前做的什么什么东西啊,有论文讲过了,你可以去看哈,这就很尴尬。

跟现在很多公司问阿里一样,比如说问分布式啊,阿里都告诉你啊,我们是在零八年做的,相当于现在已经是十四年前了。

那你觉得对阿里来讲,讨论这个问题有多大的意义就没有了。

因为阿里觉得我已经成功了,不想跟你去讨论这些了。

那这几年特别明显啊,很多大公司都是这样,因为他们的水平的确是可以跟国外顶级去对话了啊,对国内的很多的交流啊就没有任何的兴趣了。

那啊但是像在我们大会阿里云的人好像还挺多的那是商业业。

求求有一些公司愿意去,肯定定是了一些些别目的啊,才去去纯单项啊。

所以像这种不只是讲的人,没有兴趣听的人,他如果没有那个场景,就是不遇到那个技术问题,是不是也不太听得明白?听了人听完也是觉得啊好牛好牛,然后就没有然后了就走了。

所以最高质量的交流肯定是一个非常小的一个圈子,但是那个小的圈子是很难进的。

我后来带团队都说啊,比如说你去硅谷啊,如果你能找到硅谷这个领域最顶级的一帮人,大家一起吃个饭,这就决定了你你有没有进圈啊,其实所有的顶级领领最最后是混混圈只过计计算机,这个圈子相对来说更靠靠混混混进去。

因为这个圈子里的人呢是彼此为人相亲,他关键是看你做过什么。

不会是因为你是某个公司的这个负责某个团队的人,就觉得你很牛啊,不会的,所以混进技术圈子的难度太大了。

如果你能进,那就说明哎你确实是得到的一定是认可。

嗯嗯,就是说如果混到这种顶级圈子里,你能够拿到什么?就是我们前面说的一些比较前沿的解决方案,像伊利多活。

当时的时候,对,因为说呃面对一个问题,如果你不知道这个世界上已有的最好的解决方案到底是哪些,你就会觉得哎自己的解决特别牛,但其实很可能是别人完胜的。

因为架构这写代码问问嗯,架构最大的问题就是如果解决的思路有问题,最后返工可能非常吓人。

阿里在这个地方犯过无数的错误。

以前做分布式的时候,我们只知道哦要做成分布式。

但是我们没有想清楚,一个公司整个的系统换成分布式之后,对团队会带来什么样挑战,有哪些问题。

这些啊如果在架构层面没有解决,后面再解决就很难。

现在我们会说呢见过猪跑是很重要的。

以前我们觉得哎见过猪跑有什么重要的,嗯,反正我现在没想好。

哎,以前可以后可以节奏嘛,我可以慢慢练练成建国主跑,但是架构这玩意你现在没看到啊,未来要补的时候代价可能极大。

所以说架构师对这个视业的要求非常高。

嗯,那就是你看到跟做到哪个要求会更高一点,这不是一个维度。

因为看到有的时候是经力问题啊,另一个就是天花板的问题。

就是你有没有办法知道天花板?中国其实很多人并不知道天花板,有人会说哎,看一些时会就可以了,认为大会展示的是这个天花板,但其实可能根本不是。

而且现在很多大会里还有很多商业目的就更完蛋,其实它就是忽悠你的,再带节奏。

那你不一定知道,因为你外行嘛,这很正常。

嗯嗯,所以你觉得如果要去看天花板的话,到底应该怎么去看?其实是要去看学术论文。

你看google对这个世界的影响在技术的基术层面影响非常非常大对,但是它所有的影响都体现在哪里呢?哎,不是技术大会,是他发表的论文。

那虽然大家老觉得说发学术论文都是忽悠,但必须说真正改变这个世界技术的都是学术论文。

只不过学术论文里面你也要挑,因为混的也确实很多啊。

那有没有什么方法可以可以详细讲一讲的?最简单的方法当然是先找你这个领域含金量最高的这个学术会议。

因为他论文的水分相对低一点,而且工程界的也会去那发。

像google发论文呢,很大的目的就是为了让他们那几个人去评美国的科学院的院士。

不然这个工程界的人是压根儿不想写论文的,但没有没有必要嘛。

但是要凭院士他就必须要去写,要去写了那几篇。

呃,看这种论文呢,你第一你可以大概去判断一下方向。

因为在这种含金量很高的会议上,他发的论文肯定是解他的问题。

非常具备这个前瞻性或者非常具备挑战,又或者说价值非常大。

因为他解决的方法肯定是论证过的,也是具备一定的创新的。

因为论文要的创新,不能说跟别人解过的一样啊。

那加上这个工程界的论文,因为是工程的公司发的,像google这种公司都是工程类,那他肯定是有实践兜底的。

当然必须说是有真有假啊,即使是google也是的那技术上是可以编的嘛。

所以当你最后去了解一下这个工程上它到底是怎么落地啊,到底碰上什么障碍啊,这些肯定不会在论文里讲,你需要自己去验证啊,你会去听到很多的声音。

因为技术圈声音很多,有真有假,所以呢这就取决于你对自己有没有能力判断。

学术论文也是一样,你要跟这些教授啊直接去聊,或者说侧面打听一下到底什么个情况啊,那淘宝当年是怎么做的?以前呢我们会每年去专门关注这种顶级的大会,嗯,啊不断去研究里面发表的所有的论文去判断。

我们在这个问题上,现在解决方案啊跟他们对比大概是一个什么样情况啊,未来是不是就可以有一个更新新方向向可以尝尝试啊,以为公司来来如果一个架构构不知知,天天板板,肯定不是一足足够好。

架构构师啊,以前很多人会在PPT上写啊的解决方案是全世界的状关。

但是你得说清楚你为什么是最好。

如果你有论证,那我们可以认。

或者说啊你说现在不是最好的,但是你知道自己的位置这种也可以。

因为这个跟你公司的工程的状况有关,那工程落地是有节奏问题的。

知道最好的是那样,只是说我现在做不到。

哎,没关系,所有人都这样啊,如果知道天花板了就不怕怕知道呢,你可能也不怕怕是嗯公司来讲就是一个很可怕,怕不怕怕。

嗯,那你当年在淘宝那个时候会有怕的阶段吗?就是没有参考方案的话,呃,我也不太怕,因为我觉得大不了自己折腾嘛,像一三年做这个一地多火啊,我们心里当然是有担心的。

但是关键是这个问题,对于公司来讲是一定要解决的那就没啥那就试。

因为工程说白了,毕竟不是科学难题,做工程实在不行是可以试出来的。

只是说这个节奏会长,而且有可能不那么可控,成本比较高。

这个主要看信不信啊,你你觉得可以搞就可以。

嗯嗯,那你们招人的话,会对天花板的认知有一些要求吗?我们去这个面试判断的核心啊,就是说哎你对自己项目背后的技术的理解程度啊,包括这个项目的问题,你的解法啊,业界对于这个问题的解法,最后你为什么选择了这个方法,而没有选择业界的方法?嗯,像回答出这些问题,这个要求高吗?哦,这个非常高。

如果你能回答的非常好,说明你的选择做的非常理性啊,这种我们觉得简直是太完美的候选人了。

但事实上啊,知道天花板的人很少了,这是要花精力的。

很多人不愿意干,觉得没有必要,不就是个需求和干了就行了。

你管我怎么干呢?先不先进的都不重要。

但是有些对技术非常有热情的人,他其实是很有兴趣去了解的。

这个差别非常大的。

而且很明显嗯,对于天花板的这个问题,因为阿里是大公司嘛,有资源可以让大家去国外交流,去呃确认这个消息的那个正确程度。

但是对很多中小公司来说,他们没有这个资源,也没有这个机会,这怎么办?嗯,我们觉得也可以关注,就不一定非要去和别人直接去聊。

但是要大概知道一下,比如说顶会论文现在都在探讨一些什么问题啊,有什么样的创新的解决方法呀?啊,如果你发现顶会论文关注的领域跟你的领域一毛钱关关系都没有啊,这就说明他们认为这个领域目前没有什么可以突破的空间了,那就要赶快去想下一步了。

嗯,这个是主动去关注,那必须主动的被动,不可能就是架构师没法去被动的。

但是有些人他就是被安排上去的呀,这个也确实存在,就是你被推到了这个位置,不得不去解决这个问题。

有些人是这样去成长起来的,很正常啊。

但但这就太看命了。

嗯,而且对于公司来讲,呃,可能会稍微有点问题,因为问题你是解了,但是解法可能有问题,最后可能会给公司埋下巨大的坑。

所以回顾当年啊,我们会大家都觉得哦淘宝做的特别好。

但事实上我们一帮人去看,都觉得自己做的哎是糟糕的不行,有些就是我们们当时埋的坑,但如果让我们再去做会完全不一样,这就说明我们确实是比当年更好。

因为现在我们是见过珠跑的,也知道天花板在哪里了。

嗯,当年呢我们其实是知道一些东西的,包括google发的一些论文啊,但当时我们看了很多觉得哎做这个没什么意义啊,这就是我们么判断。

但过了几年后,我们就发现我们确实是错了,其实是很有意义的啊。

但这个会不会也很难说,比如说因为你的你们的业务当时没有到那个地步嘛,可能认识不到这个问题。

不是不是,我们当时也快出现那个问题了,但是就是我们没有判断出来到底会有多严重。

但google是经历过的,所以我们其实是应该相信的。

要相信一个见过珠跑的人,他说的是对的,不要太自以为是了,觉得自己想的会比他更好啊。

工程的很多问题没有经历,凭空想是想不出来的。

比如说阿里这么大体量,它在技术上到底看了什么问题啊,我们在里面都不一定能够想出来啊,这个东西是个啥啊,外围就更不提了,所以很多人很难成长起来。

因为作为一个商业系统的机会就很少。

你说你在加想一个商业的系统是怎么做出来的,会面临什么的问题啊,说实话这就是空想嘛,跟这些真正经历过的人去比是不大可能的。

今天的对谈到这里就暂时结束了。

我们主要聊的是毕寻那伙人当年做异地多活的故事,伊利多活的技术资料呢,阿里之前公开了很多。

所以这次访谈呢我们没有太细致的聊这个话题。

如果你感兴趣的话呢,可以去看拓展阅读的链接。

这次我们的访谈呢重点是放在了对整个项目的复盘,从牵头到具体落地到收尾,以及到后期的布光的全过程。

那在对谈中呢,我印象最深刻的是很多人觉得一亿都活,他们做的很成功,但是必璇自己却反思啊,自己做项目的方法有很大的缺陷。

强调做大项目的时候不要塑造一个省,不是一个好事。

那公司能够更好的做成项目,很重要的方面是各方都要获得利益。

关于这一点,你是怎么看的呢?在自己参与过的项目中,或者见证过别人的项目中,你有一些案例可以分享讨论的吗?另外呢今天我们也重点聊到了架构师如何去拓展事业。

碧璇认为啊对架构师来说,见过猪跑是很重要的。

总结说呢架构师会面临两大困境。

第一个是没有见过珠跑的经历缺陷。

第二是对天花板认知的不足。

那对这两个问题你是怎么看的呢?平时是怎么处理的呢?关于天花板问题,碧璇的建议是先找自己领域含金量最高的学术会议。

如果你有兴趣的话,也可以尝试一下这个方法啊。

如果你有其他有感想的话题呢,也欢迎留言参与讨论。

说不定你能够在留园区解释自己同领域的开发者。

下一讲呢我们将讨论碧璇的第二段转岗经历。

从研发转岗到运维这段经历呢,我个人是觉得影响了他后面整个的职业发展。

那到底发生了什么?我们下讲再见,拜拜。