开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧

Feb 10, 2020

开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧

2020-02-10 韩健来自北京

《分布式协议与算法实战》

课程介绍



讲述：于航

时长09:17大小7.44M



你好，我是韩健，你叫我“老韩”就可以了。
在专栏开始之前，我想先和你聊聊自己的经历，加深彼此的了解。在重庆大学的软件工程专业毕业之后，我就开始和分布式系统打交道，至今有十多年了。早期，我接触了电信级分布式系统，比如内核态 HA Cluster，现在是互联网分布式系统，比如名字服务、NoSQL 存储、监控大数平台。
我曾经做过创业公司的 CTO，后来加入腾讯之后，负责过 QQ 后台海量服务分布式中间件，以及时序数据库 InfluxDB 自研集群系统的架构设计和研发工作。
你可能会问我，为什么要单独讲分布式协议和算法呢？（为了不啰嗦，咱们下文都简称分布式算法）在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。
举个例子，学数学的时候，我们总是会学到很多公式或者定理，我上学的时候，还觉得这些定理枯燥至极。但后来我明白了，这些定理和公式其实就是前人花了很长时间思考、验证、总结出来的规律，如果我们能在这之上做事情，更容易快速地找到正确答案。同样，你学习咱们这个专栏也是这个道理。
分布式算法是分布式技术中的核心可能有些同学会说：“老韩，你别忽悠我，我可是系统看过分布式领域的经典书的，比如《分布式系统：概念与设计》《分布式系统原理与范型》，这些书里分布式算法的篇幅可不多啊。”
是的，这也是我奇怪的地方。不过，你可以看看网上关于分布式的提问，这里面点击量大的肯定与分布式算法有关，这是不是侧面说明了它的重要性呢？
而且从我多年的经验来看，很多同学读了那几本厚重的经典书之后，在实际工作中还是云里雾里。我想，如果他们来问我，我会建议他们先把各种分布式算法搞清楚。因为分布式系统里，最重要的事情，就是如何选择或设计适合的算法，解决一致性和可用性相关的问题了。
可尽管它是分布式技术中的核心与关键，但实际掌握的人或者公司却很少。我来说个真实的事儿。
我刚刚提到的 InfluxDB 其实是一个开源的时序数据库系统，当然，开源的只是单机版本，如果你要使用集群功能，要么就是基于开源版本自研，要么就是购买人家的企业版本。
而这里面，企业版本一个节点一年 License 授权费就是 1.5 万美刀，是不是很贵？那贵在哪里呢？相比于单机版本，企业版本的技术壁垒又是什么？
在我自己折腾了一番 InfluxDB 系统后，我捂着胸口和你说，它的护城河就是以分布式算法为核心的分布式集群能力。
我知道有很多技术团队曾经试图自己实现 InfluxDB 的企业版本功能，但最后还是放弃了，因为这里面坑太多了。比如，实现集群能力的时候，怎么支持基于时序进行分片？怎么支持水平扩展？甚至还有些人在接入性能敏感的场景，该使用反熵（Anti-Entropy）算法的时候，却用了 Raft 算法，使得集群性能约等同于单机。
可以看到，分布式系统的价值和意义的确很大，但如果不能准确理解分布式算法，可能不仅开发实现的分布式系统无法稳定运行，而且你还会因为种种现网故障，逐渐影响到职业发展，丧失职场竞争力。
再说点儿更实际的，现阶段，掌握分布式算法也是你面试架构师、技术专家等高端岗位时的敲门砖。 你可以搜索看看，知名的公司在招聘架构师或者高级工程师时，岗位要求中是不是写着熟悉分布式算法相关理论等内容？不过从我作为面试官的经验来看，懂这部分的候选人实在是少之又少。
别看啰嗦了这么多，我只是想强调，不管你是基于技术追求的考虑，还是基于长期职业发展和提升职场竞争力的考量，“分布式算法”都是你在这个时代应该掌握的基本功。
当然了，我也知道，分布式算法虽然很重要，但是也比较难学，原因有这样几点。
除了算法本身抽象，不容易理解之外，即使是非常经典的论文，也存在在一些关键细节上没有讲清楚的情况。比如，你比较熟悉的拜占庭将军问题，在阅读口信消息型拜占庭问题之解时，你是不是感到很吃力呢？那是因为论文没有说透彻，而我会在01 讲带你了解这些内容。
信息时代资料丰富，但质量参差不齐，甚至有错误。网上信息大多是“复制粘贴”的结果，而且因为分布式领域的研究多以英文论文的形式出现，中文翻译内容的错误非常多，这也给自主学习带来很多不必要的障碍和误导。如果你没有足够的好奇心和探究精神，很难完全吃透关键细节。
很多资料是为了讲解理论而讲解理论，无法站在“用”的角度，将理论和实战结合。最终，你只能在“嘴”上理解，而无法动手。
方法得当，知识并不难学在我看来，要想掌握这部分内容，不仅要理解常用算法的原理、特点和局限，还要能根据场景特点选择适合的分布式算法。
所以，为了更好地帮你轻松、透彻地搞懂分布式技术，理解其中最核心和最为精妙的内容，我希望将自己支撑海量互联网服务中的分布式算法实战心得分享给你。
我将课程划分了三个模块，分别是理论篇、协议和算法篇以及实战篇。
其中，理论篇，我会带你搞懂分布式架构设计核心且具有“实践指导性”的基础理论，这里面会涉及典型的分布式问题，以及如何认识分布式系统中相互矛盾的特性，帮助你在实战中根据场景特点选择适合的分布式算法。
协议和算法篇，会让你掌握它们的原理、特点、适用场景和常见误区等。比如，你以为开发分布式系统使用 Raft 算法就可以了，其实它比较适合性能要求不高的强一致性场景；又比如在面试时，如果被问到“Paxos 和 Raft 的区别在哪里”，你都会在第二部分中找到答案。
实战篇，教你如何将所学知识落地，我会带你掌握分布式基础理论和分布式算法在工程实践中的应用。比如，剖析 InfluxDB 企业版的 CP 架构和 AP 架构的设计和背后的思考，以及 Raft、Quorum NWR、Anti-Entropy 等分布式算法的具体实现。
从实战篇中，你可以掌握如何根据场景特点选择适合的分布式算法，以及如何使用和实现分布式算法的实战技巧。这样，当你需要据场景特点选择适合的分布式算法时，就能举一反三，独立思考，设计开发了。
除此之外，我还会带你剖析 Hashicorp Raft 的实现，并以一个分布式 KV 系统的开发实战为例，来聊聊如何使用 Raft 算法实际开发一个分布式系统，以此让你全面拥有分布式算法的实战能力。
总体来说，学完这次课程，你会有以下几个收获：
破除你对分布式协议和算法的困惑，帮助你建立信心；
可落地的 4 大分布式基础理论；
8 个最常用的分布式协议和算法；
3 大实战案例手把手教学；
以实战为中心的分布式内容体系。
写在最后我承诺课程的每一讲都是干货，也会第一时间和你交流答疑，也请你监督。只要你紧跟脚步，不懂就问，课后多加思考和练习，相信你一定会学有所成。
与此同时，我希望所有对技术有追求的工程师，都能在学完课程之后，顺利攻下这一关。再具体一点说，就是能够在工作中根据场景特点，灵活地设计架构和使用分布式算法开发出适合该场景的分布式系统，并且对架构设计的理解更上一层。姑且把这段话当成我们的教学目标吧。
最后，欢迎你在留言区说一说自己在技术上的困惑，或者想通过这个专栏收获些什么，这样可以方便我在后续的备课中，针对性地讲解内容。重要的是，也能帮你在学完之后回顾这些疑难问题，感受到自己切实的进步和能力的提升。
期待与你在这个课程中碰撞出更多的思维火花，未来的两个月里，让我们成为朋友，携手同行，共同进步！

分享给需要的人，Ta购买本课程，你将得18元

生成海报并分享

赞 42

提建议

学习路径 | 分布式协议与算法你应该这么学

 写留言

精选留言(49)

业余草
2020-02-10
分步试 ——> 分布式一、分布式锁数据库的唯一索引 Redis 的 SETNX 指令 Redis 的 RedLock 算法 Zookeeper 的有序节点二、分布式事务 2PC 本地消息表三、CAP 一致性可用性分区容忍性权衡四、BASE 基本可用软状态最终一致性五、Paxos 执行过程约束条件六、Raft 单个 Candidate 的竞选多个 Candidate 竞选数据同步
展开
作者回复: 加油！细节是魔鬼，一起吃透细节，彻底掌握。
51
约书亚
2020-02-10
所有编程的技术点里最喜欢的就是分布式系统一致性和可用性相关的部分。但个人感觉面架构师时分布式算法提到的不是非常多...我在挺长时间里积累了相当多的多分布式的问题：我们也在用InfluxDB免费版，也为单机问题感到苦恼。企业版不是不开源么？您是怎样研究的呢？看过某云的InfluxDB服务高可用版的架构图，应该就是基于raft实现一主两从的数据复制，这样会否对InfluxDB原本非常高的写吞吐量造成很大的影响？不仅仅是etcd此类中间件，现在连要支持极高吞吐量的MQ中间件，有的都开始使基于raft算法了，到底raft经过改造后对整体吞吐量的拖累能降到多低？哪个实现的代码更典型更适合来学习呢？一直想实现一个集群之间复制数据的功能，想基于gossip，但看到gossip很多都使用在集群成员管理上，不知道在多大流量的尺度上，使用gossip是合适的？erlang的OTP和支持分布式一致性的数据库，底层使用的是什么算法？像eureka，redis sentinel等中间件的分布式算法，有没有什么理论依据？还是纯“瞎蒙”? 还有很多问题，希望随着此门课程的学习能得到答案。最后，20节太短，如果老师还有个人博客/公众号/或者其他作品能让我持续学习就更好了。
展开
作者回复: 有些问题，我会在后续内容中具体说说，比如如何研究闭源的InfluxDB企业版，Gossip协议的使用场景。有些问题，学习完相关内容后，你应该能独立分析，比如，Raft对集群性能的限制，eureka、redis的一致性实现。在内容中找不到答案的问题，或者学习完内容后，大家仍无法举一反三独立分析的典型问题，我会以加餐篇的形式，详细说说。20节，是浓缩、反复打磨的最核心内容，后续会以加餐篇的形式，加入更多的内容，日常工作中会用到的，比如分布式事务、架构设计、工程实践、性能优化等。授人以鱼不如授人以渔，生有涯知无涯，只有掌握了最核心的“道”，才能以不变应万变，突破性的解决系统痛点和打造业界领先的产品。我们一同努力，加油！相信你一定会学有所成。
共 4 条评论
43
非洲黑猴子
2021-10-10
记得在一次面试中有被问到：“如何设计一个分布式文件系统，并实现高可用性和强一致性？”当时被问得哑口无言、毫无头绪，希望学完这套课程之后能有个清晰的思路。今天算是第一天打卡😂
4
Michael
2020-05-12
分布式算法和分布式事务之间有关系么？
作者回复: 加一颗星:)，分布式算法是统称，实现分布式事务的算法，比如2pc，也属于分布式算法。
共 2 条评论
4
a d e
2020-07-27
不管是架构设计，还是区块链相关技术，分布式算法是逃不过的，不如早点面对，拿下！！！
作者回复: “架构”不能只是开源软件堆砌，要贴合场景，从最最本质的技术核心出发，直面和解决痛点。加油！有疑问多留言、讨论。
3
蓝魔丶
2020-02-11
不再被各种算法名词术语打败，知晓它们之间的联系与区别，举一反三，加深分布式算法的理解，了解适用场景和常见误区。同时在阅读开源项目的源码时能够很快掌握其中使用的算法技巧，加深理解和思考，希望自己有朝一日也能重复造轮子，还能造更好的轮子
作者回复: 加油！创造出业界领先的轮子:)
3
kernel_distribution
2020-02-23
请问下老师， http://pages.cs.wisc.edu/~remzi/Classes/739/Fall2017/paxos.lecture.pdf 这个最后的Q2有什么问题么？
作者回复: 可能出现各节点的值不一致的情况。因为少数节点，可能只执行了Accept(n, value)，也就是没有经过prepare阶段，如果此时，有小于n的提议者在之前得到大多数准备响应，现在在发起接受请求，尽管少数节点，已执行了Accept(n, value)，因为没有设置minProposal，节点还是会重新接受这个低提案编号的提案，导致最终的值，被修改。
2
Frank
2020-02-11
为了走的更远，分布式这块硬骨头得啃下来。希望借助作者分享的内容，自己能对分布式基本轮廓和重要的“公式定理”有一个准确清晰的理解。
作者回复: 加油！一定可以的。
2
忆水寒
2020-02-10
原来只是对概念、一些名称很熟悉，对算法内容看着明白，但是讲不出来、讲不清楚。希望学完这个专栏，我能全局讲清楚每个算法的原理和过程，借助这些知识用于优化我们产品的系统、甚至开发分布式组件（因为我们也是分布式架构）。
作者回复: 加油！我们一同努力，一定可以的。
2
一步
2020-02-10
理解分布式协议和算法，设计出更适合的出分布式系统
作者回复: 加油！你可以的。
2
成电帅才
2021-03-02
有时候感觉分布式一致性应该叫做分布式共识算法才比较合适，但是又不知道对不对
1
竖人乙禾斗
2020-11-23
赞赞，赞赞！
1
InfoQ_8ae7d4823c56
2020-09-05
老师可以出一些实战的分布式课程，对于很少接触分布式的人来说，理论的听了之后还是理解的不太深刻
作者回复: 加一颗星:)，感谢反馈，这个也是我常常在思考的，也在尝试，比如，我在启动对标InfluxDB企业版的开源分布式时序数据库，其中的一个初心，就是想在这个系统中注入更多新技术，也希望更多同学能在代码中理解技术。
1
Geek_Line
2020-03-28
还不要说架构师或者高级工程师，现在有些公司校招的岗位都对分布式有要求了，赶紧来学习学习！
作者回复: 加油！有问题，欢迎留言，咱们一起讨论:)。
共 2 条评论
1
Geek_Erdore
2020-02-16
老师您好，我想问下您课程中的分布式KV这个项目，KV存储是基于的开源存储系统吗
作者回复: 示例:)
1
Daiver
2020-02-13
如果能将下fabric基于kafka排序共识的算法就更好了
1
姑射仙人
2020-02-11
希望学习后能将老师的知识转化为自己的知识，并且能融入自己的理解。
作者回复: 加油！
1
ATSS码农哥
2022-11-07 来自美国
希望能坚持学习好好提升自己加油！
小王
2022-06-22
学完了才发现是校友
Geek_10c702
2022-03-14
深入理解分布式协议算法

