02 | CAP理论:分布式系统的PH试纸,用它来测酸碱度
02 | CAP理论:分布式系统的PH试纸,用它来测酸碱度
讲述:于航
时长15:26大小14.13M
CAP 三指标
CAP 不可能三角
如何使用 CAP 理论
内容小结
课堂思考
赞 33
提建议
精选留言(69)
- Sinclairs2020-02-10CP模型的KV存储,适合用于提供基础服务,保存少量数据,作用类似zookeeper。 AP模型的KV存储,适合查询量大的场景,不要求数据的强一致性,目前广泛应用于分布式缓存系统。 一点思考,不知道对不对?
作者回复: 加一颗星:),能否容忍的可能的短暂的一致性延迟,是关键。
共 3 条评论59 - 大漠胡萝卜2020-02-11网络分区,怎么理解?
作者回复: 网络分区是指因为网络故障导致网络不连通,不同节点分布在不同的子网络中,各个子网络内网络正常。其实,你可以这么理解,节点之间的网络通讯出现了消息丢失、高延迟的问题。
共 2 条评论33 - 陈2020-02-14cp模型适合要求acid场景,比如银行转账。ap模型适合只要求base的场景,比如网页cdn场景,不知道理解得对不对。
作者回复: 加一颗星:)
24 - enjoylearning2020-02-11还是不太明白分区容错性P和可用性A的区别,不都是随时可以提供服务吗?
作者回复: 可以这么理解,分布式系统是必须要考虑分区容错性的,也就是说,出现分区错误时,比如节点间通讯丢消息了,系统要能运行,那么,这时候如何运行呢?是选择一致性呢,还是选择可用性呢。
共 27 条评论20 - zjm_tmac2020-02-10这里的节点1同步给节点2指的是日志复制还是等待节点2的事务提交完成? 如果是日志复制的话,会不会两边提交事务的时间不一致,造成读取不一致。 如果是等待事务提交的话,是不是变成了完全阻塞的,性能很低还有各种各样问题。
作者回复: 加一颗星:)。这里是简化表示,比如你可以理解成二阶段提交的事务。关于第一个“如果”,多节点的副本是无法做到完全同时完成提交的,但能保证写完成后,读取都是一致的;如果需要实现读取的严格一致性,比如,可以通过实现“Master-Slave”模型,读写只访问Master节点,实现读取的严格一致性;第二个“如果”,就是常见事务型系统的缺点。
共 2 条评论19 - iron_man2020-02-23知乎上看到的,与各位分享 一个分布式系统里面,节点组成的网络本来应该是连通的。然而可能因为一些故障,使得有些节点之间不连通了,整个网络就分成了几块区域。数据就散布在了这些不连通的区域中。这就叫分区。当你一个数据项只在一个节点中保存,那么分区出现后,和这个节点不连通的部分就访问不到这个数据了。这时分区就是无法容忍的。提高分区容忍性的办法就是一个数据项复制到多个节点上,那么出现分区之后,这一数据项就可能分布到各个区里。容忍性就提高了。然而,要把数据复制到多个节点,就会带来一致性的问题,就是多个节点上面的数据可能是不一致的。要保证一致,每次写操作就都要等待全部节点写成功,而这等待又会带来可用性的问题。总的来说就是,数据存在的节点越多,分区容忍性越高,但要复制更新的数据就越多,一致性就越难保证。为了保证一致性,更新所有节点数据所需要的时间就越长,可用性就会降低。 作者:邬江 链接:https://www.zhihu.com/question/54105974/answer/139037688 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。展开
作者回复: 前半部分的容忍性,其实指的的是可用性,做法是分区部署、增加数据缓存,提升可用性。分区容错性是一种行为,指的是分区错误发生时,系统依然能提高服务,这时可以提供的服务,有两种,一致性和可用性,需要注意的是,有些服务是要求一致性的,也就是说,增加集群副本数,是不能解决问题的。可用性,就比较好理解了,但在实际中,仅仅增加副本数或缓存是不够的,还需要全方位的监控能力、高灵敏的故障检测能力、全网的调度能力,等等。
共 4 条评论17 - 霹雳大仙pp2020-03-09以阿里nacos来说,配置中心是cp,保证各节点配置强一致;注册中心是ap,保证了可用性,牺牲了强一致性。
作者回复: 加一颗星:)
15 - NICK2020-02-23可不可以理解成在分布式场景下: 1. 如果业务需要强一致性,则只能牺牲可用性而选择CP模型。 2. 如果业务需要最终一致性即可,则优先满足可用性,选择AP模型?
作者回复: 加一颗星:)
11 - longyi2020-02-19受限于 Raft 的强领导者模型。所有请求都在领导者节点上处理,整个集群的性能等于单机性能。这样会造成集群接入性能低下,无法支撑海量或大数据量的时序数据。 //老师,这里应该是所有的写请求都在领导者节点上处理吧? //另外,如果采用multi-raft,每个raft分片都有自己的leader,这样请求将不限于节点,而是在分片的leader上,这样性能也没那么差,老师觉得呢?
作者回复: 加一颗星:),是写请求,相比Raft,Multi-Raft是有改进的,但和最终一致性的方案相比,还是有差距。其实,Raft不适合时序数据场景,比如,如果即使采用multi-raft,因为时序数据,有时需要拉取一批数据,这时需要在外围,再实现分布式迭代器,工作量,还是蛮大的;另外,在Raft中,uncommitted的log,可能被丢弃了,也可能在后面被提交了,也就是说,当Raft返回给客户端超时错误时,数据是否会被提交,是个不确定状态,如果这时,客户端不重试,可能会丢数据,如果客户端重试,对于没有带时间戳的时序数据,会导致数据重复,当然,我们可以通过重新约定InfluxDB行为、实现冥等操作等,来解决这个问题,但这样做,不仅增加工作量和系统复杂度,还影响用户的体验;还有最后一点,也就是最最重要的,高性能的背后,是成本,是钱,这个经济效益,会在海量数据场景,被放大,性能是最核心的一个考虑因素。
共 2 条评论8 - 约书亚2020-02-11有个问题想不通,求助一下》 在如何使用CAP理论一节,但就文中定义来说: 选择C时拒绝的是"写入"。选择A时,讨论的是"返回"相对新的信息。 请问,根据这样的定义,某些基于raft的系统中(比如consul),在分区后,在少数分区一方的拒绝写入,就满足了C,而任何一个节点都支持读取陈旧的数据,又满足了A。CAP齐全,这不是矛盾了么? 我查阅了些资料包括维基百科,对C和A的定义也都如此。 我发现<<designing data-intensive applications>>这本书里有简单的用写入或读取这样的字样,而是一直用"线性一致性"(p336)。 CP的KV存储一般都被借助用于提供给次级应用做严格的一致性的保障。 AP的KV存储一般都被用于海量数据高并发需求下的数据操作,或者是多可用区高延迟的场景下的最终一致性保障。展开
作者回复: 这里,是从大家在日常实践中,最直观感受的角度,进行表述的,一致性,最直观的,是影响到写,可用性,最直观的,是还能读到相对新的数据。你可以这么理解,当发生分区错误是,选择了C,新数据,都无法写入了,那就可能也不能读取了;选择了A,新数据,在部分节点上,能写入,也能被业务读取。 另外,Raft是一个共识算法,“大多数的约定”赋予了它容错能力,也就是少部分节点故障时,集群是正常运营和写入的。但需要你注意的是,Raft实现的是大多数节点间的数据的共识,不是数据副本的强一致性,分布式事务是实现强一致性的,你可以想象下,分区错误了,分布式事务是无法提交的,也就是新数据,是无法写入的。
共 10 条评论7 - 小跑2020-02-14怎么觉得etcd-raft不是严格意义上的一致性,是线性的,只要满足大多数的情况下,哪怕个别节点挂掉,也能对外提供读写服务,所以从这个角度看,它其实一种ap模型吧。
作者回复: Raft是具有容错能力的共识算法,可以用来实现一致性,比如,类似Google Chubby,读写操作都在领导者节点上执行。 可以这么理解,分布式事务实现的是一致性,不能容忍任何节点出问题;只要集群中有一个节点,都能继续提供服务,可以把这个理解为可用性。而Raft等共识算法,能容忍少数节点的故障,但通过读写操作都在领导者节点上执行,也能为业务提供一致性的数据服务,可以将共识算法理解为对分布式事务型算法的改进,既有容错能力,又能提供一致性。
6 - 向前走2020-04-25可用性和分区容错性理解上感觉有点类似,都是保证能提供服务,这两个主要的区别是什么呢,老师
作者回复: 加一颗星:),为了更好理解,我在内容上做了微调,避免了重复出现”提供服务“。分区容错性,说的是,出现分区错误时,系统要能继续运行,这时有两个选择,一致性和可用性。举个例子,2服务器节点,把网线剪断了,这时系统接收到来自客户端的读请求时,有2个选择:1,选择一致性,因不能响应最新数据,而返回出错给客户端;2,选择可用性,响应本地数据给客户端,也就是旧数据。此时,只能在C和A中,二选一。
共 2 条评论5 - Skysper2020-02-19文中说节点1和节点2通信异常的时候,仍然能够提供服务,是满足分区容错性的,那么这个仍然能够提供服务怎么理解?是不是同时体现了可用性(一个分区容错性体现了两个特性)?可用性与分区容错性是不是存在一定的边界?同样如果是满足CP的情况下,是不能写入,还可以读吗?或者都不可以,如果都不可以,是不是又不满足P了呢?
作者回复: 分布式系统是必须要考虑分区容错性的,也就是说,出现分区错误时,比如节点间通讯丢消息了,系统要能正常运行,那么,这时候如何运行呢?是选择一致性呢,还是选择可用性呢,满足P的时候,C和A是有矛盾的。 选择了CP,可以读,可以这么理解,网络分区时,读操作,不影响一致性。
共 3 条评论5 - zmysang2020-02-15如果meta节点采用ap架构,在网络分隔的情况下,分隔的节点之间独立,各自接收到请求后自行处理,不会进行数据同步,导致不同meta节点上的元数据信息不一致。那么在数据请求的过程,可能会出现对不同节点发送请求有的可以成功有的不能成功的情况,这其实也会造成一种不可用的情况。 针对CP 模型的 KV 存储和 AP 模型的 KV 存储,分别适合怎样的业务场景呢? 针对cp模型的kv存储,适用于对数据的一致性以及可靠性要求比较高的情况; 针对ap模型的kv存储,适用于对延迟要求比较高,对数据一致性要求没有那么高的情况。展开
作者回复: 加一颗星:)
5 - 宁悦2020-05-2312306抢票的时候的余票查询是一个AP模型,不管在哪里都能查询到票数,但是票数不一定和实际票数相匹配。 购买车票的时候就是一个CP模型,不管从哪里访问,能不能买到票都是一致的。 就导致明明查询余票的时候有票,但是真正买的时候没票的情况。
作者回复: 加一颗星:)
3 - QQ怪2020-04-16看完老师的例子感觉对cap又有新的认识和理解
作者回复: 加一颗星:),多交流:)
3 - 密码1234562020-03-03分区容错性和可用性。有点分不清,我感觉说的是一回事啊!都是对外提供可用的服务。
作者回复: 加一颗星:),这么理解,当发生分区错误时,系统在运行,那么如何运行呢?要在一致性和可用性中选择一个,这两个是不能同时满足的,如果选择了一致性,能一直读到新数据,但在分区错误发生时,可能因为系统无法响应最新数据,而读取数据失败;如果选择了可用性,每次读操作都会得到响应,但会读到旧数据。
共 3 条评论3 - Jaime2020-08-10假设meta节点选择了ap,有一种情况当data节点扩容的时候,因为要做机器间的数据平衡和迁移,那么元数据信息就会发生改变,如果meta节点是ap的时候,客户端读取数据就可能拿到不是最新的元信息,就会发生往data节点写入失败或者查找失败的问题,不知道我说的这种情况对不对?
作者回复: 加一颗星:),是的。
2 - Geek_9ad5552020-07-21打卡总结下: 1.要想分布式系统稳定运行,首先必须保证内部问题得到解决,不能出现多个山头,也就是分区容忍性。 2. 一致性 分为强一致性,弱一致性,和最终一致性。 a. 强一致性 对错误零容忍,一点儿错就导致全部不可用 b.弱一致性允许数据不准确 c.最终一致性允许在运行过程中不一致,但是最终必须一致 3. 可用性展开
作者回复: 加一颗星:)
1 - funnyx2020-06-12老师您好,如果在保证分区容错的前提下,两个节点数据同步不及时,会产生数据不一致问题,那这种应该如何处理?是从客户端角度考虑还是从服务端架构重新考虑?
作者回复: 加一颗星:),节点的数据不一致,不是问题,因为我们可以通过实现相应的读操作,来实现一致性,比如,限制读操作只能在Raft的领导者节点上执行,来实现强一致性。再或者,主备架构,在故障切换后,实现双读,来保证一定能读取到最新的数据。
共 2 条评论1