极客时间已完结课程限时免费阅读

21 | 系统架构：每秒1万次请求的系统要做服务化拆分吗？

21 | 系统架构：每秒1万次请求的系统要做服务化拆分吗？-极客时间

21 | 系统架构：每秒1万次请求的系统要做服务化拆分吗？

2019-11-11 唐扬 来自北京
《高并发系统设计40问》
课程介绍

讲述：唐扬

时长11:06大小10.16M

你好，我是唐扬。
通过前面几个篇章的内容，你已经从数据库、缓存和消息队列的角度对自己的垂直电商系统在性能、可用性和扩展性上做了优化。
现在你的系统运行稳定好评不断，每天高峰期的流量已经达到了 10000/s 请求，DAU 也涨到了几十万。CEO 非常高兴，打算继续完善产品功能进行新一轮的运营推广，争取在下个双十一可以将 DAU 冲击过百万。这时你开始考虑怎么通过技术上的优化改造支撑更高的并发流量，比如支撑过百万的 DAU。
于是你重新审视了自己的系统架构，分析系统中有哪些可以优化的点。
目前来看，工程的部署方式还是采用一体化架构。也就是说所有的功能模块，比如电商系统中的订单模块、用户模块、支付模块、物流模块等等都被打包到一个大的 Web 工程中，然后部署在应用服务器上。
你隐约觉得这样的部署方式可能存在问题，于是 Google 了一下后发现当系统发展到一定阶段都要做微服务化的拆分，你也看到淘宝的“五彩石”项目对于淘宝整体架构的扩展性带来的巨大影响。这一切让你心驰神往。
但是有一个问题一直萦绕在你的心里：究竟是什么促使我们将一体化架构拆分成微服务化架构？是不是说系统的整体 QPS 到了 1 万或者到了 2 万，就一定要做微服务化拆分呢？

一体化架构的痛点

先来回想一下你当初为什么选用了一体化架构。
在电商项目刚刚启动的时候，你只是希望能够尽量快地将项目搭建起来，方便将产品更早地投放市场快速完成验证。
在系统开发的初期，这种架构确实给你的开发运维带来了很大的便捷，主要体现在：
开发简单直接，代码和项目集中式管理；
只需要维护一个工程，节省维护系统运行的人力成本；
排查问题的时候，只需要排查这个应用进程就可以了，目标性强。
但随着功能越来越复杂，开发团队规模越来越大，你慢慢感受到了一体化架构的一些缺陷，这主要体现在以下几个方面。
在技术层面上，数据库连接数可能成为系统的瓶颈。
在第 7 讲中我提到，数据库的连接是比较重的一类资源，不仅连接过程比较耗时而且连接 MySQL 的客户端数量有限制，最多可以设置为 16384（在实际的项目中，可以依据实际业务来调整）。
这个数字看着很大，但是因为你的系统是按照一体化架构部署的，在部署结构上没有分层，应用服务器直接连接数据库，那么当前端请求量增加，部署的应用服务器扩容，数据库的连接数也会大增，给你举个例子。
我之前维护的一个系统中数据库的最大连接数设置为 8000，应用服务器部署在虚拟机上数量大概是 50 个，每个服务器会和数据库建立 30 个连接，但是数据库的连接数却远远大于 30 * 50 = 1500。
因为你不仅要支撑来自客户端的外网流量还要部署单独的应用服务支撑来自其它部门的内网调用，也要部署队列处理机处理来自消息队列的消息，这些服务也都是与数据库直接连接的，林林总总加起来，在高峰期的时候数据库的连接数要接近 3400。
所以一旦遇到一些大的运营推广活动服务器就要扩容，数据库连接数也随之增加，基本上就会处在最大连接数的边缘。这就像一颗定时炸弹，随时都会影响服务的稳定。
除此之外，一体化架构增加了研发的成本抑制了研发效率的提升。
《人月神话》中曾经提到：一个团队内部沟通成本和人员数量 n 有关，约等于 n(n-1)/2，也就是说随着团队人员的增加，沟通的成本呈指数级增长，一个 100 人的团队需要沟通的渠道大概是 100（100-1）/2 = 4950。为了减少沟通成本，我们一般会把团队拆分成若干个小团队，每个小团队 5～7 人负责一部分功能模块的开发和维护。
比如你的垂直电商系统团队就会被拆分为用户组、订单组、支付组、商品组等等。当如此多的小团队共同维护一套代码和一个系统时，在配合的过程中就会出现问题。
不同的团队之间沟通少，假如一个团队需要一个发送短信的功能，那么有的研发同学会认为最快的方式不是询问其他团队是否有现成的而是自己写一套，但是这种想法是不合适的，会造成功能服务的重复开发。
由于代码部署在一起，每个人都向同一个代码库提交代码，代码冲突无法避免；同时功能之间耦合严重，可能你只是更改了很小的逻辑却导致其它功能不可用，从而在测试时需要对整体功能回归，延长了交付时间。
模块之间互相依赖，一个小团队中的成员犯了一个错误，就可能会影响到其它团队维护的服务，对于整体系统稳定性影响很大。
最后，一体化架构对于系统的运维也会有很大的影响。
想象一下，在项目初期你的代码可能只有几千行，构建一次只需要一分钟，那么你可以很敏捷灵活地频繁上线变更修复问题。但是当你的系统扩充到几十万行甚至上百万行代码的时候，一次构建的过程包括编译、单元测试、打包和上传到正式环境，花费的时间可能达到十几分钟，并且任何小的修改，都需要构建整个项目，上线变更的过程非常不灵活。
而我说的这些问题都可以通过微服务化拆分来解决。

如何使用微服务化解决这些痛点

之前我在做一个社区业务的时候，开始采用的架构也是一体化的架构，数据库已经做了垂直分库，分出了用户库、内容库和互动库，并且已经将工程拆分了业务池，拆分成了用户池、内容池和互动池。
当前端的请求量越来越大时，我们发现无论哪个业务池子用户模块都是请求量最大的模块儿，用户库也是请求量最大的数据库。这很好理解，无论是内容还是互动都会查询用户库获取用户数据，所以虽然我们做了业务池的拆分，但实际上每一个业务池子都需要连接用户库并且请求量都很大，这就造成了用户库的连接数比其它都要多一些，容易成为系统的瓶颈。
那么我们怎么解决这个问题呢？
其实可以把与用户相关的逻辑部署成一个单独的服务，其它无论是用户池、内容池还是互动池都连接这个服务来获取和更改用户信息，也就是说只有这个服务可以连接用户库，其它的业务池都不直连用户库获取数据。
由于这个服务只处理和用户相关的逻辑，所以不需要部署太多的实例就可以承担流量，这样就可以有效地控制用户库的连接数，提升了系统的可扩展性。那么如此一来，我们也可以将内容和互动相关的逻辑都独立出来，形成内容服务和互动服务，这样我们就通过按照业务做横向拆分的方式解决了数据库层面的扩展性问题。
再比如，我们在做社区业务的时候，会有多个模块需要使用地理位置服务，将 IP 信息或者经纬度信息转换为城市信息。比如推荐内容的时候，可以结合用户的城市信息做附近内容的推荐；展示内容信息的时候也需要展示城市信息等等。
那么如果每一个模块都实现这么一套逻辑就会导致代码不够重用。因此我们可以把将 IP 信息或者经纬度信息转换为城市信息，包装成单独的服务供其它模块调用，也就是我们可以将与业务无关的公用服务抽取出来，下沉成单独的服务。
按照以上两种拆分方式将系统拆分之后，每一个服务的功能内聚，维护人员职责明确，增加了新的功能只需要测试自己的服务就可以了，而一旦服务出了问题，也可以通过服务熔断、降级的方式减少对于其他服务的影响（我会在第 34 讲中系统地讲解）。
另外由于每个服务都只是原有系统的子集，代码行数相比原有系统要小很多，构建速度上也会有比较大的提升。
微服务化之后，原有单一系统被拆分成多个子服务，无论在开发还是运维上都会引入额外的问题，那么这些问题是什么? 我们将如何解决呢？下一节课，我会带你来了解。

课程小结

本节课，我主要带你了解了实际业务中会基于什么样的考虑对系统做微服务化拆分，其实系统的 QPS 并不是决定性的因素。影响的因素我归纳为以下几点：
系统中使用的资源出现扩展性问题，尤其是数据库的连接数出现瓶颈；
大团队共同维护一套代码，带来研发效率的降低和研发成本的提升；
系统部署成本越来越高。
从中你应该有所感悟：在架构演进的初期和中期，性能、可用性、可扩展性是我们追求的主要目标，高性能和高可用给用户带来更好的使用体验，扩展性可以方便我们支撑更大量级的并发。但是当系统做的越来越大，团队成员越来越多，我们就不得不考虑成本了。
这里面的“成本”有着复杂的含义，它不仅代表购买服务器的费用，还包括研发团队，内部的开发成本，沟通成本以及运维成本等等，甚至有些时候，成本会成为架构设计中的决定性因素。
比方说，你做一个直播系统，在架构设计时除了要关注起播速度还需要关注 CDN 成本；再比如作为团队 Leader，你在日常开发中除了要推进正常的功能需求开发，也要考虑完善工具链建设提高工程师的研发效率，降低研发成本。
这很好理解，如果在一个 100 个人的团队中，你的工具为每个人每天节省了 10 分钟，那么加起来就是接近 17 小时，差不多增加了 2 个人工作时间。而正是基于提升扩展性和降低成本的考虑，我们最终走上了微服务化的道路。

一课一思

在实际的项目中，你可能已经将系统拆分成独立的服务部署了，那么在一开始，你在开发和运维的过程中是遇到了哪些问题促使你走上了微服务化的道路呢？欢迎在留言区与我分享你的经验。
最后，感谢你的阅读，如果这篇文章让你有所收获，也欢迎你将它分享给更多的朋友。
分享给需要的人，Ta购买本课程，你将得18元
生成海报并分享

赞 23

提建议

© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
上一篇
期中测试 | 10道高并发系统设计题目自测
下一篇
22 | 微服务架构：微服务化后系统架构要如何改造？
 写留言

精选留言(32)

  • Wiggins
    2019-11-11
    走上微服务化道路的主要原因还是微服务目前大热加上docker的兴起，出于可能降低成本的考虑。 但以前就是SOA的架构，按照模块分解服务，但是并没有微服务，不知道这样的模块分解服务然后通过DNS去访问的方式叫做什么呢？ 而有个问题在于现在公司的确是将业务按照模块拆分了，但是这些模块还是访问的同一个库，这样微服务拆分是不是并没有性能上的提升，反而因为多了网络传输而更加慢了，只是逻辑分层清晰了？那这个时候还有必须微服务么？毕竟多开一个数据库实例就要有额外的支出。
    展开
    共 4 条评论
    26
  • chp
    2019-11-11
    现在公司，把业务按模块拆分，每个成员负责一个模块，但是这些模块依然连的同一个库。
    共 6 条评论
    11
  • Alex Liu
    2020-03-26
    现在只要是个项目都恨不得用微服务，而且用的不彻底，反而集成了单体和微服务的缺点，简直就是人间炼狱啊

    作者回复: 是的，会非常痛苦

    共 2 条评论
    10
  • 沐紫剑
    2020-06-07
    如果一个系统微服务数比开发人数还要多，这样合理吗

    作者回复: 一般一个人可以维护2-3个微服务，所以算是合理的

    共 3 条评论
    8
  • Geek_33c134
    2019-11-19
    唐老师你好，关于高并发的系统人们都会问系统的qps是多少。但是如果一个系统经过服务化之后，我只会负责其中的一个小模块，所以我关注的只是这个模块的访问量多少。所以系统的qps我是无法关注的，也关注不出什么东西（因为其他的模块都不是我负责的）。想问下这时候人们所问的qps是指模块的qps还是只系统呢？如果是模块的话qps其实是比较小的，很难提到高并发；但是如果是系统的qps，而其他模块是其他部门负责的，与我又没有什么关系。这种情况下应该如何回答呢？
    展开

    作者回复: 可以只是你负责的qps，你需要对你负责的项目模块的数据有足够的了解

    共 4 条评论
    7
  • helloworld
    2020-06-09
    请问老师，若把一个单体服务拆分成多个微服务后，原来客户端只需要一次http调用服务器，微服务化后客户端需要多次http调用服务器端，这就对客户端来说就增加了总的调用时间了，是不是存在这个问题呢？

    作者回复: 是的 是有多一跳的问题

    5
  • 张传美
    2020-03-25
    一个工程师负责几个服务是合理的？ 我的思考：从服务活跃度，重要度，工程师水平三个角度来考虑 1. 活跃又重要的服务，一个高级开发工程师不超过3个？ 2. 非活跃，非重要的服务在全部服务数中的占比应低于30%？ 想问下： 1. 业界的最佳实践是？ 2. 您认为一个工程师负责几个服务是合理的？
    展开

    作者回复: 个人觉得2个活跃的服务可能已经疲于奔命了

    5
  • Thranduil
    2020-02-25
    公司刚开始就直接上中台可行吗？

    作者回复: 额 大概率是不可行的，中台其实是对现有业务的抽象，如果连业务都没有，何谈抽象呢

    共 2 条评论
    5
  • 钱
    2020-04-25
    😅核心还是钱，微服务化还挺复杂的尤其是基础设施不健全时搞，问题会更多。所以，能不搞就不搞，但是因为不搞耽误公司赚钱或者使公司多花钱钱时，自然会有人推着你搞，你不搞就搞你。
    4
  • 撒旦的堕落
    2019-11-11
    以前每次发版整个部门的人都要到凌晨 项目太大 导致开发时项目启动耗时太多 自己的代码会牵扯到别人的代码 提交时 代码冲突问题 因为所有人代码都在一块 一个人有功能要上线 其他人都得留下 一个很小的功能上线 测试都到对其他功能做回归测试 真的太难了

    作者回复: 相同的经历呀，苦涩~

    共 2 条评论
    4
  • helloworld
    2020-06-09
    在对单体应用进行微服务改造的过程中，切入点可以从比较高频的业务逻辑入手，可以将这部分业务逻辑首先从单体应用中独立出来，通过微服务的形式进行部署，然后逐渐逐渐地过渡到将其他的逻辑单元
    2
  • 空知
    2020-01-15
    走上微服务的原因是 1、确实是代码量大 交互在一起复杂 2、部署、测试麻烦

    作者回复: 是的

    共 2 条评论
    2
  • Devin
    2019-11-12
    系统QPS并不是微服务化的决定性因素或者说直接因素，主要还是看是否遇到问题了，比如资源问题、效率问题、成本问题等。
    2
  • 阿卡牛
    2019-11-12
    之前主导过一个项目，那时正是微服务概念开始流行的时候，脑袋一热，很多东西还没搞懂，就心痒痒地弄起来了。 结果当然悲剧了，还好及时止损。 不过遇到一个大问题还是可以说说的：就是数据问题，至今没搞明白，多个微服务之间是否可以存在相同的数据。还是必须通过接口的方式获取

    作者回复: 没有准备好就为服务化是大坑

    2
  • 亚林
    2021-11-24
    前几年，我身边一群人都在谈微服务，但没有人谈康威法则，😭
    1
  • 神毓逍遥
    2020-11-17
    微服务的好处： 1 业务解耦 开发维护简单，构建快 2 多语言 多模块 可以提高开发进度
    1
  • 与狼共舞
    2020-04-01
    java还好像php遇到分布式事务头大。

    作者回复: 分布式事务都是头大

    1
  • oneDream
    2019-11-29
    微服务最根本的应该是解决架构和可扩展的问题，像文章重说的1wqps 在微服务场景中也同样存在
    共 1 条评论
    1
  • longslee
    2019-11-12
    打卡。还是有收获的，以前理解微服务化，只知道业务细分和单独部署扩建容易，没想到数据库连接数这个地方也有讲究。 曾经的大项目是一体化的，开发过程比较崩溃的是八竿子打不着的类被远方的一个兄弟改了，我提交代码的时候被卡下来了。。。原因就是紧耦合，而我没有全量更新代码。

    作者回复: 👍👍

    2
  • 剑八
    2022-04-06
    单体发布慢，影响其它模块，代码冲突多， 数据库连接受单体应用影响（比如交易流量大要扩容，影响到商品的数据库连接）