074 | 雅虎：大数据领域的“活雷锋”
下载APP
关闭
渠道合作
推荐作者
074 | 雅虎：大数据领域的“活雷锋”
2018-03-23 徐飞 来自北京
《技术与商业案例解读》
课程介绍
讲述：秭明
时长07:13大小3.81M
在谷歌崛起之前的很长一段时间里，雅虎一直是互联网行业的“老大哥”。 虽然随着互联网行业的发展，谷歌的市场影响力越来越强，雅虎的日子越来越不好过，但雅虎仍是“瘦死的骆驼比马大”。谷歌发表了“三驾马车”的论文，开启了大数据时代，雅虎作为当时互联网行业的老大，也希望能用上类似“三驾马车”的系统。
鉴于和谷歌在广告市场上的直接竞争关系，雅虎不可能从谷歌那里获得基础架构并用在自己的业务上，而且谷歌也没有要开放自身架构的意思，因此雅虎决定自己开发一套。说到这里，就不得不说说道格 · 卡丁（Doug Cutting）了。
当时，卡丁在做一个叫作 Nutch 的网页爬虫项目，但是这个项目开发得并不顺利，主要问题是当爬虫达到一定规模后无法稳定地运行在更多的机器上。
这时，谷歌文件系统和 MapReduce 的论文相继发表了，卡丁从这些论文里面受到了启发。他认为谷歌文件系统和 MapReduce 可以解决 Nutch 项目遇到的问题，于是就在 Nutch 上实施了谷歌文件系统和 MapReduce 工具，果然重新实现后的 Nutch 很容易稳定运行在更多的机器上了。
而当时雅虎正在思考如何构建自己的基础架构，于是这个项目自然而然地进入了雅虎的视野。
2006 年，雅虎聘用了卡丁，随后专门组建了 Hadoop 开发团队，并投入了大量的技术人员和机器资源来支持项目的开发、调试和落地。雅虎对 Hadoop 项目注入的人力和物力资源支持，奠定了 Hadoop 项目从简陋向完善发展的基础。
Hadoop 团队的最高领导者是位副总裁，雅虎很多核心业务部门的最高领导的等级也不过如此，借此不难看出雅虎当时对 Hadoop 开发部门的重视程度。
不但如此，为了保证 Hadoop 项目能够顺利落地，雅虎把内部的很多数据处理业务迁移到了尚不成熟的 Hadoop 项目中。这种用实际业务促进项目成长的“小白鼠”精神，非常有效地帮助了 Hadoop 向成熟产品的转变。
接下来，我来讲讲 Hadoop 的具体发展进程。
2006 年 2 月，卡丁决定从 Nutch 项目里将对谷歌文件系统和 MapReduce 的实现分离出来，并决定用他儿子的玩具命名这个项目：Hadoop。两个月后，Hadoop 实现了第一个具有里程碑意义的计算：用 48 小时在 188 台机器上完成了对 1.8 TB 数据的排序。
这里所说的里程碑，并不是说这件事情有多伟大，而仅仅是证明了基于谷歌文件系统和 MapReduce 实现的架构，是一个相对通用的系统。这个系统除了可以用在 Nutch 上做爬虫应用外，还可以实现数据排序。
而这个数据排序的效率到底是高是低呢？现在我用 C++ 随便写一个程序，运行在一台普通电脑上为 1.8 TB 的数据进行排序，而且这个排序绝对花不了 48 小时的时间。但是，当时 Hadoop 却需要用 188 台机器花费 48 小时来完成这个排序。
这里需要说明的是，对分布式系统来说，单机效率固然重要，但能够稳定运行在多少台机器上同样重要，而且实现起来更加困难。
到 2006 年 5 月，雅虎的 Hadoop 团队已经有了一个 300 台机器的集群。同年 10 月，这个集群达到了 600 台机器的规模 ，而这基本上接近了当时 Hadoop 可以实现的极限。整个 Hadoop 团队又花了差不多大半年的时间，才在 2007 年上半年实现了 Hadoop 在 1000 台机器上的稳定运行。这样的集群规模，终于可以让 Hadoop 存储和处理互联网级别的数据了。
2008 年，Hadoop 可以稳定运行了。正是这一年，雅虎决定把自己搜索引擎的倒排索引的构建工作迁移到 Hadoop 上。因为伴随着互联网内容的增加，在手工实现的系统上构建的倒排索引，再也无法处理越来越多的内容。
谷歌最初发明 MapReduce 的目的就是为自己的搜索引擎构建倒排索引，所以 Hadoop 一旦足够稳定，雅虎必然会将自己的倒排索引构建工作迁移到 Hadoop 上。这个处理雅虎倒排索引构建工作的 Hadoop 集群，规模大约在 2000 到 3000 台机器之间，这也是当时最大的 Hadoop 集群。
2009 年，雅虎的很多业务都开始迁移到 Hadoop 上。为此，雅虎部署了很多个 Hadoop 集群，总机器规模超过两万台。
可以说，2006 年到 2009 年是 Hadoop 项目发展最为关键的三年。在这三年的时间里，雅虎不但从人力上和机器上给予了 Hadoop 大量的支持，更重要的是逐渐把自己内部的很多平台都过渡到 Hadoop 上。 如果没有雅虎的这些大力支持，也就不会有 Hadoop 在 2009 年的成熟程度。
如果说，雅虎为了发展自己的业务在 Hadoop 项目上投入了如此多的资源，是情理之中的事情，那么雅虎毫无保留地把 Hadoop 相关的源代码全部开源出来，就必须说是扮演了一个“活雷锋”的角色了。因为雅虎无私地开源了 Hadoop 系统，其他比如 LinkedIn 和 Facebook 等互联网公司才有可能加盟进来。
除了 Hadoop 的核心系统以外，雅虎对 Hadoop 生态圈还有两个比较大的贡献：ZooKeeper 项目和 Pig 项目，它们对 Hadoop 生态圈的发展产生了非常重要的影响。
ZooKeeper 是一个分布式系统的协调服务，主要用来解决分布式应用中经常遇到的一些数据管理问题。它是很多 Hadoop 生态圈的其他项目（比如，谷歌 BigTable 的大数据开源版 HBase）里面分布式协调部分的代码的基础。
Pig 是第一个基于 Hadoop 的高级语言，它的脚本被编译成一系列的 MapReduce 任务来执行。Pig 第一次让用户摆脱了烦琐的 MapReduce，可以用高级语言去写任务，这就像是计算机从早期的汇编语言阶段过渡到了高级语言阶段。
现在十年多的时间过去了，Zookeeper 作为一个基础组件，不断地演进，至今依然是 Hadoop 生态圈里最重要的一个基础组件。Pig 则渐渐地被后来居上的高级语言，比如 Spark 和 Flink，取代了，就像是 COBOL 被 C、C++、Java 等更高级的语言取代一样。
总结来说，如果当初没有雅虎对 Hadoop 项目的鼎力支持以及无私开源，我们很难想象会有今天如此繁荣昌盛的 Hadoop 生态圈。尽管雅虎作为一个实体公司已经不存在了，尽管我们也不知道当初雅虎为什么要如此无私地开源 Hadoop，但我们都应该感谢它对 Hadoop 多年如一日的无私奉献。
分享给需要的人，Ta购买本课程，你将得20元
生成海报并分享赞 4
提建议
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
上一篇
073 | 如何读懂类似谷歌“三驾马车”这样的技术论文？
下一篇
075 | IBM的大数据路之起早贪黑赶了晚集
精选留言(5)
caohuan2018-12-08Google 因为 自己利益 所以 大数据处理的先驱者 只能内部使用，而不能 被外部应用 而被遗忘。 活雷锋 yahoo 在做自己业务 激活了hadoop生态圈，为业界带来福利。 公司的开源 有无私 更多的是有目的性，可能是 需要其他公司 丰富 功能 或者优化性能、做营销，只是Yahoo 只贡献了hadoop，收获不太多，所以Yahoo做了hadoop的活雷锋。展开2
药师2020-08-28写得太好了，不知道为什么那么多读者不喜欢这个专栏，能让人从历史的眼光看待整个互联网的兴衰和发展，可以说站得更高看的更远1
@李上网来⚡2020-05-06开源的雅虎终究竞争不过插管吸血的亚马逊
sk2018-09-16请问文中的＂Hadoop 团队的最高领导者是位副总裁＂，那位副总裁是陆奇吗？共 1 条评论
子悠2018-05-23最近项目上会使用Hadoop 了。要学的东西好多？