结束语 | 以梦为马，莫负韶华！

Sep 12, 2019

结束语 | 以梦为马，莫负韶华！-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

结束语 | 以梦为马，莫负韶华！

2019-09-12 胡夕来自北京

《Kafka核心技术与实战》

课程介绍



讲述：胡夕

时长06:21大小5.83M



你好，我是胡夕。今天，我的专栏“Kafka 核心技术与实战”就正式结束了。
回顾与你在专栏相聚的这几个月，我的内心充满了成就感。且不必说这 42 讲的文字全是我一字一键敲下来的，也不必说那长达十几个小时的录音，单是留言区那些踊跃积极的提问与讨论，就足以使我深受感动并收获满满了。
此时此刻，千言万语汇成一句话：“感谢！”感谢你对我和本专栏的支持，感谢你曾经的鼓励与提问，也感谢你的肯定与期望。另外，我也要向你表示祝贺，祝贺你完整地学习了专栏的全部课程，你的恒心与坚持令人敬佩。
虽然专栏更新结束了，但是我相信我们的 Kafka 学习之旅不会结束。相反，这对于你来说，或许是一个新的开始。
还记得开篇词里的那句话吧：“Stay focused and work hard！”我一直觉得，学习任何技术，甚至是搞定任何事情，只要下足了功夫，理论上你可以藐视一切学习方法或捷径。但是，如果你忽视了毅力和坚持，再多的速成教程也无法引领你达到你期望的高度。著名的“10000 小时定律”就明确表示，10000 个小时的锤炼，是所有人从平凡人变成世界级大师的必要条件。
还是那句话，只要你持之以恒地投入时间去学习，你就能成为某个领域的专家。因此，从某种意义上说，我这碗“鸡汤”的配料非常简单，就四个字：干就完了。
那这是不是在说书籍、专栏之类的他人智慧总结就没用了呢？当然不是！他山之石，可以攻玉，书籍和专栏的最大作用就在于，当你遇到岔路口时，它们能够帮助你快速地识别前进中的已知路障，让你少走弯路，更快地实现目标。但前提是你要在路上，而不是单纯地想要依赖它们速成。
在专栏的最后，我想再和你分享一些学习大数据框架的个人经验。这些经验不仅仅适用于学习 Kafka，对于其他框架甚至是分布式系统的学习，都是适用的。
首先，最重要的就是夯实技术基本功。这是我们 IT 从业者赖以生存的基石。
这里的基本功包含很多方面，比如操作系统、数据结构等，但我更想说的，还是对 Java 语言的掌握。
目前，大数据框架多是以 Java 或 JVM 系语言开发而成的，因此，熟练掌握甚至精通 Java，是学好大数据框架的基石！所谓精通，不仅仅是要求你熟练使用 Java 进行代码开发，更要求你对 JVM 底层有详细的了解。就这个层面的学习而言，我想给你 3 条建议。
持续精进自己的 Java 功底。比如，你可以去 Java 官网上，把 Java 语言规范和 JVM 规范熟读一遍。很多人都不太重视语言规范文档，但实际上，Java 中关于线程和同步的知识，在 Java 语言规范中都有相关的阐释。
提升自己的 Java 多线程开发以及 I/O 开发能力。很多大数据框架底层都大量使用 Java 多线程能力以及 NIO 帮助实现自身功能。就拿 Kafka 来说，多线程自不必说，Kafka 可是大量使用 NIO 实现网络通信的。所以，这部分的知识是你必须要熟练掌握的。
掌握 JVM 调优和 GC。我推荐你去读一读“Java Performance”这本书。虽然目前 GC 收集器大部分演进到了 G1 时代，但书中大部分的调优内容依然是适用的。调优 Kafka 的 JVM，也要依赖这部分知识给予我们指导。
除此之外，你还要学习分布式系统的设计。
分布式系统领域内的诸多经典问题，是设计并开发任何一款分布式系统都要面临和解决的问题，比如我们耳熟能详的一致性问题、领导者选举问题、分区备份问题等。这些问题在 Kafka 中都有体现，我们在专栏里面也有所涉及。因此，分布式系统的诸多基础性概念，是帮助你日后深入掌握大数据分布式框架的重要因素。
而且，很多经典的分布式问题在业界早已被研究多年，无论是理论还是实践案例，都有着翔实的记录。比如我们在专栏前面谈到的分区概念，分区在分布式系统设计中早就不是什么新鲜的概念了，早在上世纪六七十年代，就已经有行业专家在研究分区数据库的实现问题了。要较好地掌握大数据框架中的分区或分片，是不可能绕过分布式系统中的分区以及分区机制的。
这些经验都偏重理论的学习。你千万不要小看理论的价值，毕竟，列宁说过：“没有革命的理论，就没有革命的运动。”这里的“运动”就是一种实践。先让理论指导实践，再借助实践补充理论，才是学习任何东西无往而不利的最佳法则。
强调完理论，自然就要引出实践了。我这里所说的实践不仅仅是对框架的简单使用。你从官网上下载 Kafka，启动它，然后创建一个生产者和一个消费者，跑通端到端的消息发送，这不叫实践，这只是应用罢了。真正的实践一定要包含你自己的思考和验证，而且要与真实业务相绑定。我不排斥你单纯地学习某个框架，但以我个人的经验而言，在实际工作中进行学习，往往是学得最快、掌握得也最扎实的学习方式。
另外，在实际学习过程中，你最好记录下遇到问题、解决问题的点点滴滴，并不断积累。要知道，很多技术大家之所以成为技术大家，不仅仅是因为理论掌握得很牢固，填过的“坑”多，更重要的是，他们不重复犯错。
孔子曾经称赞他的学生颜回“不贰过”。“不贰过”也就是不重复犯错。在我看来，在实践方面，一个不犯相同过错的人，就已经可以被称为大家了。
好了，这些就是我在学习技术的过程中总结的经验，现在全部分享给你，希望对你有所帮助。
我为你准备了一份结课问卷，题目不多，两三分钟就可以完成。希望你能畅所欲言，把自己真实的学习感受和意见表达出来，我一定会认真看，期待你的反馈。
最后一期了，也欢迎你在这里给自己的专栏学习做个总结。关于专栏或是其他内容，如果你还有什么问题，也尽管提出来，我会持续回复你的留言。
送君千里，终须一别。所谓行百里者半九十，愿你继续在技术这条道路上深耕，并得偿所愿，不负韶华。我们江湖再见！

分享给需要的人，Ta购买本课程，你将得20元

生成海报并分享

赞 11

提建议

用户故事 | 黄云：行百里者半九十

期末测试 | 这些Kafka核心要点，你都掌握了吗？

 写留言

精选留言(52)

夜尘
2019-09-12
谢谢老师，老师辛苦了
20
钱
2019-09-15
课后思考及问题最重要的就是夯实技术基本功。 Stay focused and work hard！真正的实践一定要包含你自己的思考和验证，而且要与真实业务相绑定。不贰过。看似平谈无奇，不过真正能做的也是凤毛麟角。不过听老师这么讲，自己反而更加有信心了，从入行到现在也在持续的学习，不过受限于基本功和脑回沟再加上没有高人指点，难免不会磕磕碰碰。现在发现付费学习，也许真是最高效的一种方式，经验眼界层次很容易上来，当然，能将多少转化为自己的就看自己的专注度和持久性啦！感谢老师的分享，让我感觉到自己不是愚蠢得很而是功夫下的不够很。
展开
共 1 条评论
7
aof
2019-09-12
“在实际工作中进行学习，往往是学得最快、掌握得也最扎实的学习方法”这句话再赞同不过了。多谢老师！！
4
大坏狐狸
2020-03-20
提前过来看看结束语
2
张丽娜
2020-03-04
胡老师您好，专栏已经结束了，我目前还在刚刚开始学习。因为工作中同事在用，所以想要深入了解一下这块的知识。可专栏偏重于Kafka原理相关的介绍，自工作后我就没有使用过JAVA语言，所以感觉学习这门理论课程时，感觉很多地方都是似懂非懂，且日常工作中也不会用到，所以理解起来就更抽象了。想要请教下老师，针对于我这种情况的话，老师能否给些学习的建议？还是先硬肯一遍专栏，接着学习JAVA语言？还请老师能够有空的时候，指点一二，提前感谢老师！
展开
作者回复: 首先学习Kafka并没有要求必须有特别强的Java功底。主要还是取决于你后续使用哪种语言的Kafka客户端进行开发。比如很多人使用C++来开发Kafka应用程序。我建议先把官方文档好好看一遍，然后再结合专栏里面的知识点查漏补缺。
2
@%初%@
2020-11-11
终于完成了专栏的学习，对kafka整体的轮廓，设计有了清晰的认识，结合老师推荐的《深入理解kafka技术》继续学习。收获满满呀。
作者回复: 感谢鼓励：）
1
滚去滚来
2020-05-21
谢谢老师！整个专栏让我收获满满，项目中需要，准备在实践中学习
作者回复: 加油🆙
1
sunny
2020-01-17
个人感觉是市面上最好的专栏，学习了！！！
作者回复: 感谢鼓励：）
1
aof
2020-01-06
又看了一遍，真的很认同老师的这句话——“在实际工作中进行学习，往往是学得最快、掌握得也最扎实的学习方式”
1
Bin滨
2019-10-16
多谢分享知识，顶10000 个小时
1
QQ怪
2019-09-12
天啊，就已经结束了，还没反应过来，没学够😂
1
ls
2022-04-27
感谢老师，学到了很多
ABC
2022-04-11
谢谢老师,学完打卡!
追风筝的人
2022-03-31
老师这些场景怎么测试会触发邮件告警呢？ kafka宕机非常严重 kafka消费滞后过多一般严重 kafka-topic偏移量增长过快偏移量在1小时内增长超过1000 一般严重偏移量在1小时内增长超过20000 一般严重偏移量在1小时内增长超过5000 一般严重偏移量在1小时内增长超过10000 一般严重
展开
王天明
2022-01-15
老师，我这边遇到了一个因为消息处理近1000秒的情形，导致Offset自动提交失败的例子，日志如下 2022-01-15 00:15:43,151 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.c.c.i.AbstractCoordinator.coordinatorDead(AbstractCoordinator.java:600) - Marking the coordinator xxx:9092 (id: 2147483645 rack: null) dead for group XXX 2022-01-15 00:15:43,155 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] WARN o.a.k.c.c.i.ConsumerCoordinator.onComplete(ConsumerCoordinator.java:535) - Auto offset commit failed for group xxx: Offset commit failed with a retriable exception. You should retry committing offsets. 已经将参数进行了如下调整，参数确实都已经运行打印生效，但上面的错误还是会发生。请问，这个问题是否能以调参的形式解决，当然，我们也同时在优化我们的处理逻辑。我们的逻辑是在零点时有大量的缓存失效，并且，这个消息是个特例，一个消息中含有1千多个设备信息要处理，以至于整体耗的时候过长。 -Dspring.kafka.properties[session.timeout.ms]=1200000 -Dspring.kafka.properties[max.poll.interval.ms]=1300000 -Dspring.kafka.properties[request.timeout.ms]=1400000 -Dspring.kafka.properties[connections.max.idle.ms]=1400000 -Dspring.kafka.properties[heartbeat.interval.ms]=400000
展开
追风筝的人
2021-12-08
真正的实践一定要包含你自己的思考和验证，而且要与真实业务相绑定。
保密！
2021-09-08
山高路远，定会江湖再相见！
作者回复: 加油！
ifelse
2021-08-14
看完一遍，还需要再看
邋遢的流浪剑客
2021-07-07
最近复习Kafka的文章，大家感兴趣可以一起来学习哈： https://blog.csdn.net/qq_40378034/article/details/118280352 https://blog.csdn.net/qq_40378034/article/details/118538632
作者回复: 强
windhalk
2021-04-19
学完打卡！！

