01丨程序运行原理:程序是如何运行又是如何崩溃的?
01丨程序运行原理:程序是如何运行又是如何崩溃的?
讲述:李智慧
时长12:56大小17.73M
程序是如何运行起来的
一台计算机如何同时处理数以百计的任务
系统为什么会变慢,为什么会崩溃
小结
思考题
赞 25
提建议
精选留言(55)
- 斐波那契2019-11-18在java里 锁是通过cas把当前线程id刷新到对象的头信息里 在获取锁时会去头信息里拿这个信息 如果没有 则会cas刷新进去 刷新成功就获取到锁 刷新失败就表明有别的线程也在尝试刷新这个信息 在操作系统层面 有pv操作保证原子性 而pv操作也是利用cpu中原语指令 在获取锁时保证不会被别的指令打断(或被重排序)
作者回复: 👍
共 5 条评论100 - Luciano李鑫2019-11-18“不管你是否有意识,你开发的 web 程序都是被多线程执行的,web 开发天然就是多线程开发。”这个会不会绝对了一些,比如go或者c++开发的没有额外创建线程的web程序呢?
作者回复: 这样开发出来的也就不会是一个可以满足高并发的web应用😁 也就不会有我们标题提出的问题~ 这个专栏的大部分文章都试图在一篇较小的篇幅内讲完整一个较大的问题场景,这样就会有一些绝对化和理想化,后面的文章也会有类似的情况😢 这也真是我在开篇词想要表达的意图,我们在构建自己的知识体系时,不追求细节的完整和绝对的严谨,而是在大的方向上建起支撑性的知识支柱。细节的缺失和瑕疵在未来的学习和实践中完善。 当然也欢迎大家在评论中指出各种问题,有兴趣的同学参与讨论,我们在评论区就完成部分知识的深入和完善。 感谢🌹
共 9 条评论39 - Allen_2019-11-18有些地方可能不是很到位,欢迎补充 小结: 1. 我们平时开发出来的程序是文本格式代码,但只是在硬盘中还只是一个程序,只有加载到内存里面通过cpu执行成为进程才是发挥了程序作用。 2.进程里面有堆,栈,可执行代码和进程数据结构。 3.cpu分时共享技术进行并发操作,进程切换效率不高,所以有了线程切换 4.因为线程安全问题引入锁,不过也引入了更多造成阻塞的可能 5.线程阻塞可能是I/O,锁,网络请求,数据库链接获取 6利用分布式系统架构来减缓高并发的性能不佳展开
作者回复: 清晰👍
共 4 条评论23 - 蚂蚁内推+v2019-11-18李老师好:我想请教下,一个JVM 是一个进程。JVM 上跑 tomcat,tomcat 可以部署多个应用?那每个跑在tomcat 上的应用是一个线程吗?那一个应用crash了,其他应用也会crash.这块感觉有点问题。不知道老师方便解释下吗?
作者回复: JVM是一个进程;tomcat是一个框架;tomcat会启动线程处理应用请求,执行应用的代码;应用自己不能跑起来的,只能被tomcat的线程执行,应用在tomcat线程中执行时,也可以自己启动线程,并发、异步执行自己的某些计算。 tomcat会对不同应用做一些隔离,但是如果某个应用导致JVM crash,所有应用都crash。 可参考后续专栏《JVM虚拟机原理》
共 2 条评论14 - 我爱布丁2019-11-21老师,看完文章,联想到两个关于协程的问题: 1. 使用协程在出现IO等待时,程序会自己调度去执行其他的(CPU)任务。理论上这样可以避免额外的IO等待导致的线程间切换。我的问题是从系统的角度上看,使用协程可以抢占到更多的CPU时间片吗? 2. 感觉系统崩溃(除人为Bug外) 主要是系统资源不足导致的。那么即使用轻量级的协程也不会变得更好。因为当协程数量过多,导致event loop过大,变慢,系统还是要崩溃的对吗?展开
作者回复: 1 多个协程通过自我调度复用同一个线程,所以某个协程IO等待的时候,会导致整个线程阻塞,并不能避免线程切换。更好的做法是使用异步IO,不要IO等待。 能否抢到时间片是操作系统调度的,协程自己控制不了,但是协程利用自己更轻量级,配合异步IO等方法,可以提高运行效率,整体性能得到优化。 2 是的。但是用好协程,减少额外的线程调度切换,可以提高整体的系统吞吐能力。
11 - 雷咏2019-11-19我们用文本格式书写的程序有三种执行方式: 1.解释执行。例子是脚本语言书写的程序或类似于BASIC语言书写的程序。著名的PYTHON也属于这种情况。 2.编译执行。通常C/C++程序属于这种情况。文本格式书写的程序称之为源程序,需要编译器编译成机器语言代码,称之为可执行程序一或目标程序。 3.虚拟机执行。将文本格式的程序先编译成一种中间代码,然后由驻留在计算机中的虚拟机解释执行。例子是通常的JAVA程序。展开
作者回复: 👍
共 3 条评论11 - 学习学个屁2019-11-19# 01 程序运行原理 ## 程序是如何运行起来的? - 1 、程序员被开发出来,文本格式代码,不能直接运行,需要编译器或者虚拟机先编译成机器码(也叫可执行代码),存储在文件系统中(即磁盘)。 - 2 、操作系统将编译好的代码加载到内存中。 - 3、CPU去执行,运行,程序运行起来被称作进程。 运行起来的程序,在运行期使用内存堆空间,栈空间,等数据结构。 ![如图](https://static001.geekbang.org/resource/image/89/98/89c6e3bbc44cdc042e7a8bcddb3b4398.png) 程序运行时需要创建数组等数据结构,这些由操作系统在进程中分配。 进程的堆,栈中分配相应的空间,比如堆,堆的地址又存在栈中。 栈:一种数据结构,遵循先进后出,后进先出的顺序。 比如函数 ``` void f(){ int x = g(1); x++; //g函数返回,当前堆栈顶部为f函数栈帧,在当前栈帧继续执行f函数的代码。 } int g(int x){ return x + 1; } ``` 每次函数调用,操作系统都会在栈中创建一个栈帧,方法程序(函数)通常被压栈进栈,函数中的变量,内存都在当前栈帧中,如下图。 ![如图](https://static001.geekbang.org/resource/image/f0/f7/f08d6fca893da5cac926a23f1f1aa7f7.png) ## 计算机如何同时处理数以百计的任务 通常情况下我们个人的PC 可能会是一核心或两核,现在基本都4核或者更高核cpu了 我们个人通常是用电脑会同时打开很多程序软件,听歌的,看电影的,下载视频等等几十个任务。 而服务器可以同时处理成千上百个任务以及并发请求而且一点儿都不卡顿(这里也存在服务器配置高的因素) ### 为什么电脑可以同时处理这么多的任务呢? `这里主要依靠的是操作系统的 CPU 分时共享技术` 很多个进程在执行,操作系统会将 CPU 的执行时间分成很多份,进程按照某种策略轮流在 CPU 上运行 > 每个进程都只被执行了很短一个时间,但是在外部看来却好像是所有的进程都在同时执行,每个进程似乎都独占一个 CPU 执行 为什么每个程序不单独使用进程呢? 原因是因为CPU每个进程在CPU上轮训使用,消耗资源以及时间很大! 通常我们在打开自己电脑时候开了很多软件(或者进程)后明显的感觉自己电脑变慢了,卡顿了。 一方面是因为自己电脑内存小,另一方面是因为进程数太多了,cpu切换需要花费时间。 那么如何解决进程多cpu切换代价大的情况呢? 计算机的先辈们引入了线程的概念,比如我们开发中容器tomcat 每次用户请求时候,tomcat分配给用户一个线程,在进程里可以启动很多的线程,线程可以理解为轻量级的进程,在进程内创建,拥有自己的线程栈,在 CPU 上进行线程切换的代价也更小。 线程在运行时,和进程一样,也有三种主要状态 运行:当一个进程在 CPU 上运行时,则称该进程处于运行状态。处于运行状态的进程的数目小于等于 CPU 的数目。 就绪:当一个进程获得了除 CPU 以外的一切所需资源,只要得到 CPU 即可运行,则称此进程处于就绪状态,就绪状态有时候也被称为等待运行状态。 阻塞:也称为等待或睡眠状态,当一个进程正在等待某一事件发生(例如等待 I/O 完成,等待锁……)而暂时停止运行,这时即使把 CPU 分配给进程也无法运行,故称该进程处于阻塞状态。 ## 系统为什么会变慢,为什么会崩溃 主要大致可以分为一下几个步骤原因 - 1、线程锁,引起线程阻塞,多线程情况下可能会存在线程排队等锁,县城无法并行执行导致速度变慢。 - 2、此外I/O阻塞同理,比如数据库连接,并行数量超过数据库连接数量,线程就会出现阻塞 - 3、等待其他县城释放连接才能访问数据库,并发越大等待连接越多,响应时间越长,系统越慢。 - 4、被阻塞的线程越多,占据的系统资源也越多,这些被阻塞的线程既不能继续执行,也不能释放当前已经占据的资源,在系统中一边等待一边消耗资源,如果阻塞的线程数超过了某个系统资源的极限,就会导致系统宕机,应用崩溃。 如何解决 - 1、采用请求限流 - 2 、集群架构 - 3、分布式架构展开共 2 条评论8
- 探索无止境2019-11-19希望老师在第二节课可以谈谈上一节课留下的思考题,您是怎么理解分析的
作者回复: 也许可以将来以彩蛋的方式专门写一篇文章讲讲~
6 - Paul Shan2019-12-03磁盘上的代码就是一堆静态的二进制数据,运行之间和一张图片没有本质区别。当被执行的时候,代码就被加载到内存变成进程,原先的代码被转化成CPU可以操作的指令。一般的指令是从前往后的,也有些指令是根据条件跳转的,循环条件语句都是跳转指令。程序除了消耗CPU外,还要消耗内存。内存又分为栈和堆,栈处理函数运行的局部变量,新的函数调用,会有新的栈帧。堆处理局部变量以外的变量,例如Java new的对象,这些对象又会被栈中的变量引用,堆栈一起协同工作,堆容量大,负责存储。栈记录活动变量,引用堆中存储,后进先出。进程就是把指令集合,堆栈打包并建立边界的一个容器。CPU是全局宝贵资源,可以被多个进程共享,如果有多核的话,也可以同时运行多个进程,Python中的并发就是这么实现的。但是,每个进程都有自己的堆栈和其他活动资源,切换代价高昂。所以,多数编程语言都有线程的概念,线程是CPU调度的单位,同一进程下的线程之间共享堆和其他资源,切换成本大降,但是多个线程共享堆也会引发一系列并发的问题,通常需要锁来解决。另外一种平凡调用IO的情况,线程也不算太合适,因为IO和CPU本身并不竞争,通常IO比CPU慢10倍以上,所以很多语言引入了协程,在单线程的情况下实现并发,让IO和CPU资源得到充分利用,协程切换的成本比线程更低,也没有并行的问题,但也要注意协程只是在单线程下调度IO和CPU资源,对于并行计算并无帮助。 单个进程或者线程消耗太多资源会让系统变慢甚至崩溃,更多的情况是,等待中的进程线程数目太多,无法释放资源而让系统变慢甚至崩溃。这就好比交通系统,一辆坦克车横冲直撞造成问题毕竟少,多数问题还是车多到一定数目,前面的车过不去,后面的车进不来,虽然,每辆车都遵守交通法则,但是还是造成了拥堵。这个时候,正常的交通规则已经不管用了,需要其他治理拥堵的特殊措施来处理。展开5
- 程同学2021-01-19太棒了,醍醐灌顶,这操作系统和应用开发融会贯通,太棒了。 老师,遇见你是我的幸运。4
- peter2019-11-24一直以为tomcat是一个独立的进程。根据本文所述,tomcat只是一个线程,是虚拟机进程中的一个线程。是这样吗?
作者回复: tomcat是一个程序,被JVM加载到JVM进程中。 Tomcat的代码在JVM被执行后,可以启动很多线程。
4 - Heidi2019-11-20你好,想提个问题。文章中大部分知识点都掌握,但是遇到问题的时候没有从这些角度出发,只是跟着一些关联去分析问题,对遇到的问题反应比较慢。这种情况是不是知识没有成体系?那么怎样建立比较完整的知识体系呢?
作者回复: 思考问题从问题的根源出发思考,如果在解决问题的时候现场比较乱,无法做到。事后做复盘,复盘的时候重新从根源思考。
共 3 条评论4 - Tobe242019-11-20您好,老师,这节课太适合我这种新手了,这里有三个不太明白的地方,希望老师能够解惑。 问题1:CPU 分时共享技术同时执行进程的数量,取决于什么? 问题2:为什么线程切换的代价更小? 问题3:进程切换是不是必须要等到线程切换完毕后进行?如果不是,优先级是由什么决定的? 一点小建议: 有一些表达程度的词,如果能用数据举例简单说明一下,对于我们理解会更有帮助。比如2问题中,代价更小,小到什么程度,是进程切换速度的几倍? 思考题: 作为小白,我的思路是这样,锁是在线程的临界区,线程是在进程的线程栈,而 一个 cpu 同时只能运行一个进程,所以本质上都是轮流执行的……于是,只要保证在获取锁的时候,锁不在正在获取或已经被获取的状态即可,进而推断线程中会有一片内存区域用来存这些状态信息。 😂不知道这个思路对不对。 最后谢谢老师。展开
作者回复: 1 取决于CPU的核数 2 线程比进程占据的资源少,切换代价小,而且进程内线程可能执行相同的代码,切换线程后也许还可以复用CPU cache数据 3 线程切换和进程切换只依赖CPU是否空闲,和线程进程彼此没关系 PS,上面回复内容其实我也没有确切的资料证实,我是根据第一性原理推导出来的,我觉得仅根据专栏文章内容就可以推导出来,我希望你也可以自己分析推导,这样获得的知识会更加稳固
共 3 条评论4 - 夜里饿煮面2019-11-18操作系统中PV原语是最小的原子,就是不知道硬件上是怎么实现的4
- 阳仔2020-01-18扩容,限流,降级。从无损到有损的解决高并发问题的手段2
- Citizen Z2019-11-20粗略思考: 1. 锁在内存中只有 1 份数据(JVM 用堆区中对象的 header 来实现,所以是每个线程都可见的),有开/关两个状态 2. 不同线程访问锁时一定是有先后顺序的(JMM 的 happens-before 原则有规定,这个可能涉及较多手段来保证,问题难点主要出现在多核 CPU 和 CPU cache 的情况下) 3. 如果线程遇到打开状态的锁,就“获取并关闭“锁(这里的原子性由 CPU 指令保证,就是 cas 机制) 更复杂的锁优化策略都在这个基础上实现展开2
- 书策稠浊2021-04-19CPU 以线程为单位进行分时共享执行,这句不是太理解。操作系统调度进程,Jvm调度线程,所以cpu以线程为单位执行吗?那其他非jvm的进程呢,他一定有线程吗1
- 布拉姆2021-02-19“被阻塞的线程越多,占据的系统资源也越多,这些被阻塞的线程既不能继续执行,也不能释放当前已经占据的资源”被阻塞的线程并不消耗cpu(或者说时间片)对吧?占据的资源是IO类的,比如文件描述符或者IP port之类的吗?
作者回复: 包括内存,以及线程自身等等
共 2 条评论1 - Paul Shan2019-12-04请问老师,内存中的堆区域和数据结构中的最大堆最小堆,两者都叫做堆,两者有没有关系?共 2 条评论1
- Paul Shan2019-12-03思考题 锁要全局共享但只有一处可得,应该有特殊的CPU指令来处理吧。1